Esta seção tem como objetivo contextualizar os conceitos apresentados até aqui, nos capítulos 2 e 3, com estudos de fala multimodal em línguas tonais, evidenciando a importância da componente visual da fala para a produção e para a percepção de tons lexicais.
Conforme exposto na Seção 2.1.3, há mecanismos na laringe que controlam o nível de F0 produzido. Por exemplo, a contração do músculo CT é relacionada ao aumento de F0, enquanto que o abaixamento de F0 pode estar relacionado tanto ao relaxamento do músculo CT aliado à contração do músculo TA, quanto ao abaixamento da global da laringe, que envolve músculos extra-laríngeos como o tireo-hioideo (TH), o esterno-hioideo (SH) e o esterno-tireoideo (ST), ilustrados na Figura 7.
De acordo com o modelo Fonte-Filtro (FANT, 1960), apresentado na Seção 2.2.1, a fonte sonora, representada pela fonação, é independente do filtro, que corresponde ao trato
vocal e que se reflete, por exemplo, nas frequências formantes do sinal de fala resultante. Contudo, faz sentido observar que essa independência se encontra no plano ideal e não no real. A mudança na altura global da laringe, que é um fator que controla F0, tem como consequência uma mudança no comprimento do trato vocal: se a laringe é rebaixada, o comprimento do trato vocal aumenta e vice-versa. Essa relação, por exemplo, ilustra uma mudança no filtro causada pela fonte.
Há estudos que investigam com maior profundidade essa dependência e que cu- nharam o termo F0 intrínseco (IF 0), que é a tendência de vogais altas terem F0maior do
que vogais baixas. Esse fenômeno é universal e foi encontrado em todas as línguas que foram objetos de estudo até então, tonais ou não-tonais (WHALEN; LEVITT, 1995). Esse fenômeno, já também descrito na Seção 3.2.1 (OHALA, 1978; YIP, M., 2002, Seção 2.6), sistematiza a interação entre a produção de tons e vogais, correlatos da fonte e do filtro respectivamente.
Essa relação é de particular interesse para as línguas tonais, pois nelas o F0 não pode variar livremente, já que possui efeito contrastivo entre palavras e deve obedecer a padrões fonológicos. Dentre as perguntas norteadoras dos estudos de IF 0 em línguas tonais
e de suas ramificações, podem ser destacadas as seguintes: 1) se a posição de articuladores como a língua, os lábios e a mandíbula muda sistematicamente com o tom, para uma mesma vogal (ERICKSON et al., 2014; HU, 2004); 2) se a percepção dos tons lexicais está conectada de alguma forma à informação visual do falante (BURNHAM; CIOCCA; STOKES, 2001; BURNHAM; LAU et al., 2001); e 3) como se dá o fenômeno de IF 0 em
línguas tonais (ZEE, 1980).
Dentre os resultados obtidos sobre a relação entre a produção de vogais e os tons lexicais, podem ser destacados os seguintes: em taiwanês, a articulação das vogais é afetada pelos diferentes tons lexicais, mas não de modo sistemático comum a todos os falantes (ZEE, 1980). Em dados de mandarim e de ningbo, outra língua chinesa, foi encontrada relação entre tom lexical, posição do maxilar e da língua e a primeira frequência formante (F1): na produção do tom 3, o mais baixo, o maxilar e a língua se encontraram mais retraídos e o valor de F1 foi maior do que na produção do tom 1, o mais alto (ERICKSON et al., 2014; HU, 2004). Em dados de mandarim foram observadas diferenças articulatórias e de movimentação da cabeça entre vogais produzidas com o tom 3 e vogais produzidas com os demais tons: retração e abaixamento da língua e da mandíbula e uma tendência de maior velocidade de movimentos da cabeça para frente e para cima diferenciaram o tom 3 dos demais (HOOLE; HU, 2004). Os resultados acima, contudo, não foram generalizados para todas as vogais e foram obtidos com um número baixo de falantes. Eles, portanto, apenas indicam que possa haver relações sistemáticas entre produção de tons lexicais e a articulação de vogais e o movimento da cabeça, pois ainda não foram realizados estudos exaustivos sobre o tema.
Pesquisas mais recentes obtiveram resultados investigando a percepção dos tons lexicais em função da vogal portadora, observando que a vogal condiciona a rapidez de reconhecimento do tom: um tom crescente, por exemplo, é reconhecido mais rapidamente quando falado com a vogal [i] do que quando falado com a vogal [u] (SHAW, Jason A et al., 2013). A partir desses resultados surge a especulação de que movimentos específicos na articulação das vogais poderiam providenciar informações sobre o tom lexical de forma mais rápida do que o próprio F0, já que tons e vogais são sobrepostos temporalmente e a articulação da vogal se dá de forma mais rápida do que a produção do tom (SHAW, Jason A. et al., 2016). Dados esses resultados, (SHAW, Jason A. et al., 2016) ainda sugerem uma abordagem mais apropriada para a integração entre vogais e tons lexicais: cada combinação de tom e vogal deve possuir uma articulação única, que pode resultar em benefícios perceptivos.
Há, portanto, evidências que justificam este trabalho, que procura estudar correlatos visuais da produção de tons lexicais. Partindo-se das evidências de que há relação entre a produção de tons e a articulação de vogais e de que a articulação de vogais influencia o movimento da face por meio de articuladores como mandíbula, lábios e língua, então conclui-se que pode haver relação entre a produção de tons e o movimento facial.
No nível da sentença, onde o tom se manifesta por meio da entoação, já foram observados correlatos visuais na face e na cabeça (BURNHAM; CIOCCA; STOKES, 2001). Em francês, uma língua não-tonal, foi encontrada correlação entre a entoação e o movimento das sobrancelhas dos falantes (CAVE et al., 1996). Além disso, fortes relações entre o movimento da cabeça e o nível de F0 foram também observadas (YEHIA; KURATATE; VATIKIOTIS-BATESON, 2002), com relações mais específicas com unidades prosódicas mais longas do que o tom lexical, como o pitch accent (KRAHMER; SWERTS, 2007). Os resultados acima, relacionando outro fenômeno baseado no tom com movimentos faciais e de cabeça, também justificam o objetivo deste trabalho, que busca estudar a mesma relação em tons lexicais.
4 Base de dados
Este capítulo apresenta a base de dados utilizada neste trabalho. Foram adquiridos dados audiovisuais em experimentos de produção da fala conduzidos com falantes de três línguas tonais: cantonês, mandarim e tailandês. São descritos os experimentos para aquisição dos dados, assim como o processamento realizado nos dados para que ficassem no formato necessário aos algoritmos de classificação descritos no Capítulo 5 e utilizados no Capítulo 6.