Resultados

Para além de avaliar o desempenho dos dois métodos de auto-aprendizagem (MBL e TBL) na conver- são grafema-fone do PE, através das experiências descritas abaixo, procurámos também investigar o interesse e o impacto de incorporar informação silábica aos sistemas automáticos. A par dos sistemas básicos, foram ainda testadas várias combinações entre os dois métodos automáticos e o sistema de conversão grafema-fone baseado em regras linguísticas.

Sistema MBL

O primeiro sistema proposto assenta na exploração do método MBL e na análise do impacto da infor- mação silábica sobre o desempenho final do sistema.

Depois de efectuados alguns testes preliminares com os vários algoritmos implementados pelo TiMBL, usando as configurações por defeito, foi seleccionado, com base nos resultados obtidos, o algoritmo TRIBL2. O sistema foi treinado com dois corpora, de dimensão distinta, o primeiro composto por 6.500 palavras e o segundo contendo cerca de 10.500.

Os resultados com os dois corpora de teste (teste 1 e teste 2) são apresentados na tabela 3.5. A partir da análise da tabela, conclui-se que tanto a inclusão informação silábica como o aumento do tamanho do corpus de teste (de 6.5 k para 10.5 k) têm um impacto positivo sobre os resultados, que se traduz numa diminuição da percentagem de erro ao nível das palavras (WER), dos fones (PER) e da MNLD.

É também importante notar que a taxa de erro nas palavras e nos fones (WER e PER) é ligeiramente mais baixa para o teste 1 do que para o teste 2. Acreditamos que esta diferença possa estar relacionada com as características intrínsecas dos dois corpora: enquanto o teste 1 é constituído

Tabela 3.5: Resultados do MBL (algoritmo TRIBL2) nos dois corpora de teste.

Sistema Teste 1 Teste 2

No. Treino Sílaba Algoritmo PER% WER% MNLD PER% WER% MNLD

s1 6.5k Não TRIBL2 5.01 27.26 0.056 6.68 44.43 0.063

s2 Sim TRIBL2 3.88 22.06 0.045 5.67 37.51 0.051

s3 10.5k Não TRIBL2 4.33 24.95 0.050 5.36 37.74 0.049

s4 Sim TRIBL2 3.76 21.63 0.043 4.79 32.36 0.042

por palavras de uso comum, do teste 2 fazem parte vocábulos mais longos, alguns deles de origem dita “erudita” ou pertencentes a domínios mais técnicos.

Sistema TBL

No desenvolvimento dos sistemas baseados em TBL, para além da questão da informação silábica, foram equacionados outros aspectos, nomeadamente a importância do ponto de partida da aprendiza- gem. Como vimos, este último pode variar bastante no que respeita ao nível de complexidade. Para o caso específico da conversão G2P do PE, como base para o treino do TBL, foram consideradas duas alternativas distintas: 1) uma tabela de conversão grafema-fone básica, com as correspondências mais comuns entre os grafemas e os fones; 2) o sistema de transcrição ortográfico-fonética, baseado em regras manuais, descrito anteriormente (secção 3.2.3.1).

Depois de treinado, o sistema foi testado com os mesmos corpora já mencionados (teste 1 e teste 2), tendo em conta as várias variáveis em estudo: informação silábica, dimensão do corpus de treino, ponto de partida para a aprendizagem. Os resultados constam da tabela 3.6.

Tabela 3.6: Resultados do TBL com as duas listas de teste (teste 1 e teste 2), em função da dimensão do corpus de treino, do ponto de partida da aprendizagem (tabela ou regras) e da informação silábica.

Sistema Teste 1 Teste 2

No. Treino P. Partida Sílaba PER% WER% MNLD PER% WER% MNLD

s5 6.5k Tabela não 7.90 43.00 0.088 8.66 56.07 0.091 s6 sim 5.09 27.73 0.057 5.15 36.48 0.055 s7 Regras não 5.42 29.23 0.061 5.94 38.33 0.063 s8 sim 4.85 26.96 0.055 4.65 33.18 0.051 s9 10.5k Tabela não 6.71 37.22 0.077 7.04 48.23 0.076 s10 sim 4.26 23.74 0.049 4.03 29.34 0.043 s11 Regras não 4.58 25.13 0.053 5.01 33.56 0.055 s12 sim 4.19 23.74 0.049 3.89 28.42 0.043

Tal como no sistema baseado em MBL, a primeira conclusão a reter da tabela prende-se com a diminuição da taxa de erro (WER, PER, MNLD), em consequência da introdução no sistema

Tabela 3.7: Resultados da abordagem WTA, em que os dois métodos data-driven (TBL e MBL) se combinam com o sistema baseado em regras manuais.

Sistema Teste 1 Teste 2

No. Treino Sílaba PER% WER% MNLD PER% WER% MNLD

s13 6.5k não 3.36 19.16 0.038 6.53 44.44 0.061

s14 sim 2.77 16.23 0.032 3.13 22.91 0.027

s15 10.5k não 2.79 16.42 0.032 5.30 38.20 0.049

s16 sim 2.66 15.75 0.031 2.91 21.37 0.025

de informação acerca dos limites silábicos e da utilização de um corpus de treino de maior dimensão. Quanto à questão do ponto de partida para aprendizagem do TBL, verifica-se que o desem- penho do sistema é, em geral, superior, quando a base para o treino são as regras manuais. O ponto de partida do TBL parece ainda ter um influência determinante no grau de impacto da informação si- lábica sobre o desempenho do sistema G2P. Com efeito, embora a introdução de informação silábica resulte sempre numa diminuição da percentagem de erro, este efeito é muito mais evidente, quando a base para a aprendizagem é uma tabela de correspondências.

Sistemas híbridos

O primeiro dos sistemas híbridos desenvolvido resulta da combinação dos dois sistemas de auto- aprendizagem acima descritos (MBL e TBL) com a abordagem baseada em regras, apresentada na secção 3.2.3.1.

Neste sistema, auto-intitulado “Winner Take All” (WTA), cada palavra é processada, em paralelo, pelos dois métodos automáticos e pelo sistema baseado em regras linguísticas, sendo que, no final, é retida a decisão da maioria.

Os resultados da avaliação deste sistema encontram-se na tabela 3.7.

Olhando para os resultados tabela 3.7, mais uma vez se assiste a uma diminuição da taxa de erro, em virtude da utilização de informação silábica e do aumento do tamanho do corpus de treino. Destacamos os resultados obtidos para o teste 2 (corpus de treino de 6.5k), em que a inclusão de informação silábica se traduz numa diferença de21.53 %, para a WER, e de 0.034, para o MNLD, entre o sistema 13 e o 14.

Com o intuito de aprofundar estes dados e de apurar as contribuições individuais de cada sistema para a decisão do WTA, foi calculado o número de vezes em que 1) a concordância entre os três sistemas foi total; 2) a decisão final resulta do acordo entre dois sistemas, sejam eles quais forem; 3) não houve qualquer tipo de acordo.

Em termos globais, os resultados indicam que a percentagem de concordância entre os três sistemas é superior (cerca de93%), quando a informação silábica está disponível. Caso contrário,

Tabela 3.8: Resultados da combinação em cascata dos dois métodos automáticos, usando o MBL como ponto de partida para a aplicação de TBL.

Sistema Teste 1 Teste 2

Treino Treino

No. MBL TBL Sílaba PER% WER% MNLD PER% WER% MNLD

s17 6.5k 4k não 17.16 60.38 0.178 17.93 74.50 0.185

s18 sim 3.83 21.86 0.044 4.71 33.56 0.049

s19 4k 6.5k não 17.33 59.51 0.182 18.67 74.89 0.194

s20 sim 4.49 25.81 0.051 4.49 33.41 0.048

i.e., havendo apenas informações relativas aos grafemas e respectivos contextos, a decisão do WTA decorre, na maioria das vezes, do acordo entre o sistema de regras e o MBL.

Um outro aspecto que merece ser salientado diz respeito à percentagem de des(acerto) da decisões do WTA. Verificou-se que, quando a informação silábica está acessível e existe, ao mesmo tempo, uma correspondência absoluta entre as saídas dos três sistemas, a percentagem de erro ronda os0.6 %. Contudo, em alguns casos, nomeadamente quando não há qualquer tipo de acordo entre os sistemas e é seleccionado o output do MBL, esta mesma percentagem ascende aos78 % .

O segundo sistema hibrído - e último sistema desenvolvido - consiste numa combinação em cascata dos dois métodos de auto-aprendizagem (MBL e TBL), explorando as funcionalidades básicas do TBL, enquanto método que “aprende” regras de correcção. Os resultados das experiências com este sistema constam da tabela 3.8.

Os resultados seguem, mais uma vez, a tendência relativa à informação silábica e dimensão do corpus de treino e, em geral, são muito inferiores aos obtidos a partir da abordagem WTA.

Claramente, o TBL não só não é capaz de corrigir os erros gerados pelo MBL, como é responsável pela introdução de novos erros. Com efeito, o desempenho da combinação do MBL com o TBL é inferior à obtida pelo MBL isoladamente.

Ainda assim, parece preferível usar um maior volume de dados para treinar o MBL do que o TBL.