Tradução automática
9.2 Avaliação de traduções automáticas com métricas hierárquicas
A qualidade de traduções automáticas também foi avaliada com medidas hierárqui- cas (141). As medidas hierárquicas foram calculadas para cada vértice da rede fonte (vf) e
da rede alvo (va), com os níveis hierárquicos variando de h = 1 até o tamanho máximo
das redes analisadas. Cada vértice na rede fonte e alvo foi representado pelas seguintes matrizes Φx
v = {uhj}, onde x representa a rede fonte (f) ou a rede alvo (a), h representa o
nível hieráquico e j representa a j-ésima métrica obtida para o vértice v. Dado um vértice
i da rede fonte, a relação binária Ψ : i 7→ j é definida como
Ψh(i) = j | j ∈ rede alvo, (9.4)
considerando que o erro do mapeamento i 7→ j é mínimo, segundo um dado critério. Matematicamente, o erro do mapeamento entre os dois vértices i e j é dado por
ǫh(i, j) = X
m
φfi(h, m) − φaj(h, m)2 (9.5) e o erro acumulado considerando todos os níveis é
ǫAC h (i, j) = X h X m φfi(h, m) − φa j(h, m) 2 . (9.6)
A cada passo, o vértice j na rede alvo escolhido com o melhor mapeamento do vértice i é aquele que satisfaz a relação
ˆj(R)(i) = arg min
j X m φfi(h, m) − φaj(h, m) 2 , (9.7)
9.2. Avaliação de traduções automáticas com métricas hierárquicas 189
caso apenas um nível seja considerado. Caso contrário, ˆj(R)(i) = arg min
j X h X m φfi(h, m) − φaj(h, m) 2 . (9.8)
Para evitar que as métricas assumindo maiores valores absolutos apresentem uma maior contribuição na definição de ǫ e ǫAC, cada componente da soma é normalizada. A
acurácia do alinhamento é calculada a partir da comparação do alinhamento obtido com redes complexas ˆj(R)(i) e com o alinhador automático LIHLA, ˆj(L)(i):
Th = M−1 M X
i=1
δ(ˆj(R)(i), ˆj(L)(i)), (9.9)
onde M na equação 9.9 refere-se ao número de vértices na rede fonte e δ é calculado como
δ(x, y) = 1 se x = y, 0 caso contrário.
Note que a abordagem descrita é conceitualmente fundada no princípio de que os vértices correspondentes nas redes originais e traduzidas tendem a possuir o máximo de similaridade contextual, calculada pelas medidas adotadas. Neste contexto, as medidas hierárquicas são particularmente interessantes pois elas fornecem uma caracterização mais detalhada dos padrões de conectividade ao redor de cada vértice (150).
A motivação para se utilizar a taxa de acerto com medidas hierárquicas vem dos resultados descritos em (150), onde o uso de medidas hierárquicas permitiu um melhor mapeamento da rede de proteínas do organismo eucariota S. Cerevisiae (151). Nos experimentos realizados para o par Português-Espanhol, 50 textos foram utilizados, sendo o Português a língua fonte e as traduções sendo realizadas por humanos e pelos sistemas Apertium e Intertran. Similarmente aos experimentos descritos na seção anterior, o mapeamento de referência foi obtido a partir do alinhador automático LIHLA.
A Figura 9.6 mostra a taxa de acerto obtida na associação do vértice correto no texto alvo que corresponde a uma dado vértice no texto fonte. Os valores são consideravelmente altos, considerando que uma associação aleatória levaria a uma taxa aproximada de 1/M ≃ 1/500 ≃ 0, 2% (chance de se encontrar o vértice correto entre M = 500 vértices da rede alvo em uma escolha aleatória). O mapeamento foi particularmente preciso para o tradutor de alta qualidade (Apertium). Além disso, analogamente ao estudos realizados com a rede do organismo S Cerevisiae, a precisão aumentou para os primeiros níveis hierárquicos, antes de se manter constante. Quando muitos níveis hierárquicos foram considerados, houve influência de ruídos relacionados com informações não correlatas. Consequentemente, a acurácia diminuiu, conforme ilustra a Figura 9.6.
NÍVEL HIERÁRQUICO NÍVEL HIERÁRQUICO 1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 9 10 0,10 0,15 0,20 0,25 0,30 0,10 0,15 0,20 0,25 0,30 TAXA DE ACER TO TAXA DE ACER TO APERTIUM INTERTRAN
Figura 9.6– Taxa de acerto no mapeamento do vértice fonte (Português) no vértice alvo (Espanhol) em função do nível hierárquico aplicado para cada métrica. Uma maior taxa de acerto foi encontrada para o Apertium.
Tabela 9.4– Matriz de confusão para método hierárquico
Google Intertran Classificada como (←)
88% 12% Google
20% 80% Intertran
também observada para o par Português-Inglês, sendo que os textos alvos em Inglês foram obtidos com os sistemas de tradução automática do Google e Intertran. Em cada caso, 50 textos com aproximadamente 500 palavras distintas foram utilizados. A taxa de acerto obtida neste caso não foi tão alta como no caso dos pares Espanhol-Português, novamente refletindo as diferenças estruturais mais evidentes no par Inglês-Português, o que impede a preservação dos vértices na rede alvo. Além disso, a distinção entre os sistemas de tradução automática não foi tão evidente, como pode ser inferido a partir de uma inspeção visual na Figura 9.7.
A capacidade para distinguir entre diferentes tipos de tradução também foi verificada com métodos de aprendizado de máquina em conjunto com as medidas hierárquicas em níveis superiores. Em especial, altas taxas de acerto foram encontradas na distinção das traduções Espanhol-Português (98%) e Inglês-Português (84%) com o método C4.5. A matriz de confusão da classificação do par Inglês-Português é ilustrada na Tabela 9.4.
9.3. Conclusões 191 GOOGLE 0,00 0,02 0,04 0,06 0,08 TAXA DE ACER TO 0,10 0,12 0,14 NÍVEL HIERÁRQUICO 2 4 6 8 10 0,00 0,02 0,04 0,06 0,08 TAXA DE ACER TO 0,10 0,12 0,14 NÍVEL HIERÁRQUICO 2 4 6 8 10 INTERTRAN
Figura 9.7– Taxa de acerto no mapeamento do vértice fonte (Português) no vértice alvo (Inglês) em função do nível hierárquico aplicado para cada métrica.
vértice) foi suficiente para distinguir traduções de qualidade distintas. Mesmo quando as medidas foram calculadas com 10 níveis hierárquicos, os resultados obtidos com métodos de reconhecimento de padrão indicaram que os primeiros 3 ou 4 níveis já são suficientes para gerar as maiores taxas de acerto no mapeamento.
9.3 Conclusões
Neste capítulo exploramos diversas medidas de redes complexas para avaliar a qualidade de traduções automáticas. As melhores distinções foram obtidas com as medidas de grau, caminhos mínimos e coeficiente de aglomeração. As medidas de coeficiente cíclico e informação de busca apenas foram úteis quando utilizadas em combinação com outras métricas. Em especial, a tendência de preservação destas medidas parece não depender do tipo de tradução. Os métodos de reconhecimento de padrões foram capazes de distinguir traduções humanas de automáticas com alta precisão para o par Português-Espanhol, e com uma precisão menor para o par Português-Inglês.
As estratégia desenvolvidas nesta tese se diferenciam das estratégias tradicionais que usam similaridade lexical para distinguir traduções automáticas de humanas. Em trabalhos relacionados, como o desenvolvido por Patel e Radev (152), traduções manuais
e automáticas foram discrimadas a partir do uso de medidas de similaridade tradicionais, como a distância Levenshtein (136) e BLEU (138). Neste sentido, nossos resultados podem ser entendidos como complementares às descobertas de Patel e Radev, já que mostramos que quando informações topológicas (medidas da rede) e léxicas (alinhamento lexical) são combinadas, não apenas traduções humanas e automáticas podem ser diferenciadas umas das outras, mas também traduções automáticas de qualidades distintas.
Dois resultados importantes puderam ser obtidos durante a aplicação de níveis hierár- quicos na análise de redes complexas representando textos. Primeiramente, observamos que os primeiros 3-4 níveis hierárquicos são suficientes para aperfeiçoar a habilidade de mapeamento da rede fonte na rede alvo. Também verificamos que o uso da taxa de acerto no mapeamento forneceu novos atributos que podem ser utilizados em sistemas de avaliação de qualidade. Os resultados obtidos neste capítulo sugere a possibilidade de associação dos nossos métodos com outros métodos tradicionais, já que a natureza dos atributos são complementares. De fato, os bons resultados obtidos na avaliação da qualidade mostrou, como prova de princípio, que a topologia das redes é útil para inferir a qualidade de traduções. Dessa forma, a abordagem proposta nesta tese pode ser estendida para um número maior de línguas. Possivelmente, nossa abordagem também será útil para avaliar traduções humanas.
193