Ajustamento da noção de qualidade

O conceito de “qualidade” é sempre muito sensível no mundo da tradução. Antes de podermos refletir sobre os problemas que sugiram neste âmbito, consideremos uma definição de qualidade cuja apresentação e comentário podem ajudar-nos a atingir conclusões mais pertinentes, tendo em conta que neste projeto se aplicaram também técnicas de TA.

“[…] definition of quality found in the ASTM International standard F2575 on quality assurance in translation (ASTM 2006): degree of conformance to an agreed-upon set of […] specifications. Immediately, we can conclude that by this definition quality is important, since it is defined in terms of what all parties have agreed to be important and have formalized in written specifications. This is far from an absolute definition of quality. Instead, it is a flexible definition relative to a particular translation project. Theoretically, this definition is consistent with Functionalism in translation studies. Despite this flexibility, let us examine three specifications that are commonly used: coherence, consistency, and accuracy. A translation that has no textual coherence is very difficult to read. A translation that does not use key terms consistently is likely to be confusing. And a translation that is factually inaccurate or departs from standard terms, even if the non-standard terms are used consistently, is often unacceptable. A perhaps astounding fact is that neither TM nor MT guarantees these properties in a translation. The larger the bitext corpus, the more variety will be found in translation units retrieved for a chunk of text” (MELBY, 2006:5).

MELBY (ibidem:4) começa, desde logo, por nos alertar para o maior desafio que os sistemas integrados como os que se utilizaram neste projeto representam: o desafio da qualidade. De facto, não podemos considerar que a qualidade do que é aplicado pelo sistema de TA é uma “boa” qualidade se pensarmos nesta como um nível de elevadas características formais, conceptuais, contextuais, tradutológicas ou outras que normalmente se atribuem ao resultado de uma boa tradução efetuada por um bom profissional humano com sólidos conhecimentos sobre uma determinada área. Subscrevemos na totalidade a opinião de KOEHN quando afirma que “Except for constraint settings with a very limited domain, translation quality by trained humans is much higher than automatic translation methods […] machine translation currently plays at most a supportive role” (KOEHN, 2010:538).

Verificamos ainda, pelas considerações tecidas por MELBY (ibidem), que o conceito de qualidade se tornou relativo a outras condicionantes, dependendo nomeadamente daquilo que é acordado entre os intervenientes em termos de especificações para um determinado objetivo. Com efeito, diferentes níveis de qualidade podem ser aceitáveis consoante a intenção, o objetivo, o destinatário e a função do texto a traduzir. Perante os resultados aplicados pelo sistema de TA utilizado neste projeto, considerámos a qualidade aceitável mediante a análise da classificação BLEU que lhe foi atribuída (conforme já descrito neste relatório). Assim, não sendo essa uma qualidade aceitável para publicação, manifestou-se uma boa qualidade para pós-edição, embora fosse inevitável questionar e conferir muitos dos resultados sugeridos pela TA.

Além disso, outra das condicionantes para a definição de qualidade é a sua relação com questões económicas. HUTCHINS alerta-nos precisamente para a natureza imperfeita em termos de qualidade de uma tradução e a sua relação com situações práticas que envolvem uma relação de custo/benefício:

“What is still often forgotten (particularly by new researchers) is that MT is a practical task, a means to an end, and that translation itself (automated or not) has never been and cannot be ‘perfect’; there are always other possible (often multiple) translations of the same text according to different circumstances and requirements. MT can be no different: there cannot be a ‘perfect’ automatic translation. The use of a MT system is contingent upon its cost effectiveness in practical situations” (HUTCHINS, 2001:5).

Num estudo realizado nos E.U.A., no âmbito do nível limitado de proficiência em inglês de uma faixa significativa da população deste país, concluiu-se que “The results indicate that machine translation plus post-editing may be an effective method of producing multilingual health materials with equivalent quality but lower cost compared to manual translations” (KIRCHHOFF et al., 2011:473). Portanto, também neste campo a qualidade relativa do que é aplicado por um determinado sistema de TA pode ter influência a nível económico e de exequibilidade de investimento na divulgação de informações à população que delas possa necessitar.

Outra das questões pertinentes a destacar é que, considerando que a fase de aplicação do sistema de TA visa precisamente acelerar e facilitar a fase mais direta da tradução, para que o tradutor humano possa concentrar-se em pormenores e questões inexploráveis pela máquina para atingir os elevados níveis de características acima enunciadas, é importante que haja uma “qualidade aceitável” do que é aplicado pela máquina para que o trabalho de pós-edição pelo tradutor humano exija o menor esforço possível. Efetivamente, “The time necessary to post-edit bad quality translations can be the same or even longer than that of translating without an MT system. […] it is therefore crucial […] to prevent bad quality translations from being post-edited within the translation workflow” (SPECIA et al., 2010:1). Neste encadeamento de ideias, consideremos o conceito de “suficientemente bom” referido por PYM, que alerta, contudo, para o facto de as condições de sucesso poderem ter de ser “defined or redefined in relation to the effort expended” (PYM, 2003:3.6). Assim, se o nível de qualidade obtido pela TA não for “suficientemente bom” para exigir um esforço de tradução reduzido por parte do tradutor, deixará porventura de ser rentável e passa antes a ser um custo em vez de um benefício. Foi neste contexto que a qualidade do aplicado pelo sistema de TA representou uma problemática que exigiu uma cuidada análise no sentido de perceber se a forma mais rentável seria recorrer a uma tradução de raiz ou usufruir e rentabilizar o que tinha sido aplicado pela máquina. É partindo destes pressupostos que se desenvolve a ideia do pós-editor enquanto agente cuja função é “melhorar a qualidade da tradução” automática,

recorrendo não só a ferramentas de TAC, mas também e complementarmente à pós-edição da tradução automática que seja aplicada por um sistema de TA.

Como complemento a estas funcionalidades da TA, a utilização de memórias de tradução, glossários, bases de dados terminológicas e outros recursos auxiliaram nesta obtenção de qualidade, que deverá distinguir a tradução humana e assistida por computador daquela que é meramente automática. A abordagem do pós-editor vai muito para além da mera aplicação de uma TA, pois poderá valer-se de outros recursos: “with the use of a good user interface, an MT system can accelerate and simplify the process of translation” (ODCHÁZEL et al., 2009:3).

No que se refere à avaliação do tipo de qualidade, COMELLES et al. alertam-nos para os fenómenos linguísticos a que devemos estar atentos: “When approaching MT evaluation from a linguistic point of view, there are different linguistic phenomena which should be taken into account […] these phenomena could be classified into lexical, phrase and clause level and that they affected both syntax and semantics” (COMELLES et al., 2011:22). Em termos de léxico, estes autores evidenciam a formação de palavras e lemas, bem como as relações semânticas e lexicais, como a sinonímia, a hiperonímia e a hiponímia, que tivemos em consideração na nossa abordagem de pós-edição e de que já demos conta na nossa análise de problematização. As informações morfológicas são também importantes, assim como as relações de dependência entre os constituintes de uma frase (estes foram critérios tidos em conta na nossa problematização). A adequação e a fluência discursiva foram igualmente tópicos abordados neste relatório e COMELLES

et al. incluem-nos nesta necessidade de avaliação de qualidade (cf. COMELLES et al.,

ibidem).

Também o sistema de classificação de distância lexical BLEU, já mencionado em capítulos anteriores, foi utilizado como ponto de partida para uma definição de “qualidade aceitável” que tornou passível de pós-edição aquilo que se aplicou pela ferramenta de TAE. De facto, nos casos em que se aplicou a TA, foi possível obter a realização de parte do trabalho “mecanicamente”, para que maior atenção fosse dada à pesquisa, aos pormenores e à obtenção de padrões elevados requeridos para os efeitos deste tipo de tradução.

Como vemos, foi necessário repensar o conceito de qualidade; considerando todos estes critérios de avaliação, acreditamos ter potenciado a boa qualidade da TA e proporcionado uma qualidade superior com a intervenção humana, ao ter procedido a uma pós-edição atenta e baseada nos pontos de referência que COMELLES et al. nos indicam e que um bom trabalho deve apresentar. Com efeito, não podemos esquecer-nos

ainda que “Effective communication of health-related information is a key component of health promotion” (KIRCHHOFF et al., 2011:473) e também aqui o profissional de tradução desempenha um papel social importante na veiculação de informações com rigor e qualidade. A execução mecânica e automática de tarefas mais diretas e morosas da tradução, executadas por uma ferramenta de TA que produza resultados aceitáveis, pode libertar muito tempo e recursos para que o profissional de tradução cumpra este requisito social e, por extensão, de qualidade.

MELBY ajuda-nos a concluir a questão da qualidade com estes desafios:

“The future is ours: do we want to be viewed more as file clerks afraid of being replaced by document management systems or as confident professionals who are gradually being freed from the drudgery of detailed, mechanical text manipulation so that they can focus on the bigger picture of quality assurance in information management?” (MELBY, 2006:5).

Neste projeto e enquanto profissionais de tradução, a opção foi no sentido de não nos submetermos ao sistema nem ao medo de suplantação dos profissionais de tradução pela máquina, mas antes responder ao segundo desafio, com o intuito de conferir qualidade ao produto final, com uma visão mais ampla e dispondo de mais tempo para dedicar ao aprimoramento do produto final.