Ferramentas de Apoio à Escrita de Textos
4.2.1 O Revisor Gramatical ReGra
Na década dos 90, foram vários os pesquisadores interessados em criar um revisor gramatical para o português do Brasil. Essas iniciativas culmina- ram nos seguintes corretores para o tratamento gramatical da língua portu- guesa do Brasil: o DTS15 (Dts-Software-Ltda, 1995), a Gramática Eletrônica
(Informática, 1999), o revisor SOS (Moura, 1996; Lins et al., 1999) e o ReGra (Martins et al., 1998), comercializado nos produtos RLP Itautec16 e Microsoft Office 2000. Destes corretores, atualmente, o único que se mantem no mer- cado é o ReGra que coexiste com outros corretores, tais como CoGrOO17, que
é o corretor gramatical acoplado ao BrOffice.org; o FLiP18, que é um pacote
de ferramentas de revisão e auxílio à escrita para o português europeu e bra- sileiro, compatível com LibreOffice e OpenOffice.org e o Revisor Gramatical19.
Apesar da existência dessas três últimas ferramentas, o ReGra, segundo Ri- beiro (2012) é o percursor de todo o desenvolvimento dos estudos ligados ao processamento computacional do português do Brasil e desde o ano 2000 está incorporado na ferramenta Office, que é a mais vendida no Brasil e no mundo, o que, o converte em um revisor robusto e estável. Embora o revisor ReGra não foi criado para auxiliar os aprendizes de português na produção escrita dessa língua, atualmente é a ferramenta mais utilizada pelos hispanofalantes com essa finalidade. Por isso, merece destaque nesta pesquisa.
O revisor ReGra foi construído pela equipe do NILC, na forma de regras compiladas. Esse recurso apresenta um padrão de eficiência e robustez de destaque para o tratamento da língua portuguesa falada no Brasil. O revisor conta com mais de 1000 regras sintáticas e seu bom desempenho deve-se, em grande parte, ao fato da validação e construção das regras terem sido baseadas na compilação de um grande córpus de textos de diversos domínios que contém mais de 39 milhões de palavras. O ReGra conta também com um léxico com mais de 1.5 milhão de entradas, incluindo nomes próprios, acrônimos e abreviações (Nunes et al., 1996; Pinheiro et al., 2001; Hasegawa et al., 2002), com informações morfossintáticas sobre essas entradas. Desde sua criação houve trabalhos de aumento do seu dicionário e seu léxico e, no ano 2009, foi incorporada as regras referentes à nova ortografia da língua portuguesa. 15http://www.dts.com.br/ 16http://www.itautec.com.br/produtos/soft/rlp/ 17http://www.broffice.org/ projetos/cogroo 18http://www.flip.pt/ 19http://www.katalogo.com.br/Produtos/ IdProduto=CAT12807-7descricao
O ReGra é dividido em quatro módulos e trata diversos tipos de erros que vão desde a escrita incorreta das palavras, erros de digitação e até imperfei- ções quanto à estruturação das sentenças de acordo com as normas de escrita da língua portuguesa. O sistema também produz medidas estatísticas do texto sendo analisado. A seguir, são explicados brevemente cada um dos módulos:
Módulo Estatístico: Oferece uma análise estatística do texto, indicando
aos escritores um conjunto de informações, tais como número total de pará- grafos, sentenças, palavras, letras, número médio de sentenças por parágra- fos, de palavras por sentenças e de letras e símbolos por palavra.
Módulo Mecânico: Este módulo é responsável por erros que aparecem du-
rante a digitação, tais como escrita incorreta de palavras ou símbolos, pala- vras repetidas em uma sentença, delimitadores desbalanceados, capitalização incorreta, uso de aspas e símbolos de pontuação, entre outros.
Módulo Linguístico: Este módulo está dividido em três partes: a de revi-
são pontual, a de análise sintática e a de revisão gramatical. A revisão pontual tenta identificar erros frequentes que são facilmente detectados por meio de padrões pré-definidos. Nestes problemas estão: uso da crase, uso de prefixos, gênero das palavras, posicionamento dos pronomes, uso das preposições em expressões, uso do particípio de alguns verbos e verificação da pontuação em expressões. Após o etiquetamento morfossintático de todas as palavras e uma vez corrigidos os desvios mais comuns pelas regras pontuais, o parser parte para a identificação da estrutura sintática das sentenças. O parser checa erros mais complexos, tais como relações de regência e concordância, que dependem das funções sintáticas. O parser empregado na análise sintática utiliza uma Gramática Livre de Contexto com técnicas de restrições baseadas em relaxamento (relaxation constraints-based techniques) para permitir o casa- mento de sentenças não gramaticais. O parsing é feito utilizando uma tabela de predições de probabilidades sintáticas. Se as regras corretas não casarem, o parser procura um casamento com estruturas supostamente incorretas; isso é feito com ajuda das técnicas de relaxamento. A análise gramatical intercala o parsing e a checagem que consiste na aplicação de regras de concordância nominal e verbal entre os termos da sentença (Bonfante e Nunes, 2000).
O corretor gramatical ReGra também trata problemas específicos e de difícil solução na língua portuguesa. Um deles é o tratamento da ambiguidade ca- tegorial. Um exemplo claro deste fenômeno é o uso da partícula “se”pronome e “se”conjunção, por ser esta uma palavra empregada frequentemente nos textos da língua portuguesa, sendo a ela atribuídas diversas categorias sintá-
ticas.
Hasegawa et al. (2002) apresenta uma avaliação das principais caracterís- ticas incluídas na versão final do revisor gramatical ReGra (Maio/2002). Após a comparação do desempenho desta última versão com as versões anterio- res, o autor confirma o aumento da precisão do revisor gramatical, ao mesmo tempo em que atualmente identifica alguns erros que o revisor não conseguia tratar. Alguns desses problemas são listados a seguir, junto com exemplos apresentados por Hasegawa et al. (2002).
• Acentuação Gráfica
– 1- V’a para casa e n ao volte mais aqui. (Inadequado) –> Vá para
casa e não volte mais aqui. (Adequado)
– 2- Canta-lo-ei. (Inadequado) –> Cantá-lo-ei. (Adequado)
– 3- Tu vais compra-lo. (Inadequado) –> Tu vais comprá-lo. (Adequado)
• Uso do Adjetivo
– 4- O paciente necessitou de uma intervenção médica-cirúrgica. (Ina-
dequado) –> O paciente necessitou de uma intervenção médico-cirúrgica. (Adequado)
– 5- Ela usa vestidos cinzas. (Inadequado) –> Ela usa vestidos cinza.
(Adequado)
– 6- Os rapazes estavam usando camisas verdes-águas. (Inadequado)
–> Os rapazes estavam usando camisas verde-água. (Adequado) • Uso de Artigos e Determinantes
– 7- A Sua Majestade encontra-se descansando. (Inadequado)–> Sua
Majestade encontra-se descansando. (Adequado)
– 8- Uma certa vez, o encontrei na rua. (Inadequado) –> Certa vez o
encontrei na rua. (Adequado)
– 9- Ele está errado ao meu ver. (Inadequado) –> Ele está errado a meu
ver. (Adequado)
• Concordância entre Modos e Tempos
– 10- Eles desejariam que as meninas ficarem. (Inadequado) –> Eles
– 11- Ele talvez vai. (Inadequado) –> Ele talvez vá. (Adequado)
• Inadequação Lexical
– 12- Indústrias de automóveis (Inadequado)–>Indústrias de automó-
vel (Adequado)
– 13- Departamento pessoal (Inadequado) –> Departamento de pessoal
(Adequado) • Regência Nominal
– 14- Bacharel de Direito (Inadequado) –> Bacharel em Direito (Ade-
quado)
– 15- Isto é fácil de se resolver. (Inadequado) –> Isto é fácil de resolver.
(Adequado) • Regência Verbal
– 16- Os pedidos são entregues a domicílio. (Inadequado) –> Os pedi-
dos são entregues em domicílio. (Adequado)
– 17- Vamos dar entrada no processo amanhã. (Inadequado) –> Vamos
dar entrada ao processo amanhã. (Adequado)
Após a última versão do revisor gramatical ReGra, reportada por Hasegawa et al. (2002), o sistema contínua sendo aprimorado pela empresa Techno Soft- ware20(parceria da Itautec), para oferecer um maior auxílio ao usuário. O fato
anterior é confirmado após verificar que a maioria dos erros comentados an- teriormente já são detectados e corrigidos pelo revisor. O ReGra, atualmente conhecido como o corretor gramatical do Word 2010 para o português, não conseguiu identificar os problemas apresentado nos itens 3, 4, 6 e 16, mos- trando que ainda há problemas relacionados com acentuação gráfica, uso de adjetivo, uso de substantivos compostos e regência verbal que não apontados pela ferramenta.
Apesar disso, atualmente a ferramenta mais utilizada para apoiar a es- crita em português brasileiro é o corretor gramatical ReGra, inclusive entre os aprendizes do português. No entanto, essa ferramenta não foi construída considerando os erros dos aprendizes, por isso, não está preparada para tra- tar os problemas que esses usuários enfrentam, aceitando inúmeros erros produzidos pelos aprendizes. Muitas vezes, a ferramenta consegue apontar o
erro, mas devido ao fato do erro ser produzido por uma interferência da língua nativa, o ReGra não consegue oferecer uma correção adequada.
4.2.2
Avaliação da Tarefa de Detecção de Erros Gramaticais
Inúmeros esforços aparecem na literatura para detectar e corrigir erros gramaticas, sendo várias as abordagens utilizadas para avaliar os métodos propostos. Além disso, há muita disparidade nos conjuntos de dados utiliza- dos e os tipos de erros tratados. Esses fatos, influenciam na difícil tarefa de mensurar o desempenho dos sistemas, sendo mais difícil ainda comparar um sistema com outro (Chodorow et al., 2012; Leacock et al., 2010). Desta forma, ainda não existe um consenso sobre qual é a melhor alternativa para avaliar sistemas de detecção e correção de erros gramaticais.
A precisão, cobertura e F-média têm sido as medidas usadas, tradicional- mente, para avaliar sistemas de detecção e correção de erros. Para ilustrar como elas são calculadas emprega-se como exemplo a tarefa de detectar erros de uso da vírgula, apresentado por Chodorow et al. (2012). Imaginem que as vírgulas foram eliminadas de um texto original e o sistema precisa predizer onde colocá-las novamente. Desta forma, tem-se um texto original, em que aparecem as vírgulas e o texto em que elas foram eliminadas, e a comparação entre a saída do sistema e texto original (gold standard) é representada como na tabela de contingência (Tabela 4.2).
Na tarefa, a presença da vírgula é etiquetada como a classe positiva, en- quanto a ausência dela é a classe negativa. As instâncias em que o sistema e o gold standard coincidem na presença da vírgula são consideradas verdadei- ros positivos (VP); quando ambos indicam que não deve aparecer a vírgula são verdadeiros negativos (VN); quando o sistema indica o uso da vírgula e o gold standard não, são falsos positivos (FP) e quando o sistema indica que a vírgula não deve ser usada e o gold standard aponta que deve, são falsos negativos. O cálculo da precisão, cobertura e F-média é realizado considerando-se os valo- res da Tabela 4.2 como aparece nas Equações 4.1, 4.2 e 4.3, respectivamente.
Tabela 4.2: Avaliação de sistemas de detecção e correção de erros gramaticais
Gold Standard
Presença Vírgula Ausência Vírgula
Predição Presença Vírgula VP FP
Precisão = V P V P + F P (4.1) Cobertura = V P V P + F N (4.2) F − media = 2 ∗ P ∗ C P + C (4.3)
A precisão mede a quantidade de vezes que o sistema aponta um erro quando realmente é um erro. Por outro lado, a cobertura representa a propor- ção de erros que foram detectados. A F-média é a média harmônica entre a precisão e a cobertura. Porém, Leacock et al. (2010) recomendam não relatar os resultados da avaliação considerando a F-média, porque ela dá o mesmo nível de importância para a precisão e a cobertura. Vários pesquisadores consideram que em um sistema de detecção de erros a precisão é mais im- portante que a cobertura, pois temem um efeito adverso sobre o aluno se o sistema produz um falso positivo por sinalizar uma construção bem formada como um erro.
O gold standard utilizado para avaliar os sistemas pode ser criado de diver- sas formas. Uma das formas mais simples é empregar textos produzidos por nativos, que têm poucos erros, para avaliar os métodos (Leacock et al., 2010). Esse tipo de recurso é fácil de achar e há diversos disponíveis na Web. Nessas avaliações acontece uma classificação binária: correto ou incorreto. Quan- tificam um erro quando foi predito um token diferente ao achado no texto, caso contrário a predição é correta. Uma deficiência dessa avaliação é que unicamente é aceito como correto o termo que aparece no texto; sabe-se que a correção pode ter diversas formas. Essa avaliação é totalmente automática e estima-se a precisão instantaneamente. Avaliar usando textos sem erros permite comparar os sistemas, porém o fato de que o contexto ao redor de um erro seja livre de erros, coisa que não acontece em textos de aprendizes, influencia positivamente no cálculo da precisão. Seguindo essa linha, a ava- liação em textos livres de erros diz pouco sobre o comportamento do sistema em textos de aprendizes.
Outra forma de criar o gold standard é considerando textos produzidos por aprendizes, previamente anotados com todas as categorias de erros. O principal desafio dessa abordagem é a compilação do córpus de aprendizes e a anotação manual das diversas categorias de erros e suas correções. A maioria dos córpus de aprendizes com anotação, não são públicos ou são pequenos,
de tal forma que não oferecem uma análise estatística válida.
Para anotar erros em um córpus de aprendizes, em vários casos, é neces- sário identificar as intenções do escritor para categorizar o erro e oferecer a melhor correção. Para diminuir as ambiguidades nesse processo recomenda- se a participação de mais de um anotador. A concordância entre os anotadores é uma medida que indica quão difícil é a tarefa e, além disso, é um teste para estimar a confiabilidade da anotação. Para avaliar a concordância entre os anotadores, é comum o uso do coeficiente Kappa. Atualmente, o único córpus anotado por mais de um anotador, com os valores de concordância Kappa é o córpus NUCLE (Dahlmeier et al., 2013).
Outro grande desafio da avaliação em córpus de aprendizes é que a tarefa não consiste em classificar o erro em correto ou incorreto. Nos textos dos aprendizes aparecem diversas categorias de erros (ortográficos, gramaticais, semânticos) e o sistema precisa identificar essas categorias para conseguir oferecer a sugestão correta. Além disso, no contexto do erro identificado po- dem aparecer outros erros, fato que dificulta a tarefa de correção do texto.
Por outro lado, quando disponível um córpus de aprendizes, mas que não foi anotado com os erros, a avaliação consiste em verificar manualmente os erros detectados. Esta abordagem foi utilizada por Gamon et al. (2008) que, evitando a anotação das diversas categorias de erros, assim como suas corre- ções, propôs os critérios apresentados na Tabela 4.3 para avaliar a saída do sistema, que detectava e corrigia erros de artigos e preposições.
Tabela 4.3: Verificação das categorias de erros proposta por Gamon et al. (2008)
Categorias de verificação de erros propostas por Gamon et al. (2008) 1) correção é válida e corrige o problema
2) o erro é identificado corretamente, mas a sugestão não corrige o problema 3) o trecho original e a correção são igualmente adequados
4) um erro ocorre na sugestão ou perto dela, mas o erro é de outro tipo 5) há erros ortográficos na correção
6) a correção está errada, a original é correta
A verificação apresentada na Tabela 4.3 consegue levantar os mesmos as- pectos apontados na avaliação do sistemas em textos livre de erros (categorias 1 e 6), mas também consegue fazer uma análise de alguns pontos que compli- cam a tarefa de detecção de erros, como é caso da presença de erros nas su- gestões, ou a dificuldade em categorizar os diferentes tipos de erros. Embora a tarefa de verificação da saída do sistema seja uma tarefa custosa e demorada,
recomenda-se que mais de um anotador realize a verificação do sistema, para depois se estabelecer os níveis de concordância entre os anotadores e obter mais confiabilidade na análise.
4.3
Considerações Finais
Neste capítulo, foram apresentadas ferramentas e métodos com a finali- dade de dar apoio à escrita de aprendizes de uma língua estrangeira ou se- gunda língua. Os trabalhos apresentados mostraram que existem inúmeras abordagens para criar os auxílios e que a área de auxílio à escrita é uma área ativa, em que ainda muitos problemas precisam ser tratados.
Pela revisão da literatura, é possível confirmar que os métodos dedicados à identificação de erros englobam um conjunto de técnicas relacionadas com a criação de regras; métodos baseados em parser e métodos estatísticos basea- dos em córpus. Após conhecer as diferentes abordagens propostas, é possível confirmar que para construir um detector e/ou corretor de erros eficiente, precisa-se empregar recursos caros de desenvolver, como é o caso de parser robustos, léxicos com informações morfossintáticas, estruturas taxonômicas, reconhecimento de entidades nomeadas, etc.. Além disso, é necessário com- pilar córpus de aprendizes que mostrem os diferentes tipos de erros, sendo um recurso útil para treinar e avaliar os métodos automáticos. Caso um cór- pus de aprendizes não esteja disponível pode-se utilizar córpus de nativos, no entanto, esse tipo de recurso não mostra as características dos aprendizes. A escolha do conjunto de dados para treinar, testar ou avaliar os métodos de de- tecção de erros não é uma tarefa trivial e é um processo que deve ser realizado de forma muito criteriosa.
A tarefa de avaliação dos métodos computacionais é um dos maiores desa- fios enfrentados na área, pois em todos os trabalhos consultados foi necessá- ria a avaliação humana ou a criação de recursos por humanos. Além disso, os métodos precisam ser avaliados em diferentes momentos, por exemplo: é preciso saber a qualidade do córpus de aprendizes; a eficiência dos métodos propostos para solucionar problemas específicos; o desempenho da integração de vários métodos e finalmente a utilidade dos métodos, em forma de ferra- menta, para auxiliar os aprendizes da língua.
Observa-se que alguns trabalhos são continuidade dos outros, mostrando a integração de pesquisadores de diversas áreas, para ter sucesso no desem- penho dos métodos propostos. Por exemplo, os trabalhos de De Felice (2008)
e Tetreault et al. (2010) foram propostos para aprimorar os resultados obtidos nos trabalhos de Chodorow e Leacock (2000) e Chodorow et al. (2007), respec- tivamente. Além disso, a maioria dos métodos propostos combinam técnicas de PLN e são dependentes de língua. Desta forma, sua migração para outra língua é custosa, por depender de ferramentas básicas, recursos linguísticos ou computacionais e aprendizes de determinada língua.