V. 16 Nº 1, julho, 2018____________________________________________________________
Avaliac¸˜ao da Coes˜ao Textual: Desafios para Automatizar a
Correc¸˜ao de Redac¸˜oes
Thiago Gaglietti de Cˆandido1, Carine Geltrudes Webber1
1Area do Conhecimento de Ciˆencias Exatas e Engenharias´
Universidade de Caxias do Sul (UCS)
{tgcandido,cgwebber}@ucs.br
Resumo. Avaliar uma redac¸˜ao ´e uma tarefa complexa e de grande responsabili-dade. M´etodos autom´aticos podem auxiliar no processo avaliativo de redac¸˜oes. O presente artigo prop˜oe um software de an´alise e avaliac¸˜ao da coes˜ao textual. O m´etodo empregado se vale do mecanismo de coes˜ao lexical como elemento principal da an´alise. Foram realizados experimentos com o software e com-parados com as avaliac¸˜oes de dois especialistas humanos. Os resultados con-vergentes do software com especialistas foram observados em70% dos casos. Considera-se que tais resultados iniciais s˜ao promissores para o desenvolvi-mento de um software para avaliac¸˜ao autom´atica de redac¸˜oes.
Palavras-chave: Avaliac¸˜ao textual autom´atica, Computac¸˜ao e Lingu´ıstica, Coes˜ao Textual
Evaluating Textual Cohesion: Challenges to Essays
Assessment
Abstract. Evaluating an essay is a complex task. Automatic methods can assist in the evaluative process. The present article proposes a software of analysis and evaluation of the text cohesion. The employed method uses the mechanism of lexical cohesion as main element of the analysis. Experiments with software were accomplished and compared with the evaluations of two human specia-lists. The convergent results of software with specialists were observed in 70 % of the cases. It is considered that such initial results are promising for the development of a software for automatic essay evaluation.
Keywords: Automatic Text Evaluation, Computational Linguistics, Textual Cohesion
1. Introduc¸˜ao
A avaliac¸˜ao de uma redac¸˜ao ´e uma tarefa complexa, dada sua subjetividade. Mesmo quando efetuada por especialistas, a avaliac¸˜ao pode resultar em diferentes pontuac¸˜oes por um-a banca avaliadora, o que causa problemas quando se trata de trabalhos acadˆemicos ou de redac¸˜oes de vestibulares. Para tratar desse problema ´e poss´ıvel empregar a tecnologia para auxiliar no processo avaliativo de redac¸˜oes.
A ´area de An´alise Discursiva Autom´atica (ADA) compreende t´ecnicas para auto-matizar pela via computacional tarefas como a avaliac¸˜ao de redac¸˜oes, atividade apenas realizada por especialistas, objeto principal de estudo da sub´area de Automated Essay Scoring (AES)[McKEE et al. 2001]. Ao avaliar uma mesma redac¸˜ao, dois peritos po-dem obter resultados diferentes, atestando que existem obst´aculos no processo efetuado
V. 16 Nº 1, julho, 2018____________________________________________________________
Figura 1. Compatibilidade dos resultados atribu´ıdos pelas bancas avaliadoras nas redac¸˜oes do ENEM dos anos de 2012, 2013 e 2014 [PEREIRA 2014, PEREIRA 2013, GEI 2015]
Enem 2012 Enem 2013 Enem 2014
0 20 40 60 80 Percentual total de av aliac ¸
˜oes Avaliac¸˜oes Conflitantes
Avaliac¸˜oes Compat´ıveis
Fonte: Elaborada pelo autor
por humanos. Pode-se observar isso analisando dados da correc¸˜ao de redac¸˜oes de provas de vestibular do ENEM - Exame Nacional do Ensino M´edio. Na Figura 1, apresenta-se o percentual de compatibilidade entre as notas atribu´ıdas por avaliadores nos exames de 2012, 2013 e 2014. Nota-se que no ano de 2012 houve avaliac¸˜oes conflitantes em 20% das redac¸˜oes. Nos anos subsequentes de 2013 e 2014 houve consider´avel aumento de avaliac¸˜oes conflitantes, passando para mais de 40% do total das redac¸˜oes em cada ano.Estes casos apenas refletem os desafios da padronizac¸˜ao da avaliac¸˜ao textual.
A dificuldade para obter um consenso de notas entre avaliadores ´e ocasionada pelo extenso conjunto de metodologias poss´ıveis para a realizac¸˜ao da an´alise textual, muitas das quais s˜ao mutuamente contradit´orias e incompat´ıveis [McKEE et al. 2001]. Tamb´em deve-se levar em considerac¸˜ao o fator subjetivo da an´alise textual, que pode ser justificado pelas diferentes trajet´orias acadˆemicas dos avaliadores.
Ao avaliar redac¸˜oes acadˆemicas, podemos elencar trˆes fatores determinantes `a pontuac¸˜ao final: a coerˆencia, a coes˜ao e a aderˆencia do conte´udo da redac¸˜ao ao tema proposto [NOBRE 2011]. O presente artigo possui como foco a an´alise e a avaliac¸˜ao da coes˜ao textual, inserida no n´ıvel lingu´ıstico da semˆantica, que trata do significado do que ´e escrito [HASAN and HALLIDAY 1976].
O objetivo principal deste trabalho foi a implementac¸˜ao de uma ferramenta que realize a an´alise e a avaliac¸˜ao autom´atica da coes˜ao textual atrav´es de t´ecnicas baseadas na Teoria do Foco [SIDNER 1979], na Teoria da Centragem [GROSZ et al. 1995] e no m´etodo utilizado por Nobre (2011) no sistema Avaliador Autom´atico de Redac¸˜ao – AVAR. O artigo est´a estruturado da seguinte forma: trabalhos correlatos s˜ao apresentados na Sec¸˜ao 2. A Sec¸˜ao 3 apresenta uma revis˜ao bibliogr´afica, descreve a Teoria do Foco e a Teoria da Centragem (3.2) e explana o c´alculo do ´ındice coesivo. Na Sec¸˜ao 4, aborda-se o processo de an´aliaborda-se e avaliac¸˜ao da coes˜ao textual em um texto disaborda-sertativo, e os experimentos realizados. Na Sec¸˜ao 5, apresenta-se os resultados dos experimentos. Por fim, conclui-se com observac¸˜oes finais e trabalhos futuros.
V. 16 Nº 1, julho, 2018____________________________________________________________
2. Trabalhos Correlatos
Identificou-se dois sistemas avaliadores autom´aticos dispon´ıveis para a l´ıngua portu-guesa. O primeiro a ser descrito ´e o sistema Avaliador Autom´atico de Redac¸˜ao – AVAR [NOBRE 2011]. Ele implementa a avaliac¸˜ao e a valorac¸˜ao da coes˜ao, coerˆencia e adequac¸˜ao ao tema de uma redac¸˜ao de vestibular. O AVAR utiliza t´ecnicas de Inte-ligˆencia Artificial(IA), a partir da captac¸˜ao de elementos relevantes para o processo de atribuic¸˜ao de nota `a redac¸˜ao, por meio do Sistema de Inferˆencia Fuzzy (SIF) para valorar cada quesito com base na Teoria de Conjuntos Fuzzy e na L´ogica Fuzzy. Os resultados prelimiares descritos equipararam-se aos dos especialistas, contudo trata-se de um projeto em desenvolvimento.
Pardo apresenta outro sistema denominado DiZer – an Automatic Discourse Analyzer for Brazilian Portuguese[PARDO et al. 2004]. Trata-se de um analisador dis-cursivo autom´atico para a l´ıngua portuguesa brasileira, que segue como teoria discursiva a Rhetorical Structure Theory (RST). Os resultados obtidos por meio do software foram considerados satisfat´orios para textos cient´ıficos [PARDO et al. 2004]. Contudo, o soft-ware n˜ao est´a dispon´ıvel para uso.
O analisador CORP: Coreference Resolution for Portuguese concebido por Fon-seca et al. (2017), ´e um software dispon´ıvel para uso de forma combinada a outros. Esse analisador realiza a resoluc¸˜ao de correferˆencias em l´ıngua portuguesa e possui como objeto principal a resoluc¸˜ao das correferˆencias pertencentes `as categorias de entidades nomeadas de Pessoa, Local e Organizac¸˜ao.
Durante o processo de an´alise textual, o CORP realiza a tokenizac¸˜ao, cria chunks (grupos de palavras encontradas com frequˆencia juntos em um idioma) a partir dos to-kens(palavras) reconhecidos, e efetua a classificac¸˜ao sint´atica e a atribuic¸˜ao de r´otulos semˆanticos [FONSECA et al. 2017]. Como sa´ıda, al´em desses elementos, apresenta as cadeias de sintagmas nominais e as menc¸˜oes ´unicas no texto analisado. A ferramenta ´e de uso gratuito para trabalhos acadˆemicos.
Para a l´ıngua inglesa, pode-se citar o Intelligent Essay Assessor (IEA). Trata-se de um conjunto de funcionalidades para avaliar a qualidade do conte´udo da redac¸˜ao [FOLTZ et al. 1999]. O IEA utiliza uma abordagem matem´atica por meio do m´etodo Latent Semantic Analysis (LSA), que ´e empregado para extrair e representar a semˆantica contextual das palavras mediante c´alculos estat´ısticos aplicados em uma grande colec¸˜ao de textos [LANDAUER and DUMAIS 1997].
Tamb´em para a l´ıngua inglesa, o Criterion Online Essay Evaluation Service ´e um sistema on-line que realiza a avaliac¸˜ao autom´atica de redac¸˜oes, por meio de duas aplicac¸˜oes complementares: o sistema de avaliac¸˜ao E-rater R
que identifica e analisa ele-mentos relacionados a proficiˆencia da escrita; e uma su´ıte de programas que detectam erros de gram´atica e utilizac¸˜ao de mecanismos lingu´ısticos chamado de Critique Writing Analysis Tools[BURSTEIN et al. 2003].
Levando em considerac¸˜ao a quantidade de ferramentas dispon´ıveis para a realizac¸˜ao de an´alises discursivas autom´aticas em outros idiomas, pode-se observar que o n´umero de softwares existentes para a l´ıngua portuguˆes brasileiro ´e limi-tada [FONSECA et al. 2017]. N˜ao foram encontradas ferramentas dispon´ıveis para a avaliac¸˜ao de textos da l´ıngua portuguesa, apenas algoritmos .
V. 16 Nº 1, julho, 2018____________________________________________________________
3. Compreendendo os Elementos da An´alise Coesiva
Dentre as v´arias maneiras de analisar um texto, pode-se verificar sua apreensibilidade, frequˆencia de palavras, facilidade de leitura, coes˜ao e coerˆencia. Tratar a coes˜ao de um texto de forma autom´atica ´e um desafio para a ´area de Processamento de Linguagem Natural(PLN). Elementos lingu´ısticos s˜ao utilizados por t´ecnicas computacionais para realizar a avaliac¸˜ao de uma redac¸˜ao. Nessa sec¸˜ao, apresenta-se as principais t´ecnicas, teorias e os elementos para a realizac¸˜ao da an´alise coesiva.
3.1. Coes˜ao
A coes˜ao aborda as articulac¸˜oes gramaticais entre as palavras, orac¸˜oes e frases para ga-rantir uma boa sequenciac¸˜ao de eventos, ou seja, ´e aspecto fundamental do discurso, por tratar-se da ideia de ordem entre seus elementos [CRYSTAL 2011]. Halliday e Hasan (1976) definem coes˜ao como um conceito semˆantico que se refere `as relac¸˜oes de sen-tido existentes no interior do texto e que o definem como um texto. Os mesmos autores prop˜oem a distinc¸˜ao dos mecanismos coesivos em cinco categorias. Cada categoria deve respeitar o modo como os itens lexicais e gramaticais relacionam-se com o texto e no texto. As categorias s˜ao: referˆencia, substituic¸˜ao, elipse, conjunc¸˜ao e coes˜ao lexical.
Como exemplo, a primeira categoria citada ´e a referˆencia, um dos principais me-canismos para evitar repetic¸˜oes desnecess´arias. Para elucidac¸˜ao das categorias, utiliza-se um exemplo de Perez (2016):
“As crianc¸as foram passear no parque. Elas foram acompanhadas de seus pais.” Na segunda frase, “elas” refere-se a “as crianc¸as”. J´a neste segundo exemplo, observa-se a repetic¸˜ao do sujeito:
“As crianc¸as foram passear no parque. As crianc¸as foram acompanhadas de seus pais.”
Embora as duas vers˜oes estejam corretas, a primeira forma utiliza uma an´afora pronominal (ela) para retomar o elemento referente. O conceito de an´afora ´e essencial para o entendimento do mecanismo da coes˜ao lexical. Pode-se definir an´afora como uma unidade lingu´ıstica que tem sua interpretac¸˜ao definida por uma entidade previamente ex-pressada, chamada de antecedente [CRYSTAL 2011].
3.2. Teoria do Foco e Teoria da Centragem
As teorias explicadas nessa sec¸˜ao foram utilizadas para realizar a an´alise do grau de coes˜ao entre as unidades textuais das redac¸˜oes avaliadas.
A Teoria do Foco (TF) tem como objetivo a an´alise de elementos anaf´oricos [SIDNER 1979]. O algoritmo da TF tem como func¸˜ao reduzir o conjunto de poss´ıveis antecedentes introduzidos no universo do receptor durante a interpretac¸˜ao de novas frases proferidas em um dado contexto e propor um caminho mais eficiente para percorrer este universo, j´a reduzido, em busca de um antecedente [NOBRE and PELLEGRINO 2010]
A Teoria da Centragem (TC) tem como proposta medir como a coes˜ao do discurso ´e influenciada pela compatibilidade entre os centros de atenc¸˜ao e a escolha das express˜oes de referenciac¸˜ao [GROSZ et al. 1995]. O centro de atenc¸˜ao ´e utilizado para designar o objeto mais relevante do discurso. Essa teoria ´e uma proposta diretamente relacionada com a Grosz and Sidner Discourse Theory (GSDT) [GROSZ and SIDNER 1986].
V. 16 Nº 1, julho, 2018____________________________________________________________
O foco ´e a entidade que o emissor toma como centro de sua atenc¸˜ao em determi-nado ponto do texto [NOBRE 2011]. Para a resoluc¸˜ao de an´aforas, dois centros de atenc¸˜ao s˜ao definidos: o Foco do Ator (FA) e o Foco do Discurso (FD), os quais s˜ao determinados pelo agente e pelo tema de cada frase, utilizando a informac¸˜ao tem´atica [GRUBER 1976], a informac¸˜ao gramatical (sujeito, objeto direto, objeto indireto, etc.) e a informac¸˜ao sobre quais s˜ao as entidades mais salientes da fase anterior, ou seja, o Foco Local (FL).
Seguindo a abordagem utilizada por Nobre (2010), a classificac¸˜ao de Foco Expl´ıcito(FE) e Foco Impl´ıcito (FI) ´e feita da seguinte maneira:
a) FE: ´E a lista de entidades explicitamente contidas em cada frase do texto. S˜ao ele-mentos anaf´oricos e sintagmas nominais existentes na sentenc¸a [SIDNER 1979]; e
b) FI: ´E a lista de r´otulos semˆanticos das entidades em FE. No caso de um nome pr´oprio, o r´otulo semˆantico ser´a um identificador ´unico para o termo.
As poss´ıveis leituras do relacionamento em uma frase F entre o FE e FI s˜ao [NOBRE and PELLEGRINO 2010]:
a) se existe um elemento E de F Ei em F Ei+1 (E ∈ F Ei+1) e tamb´em existe um
elemento I de F Ii em F Ii+1 (I ∈ F Ii+1), ent˜ao as frases Fi e Fi+1 est˜ao em
processo de elaborac¸˜ao, visto que compartilham as mesmas entidades;
b) se existe um elemento E de F Ei em F Ei+1 (E ∈ F Ei+1), mas n˜ao existe um
elemento I de F Ii em F Ii+1, ent˜ao as frases Fi e Fi+1(I /∈ F Ii+1) est˜ao num
processo de manutenc¸˜ao de t´opico, visto que compartilham elementos expl´ıcitos; c) se n˜ao existe um elemento E de F Ei em F Ei+1 (E /∈ F Ei+1), mas existe um
elemento I de F Ii em F Ii+1 (I ∈ F Ii+1), ent˜ao as frases Fi e Fi+1 est˜ao num
processo de mudanc¸a de t´opico, pois compartilham entidades semˆanticas; e d) se n˜ao existe elemento E de F Ei em F Ei+1 (E /∈ F Ei+1), nem um elemento
I de F Ii em F Ii+1 (I /∈ F Ii+1), ent˜ao as frases Fi e Fi+1 est˜ao num
pro-cesso de mudanc¸a de assunto, pois n˜ao compartilham entidades expl´ıcitas e nem semˆanticas.
Por meio dessas teorias, algoritmos de avaliac¸˜ao da coes˜ao local e global foram elaborados [NOBRE 2011]. O uso desses algoritmos possibilita a realizac¸˜ao do c´alculo do ´Indice Coesivo, que determina a forc¸a coesiva do texto por meio das relac¸˜oes cons-titu´ıdas entre suas frases e par´agrafos [NOBRE 2011]. ´Indice Coesivo (IC) ´e definido pela Equac¸˜ao 1: IC = ( Ps−1 i=1P SFi,i+1 s − 1 + Pp−1 i=1 Pp−1 j=1P SPi,i+j Pp−1 j=1j )/2 (1)
Onde s representa o total de sentenc¸as, p o total de par´agrafos, P SFi,i+1a nota da
relac¸˜ao entre as frases adjacentes, P SPi,i+j a nota da relac¸˜ao entre par´agrafos adjacentes,
V. 16 Nº 1, julho, 2018____________________________________________________________
Tabela 1. Relac¸˜ao de FE e FI para o estabelecimento de coes˜ao, sendo E um elemento de F Ei e I um elemento de F Ii
E ∈ F Ei+1 Pontuac¸˜ao E /∈ F Ei+1 Pontuac¸˜ao
I ∈ F Ii+1 Elaborac¸˜ao 1 Mudanc¸a de t´opico 0,5
I /∈ F Ii+1 Manutenc¸˜ao do t´opico 0,75 Mudanc¸a de assunto 0,0
Fonte: [NOBRE and PELLEGRINO 2010]
4. M´etodo da Pesquisa
A an´alise realizada pelo software AAACT – Avaliador e Analisador Autom´atico de Coes˜ao Textualproduz uma pontuac¸˜ao de 0, 0 a 2, 0 pontos que valora o n´ıvel coesivo de uma redac¸˜ao considerando o mecanismo de coes˜ao lexical. O processo de an´alise de ocorre em duas fases: a fase de obtenc¸˜ao de informac¸˜oes e a fase de aplicac¸˜ao das teorias. Na primeira fase o software utiliza recursos externos para a obtenc¸˜ao de informac¸˜oes e, na segunda fase, implementa os algoritmos que realizam a an´alise e a avaliac¸˜ao da coes˜ao.
Na fase de obtenc¸˜ao de informac¸˜oes ´e realizada uma an´alise utilizando o CORP: Coreference Resolution for Portuguese concebido por Fonseca et al. (2017). Ainda, utilizou-se a base Tep2 [MAZIERO et al. 2008] para obter sinˆonimos do n´ucleo dos sin-tagmas nominais.
Na segunda fase, as teorias elencadas s˜ao aplicadas utilizando o conhecimento obtido na fase de an´alise. A TF e a TC foram utilizadas para identificar o grau de coes˜ao entre as unidades do texto e, a partir da obtenc¸˜ao desses dados, ´e aplicado o c´alculo do IC para obter o ´ındice coesivo da redac¸˜ao. O resultado do ´ındice coesivo ´e utilizado como pontuac¸˜ao da coes˜ao textual.
A an´alise e a avaliac¸˜ao da coes˜ao textual ´e realizada por uma aplicac¸˜ao Java, disponibilizada em um servidor e acess´ıvel por meio de m´etodos HTTP, que implementa a l´ogica do analisador e realiza a interac¸˜ao com o analisador CORP e a base Tep2. Para submeter redac¸˜oes e visualizar os resultados da an´alise criou-se uma p´agina web com HTML, CSS e JavaScript, al´em das bibliotecas D3.js e Angular.js.
Como exemplo, possui-se o discurso D contendo as frases F1e F2para demonstrar
o processo de an´alise e avaliac¸˜ao.
F1 = “O Brasil passa por um momento dif´ıcil devido aos (2)
escˆandalos pol´ıticos.” (3)
F2 = “O pa´ıs sente os ef eitos disso na economia.” (4)
Logo, o discurso pode ser representado por D = {F 1, F 2}. Para cada Fi de D,
calculam-se os conjuntos F Eie F Ii, ou seja, o conjunto de elementos do Foco Expl´ıcito
e o conjunto de elementos do Foco Impl´ıcito. Realiza-se esse processo por meio do analisador CORP [FONSECA et al. 2017]. Para F1, obtˆem-se os seguintes conjuntos:
F E1 = {“O Brasil”, “um momento dif´ıcil”, “a os escˆandalos pol´ıticos”} (5)
V. 16 Nº 1, julho, 2018____________________________________________________________
E para F2, os conjuntos s˜ao os seguintes:
F E2 = {“O pa´ıs”, “os ef eitos de isso”, “isso”, “a economia”} (7)
F I2 = {“OU T RO”, “OU T RO”, “ORGAN IZAC¸ ˜AO|LOCAL”, (8)
“COM U N ICAC¸ ˜AO|P REDIC”} (9)
Durante a definic¸˜ao dos conjuntos, buscam-se sinˆonimos do n´ucleo de cada elemento de foco expl´ıcito, utilizando como fonte a base de sinˆonimos Tep2 [MAZIERO et al. 2008]. Por exemplo, como sinˆonimos de um elemento E, obt´em-se o conjunto Syne. Com E = “O pa´ıs”, obt´em-se SynE = {“nac¸˜ao”, “territ´orio”}.
Com os conjuntos definidos, aplicam-se as teorias para avaliar o grau de coes˜ao textual. Utiliza-se os Algoritmos de Coes˜ao Local e Global para a an´alise. A partir do Algoritmo de Coes˜ao Local, o primeiro passo ´e obter a intersecc¸˜ao, entre sentenc¸as adjacentes, dos elementos de foco expl´ıcito RF E1,2. O analisador CORP identifica que o
sintagma “O pa´ıs” ´e um hiperˆonimo do sintagma “O Brasil”, e assim obt´em-se:
RF E1,2 = {“O Brasil”, “O pa´ıs”} (10)
Continua-se removendo os elementos de foco impl´ıcito dos conjuntos F I1 e F I2
equivalentes aos elementos pertencentes a RF E1,2 . Ap´os isso, calcula-se a intersecc¸˜ao
dos conjuntos F I1e F I2 que resulta no conjunto RF I1,2. Para a realizac¸˜ao desse c´alculo
foi feita uma adaptac¸˜ao devido as capacidades do analisador CORP.
Como a an´alise semˆantica do analisador em quest˜ao possui foco nas categorias de Pessoa, Organizac¸˜ao e Local, as categorias desconhecidas s˜ao rotuladas com a etiqueta ”OUTRO”. Pelo fato de que a an´alise do foco impl´ıcito ´e realizada utilizando o r´otulo semˆantico, essa an´alise se demonstrou imprecisa quando se compara elementos que pos-suem a etiqueta semˆantica ”OUTRO”. Nesse caso, o sistema realiza a comparac¸˜ao por meio dos sinˆonimos dos elementos, para obter maior precis˜ao.
No exemplo proposto, a partir da intersecc¸˜ao dos de F I1 e F I2 obt´em-se o
con-junto RF I1,2 = {}. O conjunto ´e vazio pois nenhum par de elementos possui o mesmo
r´otulo semˆantico, e dentre os pares que possuem o r´otulo ”OUTRO”, n˜ao foram encontra-dos sinˆonimos equivalentes. Ap´os isso possui-se os conjuntos necess´arios para identificar a relac¸˜ao do estabelecimento de coes˜ao, utilizando a Tabela 1, e para realizar o c´alculo do ´Indice Coesivo (IC). Para realizar o c´alculo do IC, aplica-se a Equac¸˜ao 1 e ´e feita a proporc¸˜ao para o resultado enquadrar-se nos valores da Tabela 2. A avaliac¸˜ao da coes˜ao obt´em nesse caso uma pontuac¸˜ao de 1, 5. Conclui-se que o discurso D utiliza, sem refi-namento, os mecanismos coesivos para o desenvolvimento do texto.
Nesse exemplo n˜ao aplicamos o Algoritmo de Coes˜ao Global pois o discurso D possui apenas um par´agrafo. O Algoritmo de Coes˜ao Global ´e semelhante ao Algoritmo de Coes˜ao Local, e possui como principal diferenc¸a a an´alise entre os par´agrafos ser reali-zada utilizando adjacˆencia m´axima, ou seja, compara-se os elementos de foco expl´ıcitos, impl´ıcitos e seus sinˆonimos de um par´agrafo com todos os outros par´agrafos do discurso.
V. 16 Nº 1, julho, 2018____________________________________________________________
Tabela 2. Relacionamento entre classe e nota atribu´ıda por banca
Classes Formas de utilizac¸˜ao de elos coesivos Nota
1 Utiliza recursos coesivos da l´ıngua que afetam a coerˆencia. 0,0 - 0,4 2 Utiliza recursos coesivos que n˜ao afetam a coerˆencia. 0,5 - 0,8 3 Utiliza, ainda que com alguns problemas, recursos coesivos. 0,9 - 1,2 4 Utiliza recursos da l´ıngua sem demonstrar refinamento. 1,3 - 1,6 5 Utiliza com proficiˆencia os recursos coesivos da l´ıngua. 1,7 - 2,0
Fonte: [NOBRE and PELLEGRINO 2010]
5. Experimento e An´alise dos Resultados
Para a realizac¸˜ao do experimento foram coletadas trinta e cinco redac¸˜oes de alunos em uma disciplina do curso de engenharia de uma instituic¸˜ao de ensino. Ap´os as redac¸˜oes serem avaliadas pela ferramenta, os valores obtidos por meio do c´alculo do IC foram comparados a pontuac¸˜ao atribu´ıda pela banca avaliadora, que contava com dois membros especialistas graduados no curso de Licenciatura em Letras. Com a finalidade de ob-ter resultados padronizados, os peritos utilizaram a Tabela 2 como crit´erio de avaliac¸˜ao.
´
E importante destacar que a avaliac¸˜ao foi realizada levando em considerac¸˜ao apenas a coes˜ao textual.
A compatibilidade das notas atribu´ıdas pelos especialistas ´e apresentada na Figura 2, totalizando um percentual de 51, 42%. Ao remover-se as redac¸˜oes que obtiveram uma diferenc¸a de pontuac¸˜ao superior a 0, 4 pontos (consideradas avaliac¸˜oes divergentes entre especialistas), os avaliadores apresentaram uma divergˆencia m´edia de resultados de 0, 16 pontos.
Figura 2. Pontuac¸˜ao atribu´ıda por avaliadores
0 5 10 15 20 25 30 35 0 0.5 1 1.5 2 Redac¸˜ao Pontuac ¸˜ao Avaliador 1 Avaliador 2
Fonte: Elaborada pelo autor
Aplicando a avaliac¸˜ao autom´atica pelo AAACT nas redac¸˜oes em que os avaliado-res alcanc¸aram pontuac¸˜oes convergentes, ou seja, nos textos em que a discrepˆancia entre as notas foi menor que 0, 4 pontos. Dentro desse conjunto de redac¸˜oes, a ferramenta con-vergiu com os dois especialistas em 50% das an´alises (assumindo o mesmo limite de 0, 4 pontos para convergˆencia). Ela ainda convergiu parcialmente com um especialistas em dois casos. Nos seis casos restantes, conclui-se que houve divergˆencia.
V. 16 Nº 1, julho, 2018____________________________________________________________
Figura 3. Resultados das avaliac¸˜oes que obtiveram compatibilidade entre os especialistas, e a pontuac¸˜ao do AAACT para essas avaliac¸˜oes
0 2 4 6 8 10 12 14 16 0 0.5 1 1.5 Redac¸˜ao Pontuac ¸˜ao Avaliador 1 Avaliador 2 AAACT
6. Conclus˜ao
O presente trabalho dedicou-se `a implementac¸˜ao de um analisador e avaliador de coes˜ao textual. As principais teorias utilizadas baseiam-se no algoritmo apresentado por Nobre (2011) e foram obtidas por meio da Teoria do Foco [SIDNER 1979] e a Teoria da Centra-gem[GROSZ et al. 1995]. A metodologia para pontuac¸˜ao coes˜ao ´e baseada no sistema Avaliador Autom´atico de Redac¸˜ao – AVAR[NOBRE 2011].
A avaliac¸˜ao autom´atica obteve uma compatibilidade global de 70, 00% com as notas dadas pelos avaliadores nas redac¸˜oes que apresentaram diferenc¸a de at´e 0, 4 pontos entre os avaliadores. Considera-se um resultado satisfat´orio, dado que o sistema realiza a avaliac¸˜ao apenas utilizando um dos cinco mecanismos coesivos.
Ao se limitar `a comparac¸˜ao considerando o mecanismo da coes˜ao lexical, o AA-ACT obteve em m´edia uma discrepˆancia de 0, 23 pontos em relac¸˜ao aos avaliadores, o que reforc¸a a possibilidade de utilizar o m´etodo proposto, com algumas melhorias, como parte da realizac¸˜ao de um avaliador de redac¸˜oes autom´atico que ´e capaz de analisar textos de forma regular e imparcial. Concluiu-se tamb´em que avaliac¸˜oes de redac¸˜oes irregula-res realizadas por especialistas podem apirregula-resentar um alto ´ındice de divergˆencia, fato que motiva a criac¸˜ao de um avaliador autom´atico para redac¸˜oes.
Para trabalhos futuros, tem-se como prioridade a integrac¸˜ao de um analisador mor-fossint´atico para obter os referentes das an´aforas que utilizam outros mecanismos coesi-vos, como o da referˆencia e da substituic¸˜ao, assim complementando a entrada de dados para a aplicac¸˜ao dos m´etodos de an´alise de coes˜ao textual e obtendo maior compatibi-lidade com avaliadores humanos. Tamb´em tem-se em vista a integrac¸˜ao desse trabalho com outros relacionados a AES, para a realizac¸˜ao de um sistema de avaliac¸˜ao de redac¸˜oes autom´atico.
Referˆencias
BURSTEIN, J., CHODOROW, M., and LEACOCK, C. (2003). Criterionsm online essay evaluation: An application for automated evaluation of student essays. In IAAI, pages 3–10.
CRYSTAL, D. (2011). Dictionary of linguistics and phonetics, volume 30. John Wiley & Sons.
V. 16 Nº 1, julho, 2018____________________________________________________________
FOLTZ, P. W., LAHAM, D., and LANDAUER, T. K. (1999). The intelligent essay asses-sor: Applications to educational technology. Interactive Multimedia Electronic Jour-nal of Computer-Enhanced Learning, 1(2):939–944.
FONSECA, E., SESTI, V., ANTONITSCH, A., VANIN, A., and VIEIRA, R. (2017). Corp: Uma abordagem baseada em regras e conhecimento semˆantico para a resoluc¸ao de correferˆencias. Linguam´atica, 9(1):3–18.
GEI, A. (2015). Em 2014 mais de 200 mil redac¸˜oes do enem foram canceladas por fuga ao tema. Dispon´ıvel em: <http://universitario.net/enem/em-2014-mais-de-200-mil-redacoes-do-enem-foram-canceladas-por-fuga-ao-tema/>. Acesso em: 21 jun. 2017. GROSZ, B. J. and SIDNER, C. L. (1986). Attention, intentions, and the structure of
discourse. Computational linguistics, 12(3):175–204.
GROSZ, B. J., WEINSTEIN, S., and JOSHI, A. K. (1995). Centering: A framework for modeling the local coherence of discourse. Computational linguistics, 21(2):203–225. GRUBER, J. (1976). Lexical structures in syntax and semantics, volume 25.
North-Holland.
HASAN, R. and HALLIDAY, M. A. (1976). Cohesion in English. Longman London. LANDAUER, T. K. and DUMAIS, S. T. (1997). A solution to plato’s problem: The latent
semantic analysis theory of acquisition, induction, and representation of knowledge. Psychological review, 104(2):211.
MAZIERO, E. G., PARDO, T. A., DI FELIPPO, A., and DIAS-DA-SILVA, B. C. (2008). A base de dados lexical e a interface web do tep 2.0: thesaurus eletrˆonico para o portuguˆes do brasil. In Companion Proceedings of the XIV Brazilian Symposium on Multimedia and the Web, pages 390–392. ACM.
McKEE, A. et al. (2001). A beginner’s guide to textual analysis. Metro Magazine: Media & Education Magazine, (127/128):138.
NOBRE, J. C. S. (2011). Modelo Computacional para Valorac¸˜ao e Avaliac¸˜ao de Redac¸˜oes Baseado em L´ogica Fuzzy. PhD thesis, ´Area de Inform´atica - Instituto Tec-nol´ogico de Aeron´autica, S˜ao Jos´e dos Campos.
NOBRE, J. C. S. and PELLEGRINO, S. R. M. (2010). Anac: um analisador autom´atico de coes˜ao textual em redac¸˜ao. In Anais do Simp´osio Brasileiro de Inform´atica na Educac¸˜ao, volume 1.
PARDO, T. A. S., NUNES, M. d. G. V., and RINO, L. H. M. (2004). Dizer: An automa-tic discourse analyzer for brazilian portuguese. In Brazilian Symposium on Artificial Intelligence, pages 224–234. Springer.
PEREIRA, C. D. P. (2013). Dados sobre a correc¸˜ao da redac¸˜ao do enem 2012. Dis-pon´ıvel em: <https://www.infoenem.com.br/dados-sobre-a-correcao-da-redacao-do-enem-2012/>. Acesso em: 21 jun. 2017.
PEREIRA, C. D. P. (2014). Dados da correc¸˜ao da redac¸˜ao do enem 2013. Dispon´ıvel em: <https://www.infoenem.com.br/dados-da-correcao-da-redacao-do-enem-2013/>. Acesso em: 21 jun. 2017.
SIDNER, C. L. (1979). Towards a computational theory of definite anaphora comprehen-sion in english discourse. Technical report, Massachusetts Inst of Tech Cambridge Artificial Intelligence lab.
