6.5 O Processo de Avaliação
6.5.4 Etapa 3: Validação dos Resultados da Extração dos Trechos
A última etapa do processo de avaliação do EOP avaliou o conteúdo extraído como representantes da opinião relevante para cada tema. Para isto, os trechos escolhi- dos pelos juízes foram utilizados como referência para comparar os resultados do EOP com outras ferramentas que executam atividades semelhantes. Para esta avaliação, foram utilizados, com as devidas adaptações, os sumarizadores extrativos.
Um sumarizador extrativo é uma ferramenta que tem por objetivo gerar um texto condensado a partir de um texto-fonte selecionando adequadamente os parágrafos que o comporão. Segundo Rino e Pardo (2003, p.2):
A principal premissa da sumarização pode ser expressa como a tarefa de iden- tificar o que é relevante no texto e, então gerar um novo documento de forma a preservar a ideia central com coerência sem transgredir o significado original do texto-fonte.
A informatividade, quesito principal no processo de recuperação da informação pelo EOP, é apenas um dos atributos da sumarização extrativa. A qualidade do texto, fluência, coerência, capacidade de síntese são outras características que devem ser ana- lisadas no processo automático de geração de sumários. Para o problema da avaliação comparativa, o foco será adaptar os sumarizadores a atividade de informatividade e, as- sim, gerar resultados válidos para comparação. Tal como feito na avaliação dos temas, esta etapa também exigiu alguns cuidados e considerações:
∙ O principal requisito para escolha dos sistemas de sumarização, tal como na etapa anterior, foi a possibilidade de adaptação para a língua portuguesa ou o caráter livre de linguagem. Além disso, sempre que possível, as ferramentas de suporte, como a lista de stop-words e o lematizador, utilizadas pelo EOP, foram adicionadas no sumarizador.
Capítulo 6. Avaliação do Extrator de Opinião Pública 169
∙ Foram selecionados apenas sumarizadores do tipo extrativo, ou seja, sumarizadores que selecionam parágrafos sem alterá-los. Esta característica se aproxima ao método de seleção do EOP, o qual extrai sentenças ou parte delas sem alterar o conteúdo original.
∙ Uma diferença relevante entre o EOP e os sumarizadores é que o EOP, antes de determinar o que é relevante, gera sub-documentos cujo contexto são os temas se- lecionados, extraindo, desta forma, o que é mais relevante para cada tema. Já os sumarizadores, em geral, não fazem essa distinção, preocupando-se apenas em ex- trair o que representa a ideia central. Para minimizar essa limitação, como os trechos avaliados estão relacionados aos temas, os textos do banco de dados foram filtrados de forma que, para cada tarefa de sumarização, só houvesse parágrafos que conti- nham o tema em análise. Desta forma, criam-se os sub-documentos sobre os quais o EOP de fato opera.
Com estas considerações, foram selecionados 4 sumarizadores extrativos para a avaliação comparativa:
1. GenSim: mesmo framework utilizado na extração de palavras-chave, o GenSim pos- sui, segundo as mesmas abordagens metodológicas, uma ferramenta de sumarização extrativa.
2. LexRank: também utilizado na etapa anterior, o LexRank, fundamentado na abor- dagem do TextRank, possui um rico ferramental para o PLN, incluindo também um sumarizador extrativo.
3. LSA Summarizer: este sumarizador utiliza-se da abordagem LSA (Latent Se- mantic Analysis) no processo de sumarização extrativa (STEINBERGER; JEZEK, 2004), a qual combina técnicas de contagem de palavras com o processo de Decom- posição em Valores Singulares (SVD) . Como uma abordagem não-supervisionada, não depende de corpus linguístico, porém exige processos de análise dependentes da língua como a lematização. Com uma implementação em Python e usando a biblioteca NLTK, estes processos são suportados para a língua portuguesa.
4. Luhn Summarizer: é um dos métodos mais antigos de sumarização de textos (LUHN, 1958). Publicada pela primeira vez em 1958 por um pesquisador da IBM, a metodologia, em sua proposta inicial, envolvia uma análise da frequência das palavras, pontuando as frases com base na quantidade de palavras de alta frequên- cia. As versões atuais envolvem diversos aprimoramentos, como testes da Razão de Verossimilhança (ALLAHYARI et al., 2017), entre outros. Como uma abordagem não-supervisonada, também não exige corpus de treinamento e pode ser utilizada para diversas línguas.
A hipótese levantada para avaliação dos trechos relevantes é que um sistema é tão mais eficiente quanto mais próximo os resultados da extração estão do conjunto de referências gerado pelos juízes.
Para esta análise, três considerações são importantes: (1) a quantidade de trechos extraídos pelos sumarizadores estará diretamente relacionado à quantidade de parágrafos selecionados para composição do sumário. Os sistemas sumarizadores não es- colhem partes de um parágrafo, o que difere da atividade do EOP, que busca apenas o trecho que é mais informativo; (2) como consequência da observação anterior, para que a comparação tenha validade informativa, foi considerado que um parágrafo extraído cor- responde a algum trecho do conjunto de referência caso a informação principal esteja no parágrafo. Esta análise foi realizada manualmente; (3) um dos pontos mais sensíveis no processo de sumarização extrativa é a determinação do tamanho do sumário gerado. Isto implica em mais ou menos parágrafos extraídos, o que pode influenciar na avaliação da informatividade. Alguns sumarizadores estabelecem, com base no tamanho do texto, um “ponto de corte”, e outros deixam isso a critério do usuário. Em sumarizadores que se encaixam neste último caso, a decisão tomada foi configurar o sistema para extrair a mesma quantidade de sentenças que o EOP extraiu para o mesmo tema.
Com estas considerações foi realizada a avaliação comparativa. Para cada su- marizador, foi executado um conjunto de experimentos utilizando o banco de dados res- trito ao tema em análise. As sentenças extraídas foram comparadas àquelas indicadas pelos juízes através do cálculo da precisão, revocação e medida-F. O próximo tópico apresenta os resultados e análises da avaliação do EOP.