Dimens˜ ao Prop´ osito (componente Conclusion)

Nesta se¸c˜ao ´e apresentado o classificador para a Dimens˜ao Prop´osito referente ao com-ponente Conclusion. Resumidamente, a tarefa de tal classificador ´e predizer o grau de relacionamento das senten¸cas do resumo classificadas como Conclusion com a senten¸ca classificada como Purpose, podendo assumir os valores “alto” ou “baixo”. O objetivo do classificador ´e identificar um potencial problema de coerˆencia desse componente com o prop´osito do resumo.

Previamente `a indu¸c˜ao do classificador final da Dimens˜ao Prop´osito com o componente

Conclusion, foi realizada a etapa de sele¸c˜ao de atributos para se alcan¸car o melhor desempenho do classificador.

Sele¸c˜ao de Atributos

A partir do conjunto de 12 atributos extra´ıdos das senten¸cas para essa dimens˜ao: AZan-terior, AZproximo, elemento anaforico, lsaAnAZan-terior, lsaProposito, lsaProxima, lsaTitulo, offset, palavra transicao, tamanhoSentenca, tamanhoTitulo e relProposito (classe), foi realizada a sele¸c˜ao autom´atica de atributos. Como resultado, os atributos AZproximo, lsaProposito e relProposito (classe) foram selecionados. Com o objetivo de comparar o desempenho do classificador utilizando o conjunto de atributos selecionados automatica-mente, foram consideradas duas medidas de baseline. A primeira considera a medida de concordˆanciaKappa entre a anota¸c˜ao humana e um classificador treinado com o conjunto

de 12 atributos selecionados para essa dimens˜ao, conforme relatado anteriormente. Como

Baseline 2, considerou-se o valorKappa entre a anota¸c˜ao humana e um classificador com o atributo mais preditivo para a dimens˜ao de acordo com o anotador humano. Dessa maneira, para a Baseline 2 foram selecionados os atributos lsaProposito e relProposito

(classe). Na Tabela 8.11 s˜ao apresentados os valores da concordˆanciaKappa de cada um dos classificadores com esses conjuntos de atributos.

Tabela 8.11: Concordˆancia Kappa dos classificadores da Dimens˜ao Prop´osito (envol-vendo o componente Conclusion) com diferentes conjuntos de atributos

Atributos ConcordˆanciaKappa (K) Classificador AZproximo, lsaProposito, relProposito

(classe)

0,720

Baseline 1 AZanterior, AZproximo, elemento anaforico, lsaAnterior, lsaProposito, lsaProxima, lsa-Titulo, offset, palavra transicao, tamanhoSen-tenca, relProposito (classe)

0,546

Baseline 2 lsaProposito, relProposito(classe) 0,748

Nota-se na Tabela 8.11 que a concordˆancia Kappa entre a anota¸c˜ao humana e o classificador utilizando somente os atributoslsaProposito erelProposito (classe) (Baseline 2) supera a Baseline 1 e o classificador com o conjunto de atributos selecionados automaticamente. Assim, somente os atributoslsaProposito erelProposito (classe) foram utilizados para a indu¸c˜ao do classificador final da Dimens˜ao Prop´osito envolvendo o componenteConclusion.

Avalia¸c˜ao Intr´ınseca

Dado os atributos lsaProposito e relProposito (classe) selecionados, um conjunto de 102 senten¸cas classificadas como Conclusion foi utilizado para treinamento e teste do classificador final da Dimens˜ao Prop´osito envolvendo o componenteConclusion (uma vez que do total de 120 senten¸cas deConclusion do c´orpus, 18 est˜ao resumos que n˜ao possuem o componente Purpose). Desse total, 92 (90,19%) foram corretamente classificadas e 10 (9,80%) foram incorretamente classificadas. Os detalhes do teste do classificador s˜ao apresentados na matriz de confus˜ao da Tabela 8.12, em que os acertos s˜ao mostrados na diagonal principal e os erros fora dessa diagonal.

Tabela 8.12: Matriz de confus˜ao do classificador final da Dimens˜ao Prop´osito (compo-nente Conclusion)

Classificador

Classe Alto Baixo Total

Anotador Alto 70 4 74

Humano Baixo 6 22 28

Total 76 26 102

Pode-se observar na Tabela 8.12 que do total de 74 senten¸cas que realmente pertencem `

a classe “alto” (classificadas pelo anotador humano), 70 senten¸cas foram corretamente classificadas como “alto” e 4 senten¸cas foram incorretamente classificadas como “baixo” pelo classificador. J´a do total de 28 senten¸cas que realmente pertencem `a classe “baixo” (classificadas pelo anotador humano), 22 senten¸cas foram corretamente classificadas como “baixo” e 6 senten¸cas foram incorretamente classificadas como “alto” pelo classificador. No total, foram classificadas 76 senten¸cas como “alto”, em que 6 senten¸cas pertencem `

a classe “baixo”, ou seja, incorretamente classificadas, e 26 senten¸cas classificadas como “baixo”, em que 4 pertencem `a classe “alto” e, portanto, incorretamente classificadas.

Na Tabela 8.13 ´e apresentado o desempenho do classificador em rela¸c˜ao `as medidas de avalia¸c˜ao Precision, Recall, F-Measure e Macro-F. A Tabela 8.13 tamb´em apresenta os resultados de umabaseline simples que sempre atribui a classe prevalente da anota¸c˜ao como sa´ıda para um classificador hipot´etico. Como relatado anteriormente na Se¸c˜ao 7.4, a classe prevalente na anota¸c˜ao da Dimens˜ao Prop´osito, em especial para as senten¸cas classificadas comoConclusion, ´e a classe “alto” com 72,55% das senten¸cas.

Tabela 8.13: Desempenho do classificador final da Dimens˜ao Prop´osito (componente

Conclusion)

Alto Baixo

Precision Recall F-measure Precision Recall F-measure Macro-F Classificador 0,921 0,946 0,933 0,846 0,786 0,815 0,874

Baseline 0,725 1,000 0,840 0,000 0,000 0,000 0,420

Observa-se na Tabela 8.13 que o classificador supera os resultados da baseline. Assim como nas dimens˜oes anteriores, nota-se que o valor da medidaF-measure da classe “alto” ´e superior ao da classe “baixo”. Embora exista um desbalanceamento das classes que possa favorecer a classe “alto”, acredita-se que o comportamento do classificador se deve ao fato de ser mais f´acil afirmar a existˆencia de um relacionamento alto entre uma senten¸ca

da categoriaConclusion e o prop´osito do resumo do que um relacionamento baixo. Logo, existe uma ambiguidade maior para identifica¸c˜ao de um relacionamento baixo. Esse fato foi constatado durante o processo de anota¸c˜ao manual e acredita-se que a dificuldade tenha refletido no classificador. Entretanto, o classificador obteve um bom desempenho de modo geral com o valor 0,874 para a medidaMacro-F, que leva em considera¸c˜ao ambas as classes.

Desse modo, os resultados positivos obtidos na avalia¸c˜ao do classificador possibilitam a sua utiliza¸c˜ao para desempenhar a tarefa proposta pela Dimens˜ao Prop´osito envolvendo o componente Conclusion.