Esta seção tem como foco apresentar que, os resultados obtidos no ASDP são semelhantes aos resultados encontrados na literatura da área. Apesar deSomasundaran e Wiebe(2009) eWalker et al. (2012) formarem seus corpora a partir do convinceme.net, não iremos fazer comparações entre nossos resultados pois a quantidade de posts analisados (ver tabela5.35), e a época de extração destes comentários utilizados pelos trabalhos são distintas.
No trabalho deSomasundaran e Wiebe(2009), os resultados demonstrados foram obtidos com os debates Firefox vs. Internet Explorer, Windows vs. Mac, Playstation 3 vs. Nintendo Wii e Opera vs. Firefox. A tabela 5.34 apresenta os resultados dos experimentos realizados por Somasundaran e Wiebe.
5.4. ANÁLISE DE TRABALHOS RELACIONADOS
Os melhores resultados de Somasundaran e Weibe são com o experimento OpPr + Disc na tabela 5.34. Segundo as autoras, essa configuração tem uma etapa inicial em que identificam-se os targets, que seriam as features ou tópicos do debate, e utiliza um corpus de textos da Web para relacionar esses targets à postura dos comentários no debate. Em seguida, para efetuar a classificação, Somasundaran e Wiebe formulam um problema de Programação Linear Inteira. A diferença do experimento OpPr + Disc para o experimento OpPr é que o primeiro faz uma análise de concessões semelhante ao nosso trabalho. Como é possível observar nas tabelas5.33e5.34, apesar de utilizarmos técnicas e corpora distintos, os nossos resultados são bem próximos.
Tabela 5.35 Comparação na quantidade de posts utilizados no ASDP, no trabalho deSomasunda- ran e Wiebe(2009) e no trabalho deWalker et al.(2012)
Outro trabalho voltado para a classificação de sentimento em debates é o deWalker et al.(2012). Diferente da nossa abordagem e da abordagem de Somasundaran e Weibe, Walker et al. utilizaram algoritmos de Aprendizagem de Máquina na classificação dos posts (relatando apenas os resultados obtidos pelo algoritmo NaiveBayes). Outra peculiaridade desse trabalho é a construção da rede de posts do debate.
Walker et al. apresentaram dois grupos de resultados, sendo uma classificação com contexto e uma classificação sem contexto. Na classificação com contexto, eles utilizaram os atributos do post corrente e do seu pai no grafo para a classificação. Na classificação sem contexto, os autores não utilizaram os atributos do post pai. Nesses dois experimentos, cada classificador é executado apenas com seus atributos, e posteriormente com todos os atributos juntos (mais detalhes sobre os atributos ver em (Walker et al.,2012)).
A melhor acurácia no corpus Firefox vs. Internet Explorer obtida por Walker et al. foi 63,75% na classificação sem contexto. Já na classificação com contexto, sua melhor acurácia foi 66,25%. Para o debate Firefox vs. Internet Explorer, todos os 14 resultados
5.4. ANÁLISE DE TRABALHOS RELACIONADOS
apresentados pelos autores são próximos às nossas taxas de acurácias (ver seção3.3), sendo que, apenas um resultado deWalker et al.(2012) consegue superar a nossa acurácia (ver tabela5.33).
A tabela 5.36 apresenta um comparativo entre os melhores resultados obtidos pelo ASDP, o trabalho de Somasundaran e Wiebe(2009) e a contribuição deWalker et al. (2012). Somasundaran e Weibe apresentam resultados que alcançam o estado da arte no debate Opera vs. Firefox. Contudo, as autoras utilizaram um corpus muito pequeno (ver tabela 5.35) na classificação, e portanto, é possível afirmar que a quantidade de amostras não é suficiente para boa inferência.
Tabela 5.36 Apresentação dos resultados dos trabalhos deSomasundaran e Wiebe(2009),Walker
5.5
Considerações Finais
Neste capítulo foram apresentados os resultados dos três experimentos conduzidos na nossa pesquisa. Após a descrição de cada uma das configurações, apresentamos os resultados e comparamos os valores entre si. Posteriormente citamos dois trabalhos encontrados na literatura e comparamos cada um deles com nossa melhor configuração. Conforme foi apresentado na seção 5.4, os resultados obtidos pelo ASDP são se- melhantes aos resultados demonstrados por Somasundaran e Wiebe (2009) eWalker et al.(2012). Apenas dois corpora utilizados são comuns ao ASDP e à contribuição deSomasundaran e Wiebe(2009), e o corpus de debate Firefox vs. Internet Explorer utilizado pelo ASDP também foi trabalhado porWalker et al.(2012).
Nossos melhores resultados foram 73,91% de precisão, 65,38% de acurácia e 69,39% no f-measure sobre o corpus de debate iPhone vs. Blackberry. Também foi demonstrado uma melhora nas taxas dos resultados com o uso de um algoritmo de resolução de anáforas e análise de concessões, sendo 66,67% a melhor f-measure obtida.
O próximo capítulo irá apresentar a conclusão deste trabalho, indicando as principais contribuições para a Análise de Sentimentos, bem como as dificuldades encontradas, possíveis melhorias e trabalhos futuros.
6
Conclusão
Esta dissertação apresentou o ASDP, um processo de classificação de sentimentos base- ado em regras linguísticas, responsável por capturar as palavras opinativas, os tópicos associados e as sentenças onde estes dois termos foram encontrados. Através desses dados, o ASDP consegue classificar sentimentos em debates não ideológicos com taxas de até 73,91% de precisão.
O ASDP foi testado em três configurações distintas. A primeira, a classificação de sentimento é feita apenas com o uso do léxico subjetivo, e dos padrões linguísticos. No segundo experimento foi acrescentado um método para resolução de anáforas e análise de concessões. O terceiro e último experiemnto, foi inserido uma abordagem que tenta inferir a classe dos posts de acordo com os seus vizinhos no grafo.
Como visto nos capítulos5 e3, o ASDP foi capaz de apresentar resultados seme- lhantes em alguns corpora em comparação a dois trabalhos bem conhecidos na literatura ((Somasundaran e Wiebe,2009), (Walker et al.,2012)). Além disso, o ASDP possui um método de resolução de anáfora, que é um fenômeno linguístico comum em debates e importante para o reconhecimento de entidades nomeadas. Nenhum dos dois trabalhos citados anteriormente desenvolveram métodos para solucionar referenciais anafóricos.
A seguir, a seção6.1apresenta as principais contribuições do método aqui proposto, e a seção6.2descreve propostas de trabalhos futuros a serem conduzidos a partir do que já foi feito nesta pesquisa.
6.1
Contribuições finais
Destacamos abaixo as principais contribuições do trabalho realizado nesta pesquisa de Mestrado:
• Realização de uma revisão bibliográfica extensa sobre Análise de Sentimentos, incluindo os principais conceitos e etapas para o desenvolvimento de um sistema completo de AS, bem como os principais trabalhos relacionados à classificação de sentimento voltada a debates polarizados não ideológicos – foco do nosso trabalho. • Desenvolvimento de padrões linguísticos, que podem ser facilmente expandidos e
refatorados, para a identificação de palavras opinativas em textos de debates não ideológicos. As palavras opinativas são validadas com o uso do léxico subjetivo MPQA (Wilson et al.,2005).
• Apresentação de fenômenos linguísticos pouco abordados na literatura de AS e a apresentação de um mecanismo que lida com estes fenômenos.
• Proposta de um representação da estrutura de replies de um debate em forma de grafo.
• Utilização da Abordagem Baseada em Conhecimento para AS em contraste com a utilização dominante de técnicas de Aprendizagem de Máquina.
• Construção de um protótipo de sistema de AS que realiza a classificação de senti- mentos, e apresenta taxas de desempenho semelhantes a trabalhos relacionados da literatura ((Somasundaran e Wiebe,2009), (Walker et al.,2012)).