ADSP: um processo de análise de sentimento em debates polarizados não ideológicos

Pós-Graduação em Ciência da Computação

“ASDP: Um Processo de Análise de Sentimento

em Debates Polarizados não Ideológicos”

Por

Francisco Assis Ricarte Neto

Universidade Federal de Pernambuco posgraduacao@cin.ufpe.br www.cin.ufpe.br/~posgraduacao

CENTRO DE INFORMÁTICA

PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

FRANCISCO ASSIS RICARTE NETO

“ASDP: Um Processo de Análise de Sentimento em Debates

Polarizados não Ideológicos "

ESTE TRABALHO FOI APRESENTADO À PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO DO CENTRO DE INFORMÁTICA DA UNIVERSIDADE FEDERAL DE PERNAMBUCO COMO REQUISITO PARCIAL PARA OBTENÇÃO DO GRAU DE MESTRE EM CIÊNCIA DA COMPUTAÇÃO.

ORIENTADOR(A): Flávia de Almeida Barros

Catalogação na fonte

Bibliotecário Jefferson Luiz Alves Nazareno, CRB 4-1758

Ricarte Neto, Francisco Assis.

ADSP: um processo de análise de sentimento em debates polarizados não ideológicos. – Recife: O Autor, 2014.

121f. : fig.

Orientadora: Flávia de Almeida Barros. Dissertação (Mestrado) - Universidade Federal de Pernambuco. Cin. Ciência da computação , 2014.

Inclui referências e apêndice.

1. Ciência da computação . 2Inteligência Artificial. I. Barros, Flávia de Almeida. (orientador). II. Título.

em Ciência da Computação do Centro de Informática da Universidade Federal de Pernambuco, sob o título “ASDP: Um Processo de Análise de Sentimento em Debates Polarizados não Ideológicos” orientada pela Profa. Flávia de Almeida Barros e aprovada pela Banca Examinadora formada pelos professores:

______________________________________________ Profa. Patricia Cabral de Azevedo Restelli Tedesco Centro de Informática / UFPE

______________________________________________ Prof. Raimundo Santos Moura

Departamento de Computação / UFPI

_______________________________________________ Profa. Flávia de Almeida Barros

Centro de Informática / UFPE

Visto e permitida a impressão. Recife, 18 de fevereiro de 2014.

___________________________________________________ Profa. Edna Natividade da Silva Barros

Coordenadora da Pós-Graduação em Ciência da Computação do Centro de Informática da Universidade Federal de Pernambuco.

À minha avó Maria Iracema (in memoriam), que foi e sempre será minha referência para agir com responsabilidade, dignidade e justiça.

Agradeço primeiramente a Deus, pois sem fé nele nada é possível. Às minhas amadas mães Francimar (in memoriam) e Iracema (in memoriam) que sempre serão meus maiores exemplos de vida. Sei que estão orgulhosas, e todas as minhas conquistas são dedicadas inteiramente às senhoras.

À minha família que, apesar da distância, sempre está me incentivando aos estudos. Agradeço em especial aos meus tios-pais Francira e Elio por todo os conselhos e suportes; aos meus primos-irmãos Irapuá e Egbara que sempre me apoiaram.

À minha amada noiva Dracy por toda sua paciência, carinho e amor durante todo esse tempo em que estive longe. Dificilmente esse trabalho seria concluído sem suas palavras amorosas.

À minha orientadora Flavia, por toda sua atenção, incentivo e orientação. Seu conhecimento e experiência foram decisivos no decorrer do mestrado. Serei eternamente grato.

Às amizades formadas em Recife: Evandro, Elvio, Jean, Jefferson, Luiza, Raphael e Társis.

E por fim, agradeço aos professores do Centro de Informática– UFPE, e do Departa-mento de Computação –UFPI , que contribuíram com minha formação acadêmica.

Resumo

Cada vez mais, pessoas recorrem a reviews, fóruns ou redes sociais em busca de opiniões sobre produtos e serviços, para embasar suas decisões. Contudo, a análise manual dessas opiniões não é um processo trivial, devido à enorme quantidade de informações disponí-veis. Outro problema comum são as opiniões falsas, ou propositadamente tendenciosas sobre algum produto. Nestes casos, para se obter uma posição “confiável” dos usuário acerca de algum item, é necessário buscar e analisar uma grande quantidade de opiniões.

Neste contexto, a Mineração de Opinião ou Análise de Sentimento (AS), vem auxiliar os usuários que buscam opiniões na Web. A AS é a área de estudo que analisa opiniões, sentimentos e emoções de pessoas acerca de algum tópico (produto, serviço, evento).

Este trabalho de Mestrado teve como objetivo principal a Análise de Sentimentos em Debates Polarizados (e.g., iPhone x Blackberry), um domínio ainda pouco explorado pela AS. O foco central é a classificação da postura dos participantes do debate (i.e., se apóiam o produto A ou B). A partir dos resultados dessa análise, pode-se identificar, por exemplo, que produto é o preferido no mercado. Contudo, esta é uma tarefa complexa, pois esses debates são longos, e apresentam elementos que dificultam a classificação automática do sentimento, tais como ironias ou ofensas direcionadas a outros participantes ou produtos.

Apresentamos aqui o ASDP, um Processo de Análise de Sentimento em Debates Polarizados, com foco nos debates não ideológicos. Aqui, a classificação da postura dos posts é feita com base na identificação de padrões linguísticos que foram observados em corpora de debates polarizados. Esses padrões recuperam triplas do tipo <produto, palavra opinativa, sentença>, que consideram o contexto de ocorrência dos termos para a atribuição da classe do post. O ASDP também trata a ocorrência de referências anafóricas e de concessões. O protótipo implementado conta ainda com um módulo para a criação e análise de uma rede de replies em forma de grafo, a fim de auxiliar no processo de classificação final da postura dos posts. Os resultados dos experimentos revelam taxas de 73,91% de acerto na classificação dos posts.

Os padrões linguísticos implementados neste trabalho foram desenvolvidos dentro da abordagem de Sistemas Baseados em Conhecimento, o que torna fácil a reusabilidade desta técnica em outros domínios, bem como garante uma fácil extensibilidade dos padrões. Também foram desenvolvidas e utilizadas técnicas Linguísticas para auxiliar a classificação dos posts dos debates.

Palavras-chave: Análise de Sentimento, Debates Polarizados, Postura do Post, Padrões Linguísticos.

Nowadays it is common for people to seek for opinions in online reviews, forums and social networks to make their decisions. However, manual analysis of these opinions it is not a trivial process due the huge amount of information available. Another problem are fake or intentionally biased opinions about a product/service. In these cases, to obtain a general “realible” stance about an item it is necessary to analyze a large amount of data.

In this context, the Opinion Mining or Sentiment Analysis (SA) has been assisting users to find opinions on Web. SA is research area that analyzes opinions, emotions and feelings of people about some topic (product, service, event).

This Master Thesis had as core objective to study the Sentiment Analysis on two-side debates (e.g., iPhone vs. Blackberry) a field yet unexplored by SA. The goal is to provide the classification of users stances on debate (i.e., which side they support, product A or product B). From these results, one can identify for example, the preferred product in the market. However, this is a complex task because these debates are too longs, and present elements (e.g., irony, insults) that complicate even more the task of automatic sentiment classification.

In this thesis we present ASDP, a process of sentiment analysis on two-side debates focusing on non-ideological debates. The classification of posts stance is based on linguistic patterns that were observed on corpora debate. These patterns extract triples <product, opinion word, sentence> which are used to assignment the post stance. The ASDP also treats of anaphora resolution, concessions and has a module for creating and analyzing a graph of replies presents on debate, in order to assist the final stance classification. The experiment results show 73,91% of precision on classification of posts.

The linguistics patterns implemented in this work were developed within approach Knowledge Based, which makes quite simple the reusability of this technique in other different domains as well as ensure easy extensibility of the patterns. Were also developed and used linguistic techniques to assist the stance classification.

Lista de Figuras

Figura2.1 Resultado comparativo entre duas câmeras digitais representadas

por cores distintas (Liu, 2012) . . . 32

Figura3.1 Exemplos de trechos argumentações polarizadas retirados de (So-masundaran e Wiebe, 2010). A coluna da esquerda apresenta o trecho da argumentação positiva/negativa, e a coluna da direita mostra os marcado-res de argumentação. . . 39

Figura 3.2 Lista de atributos utilizados pelo classificador do trabalho de (Walker et al., 2012). Na coluna da esquerda estão os atributos, e na coluna da direita, existe uma breve explanação sobre cada um dos atributos. 41 Figura 3.3 Resultados do primeiro experimento desenvolvido em (Walker et al., 2012). Os primeiros quatro debates que estão sobre a linha horizon-tal são debates não ideológicos. Na coluna da esquerda são apresentados os valores das acurácias relacionadas aos atributos utilizados na classifia-ção. Os demais debates apresentados são ideológicos. . . 41

Figura 3.4 Resultados do segundo experimento desenvolvido em (Walker et al., 2012). . . 42

Figura3.5 Exemplos de regras sintáticas utilizadas por Somasundaran e Weibe. 43 Figura3.6 Resultados das probabilidades apresentadas no trabalho de Soma-sundaran e Weibe sobre o debate iPhone vs. Blackberry . . . 44

Figura3.7 Resultados de Somasundaran e Wiebe (2009). . . 45

Figura3.8 Estrutura do léxico subjetivo MPQA com exemplos de palavras.. 46

Figura3.9 Estrutura do léxico SentiWordNet contendo exemplos de palavras opinativas. . . 47

Figura4.1 Arquitetura geral do protótipo ASDP. . . 53

Figura4.2 Arquitetura da etapa de pré-processamento do protótipo ASDP. . 55

Figura4.3 Lista de abreviações presentes na base de subtituição. . . 57

Figura4.4 Lista de contrações presentes na base de subtituição. . . 57

Figura4.5 Lista de sinônimos presentes na base de subtituição. . . 58

Figura4.6 Etiquetas presentes no POS-tagger de Stanford. . . 61

Figura4.7 Arquitetura da etapa de classificação de sentimento do ASDP. . . 62

Figura4.8 Lista de expressões negativas . . . 65

Lista de Tabelas

Tabela3.1 Quantidade de posts nos corpora de debates de Somasundaran e Weibe (Somasundaran e Wiebe, 2009). . . 42 Tabela5.1 Quantidade de posts extraídos por debate. . . 73 Tabela5.2 Matriz de confusão para o cálculo do erro de classificação . . . . 76 Tabela5.3 Matriz confusão da classificação dos posts do debate Firefox vs.

Internet Explorer . . . 78 Tabela5.4 Matriz confusão da classificação dos posts no debate Iphone vs.

Blackberry. . . 79 Tabela5.5 Matriz confusão da classificação dos posts no domínio Opera vs.

Firefox . . . 79 Tabela5.6 Matriz confusão da classificação dos posts no domínio Playstation

3 vs. Nintendo Wii . . . 79 Tabela5.7 Matriz confusão da classificação dos posts no domínio Playstation

3 vs. Xbox 360 . . . 80 Tabela5.8 Resultado da classificação por posts do debate Firefox vs. Internet

Explorer . . . 81 Tabela5.9 Resultado da classificação por posts do debate Iphone vs. Blackberry 81 Tabela5.10 Resultado da classificação por posts do debate Opera vs. Firefox 81 Tabela 5.11 Resultado da classificação por posts do debate Playstation 3 vs.

Nintendo Wii . . . 81 Tabela5.12 Resultado da classificação por posts do debate Firefox vs. Internet

Explorer . . . 82 Tabela5.13 Resultado das classificações dos debates . . . 82 Tabela5.14 Matriz confusão da classificação dos posts do debate Firefox vs.

Internet Explorer . . . 83 Tabela5.15 Matriz confusão da classificação dos posts no debate Iphone vs.

Blackberry. . . 83 Tabela5.16 Matriz confusão da classificação dos posts no domínio Opera vs.

Firefox . . . 84 Tabela5.17 Matriz confusão da classificação dos posts no domínio Playstation

3 vs. Nintendo Wii . . . 84 Tabela5.18 Matriz confusão da classificação dos posts no domínio Playstation

Tabela5.20 Resultado da classificação por posts do debate Iphone vs. Blackberry 85 Tabela5.21 Resultado da classificação por posts do debate Opera vs. Firefox 85 Tabela 5.22 Resultado da classificação por posts do debate Playstation 3 vs.

Nintendo Wii . . . 86 Tabela5.23 Resultado da classificação por posts do debate Firefox vs. Internet

Explorer . . . 86 Tabela5.24 Resultado das classificações dos debates . . . 86 Tabela5.25 Matriz confusão da classificação dos posts do debate Firefox vs.

Internet Explorer . . . 90 Tabela5.26 Matriz confusão da classificação dos posts no debate Iphone vs.

Blackberry. . . 90 Tabela5.27 Matriz confusão da classificação dos posts no domínio Opera vs.

Firefox . . . 90 Tabela5.28 Matriz confusão da classificação dos posts no domínio Playstation

3 vs. Nintendo Wii . . . 91 Tabela5.29 Resultado da classificação por posts do debate Firefox vs. Internet

Explorer . . . 92 Tabela5.30 Resultado da classificação por posts do debate Iphone vs. Blackberry 92 Tabela5.31 Resultado da classificação por posts do debate Opera vs. Firefox 92 Tabela 5.32 Resultado da classificação por posts do debate Playstation 3 vs.

Nintendo Wii . . . 92 Tabela5.33 Resultado das classificações dos debates . . . 93 Tabela5.34 Resultados de Somasundaran e Wieber (2009) . . . 94 Tabela5.35 Comparação na quantidade de posts utilizados no ASDP, no

tra-balho de Somasundaran e Wiebe (2009) e no tratra-balho de Walker et al. (2012) . . . 95 Tabela 5.36 Apresentação dos resultados dos trabalhos de Somasundaran e

Sumário

2.1.3 Mineração de Opiniões/ Análise de Sentimentos . . . 22

2.2 Análise de Sentimento – Detalhamento . . . 23

2.2.1 Nomenclatura adotada e Definições . . . 23

2.2.2 Níveis da AS . . . 26

2.3 Etapas da Análise de Sentimentos . . . 27

2.3.1 Detecção de subjetividade . . . 28

2.3.2 Extração de atributos . . . 28

2.3.3 Classificação de sentimentos . . . 29

2.3.4 Apresentação dos resultados . . . 31

2.4 Aplicações e Ferramentas da AS . . . 32

2.5 Desafios . . . 33

2.6 Conclusão . . . 34

3 Análise de Sentimento em Debates Polarizados 35 3.1 Visão Geral . . . 35

3.2 AS em Debates Ideológicos . . . 38

3.3 AS em Debate Não Ideológicos . . . 40

3.4 Léxicos Subjetivos . . . 45

3.5 Fenômenos Linguísticos em debates . . . 46

3.5.1 Anáforas . . . 47

3.5.2 Concessões . . . 48

3.6 Considerações Finais . . . 49

4 ASDP: Um Processo de Análise de Sentimento em Debates Polarizados 51 4.1 Caracterização do Problema. . . 52

4.3.1 Eliminação de posts não opinativos. . . 55

Léxico Subjetivo . . . 56

Exemplos de posts eliminados . . . 56

4.3.2 Normalização dos textos . . . 56

Base de substituições . . . 58

Exemplos de posts normalizados . . . 58

4.3.3 POS-Tagging . . . 58

Exemplos de posts etiquetados . . . 59

4.4 Classificação de Sentimento. . . 59

4.4.1 Resolução de Anáfora. . . 61

4.4.2 Atribuição Inicial de Polaridade . . . 62

Formação das triplas . . . 63

Atribuição de Polaridade da Tripla . . . 64

4.4.3 Análise de Concessões . . . 65

4.4.4 Classificação das Posturas dos Posts . . . 67

4.4.5 Criação e Análise do Grafo de Replies . . . 69

4.5 Considerações Finais . . . 71

5 Experimentos e Resultados 72 5.1 Corporade Debates . . . 73

5.2 Métricas de Avaliação . . . 75

5.3 Classificação de Opinião em Debates de Produtos . . . 77

5.3.1 Atribuição de Polaridade utilizando o Léxico Subjetivo . . . 77

Resultados Obtidos . . . 78

5.3.2 Classificação com o uso de Resolução de Anáfora e Concessão . 82 Resultados Obtidos . . . 83

5.3.3 Classificação do Grafo de Replies . . . 88

Resultados Obtidos . . . 89

5.4 Análise de Trabalhos Relacionados . . . 93

5.5 Considerações Finais . . . 97

6 Conclusão 98 6.1 Contribuições finais . . . 98

Referências 101 Apêndice 109 A Bases de Substituições 110 A.1 Contrações. . . 110 A.2 Abrevições. . . 112 A.3 Sinônimos . . . 117 B Dicionário de Gírias 119

1

Introdução

A Web 2.0 desencadeou uma explosão de serviços disponíveis na Internet, bem como um grande aumento de usuários na rede. Difundiu-se a criação de blogs, fóruns de discussão, sites de debates, redes sociais e sites de compras, favorecendo o aumento na interação entre os indivíduos.

Neste cenário, uma atividade que se tornou bastante frequente é a busca por opiniões sobre produtos e/ou serviços. De forma geral, todos os usuários recorrem a sites de opiniões (reviews), fóruns de discussão ou até mesmo às redes sociais em busca da experiência de outras pessoas antes de tomar suas decisões. Uma pesquisa de opinião realizada nos EUA revelou que entre 73% a 87% das pessoas que buscam opiniões na Web se disseram fortemente influenciadas pelas reviews1. Os entrevistados afirmaram ainda que estariam dispostos a pagar até 99% a mais por um serviço avaliado como "excelente"em relação a outro avaliado como "bom".

Os dados acima confirmam o fato de que a Internet se transformou em um podero-síssimo meio de transmissão de opiniões sobre produtos e serviços. Contudo, apesar de ser fácil encontrar opiniões na grande rede, a sua análise manual não é um processo trivial. Isso se deve a dois fatores principais: a abundância de informações disponíveis, e a dificuldade de se interpretar linguagem natural, que é imprecisa e ambígua por natureza.

Uma tendência atual das pessoas é expressar seus pensamentos e pontos de vistas em micro blogs, redes sociais, ou em sites de debates2, opinando sobre os mais diversos assuntos, desde temas relacionados a política (e.g., guerras, direito sobre armas, aborto) a temas sobre opiniões acerca de produtos. Este comportamento gera oportunidades para empresas de marketing, que buscam gerir a publicidade de políticos em campanhas eleitorais, ou de marcas de produtos no mercado consumidor, analisando o pensamento

1_{http://www.comscore.com/press/release.asp?press=1928}

1.1. MOTIVAÇÃO E CONTEXTO

geral expresso nessas mídias sociais3.

Nesse contexto, a Análise de Sentimento busca extrair a postura/posicionamento (do inglês, stance) de um indivíduo a partir de textos polarizados. Somasundaran e Wiebe (2009) definem stance como uma opinião geral de uma pessoa sobre um objeto, idéia ou posição. Walker et al. (2012) defendem que este ponto de vista (postura) pode ser utilizado na identificação de qual lado um indivíduo está em um debate polarizado, e.g., a favor ou contra a legalização do aborto.

A Análise de Sentimento (AS) pode ser definida como a área de estudo que analisa opiniões, sentimentos, atitudes, e emoções de pessoas acerca de produtos, serviços, indi-víduos, empresas e eventos (Liu,2012). O objetivo central é determinar automaticamente a polaridade das opiniões emitidas (se positivas ou negativas).

A AS se utiliza de técnicas e métodos de diversas áreas de pesquisa, com destaque para Processamento de Linguagem Natural (PLN) ((Allen,1995), (Manning e Schütze, 1999)), Mineração de Texto (Feldman e Sanger,2006), Mineração da Web ((Cooley et al., 1997), (Kosala e Blockeel,2000), (Liu,2006)), Recuperação da Informação ((Baeza-Yates e Ribeiro-Neto,1999), (Manning et al.,2008)) e Inteligência Artificial (Russell e Norvig, 2003) (mais especificamente classificação automática de texto).

1.1

Motivação e Contexto

A análise de sentimento é uma área recente na comunidade científica. Os primeiros trabalhos sobre opiniões buscavam investigar o sentimento expresso em textos de reviews) de produtos e filmes ((Pang et al.,2002), (Turney e Littman,2003), (Dave et al.,2003), (Morinaga et al.,2002)). Desde então, muito já se desenvolveu nessa área, e as abordagens que classificam sentimento em reviews já conseguem realizar esta tarefa com ótimas taxas de precisão ((Silva et al.,2012), (Popescu e Etzioni,2005), (Qiu et al.,2011), (Hu e Liu, 2004)).

Contudo, a AS tradicional não consegue tratar adequadamente um fenômeno rela-tivamente recente: Análise das opiniões em debates online. Os principais fatores que agregam desafios a esta atividade estão associados à dificuldade de interpretar as opiniões nos discursos nos debates.

Durante o debate, os participantes apresentam suas preferências e justificam o porquê de suas opiniões estarem corretas. Além disso, para fortalecer seus pontos de vista, alguns

3

debatedores apresentam argumentações negativas sobre seus adversários ou sobre as opiniões deles. É comum também que durante a evolução do discurso, alguns participantes mudem de opinião, e portanto, passem a defender o lado a qual eram adversários.

Complicando ainda mais este cenário, os usuários presentes no debate podem apre-sentar opiniões positivas sobre alguns aspectos do objeto (produto ou tópico) sendo apoiado pelo lado adversário, sem realmente mudar sua postura no debate. Além disso, alguns debatedores chegam a manifestar opiniões negativas sobre aspectos dos tópicos que defendem. A estes fatores, damos o nome de concessões (Robaldo et al.,2010).

A fim de demonstrar a dificuldade de realizar Análise de Sentimento em debates on-line,Walker et al.(2012) examinaram a classificação da postura dos participantes dentro do corpus de 14 debates distintos, 10 debates ideológicos, e 4 debates não ideológicos. Os autores conduziram um experimento através do Mechanical Turk4onde a classificação dos posts de debate foi feita por humanos. Eles observaram que apenas 78,26% das pes-soas que participaram desse experimento coincidiram sua classificação com a marcação original do post no debate, demonstrando que classificar os posts isoladamente não é uma tarefa trivial nem para humanos.

1.2

Trabalho Realizado

Diante do que foi apresentado, esta pesquisa de mestrado tem como objetivo classificar a postura dos participantes de um debate não ideológico mediante a um tema (e.g., qual o melhor Sistema Operacional: Windows ou OSX (Apple)). Para a realização desta tarefa criamos o processo de Análise de Sentimento denominado ASDP que, por meio de técnicas e ferramentas linguísticas, determina a polaridade dos posts do debate através da identificação das palavras opinativas e das entidades associadas a elas.

A realização da etapa de classificação de sentimentos é bastante complexa, pois os textos de debate costumam ser longos, e algumas vezes apresentam ironias, ou até mesmo ofensas direcionadas a outros participantes ou produtos. Os indivíduos que participam do debate além de argumentarem sobre a razão de suas preferências serem melhores, podem também tecer críticas sobre as argumentações e preferências dos adversários.

Nesse contexto, elaboramos um processo de classificação através de padrões linguísti-cos que foram observados nos textos. Esses padrões recuperam triplas do tipo <produto, palavra opinativa, sentença> que servirão para a atribuição inicial da polaridade, análise de anáforas, concessões, e com esses e outros fatores associados, poderão definir as

1.3. ORGANIZAÇÃO DO TRABALHO

classes dos posts.

O protótipo desenvolvido foi codificado na linguagem de programação Java5. Para a classificação de sentimentos foram utilizados 807 posts sobre temas de debates não ideológicos. Os experimentos realizados mostram uma classificação de 73,91% de precisão.

Dois outros trabalhos conhecidos na literatura e que também fazem a classificação da postura dos posts dentro de debates não ideológicos, são os trabalhos deSomasundaran e Wiebe(2009) eWalker et al.(2012). Através de uma abordagem não supervisionada, Somasundaran e Wiebe(2009) conseguem 68,75% de precisão sobre a análise de posts em debates polarizados não ideológicos. Já o método supervisionado deWalker et al. (2012) obteve 75,38% de acurácia na classificação da postura dos posts em debates não ideológicos. A técnica proposta nesta dissertação de Mestrado, o ASDP, obeteve taxas de precisão e acurácia semelhantes aos resultados deSomasundaran e Wiebe(2009), e Walker et al.(2012), através do uso de padrões linguísticos que podem ser facilmente extendidos e reutilizáveis em outros domínios.

Este trabalho foi desenvolvido seguindo a abordagem de Sistemas Baseados em Conhecimento, utilizando-se de técnicas Linguísticas para a classificação dos posts dos debates.

1.3

Organização do Trabalho

A presente dissertação está dividida em seis capítulos. Após este capítulo de Introdução, os capítulos seguintes tratam sobre os conceitos de AS, revisões bibliográficas, descrição da abordagem proposta e detalhamento dos experimentos.

O capítulo2apresenta os principais termos e conceitos sobre Análise de Sentimentos. Este capítulo descreve também os níveis e as etapas que são abordados nos trabalhos relacionados à Mineração de Opiniões. Também apresentamos algumas aplicações existentes no mercado que fazem AS.

O capítulo3apresenta o estado da arte da Análise de Sentimento em debates online. São descritos os principais desafios desta área, bem como as contribuições existentes na literatura. Apresentamos dois fenômenos linguísticos comuns em debates e que foram tratados nesta pesquisa. Por último, foi mostrado os dois principais léxicos subjetivos presentes na literatura, o léxico MPQA, e o léxico SentiWordNet.

O capítulo4descreve o processo de AS proposto nesta pesquisa de Mestrado. São

descritas as técnicas e algoritmos utilizados no desenvolvimento do trabalho. No capí-tulo 5apresentamos a metodologia e experimentos realizados. Foi feito também uma comparação entre os resultados obtidos pelo ASDP e duas outras técnicas da literatura.

O capítulo6apresenta a conclusão deste trabalho juntamente com uma análise dos resultados obtidos. Neste capítulo, propusemos algumas extensões para o ASDP como trabalhos futuros.

2

Análise de Sentimento

Uma atividade bastante comum hoje em dia é nos depararmos navegando na Web em busca de opiniões sobre produtos e/ou serviços. De forma geral, usuários recorrem a reviews, fóruns ou até mesmo as redes sociais, em busca da experiência de outras pessoas para que possam tomar suas decisões.

Apesar de ser fácil encontrar opiniões na Internet, a sua análise manual não é um processo trivial, devido à enorme quantidade de informações disponíveis na Web. Além disso, temos também outros problemas para realizar essa análise: as opiniões falsas, ou propositadamente tendenciosas sobre algum produto (Jindal e Liu,2007). Logo, para se obter uma posição geral “confiável” dos usuário acerca de algum produto, é necessário buscar e analisar uma quantidade significativa de opiniões na Web.

Nesse contexto, a Mineração de Opinião, também conhecida como Análise de Senti-mento (AS), vem facilitar a vida dos usuários que buscam opiniões na Web. A Análise de Sentimento é a área de estudo que analisa opiniões, sentimentos, atitudes e emoções de pessoas acerca de produtos, serviços, tópicos, eventos e/ou alguns de seus atributos (Liu,2012). A AS procura realizar, de forma rápida e automática, a análise das opiniões disponíveis acerca de um produto ou serviço, e retornar para o usuário a opinião geral sobre o objeto de seu interesse.

Sempre que queremos tomar decisões importantes buscamos saber o que outras pessoas pensam. As opiniões são fundamentais em várias atividades humanas pois elas são capazes de manipular nosso comportamento. Como já dito, a AS é uma área de pesquisa relativamente recente. O grande impulso para o crescimento dessa área foi o surgimento explosivo dos meios de comunicações sociais (e.g., fóruns de discussão, reviews, blogs, redes sociais, etc.) na Web, onde o público em geral utiliza estes conteúdos para suas tomadas de decisões.

trabalhos que deram início às investigações nessa área, citamos (Wiebe,1994), cujo foco era reconhecer sentenças subjetivas1em textos de narrações fictícias em terceira pessoa, para então identificar o ponto de vista psicológico do personagem. A AS também é muito útil em áreas como Marketing, Bolsa de Valores, eleições políticas, entre outros. Existem trabalhos que buscam identificar as opiniões dos eleitores sobre políticos e seus projetos (e.g., (Mullen e Malouf,2006), (Wang et al.,2012)).

Neste capítulo, mostraremos uma visão geral da Mineração de Opinião/AS. A seção 2.1define o conceito de Análise de Sentimento, como também algumas noções básicas de áreas correlatas, que são necessários para a compreensão do restante do trabalho. A seção2.2apresenta os principais termos e conceitos utilizados na área de Análise de Sentimento, e os níveis em que a AS é abordada. A seção 2.3 introduz as etapas da análise de sentimento. Na seção2.4, apresentamos alguns produtos existentes para AS, e algumas possíveis aplicações dessa técnica. A seção2.5mostra alguns dos desafios e limitações encontrados na AS. Por fim, a seção2.6encerra este capítulo com a conclusão.

2.1

Áreas Correlatas

Por ser uma área relativamente recente e sem uma nomenclatura padrão, a AS possui termos distintos para conceitos semelhantes. Desta forma, neste documento, iremos utilizar os termos e seus conceitos apresentados nesta seção. As seções2.1.1, e 2.1.2 apresentarão alguns dos principais termos e definições sobre áreas bastante relacionadas com a AS, e que auxiliarão no entendimento do conteúdo desta dissertação. A seção2.1.3 mostrará os principais conceitos abordados na área de Análise de Sentimento.

2.1.1

Mineração de Texto

Mineração de Texto (Text Mining), também conhecida como Descoberta de Conhecimento em Textos (Knowlegde Discovered in Texts – KDT), busca extrair informações através da identificação e exploração de padrões em uma coleção de documentos de textos (Feldman e Sanger, 2006). Os documentos de textos podem ser encontrados em duas formas distintas: textos semi-estruturados (e.g., documentos de especificação de requisitos, páginas HTML) e textos não estruturados (e.g., reviews, posts em fóruns, etc.).

Para a mineração de grandes coleções de documentos, é necessário realizar um pré-processamentos nos textos e armazenar as informações como dados estruturados,

1_{Sentenças subjetivas são aquelas que apresentam pensamentos, opiniões, e percepções do personagem}

2.1. ÁREAS CORRELATAS

que são mais fáceis de processar do que arquivos de texto. Dessa forma, grande parte das abordagens de Mineração de Texto representa cada documento como uma lista das palavras (bag of words) que estão contidas no texto. Para isso, métodos clássicos de Recuperação de Informação são utilizados (e.g., modelo espaço vetorial, modelo booleano, modelo probabilista), definindo um grau de importância de cada palavra em relação ao documento (Hotho et al.,2005).

Hotho et al.(2005) descrevem três tarefas de pré-processamento para os documentos de textos, cujo objetivo é de reduzir a dimensão da lista inicial de palavras do texto, a fim de obter uma lista mais representativa do documento:

• Filtragem (Filtering): Métodos de filtragem removem as stop words do texto, que são as palavras que não possuem conteúdo semântico/informação (e.g., artigos, conjunções, preposições, etc)

• Lematização (Lemmatization): O objetivo deste método é mapear todas as formas verbais para o seu modo infinitivo, e mapear os substantivos no plural para a forma no singular. Para a realização dessa tarefa, a classe gramatical de cada palavra tem que ser fornecida.

• Stemming: Este método tenta obter o stem (semelhante ou igual ao radical) das palavras retirando prefixos e sufixos. Por exemplo, retira-se o sufixo ‘s’ dos plurais, as terminações verbais dos verbos (e.g., terminação “ing” para a língua inglesa), ou outros sufixos. O stem então representa todas as palavras derivadas desse memso radical.

Em (Hotho et al.,2005), os autores destacam que não existe um procedimento único para a Mineração de Textos, e enumeram as principais tarefas relacionadas à área:

• Classificação de textos: Tem o objetivo de atribuir classes pré-definidas aos documentos de uma coleção. Esses documentos são classificados a partir de informações presentes no texto (e.g., termos, palavras). Para a realização desta tarefa, podem ser utilizados classificadores baseados em conhecimento explícito (i.e., baseados em regras que são definidas por um especialista) (Feldman e Sanger, 2006), ou algoritmos supervisionados de aprendizagem de máquina (e.g., KNN, NaiveBayes, Support Vector Machine, etc) (Mitchell,1997).

• Agrupamento de textos: esta tarefa tem o objetivo de encontrar grupos (clusters) de documentos com conteúdos similares, ou seja, encontrar as classes de docu-mentos que não são conhecidas a priori. Geralmente a qualidade dos clusters é

considerada boa se os documentos dentro de um mesmo grupo são similares entre si, e ao mesmo tempo dissimilares dos documentos de outro cluster. Os principais algoritmos para a realização desta tarefa são os algoritmos de aprendizagem não-supervisionada (e.g., K-means, Bisecting K-means, Self Organizing Map, Fuzzy Clustering) (Steinbach et al.,2000).

• Extração de Informação: O objetivo principal desta tarefa é extrair dados/in-formação do texto, atribuindo conceitos específicos a estes dados, mapeando a informação contida em um documento em uma estrutura tabular (Silva,2004). Para a realização de Extração de Informação, podem ser utilizados algoritmos de aprendizagem de máquina supervisionados, e Processamento de Linguagem Natural (e.g., Reconhecimento de Entidades Nomeadas, POS-Tagger, Tokenização) (Allen,1995).

2.1.2

Mineração da Web

A Mineração da Web (Web Mining) pode ser definida como a tarefa de descobrir e analisar quaisquer tipos de informações/conhecimentos úteis a partir de serviços ou documentos da Web (Cooley et al.,1997), (Kosala e Blockeel,2000). Esta área surgiu devido ao incrível crescimento das fontes de informações disponíveis na Internet (e.g., blogs, fóruns, sites de notícias, reviews e etc.), juntamente com a necessidade de ferramentas automáticas que facilitem a busca de informações desejadas pelos os usuários. Para facilitar esta atividade, Kosala e Blockeel(2000) propuseram etapas para a realização de Web Mining:

• Coleta de Recursos: Esta etapa é responsável por recuperar da Web os documentos de interesse do usuário.

• Seleção de informação e pré-processamento: Esta etapa faz a seleção automática de dados específicos dos documentos recuperados, e faz o pré-processamento destes dados.

• Generalização: Etapa responsável por identificar, de forma automática, padrões existentes em websites selecionados.

• Análise: Etapa que faz a validação ou interpretação dos padrões encontrados. Baseado nos tipos de dados que podem ser utilizados no processo de mineração,Liu (2006) divide a Web Mining em três categorias: Mineração da estrutura da Web (Web

2.1. ÁREAS CORRELATAS

Structure Mining), Mineração do Uso da Web (Web Usage Mining) e por fim, a Mineração de Conteúdo da Web (Web Content Mining).

• Mineração da Estrutura na Web: A Mineração da Estrutura da Web é capaz de descobrir informações úteis a partir dos hyperlinks. Analisando os links, é possível criar mecanismos capazes de identificar web pages importantes (semelhante ao trabalho dos engenhos de busca), e detectar comunidades ou indivíduos que possam compartilhar interesses em comum.

• Mineração do Uso da Web: Esta categoria de Web Mining se refere à descoberta de padrões de acesso dos usuários através de seus logs, cookies, perfis em redes sociais, consultas, enfim, qualquer interação do usuário com a Web. Através destas informações é possível detectar os serviços ou produtos que um indivíduo acessou na Internet, e apresentar informações relacionadas a estas consultas aos potenciais clientes (e.g., promoções, descontos, outros serviços/produtos semelhantes). • Mineração de Conteúdo da Web: Esta área trata da extração dos conteúdos

presentes nos websites. É possível descobrir padrões em páginas Web para a extração de dados úteis, como descrição de produtos, posts em fóruns, em blogs ou em redes sociais. Através desses dados podemos averiguar, por exemplo, o sentimento expresso por uma pessoa em um debate sobre qual seria o melhor navegador para Internet, Firefox ou Internet Explorer. Contudo, note que a análise de sentimento dos dados extraídos da Web já é tarefa de outra área de trabalho (como será visto a seguir).

2.1.3

Mineração de Opiniões/ Análise de Sentimentos

Esta seção traz uma visão superficial da AS, com o objetivo de distinguir esta área das duas áreas correlatas apresentadas anteriormente. Os conceitos aqui apresentados serão aprofundados na seção2.2a seguir.

Como já visto, a Análise de Sentimento é responsável por identificar as opiniões sobre um determinado assunto (i.e., do objeto sob análise), e avaliar a polaridade dessas opiniãos (ou seja, classificar as opinões entre positivas, negativas ou neutras) (Tsytsarau e Palpanas,2012).

SegundoLiu(2010) a AS pode ser tratada em três níveis de granularidade: no nível do documento, no nível da sentença, ou no nível do atributo2.

2_{atributos podem ser componentes, aspectos ou características do objeto sendo avaliado (e.g.,}

Um processo completo de AS pode contar com quatro etapas principais:

• Detecção de subjetividade, que classifica os textos entre subjetivos e objetivos, sendo considerado subjetivo o texto que contém alguma opinião;

• Extração de atributos, responsável por identificar no texto os aspectos ou caracte-rísticas do objeto sob análise;

• Classificação de sentimento/polaridade, que busca determinar a polaridade do texto; e

• Apresentação dos resultados.

Para realização de AS utilizamos técnicas de diversas áreas de pesquisa, com destaque para Processamento de Linguagem Natural (PLN) ((Allen,1995), (Manning e Schütze, 1999)), Mineração de Texto (Text Mining)(Feldman e Sanger,2006), Mineração da Web (Web Mining)((Cooley et al.,1997), (Kosala e Blockeel,2000), (Liu,2006)),Recuperação da Informação ((Baeza-Yates e Ribeiro-Neto,1999), (Manning et al.,2008)) e Inteligência Artificial (Russell e Norvig,2003).

Por fim, destacamos algumas das principais aplicações da AS, que estão presentes no mercado ou são objeto de pesquisa na academia. A análise de opiniões de consumidores e do público em geral tem sido um grande negócio para o marketing de empresas, relações públicas e campanhas políticas. A seção2.4irá apresentar mais detalhes sobre aplicações e ferrmanetas para AS.

2.2

Análise de Sentimento – Detalhamento

Nesta seção, aprofundaremos alguns conceitos fundamentais associados à área de Análise de Sentimento automatica, que é o foco principal desta dissertação.

A Análise de Sentimento, também chamada de Mineração de Opinião, é uma área ainda recente (Pang e Lee,2008), (Tsytsarau e Palpanas,2012). Assim, ainda não existe um consenso quanto à sua nomenclatura, e alguns de seus conceitos ainda estão sendo consolidados.

2.2.1

Nomenclatura adotada e Definições

Neste trabalho, adotamos o padrão proposto porLiu (2010), que é o mais encontrado na literatura relacionada. Os exemplos 2.1 a 2.4 irão ajudar na ilustração dos conceitos

2.2. ANÁLISE DE SENTIMENTO – DETALHAMENTO

apresentados. Como os corpora usados nesta dissertação estão em inglês, os exemplos também estarão nesse mesmo idioma.

Para facilitar a ilustração dos conceitos, nos exemplos, cada sentença está numerada sequencialmente, a partir de (1).

Exemplo 2.1: Comentário retirado do corpus do debate Firefox vs. Internet Explorer. “(1) Firefox’s tab interface is much smoother than IE’s. (2) Heck, up until a few weeks

ago, IE didn’t HAVE tabs. (3) Firefox also doesn’t have anywhere near the security problems that IE has.(4) IE is a bloated, cruddy little shred of software that should be forgotten immediately and brought up only when remembering the worst ideas ever.”

Exemplo 2.2: Comentário retirado do corpus do debate iPhone vs. Blackberry.

“(1) Not a "huge"difference, but yes, it’s more expensive. (2) I should not that I own both. (3) I upgraded from my Pearl to the iPhone shortly after it came out. (4) What’s this about the iPhone being a brick? (5) It’s 3/4 an inch taller and 1/4 an inch wider. (6) It’s just as thin (exactly) and it’s slightly heavier which makes it feel more solid and durable. (7) And sure you can carry around your iPod and your Pearl - I’ll carry my iPhone. (8) I mean you’re complaining about bulge and you’re okay with having 2 devices to do the work of 1? (9) Yes, the iPhone is limited to 8GB, but if you’re so in need of 30GB of music then you might have some issues. (10) I mean I have 5 GB of music on my phone and that’s 2.6 days worth of continual playing. (11) I’m sorry AT&T/Cingular sucksin your area - definitely a reason not to get an iPhone, but don’t blame the phone for that. (12) I mean Verizon is terrible in my area with AT&T beingexcellent, so it’s all relative.” A seguir, serão apresentados os conceitos básicos mais importantes para a área de AS. • Objeto: Um objeto é uma entidade que pode ser um produto, serviço, pessoa, evento, organização ou tópico que seja alvo de um comentário. Na sentença (1) do exemplo 2.1 temos “Firefox” e “IE” como exemplos de objetos analisados. • Atributos ou Características: São componentes ou aspectos de um dado objeto e

que podem ser referenciados no texto. Existem dois tipos de atributos: atributos explícitos, atributos implícitos. Os atributos explícitos são aqueles que aparecem em evidência no texto (e.g., a palavra “tab” na sentença (1) do exemplo 2.1). Já os atributos implícitos estão ‘escondidos’ no texto (e.g., o atributo capacity (capacidade de armazenamento) do objeto iPhone, na sentença (9) do exemplo 2.2). • Autor (opinion holder): É a pessoa ou organização que expressa a opinião. Para

• Opinião: É uma visão, atitude, emoção ou avaliação sobre um objeto, ou sobre seus atributos, por parte de um autor. A sentença 5 do exemplo 2.2 é uma ilustração de uma opinião.

• Orientação da Opinião: A orientação da opinião acerca de um objeto (ou de seus atributos) pode ser positiva ,negativa ou neutra.

• Palavras Opinativas: São as palavras que qualificam os objetos e/ou seus atributos. Geralmente, são palavras das classes gramaticais dos adjetivos e advérbios, porém, pode-se encontrar verbos e substantivos com o sentido de qualificação. No exemplo 2.2, terrible (12), solid (6), e durable (6), são exemplos de palavras opinativas. Descreveremos a seguir dois tipos de opiniões que foram frequentemente encontrados em nossos corpora de debates sobre produtos:

• Opiniões Diretas: São os casos de opiniões que fazem referência a apenas um objeto ou atributo. A sentença (11) do exemplo 2.2 é uma ilustração desse tipo de opinião.

• Opiniões Comparativas: Opiniões comparativas expressam relações de similari-dade ou diferença entre dois ou mais objetos, ou atributos comuns a dois objetos, que foram destacados pelo autor. As opiniões comparativas geralmente são ex-pressas no texto na forma de adjetivos comparativos, ou adjetivos superlativos. A primeira sentença do exemplo 2.1 é um caso desse tipo de opinião.

Exemplo 2.3: Comentário retirado do corpus de debate Mac vs. Windows

“(1) The whole windows v. mac debate has become a debate thats not meant to convince anyone or change anyone’s opinion,but to simply throw insults at the OS that you do not have, or the one that you are less comfortable with. (2) Therefore I will not try to convert you mac lovers, but simply silence you. (3) Lets look at the facts: Windows has a larger market share. (4) not twice mac’s share, nor 5 times it, but over 10 times the mac market share. (5) This fact is what guarantee’s customers that they will have and extensive software library to choose from. (6) Windows does have its shortcomings, the biggest (arguably) of which is the extensive library of viruses and#$ware, no choice involved in this.(7) With the introduction of Windows Vista, the "pretty"look is no longer exclusive to macs.(8) Instant search is available on both, and the list of similarities goes on... (9) The end result is the fact that most of us will not think "mac or windows"next time we buy a computer, but "vista premium or ultimate?”

2.2. ANÁLISE DE SENTIMENTO – DETALHAMENTO

Exemplo 2.4: Comentário retirado do corpus de debate Mac vs. Windows.

“(1) mac´s are lame, build your own computer”

Como é possível perceber através desses exemplos, nem todas as sentenças emitem opiniões sobre algum produto sob análise. Dessa forma, para realizar AS é importante termos capacidade de distinguir uma sentença com opinião de uma sentença sem opinião. A seguir, definiremos alguns termos importantes para distinguir sentenças e opiniões.

• Sentença Subjetivas: São sentenças que expressam sentimentos ou crenças pesso-ais (e.g., a sentença (1) no exemplo 2.4).

• Sentenças Objetivas: As sentenças objetivas expressam informações factuais sobre o mundo, ou sobre o objeto sob análise (e.g., a sentença (1) do exemplo 2.3). • Opinião Implicíta: Uma opinião implícita é aquela que está embutida em senten-ças objetivas (e.g., a sentença (9) do exemplo 2.2). Embora essa sentença apresente um fato, ela também indica uma opinião negativa sobre o produto iPhone.

• Opinião Explícita: Ao contrário da anterior, as opiniões explícitas são aquelas expressadas através de sentenças subjetivas (e.g., o exemplo 2.4).

• Sentenças Opinativas: São aquelas que podem apresentar tanto opiniões explícitas como opiniões implícitas.

A AS é responsável por identificar as opiniões sobre um determinado objeto, e avaliar a polaridade dessas opiniões, ou seja, classificar as opiniões entre positivas e negativas (Tsytsarau e Palpanas,2012).

2.2.2

Níveis da AS

Segundo Liu (2010) a classificação de sentimento pode ser tratada em três níveis de granularidade: no nível do documento, no nível da sentença e no nível do atributo.

Dado um conjunto de documentos opinativos, a Classificação de Sentimento no nível do Documento busca determinar se cada documento expressa uma opinião geral positiva, negativa ou neutra a respeito do objeto sob análise. Note que a polaridade de um documento opinativo é considerada neutra quando ele traz a mesma quantidade de avaliações positivas e negativas sobre o objeto sob análise. Como exemplo de trabalho

neste nível de classificação, citamos Pang (Pang et al.,2002) que utilizaram algoritmos de aprendizagem de máquina para classificar reviews de filmes entre positivos ou negativos. Outros exemplos deste nível de AS são (Sebastiani,2002) e (Dave et al.,2003).

A Classificação de Sentimento no nível da Sentença geralmente se divide em duas etapas. Primeiramente, busca-se identificar se cada sentença do texto é subjetiva ou objetiva. Em seguida, procura-se determinar se as sentenças subjetivas expressam opiniões positivas, negativas ou neutras. Podemos citar trabalhos de AS nesse nível de classificação: (Yu e Hatzivassiloglou,2003) e (Kim e Hovy,2004).

Exemplo 2.5: Comentário retirado do corpus de debate Sony Ps3 vs. Nintendo Wii.

“(1) PS controllers have always been lame. (2) Most game controllers have sucked. (3) The Wii is the first truly intuitive controller ever. (4) As a non-console gamer, I love the

my Wiimote, it’s the first thing that’s ever felt ’right’.”

Por fim, na Classificação de Sentimento no nível do Aspecto, os atributos são analisados isoladamente. Esse tipo de classificação é realizado por aplicações que procuram um nível maior de refinamento na AS. Depois de determinar (manualmente ou automaticamente) os atributos dos objetos sob análise, é realizada a classificação das opiniões sobre cada um dos atributos mencionados. No exemplo 2.5, existe na sentença (1) uma opinião negativa sobre o atributo controller do console Sony Ps3, e na sentença (4), outro atributo (Wiimote) está associado a uma palavra positiva. Por fim, e possível determinar o sentimento geral sobre cada atributo do objeto sob análise com base nas polaridades das opiniões já classificadas. Um exemplo de AS nesse nível é o trabalho de (Silva et al.,2012)

A seção2.3a seguir apresenta as etapas de um processo completo de AS.

2.3

Etapas da Análise de Sentimentos

Um processo completo de AS engloba quatro etapas principais: detecção de subjetividade, que classifica os textos entre subjetivos e objetivos; extração de atributos, responsável por identificar os atributos do objeto em análise; classificação de sentimento/polaridade, que busca determinar a polaridade do texto; e apresentação dos resultados.

2.3. ETAPAS DA ANÁLISE DE SENTIMENTOS

2.3.1

Detecção de subjetividade

A etapa de detecção de subjetividade é responsável por identificar as sentenças subjetivas no texto. Essa etapa é fundamental para o processo de AS, pois as sentenças subjetivas apresentam de forma explícita os sentimentos, crenças, e emoções sobre um determinado objeto.

Existem duas abordagens principais para a detecção automática de subjetividade na literatura: os métodos baseados em técnicas linguísticas e estatísticas ((Castro,2011), (Hatzivassiloglou e Wiebe,2000)); e os métodos baseados em algoritmos de aprendizagem de máquina (Yu e Hatzivassiloglou,2003).

Como exemplo de métodos linguisticos e estatísticos, citamos o trabalho de Hatzivas-siloglou e Wiebe(2000). Os autores defendem que os adjetivos são fortes indicadores de subjetividade. Dessa forma, eles determinam a subjetividade das sentenças com base na orientação semântica dos adjetivos. Em outra pesquisa,Castro(2011) realiza detecção de subjetividade em cima de um corpus de review de filmes. Com o uso de uma ferramenta de POS-Tagging e o léxico SentiWordNet (Esuli e Sebastiani,2006), Castro identifica a subjetividade em sentenças do corpus e as classifica como sentenças objetivas e sentenças subjetivas, alcançando taxas de acerto de até 74,5%.

Do outro lado,Yu e Hatzivassiloglou(2003) utilizaram um classificador NaiveBayes em um corpus composto por artigos do Wall Street Journal. O classificador separa sentenças objetivas (notícias e negócios) de sentenças subjetivas (artigos do editor e resposta às cartas de leitores).

2.3.2

Extração de atributos

A etapa de extração de atributos é responsável por identificar e extrair dos textos dis-poníveis os aspectos, componentes ou características associados ao objeto sob análise. Na ausência de um processo automático de extração, os atributos devem ser infomados manualmente.

Esta etapa é obrigatória quando se deseja realizar uma AS no nível de atributo, visto que na AS no nível de sentença e de documento, as características dos objetos não são analisadas individualmente.

As principais pesquisas sobre extração de atributos são conduzidas sobre corpus de reviewsde produtos (Liu,2012). Liu destaca que existem dois tipos mais comuns de reviews:

que descreva os atributos favoráveis e os não favoráveis separadamente, além de descrever um review detalhado posteriormente.

• Tipo 2 – Reviews de formato livre: O autor do comentário pode escrever livre-mente, sem ter que explicitar os prós e contras do produto ou serviço.

A extração de atributos nos comentários do Tipo 1 pode ser conduzida por diversos métodos (e.g., Aprendizagem de Máquina, PLN). Este tipo de review geralmente consiste em frases curtas, e cada uma das sentença trata somente de um único atributo.

Os reviews do Tipo 2 são mais complexos para processar, pois apresentam frases completas, podendo ser encontrados vários atributos em uma única sentença. Silva (2013) foi capaz de identificar os aspectos de produtos e suas opiniões a partir de padrões linguísticos, e posteriormente classificar esses pares como positivos, negativos ou neutros. Hu e Liu(2004) descrevem uma abordagem não-supervisionada para extração de aspectos em reviews do Tipo 2. Esta abordagem requer uma grande quantidade de reviews, e consiste em dois passos:

• Identificar os substantivos e sintagmas nominais mais frequentes: Hu e Liu defendem que os atributos dos objetos nos reviews são substantivos ou sintagmas nominais. Desta forma, o uso de um POS-Tagger é de grande utilidade. A ra-zão para a extração dos substantivos mais frequentes é que, quando as pessoas comentam sobre produtos e seus atributos, o vocabulário utilizado tende a coincidir. • Identificar os atributos menos frequentes utilizando palavras opinativas: As

palavras opinativas geralmente são adjetivos ou advérbios que expressam opiniões positivas e/ou negativas. A justificativa para este passo é que uma mesma palavra opinativa pode ser utilizada para descrever diferentes atributos (e.g., a palavra opinativa lame no exemplo 2.4 e na senteça (1) do exemplo 2.5, qualifica dois atributos/entidades distintos). Dessa forma, as palavra opinativas que avaliam os atributos frequentes podem avaliar os atributos não-frequentes, portanto, podem ser utilizadas para a extração destes atributos.

Como exemplos de outros trabalhos que fazem extração de atributos sobre reviews do tipo 2, podemos citar (Siqueira,2010) e (Lima,2011).

2.3.3

Classificação de sentimentos

Esta é a etapa do processo de AS onde são classificadas as opiniões no texto. Cada opinião possui um valor associado, que corresponde a sua orientação/polaridade (positiva,

2.3. ETAPAS DA ANÁLISE DE SENTIMENTOS

negativa ou neutra).

Aqui, também contamos com diferentes abordagens para realizar esta etapa da AS, sendo as principais delas a Aprendizagem de Máquina e a Abordagem baseada em Léxicos Subjetivos.

Como exemplos de trabalhos que utilizam Aprendizagem de Máquina para classifica-ção de sentimento, citamos (Pang et al.,2002), (Wilson et al.,2005), (Mullen e Malouf, 2006) e (Walker et al.,2012). Apesar de obterem uma ótima precisão na classificação, tais soluções são muito dependentes do corpus de treinamento do classificador, apresentando dificuldades no processamento de textos de outros domínios.

Como alternativa, temos a abordagem baseada no uso de Léxicos Subjetivos. Tais léxicos apresentam uma lista de palavras opinativas com suas polaridades associadas. Como exemplos, citamos o SentiWordNet ((Baccianella et al.,2010), (Esuli e Sebastiani, 2006)) e o léxico subjetivo MPQA (Wilson et al., 2005). Esta abordagem utiliza as polaridades associadas às palavras opinativas para determinar a polaridade das opiniões no texto.

Contudo, o uso de Léxicos Subjetivos para a classificação de sentimento pode não ser suficiente. É importante também considerar outros elementos presentes no texto que alteram a polaridade das opiniões, como por exemplo, expressões negativas, cláusulas adversativas, concessões etc.

Exemplo 2.6: Comentário retirado do corpus do debate Windows vs. Mac.

“(1) I’m not going into the details of why Macs are better, but I will say this: (2) Any person who switches to a Mac, I guarantee will never go back voluntarily.”

Liu (2010) descreve uma abordagem genérica para esta etapa de classificação de sentimentos:

• Identificação de palavras opinativas: Este passo corresponde a identificação de todas as palavras opinativas presentes no texto. A seguir, para as palavras positivas, negativas e neutras são atribuídos os valores [+1], [-1], e [0] respectivamente. • Expressões negativas: As expressões negativas, quando presentes no texto,

inver-tem a polaridade das opiniões associadas a elas (e.g., not, none, neither, nothing). Geralmente, utilizam-se valores empíricos para determinar o tamanho da janela que será utilizada para verificar se existe uma expressão negativa próxima a uma opinião. Um exemplo de sentença onde a negação não está próxima da palavra opinativa é a sentença (1) do exemplo 2.6.

• Cláusulas adversativas: Sentenças que possuem cláusulas adversativas, em geral, trazem opiniões contrárias. Dessa forma, considera-se que a polaridade da opinião antes da cláusula adversativa é contrária à polaridade da opinião depois desta cláusula. É possível averiguar uma cláusula adversativa na segunda sentença do exemplo 2.7.

Exemplo 2.7: Comentário retirado do corpus do debate Windows vs. Mac .

“(1) Apples are nice computers with an exceptional interface. (2) Vista will close the gap on the interface some but Apple still has the prettiest, most pleasing interface and most likely will for the next several years. ”

2.3.4

Apresentação dos resultados

A apresentação dos resultados é a última etapa do processo de AS. Esta etapa é responsável por analisar os dados de saída das etapas anteriores e apresentar, de forma simples e clara, os resultados para o usuário final. As informações obtidas a partir da classificação dos comentários podem ser mostradas de diversas formas, desde textos descrevendo os resultados da análise, a gráficos que fazem comparações entre dois ou mais produtos do mesmo domínio (ver figura2.1).

A figura 2.1 mostra um gráfico resultante da AS no nível de atributo em textos sobre duas câmeras digitais de marcas distintas. São apresentadas duas barras de cores diferentes para cada atributo das câmeras (foto, bateria, lentes, peso e tamanho), e o sentimento geral sobre os produtos - quanto mais acima da linha horizontal a barra estiver, maior é a avaliação positiva; quanto mais abaixo da linha horizontal, maior é a avaliação negativa.

Pang e Lee(2008) dividem a Visualização e Sumarização em dois tipos distintos: • Sumarização de documento único: Este primeiro tipo de sumarização trata

ape-nas das entidades de um único documento. O objetivo é apresentar o resultado da análise de sentenças extraídas, ou de unidades similares de textos, que relatam opiniões semelhantes ou que falem de um mesmo atributo, e a partir daí, apresentar os pontos positvos e os pontos negativos deste atributo.

• Sumarização Multi-documento: Este tipo de sumarização apresenta o resultado da análise dos objetos sobre diversos documentos de um mesmo domínio. O intuito dessa análise não é apenas mostrar ao usuário os pontos positivos e negativos de cada aspecto, como também comparar os aspectos dos dois objetos.

2.4. APLICAÇÕES E FERRAMENTAS DA AS

Figura 2.1 Resultado comparativo entre duas câmeras digitais representadas por cores distintas (Liu,2012)

2.4

Aplicações e Ferramentas da AS

Esta seção apresenta algumas das aplicações mais comuns da AS, bem como cita algumas ferramentas que auxiliam na realização automática desta tarefa. Como dito, a AS das opiniões de consumidores tem sido foco de atenção para o pessoal de marketing de empresas, relações públicas e campanhas políticas.

Claramente, a AS sobre produtos é o tipo de aplicação mais comum nessa área. Um exemplo clássico desse tipo de aplicação é o Google Product Search3, um website que fornece sumários de reviews sobre produtos e seus aspectos. Contudo, a AS não trata somente desses casos.

Outro importante domínio para mineração de opinião é o mercado financeiro. Através da análise de artigos, blogs e jornais, sistemas como The Stock Sonar4são capazes de avaliar o sentimento em torno de companhias, e tenta prever o impacto positivo/negativo sobre o preço de suas ações no mercado financeiro.

As redes sociais são o foco de várias aplicações de AS, devido à sua capacidade de cobrir diversos tópicos como política, mercado financeiro, reputação de produtos e marcas. Citamos aqui o tweetfeel5 , uma ferramenta capaz de analisar o sentimento a respeito de uma marca ou produto no Twitter6. Outra ferramenta com a funcionalidade voltada para a monitoração de opiniões sobre marcas e empresas nas redes sociais é a

3_{http://www.google.com/shopping} 4_{http://www.thestocksonar.com/} 5_{http://www.tweetfeel.com/} 6_{http://twitter.com/}

Viralheat7. Na área da política citamos o sistema deWang et al.(2012), que teve como objetivo a AS nos tweets relacionados às eleições presidenciais dos Estados Unidos no ano de 2012.

Além das aplicações citadas, existem ainda ferramentas que podem auxiliar na cons-trução de aplicações de AS. Citamos como exemplos a NLTK8(Natural Language Tool Kit)e a Alchemy API9. A NLTK é exclusiva para a linguagem de programação Python e possui importantes funcionalidades para o Processamento de Linguagem Natural, dentre elas, corpora de textos, classificadores de texto, sendo também capaz de detectar tex-tos opinativos e classificá-los. A Alchemy API é um Web service capaz de identificar sentimento positivo/negativo em textos e páginas Web da língua inglesa ou alemã. Este serviço pode ser utilizado por qualquer linguagem de programação que seja capaz de fornecer implementações para arquitetura REST.

2.5

Desafios

O crescente interesse do mercado sobre Análise de Sentimento é devido ao potencial de suas aplicações. Igualmente importantes são os desafios que esta área apresenta para a comunidade científica. As principais dificuldades em minerar opiniões estão relacionadas aos elementos associados aos textos (e.g., erros gramaticais, erros de grafia, sarcasmos, etc).

Listaremos a seguir alguns fatores que tornam a AS um processo não trivial:

• Named-Entity Recognition (NER): Reconhecimento de entidades nomeadas é a tarefa responsável por identificar as entidades que estão sendo avaliadas no texto (Nadeau e Sekine, 2007). Em textos opinativos como reviews de filmes, ou de debates ideológicos, a NER se torna uma tarefa bastante difícil, pois as entidades aqui referenciadas podem ser de diversos tipos (e.g., pessoas, lugares, organizações). Outro fator que aumenta a dificuldade dessa tarefa são as anáforas. Nos textos opinativos, comumente os autores utilizam pronomes para fazer referência a objetos já citados. Para solucionar este problema, é necessário desenvolver um método para Resolução de Anáfora (Jakob e Gurevych,2010).

• Léxicos Subjetivos: Uma das principais fontes de erro em abordagens que utilizam léxicos subjetivos são os falsos hits com as palavras do léxico (Somasundaran e

7_{https://www.viralheat.com/} 8_{http://nltk.org/}

2.6. CONCLUSÃO

Wiebe,2009). Muitas destas palavras, de acordo com o contexto em que se encon-tram no texto, podem ter conotação subjetiva ou objetiva, e portanto, adicionam ruído à classificação de sentimento.

• Detecção de Subjetividade: Um terceiro desafio é determinar quais documentos ou partes de documentos possuem conteúdo opinativo. A detecção de subjetividade em textos extraídos de reviews de produtos é simples, visto que esses textos são estritamente opinativos. Já em textos extraídos de debates ideológicos, fóruns, redes sociais, a detecção de subjetividade torna-se bastante complicada, pois além da estrutura do texto ser diferente dos reviews, é comum a ocorrência de ironias, sarcasmos, metáforas. Esses elementos podem ser erroneamente interpretados como opiniões positivas, sendo que na realidade são opiniões negativas.

• Textos Opinativos com Ruídos: Textos com erros de grafia, erros gramaticais, falta de pontuação e gírias ainda representam grandes desafios para os siste-mas de AS. Alguns desses problesiste-mas são solucionados a partir de um bom pré-processamento no texto.

2.6

Conclusão

Neste capítulo, apresentamos os principais conceitos relacionados à área de Análise de Sentimentos (e.g., níveis da AS, tipos de opiniões, etc), além das etapas de um sistema de Mineração da Opinião. Por fim, citamos alguns desafios que fazem com que a Análise de Sentimento seja uma das áreas mais pesquisadas no momento.

No próximo capítulo, apresentaremos com mais detalhes o processo de Análise de Sentimento em cima de textos de debates de produtos.

3

Análise de Sentimento em Debates

Polarizados

Neste capítulo, veremos com mais profundidade a classificação de sentimento em de-bates polarizados, por este ser o foco do nosso trabalho. Apresentaremos as principais contribuições da AS em debates ideológicos e debates não-ideológicos, descrevendo com maiores detalhes as abordagens e recursos utilizados nesses trabalhos.

A seção3.1mostrará uma visão geral sobre os problemas de realizar AS em textos de debates polarizados. As seções3.2, e3.3apresentarão algumas abordagens utilizadas para classificação de sentimentos em debates polarizados. A seção3.4descreve brevemente dois léxicos subjetivos bastante citados na literatura de AS. Na seção3.5apresentamos dois fenômenos liguísticos comuns em debates online e que foram tratados neste trabalho de mestrado. Por fim, a seção3.6apresentará as considerações finais.

3.1

Visão Geral

Uma tendência atual das pessoas é expressar seus pensamentos e pontos de vistas em micro blogs, redes sociais, ou em sites de debates1, opinando sobre os mais diversos assuntos, desde temas relacionados a política (e.g., guerras, direito sobre armas, aborto) a temas sobre opiniões acerca de produtos. Este comportamento gera oportunidades para empresas de marketing, que buscam gerir a publicidade de políticos em campanhas eleitorais, ou de marcas de produtos no mercado consumidor2, analisando o pensamento geral expresso nessas mídias sociais.

1_{www.createdebate.com, www.convinceme.net, www.politicalforum.com, www.forandagainst.com} 2

3.1. VISÃO GERAL

Quadro 3.1:Exemplos de posts do debate sobre a Existência de Deus

Postura Posts

God does not exist Before I began, let’s create three base ideas about God:

A. God is perfect B. God sees all

C. God can do whatever he/she wants

Now, based on those, we can create the following: 1. God sees evil in the world (B), but despite having the power to stop it (C), does not.

2. Any being that sees wrong, knows it can be stopped by him or her, and takes no action is flawed on some level. 3. This is contradictory to letter A, as in the scripture it is said that God is perfect.

4. Therefore, God doesn’t exist.

God does exist God sees all, God is perfect, God can do whatever He wants, Now..God sees evil but doesn’t stop it. So, therefore he is not real. When a murderer sees evil and does not stop it does that mean he doesn’t exist? When I see evil in the government or anything, and do nothing, because I can’t. Does that mean I am not real? Sometimes we can’t stop evil, and must let it happen. Everything happens for a reason the good and the bad. He is not responsible for Evil, Lucifer is. He may try to stop evil, but whether evil is stopped or not depends on if the person or being who is doing it is pure and good. Who is to say He didn’t try. You can’t prove he didn;t without some more

details.

God does not exist To prove there is not a God,you must prove that God does not exist Unless you can present evidence that God does not exist, than your argument is no better than your opposition.

God does exist Prove to me that the Flying Spaghetti Monster doesn’t exist.

No sir it doesn’t work that way. If you are asserting something exists you are required to back it up with evidence.

Nothing can be disproved, your must do your best to PROVE your stance using logic, reason and evidence. Things can be found to be VERY VERYVERY unlikely. Saying something exists doesn’t make it so.

Nesse contexto, a Análise de Sentimento busca extrair a postura/posicionamento (do inglês, stance) de um indivíduo a partir de textos polarizados. Somasundaran e Wiebe (2009) definem stance como uma opinião geral de uma pessoa sobre um objeto, idéia ou posição. Walker et al. (2012) defendem que este ponto de vista (postura) pode ser utilizado na identificação de qual lado um indivíduo está em um debate polarizado, e.g., a favor ou contra a existência de Deus, como ilustrado no quadro 3.13.

Discussões em fóruns, ou em sites de debates na Web sobre tópicos atuais (e.g., Qual o melhor console: PS3 ou Xbox?, Casamento Gay, etc.) são bem populares, e costumam ter uma forte carga emotiva. Os participantes desses debates apresentam suas preferências e justificam o porquê de suas opiniões estarem corretas. Além disso, para fortalecer seus pontos de vista, alguns debatedores apresentam argumentações negativas sobre seus adversários ou sobre as opiniões deles. Outra ocorrência comum é a mudança de opinião de alguns participantes durante a evolução do debate, chegando até a trocar de lado na discussão.

Complicando ainda mais este cenário, os participantes do debate ainda podem apre-sentar opiniões positivas sobre alguns aspectos do objeto (produto ou tópico) sendo apoiado pelo lado adversário, sem realmente mudar sua postura no debate. Além disso, alguns debatedores chegam a manifestar opiniões negativas sobre aspectos dos tópicos que defendem no debate. A estes fatores, damos o nome de concessões (Robaldo et al., 2010).

Existem alguns outros elementos presentes em debates polarizados que acrescentam dificuldades à realização da AS. A linguagem informal predominante nestes tipos de textos, e a grande quantidade de gírias, são fortes fontes de ruído na etapa de classificação de sentimento. Assim, para determinar a polaridade nesses debates, é necessário, além de identificar as opiniões positivas e as negativas, determinar sobre o que essas opiniões estão tratando, ou seja, as entidades que estão sendo avaliadas. Nesses debates, algumas das entidades presentes são citadas por referências anafóricas (Somasundaran e Wiebe, 2009), o que pode dificultar a tarefa de associar uma palavra opinativa a um objeto em discussão.

Walker et al.(2012) examinaram a classificação da postura dos participantes dentro do corpus de 14 debates distintos, 10 debates ideológicos, e 4 debates não ideológicos. A fim de demonstrar a dificuldade da AS nesses tipos de textos, os autores conduziram um experimento através do Mechanical Turk4onde a classificação dos posts de debate foi

3_{http://www.convinceme.net/debates/150/Existence-of-God.html} 4_{https://www.mturk.com/mturk/welcome}