Classificação com o uso de Resolução de Anáfora e Concessão

Nesse segundo experimento, além do léxico polarizado, foi também utilizado um algo- ritmo simples para resolução de anáfora (ver seção4.4.1), bem como um método para contabilizar concessões nos posts (seção4.4.3). Por fim, utilizamos as equações5.1,5.2 e5.3para determinar a classificação do post.

A anáfora é um tipo de referência textual que aponta para alguma entidade mencionada anteriormente no texto (Kabadjov,2007). De acordo essa definição, podemos dizer que a “resolução de anáfora” pode ser definida como o processo de identificar o antecedente de uma anáfora (Mitkov,1999). Existem vários tipos de anáforas (Mitkov,1999), porém este trabalho se restringe a tratar anáfora pronominal. Mais precisamente, buscou-se tratar apenas o pronome pessoal “it”, pois as entidades que queremos cobrir são os produtos dos debates.

debates. Conforme já definido na seção3.5.2, concessão é uma relação semântica que ocorre entre uma argumentação que cria uma expectativa sobre algo, e uma segunda argumentação que explicitamente nega a primeira (Robaldo et al.,2010).

Para tratar as ocorrências das concessões nos posts, criamos uma lista de conectivos inspirados no trabalho deSomasundaran e Wiebe(2009). Os conectivos foram seleciona- dos a partir da lista de conectivos das categorias “Concession” e “Contra-expectiation” do Penn Discourse Treebank (Prasad et al.,2008).

Resultados Obtidos

As tabelas 5.14 a 5.18 apresentam as matrizes confusão de cada debate. Em seqüência as tabelas 5.19 a 5.24 mostram os resultados utilizando as métricas já apresentadas anteriormente.

Tabela 5.14 Matriz confusão da classificação dos posts do debate Firefox vs. Internet Explorer

5.3. CLASSIFICAÇÃO DE OPINIÃO EM DEBATES DE PRODUTOS

Tabela 5.16 Matriz confusão da classificação dos posts no domínio Opera vs. Firefox

Tabela 5.17 Matriz confusão da classificação dos posts no domínio Playstation 3 vs. Nintendo Wii

Os resultados deste experimento em alguns debates apresentaram uma pequena melhora em relação aos resultados do experimento anterior. As tabelas 5.19 a 5.23 mostram pequenas evoluções em relação às tabelas5.8a5.12. A classe pro-iphone obteve 100% na precisão, porém sua cobertura obteve uma queda, visto que neste experimento, três posts da classe pro-iphone foram classificados erroneamente como pro-blackberry. De modo geral, nas demais classes houve um aumento na cobertura, e acreditamos que isso seja graças ao uso da resolução de anáfora.

Tabela 5.19 Resultado da classificação por posts do debate Firefox vs. Internet Explorer

Precisão Cobertura F(1)-Measure Pro-Firefox 0,8977 0,6031 0,7215 Pro-Internet Explorer 0,4211 0,5161 0,4638

None 0,2340 1,0 0,3793

Tabela 5.20 Resultado da classificação por posts do debate Iphone vs. Blackberry

Precisão Cobertura F(1)-Measure Pro-iPhone 1,0 0,3750 0,5455 Pro-Blackberry 0,75 0,9231 0,8276

None 0,3333 1,0 0,5

Tabela 5.21 Resultado da classificação por posts do debate Opera vs. Firefox

Precisão Cobertura F(1)-Measure Pro-Opera 0,6667 0,50 0,5714 Pro-Firefox 0,3333 0,3333 0,3333

None 0,0 0,0 0,0

De forma geral, a cobertura em todos os debates obtiveram melhoras, graças ao algo- ritmo de resolução de anáforas, como demonstrado na tabela5.24. O debate Firefox vs. Internet Explorer mostrou melhora de 1,15% na precisão, 1,04% na acurácia e cobertura, e 1,09% no f-measure em relação ao experimento anterior (ver tabela5.13). Pouquíssimos poststiveram sua classificação diferente em relação ao primeiro experimento. No debate Iphone vs. Blackberry, a precisão teve uma piora de 2,27%, porém sua cobertura obteve

5.3. CLASSIFICAÇÃO DE OPINIÃO EM DEBATES DE PRODUTOS

Tabela 5.22 Resultado da classificação por posts do debate Playstation 3 vs. Nintendo Wii

Precisão Cobertura F(1)-Measure Pro-Playstation 3 0,6818 0,4688 0,5556 Pro-Nintendo Wii 0,6667 0,50 0,5714

None 0,2083 1,0 0,3448

Tabela 5.23 Resultado da classificação por posts do debate Firefox vs. Internet Explorer

Precisão Cobertura F(1)-Measure Pro-Playstation 3 0,7436 0,5800 0,6517

Pro-Xbox 360 0,4058 0,4000 0,4029

None 0,5688 0,8267 0,6739

Tabela 5.24 Resultado das classificações dos debates

Precisão Cobertura F(1)-Measure Firefox vs. Internet Explorer 0,6127 0,5521 0,5808

iPhone vs. Blackberry 0,7273 0,6154 0,6667 Opera vs. Firefox 0,4286 0,3750 0,40 Playstation 3 vs. Nintendo Wii 0,5205 0,4750 0,4967

Playstation 3 vs. Xbox 360 0,60 0,5514 0,5747

uma melhora de 3,85%, e a f-measure melhorou 1,45%. Mesmo tendo uma melhora em alguns resultados em relação ao debate, a cobertura da classe pro-iphone teve uma queda de 21,73%.

Alguns posts que não foram corretamente classificados no primeiro experimento, tiveram sua classe corretamente atribuída neste segundo momento. Ainda assim, em pouquíssimos comentários este experimento definiu incorretamente a stance de posts que foram classificados de forma correta no primeiro experimento, principalmente devido à resolução de anáfora. A segunda linha do quadro 5.5 apresenta em destaque uma anáfora que foi resolvida e adicionou ruído na classificação.

O debate Opera vs. Firefox teve uma melhora de 11,61% na precisão, 6,25% na cobertura e 8,75% no f-measure. A análise das concessões contribuíram para o aumento nas taxas de precisão e cobertura deste debate. A quarta linha do quadro 5.5 apresenta em destaque uma sentença de um comentário do debate Opera vs. Firefox, que foi

Quadro 5.5:Exemplos de posts tratados no segundo experimento.

Debate Postura Posts

Firefox vs. Internet Explorer pro-ie i love firefox and defended firefox, but what is odd is that this site is breaking in firefox.

iPhone vs. Blackberry pro-blackberry rebuttal to : coop show the iphone is $ 399 and the pearl is $199 . not a "huge "difference , but yes , iphone is more expensive . i should not that i own both . i upgraded from my pearl to the iphone shortly after iphone came out . what ’ s this about the iphone being a brick ? iphone ’ s 3 / 4 an inch taller and 1 / 4 an inch wider . iphone ’ s just as thin ( exactly ) and iphone ’ s slightly heavier which makes iphone feel more solid and durable . and sure you can carry around your ipod and your pearl - i ’ ll carry my iphone . i mean you ’ re complaining about bulge and you ’ re okay with having 2 devices to do the work of 1 ? yes , the iphone is limited to 8gb , but if you ’ re so in need of 30gb of music then you might have some issues . (...).

Playstation 3 vs. Nintendo Wii pro-wii wii is a revolutionary system . nintendo has always been the company to come out with something new ; usually ahead of time with their new product . this time , wii has actually turned out pretty damn good , rather than the horrible turn out of the power glove which was a good idea , but couldn ’ t be properly made because the censors couldn ’ t direct the character in the right direction two thirds of the time . anyways , to get to the point , sure , the ps3 has great graphics but when ps3 all comes down to ps3 , aren ; t video games meant to be fun , rather than good to look at ? if you want something good to look at , go look at porn or some shiny object ; not some really good looking video game . wii = better . deal with wii . Opera vs. Firefox pro-opera having used both browsers extensively , opera in my

eyes is the better browser . it loads faster , generally seems to load pages faster , has a slicker interface by default , has a number of really nice features built in that firefox doesn ’ t ( hover previews of tabs , for example ) , bittorrent support . . . . a better download manager . much prefer the password manager ( wand ) as well . opera also doesn ’ t seem to hog as much memory as firefox . the main disadvantage of opera for me is that the widgets simply don ’ t match the extensions in firefox , but this is the fact that firefox has a much larger following , not a direct failure of opera .

5.3. CLASSIFICAÇÃO DE OPINIÃO EM DEBATES DE PRODUTOS

classificado como sem opinião no primeiro experimento e foi corretamente classificado neste experimento, graças a análise de concessões.

O debate Playstation 3 vs. Nintendo Wii teve uma melhora de 6,72% na precisão, 5% na cobertura e 5,8% no f-measure. O principal destaque no aumento das precisão no debate Playstation 3 vs. Nintendo Wii se deve ao fato de alguns posts classificados erroneamente no primeiro experimento, terem sido classificados de forma correta ou com a classe “tie” (empate) neste segundo momento. Na terceira linha do quadro 5.5 apresenta um exemplo de post do debate Playstation 3 vs. Nintendo Wii que foi classificado corretamente graças ao algoritmo de resolução de anáfora e uma concessão identificada.

O debate Ps3 vs. Xbox 360 apresentou uma pequena queda nos resultados em relação ao experimento anterior. A justificativa para este fato está associada ao algoritmo simplista de resolução de anáfora, que tratou pronomes que não eram anáforas, e desta forma, adicionou ruídos à classificação de sentimentos.