Classificação do Grafo de Replies

O terceiro experimento consiste na composição do segundo experimento, mais as informa- ções dos replies dos debates. Como dito anteriormente, no site convinceme.net os autores têm a opção de fazer “rebuttal” a comentários de outro participante do debate, isto é, o usuário pode argumentar contra outro comentário do debate de forma direta. Desta forma, apenas os debates extraídos do convinceme.net foram utilizados neste experimento, visto que apenas neste, podemos criar um grafo de replies de apenas um nível, conforme apresentado na seção 4.4.5do capítulo4. Logo, o corpus de debate Playstation 3 vs. Xbox 36010não é utilizado neste experimento, pois não é possível gerar o grafo de replies dos posts deste debate.

A partir desses replies, construímos uma rede com os posts dos debates, onde apenas os comentários de usuários que discordam de outros posts possuem ligações. Os vértices da rede são os posts e os autores associados. As arestas possuem sentido, já que os “rebuttals” são direcionados. A figura5.3.3é um exemplo de como fica nossa rede de “rebuttal”.

A partir da figura 5.3.3, é possível observar que a rede gerada é razoavelmente conectada, e através dessas ligações podemos inferir as classes dos vértices olhando a postura de seu vizinho. Cada um dos vértices do grafo de replies já possuem uma classificação prévia oriunda dos submódulos SM1, SM2, SM3 e SM4 (ver figura4.7).

Figura 5.1 Rede de Replies do debate Playstation 3 vs. Nintendo Wii

Dessa forma, a análise no grafo de replies consiste em, dado um vértice com ligação, verificar qual a postura do vértice vizinho, para então atribuir a stance contrária ao vértice em análise.

Resultados Obtidos

A seguir, as tabelas5.25a5.28ilustram a matriz confusão da classificação de cada um dos corpus de debate. A seguir, os resultados das métricas de avaliação são apresentados nas tabelas5.29a5.33.

Como esperado, os resultados deste experimento superaram os anteriores (vide tabelas 5.29a5.33). Com o uso dos links de rebuttal, além de conseguir reduzir a quantidade de posts não determinados (empate), foi obtida também a classificação correta vários co- mentários dos debates que não foram corretamente classificados no experimento anterior. O quadro 5.6 apresenta alguns exemplos de posts que tiveram suas posturas corre- tamente modificadas graças à analise nos links de replies. A primeira coluna apresenta a postura inicial do post. A segunda coluna mostra a stance do post após a consulta ao vértice vizinho. A terceira e quarta colunas apresentam os comentários referente ao vértice em análise e o adjacente respectivamente.

5.3. CLASSIFICAÇÃO DE OPINIÃO EM DEBATES DE PRODUTOS

Tabela 5.25 Matriz confusão da classificação dos posts do debate Firefox vs. Internet Explorer

Tabela 5.26 Matriz confusão da classificação dos posts no debate Iphone vs. Blackberry

Tabela 5.28 Matriz confusão da classificação dos posts no domínio Playstation 3 vs. Nintendo Wii

Quadro 5.6:Exemplos de posts que foram modificados com a análise nos replies.

StanceInicial Stance após análise Posts do Vértice Postsdo Vizinho none pro-firefox rebuttal to : kgbudz that

form of argument degrades this forum , and will cause the arguments to fall to the lowest common denominator . this word , "indisputable ", i do not think it means what you think it does . i dispute your claim from personal experience , if nothing else . that makes it disputable . i think yahoo ! has chat rooms more attuned to your style of debate . check them out .

Its an indisputable fact that the average IE user gets laid 2500% more than the average firefox user.

sorry firefox losers... game

set match

go cry about IE somewhere else 8ˆ(

tie pro-firefox rebuttal to : nexus450 show ironic thing : opera pioneered tabbed browsing , but firefox handles large amounts of open tabs much better that opera does .

Opera Rules, I hate firefox. It looks horrible (even with themes), It is a lot slower than Opera!

Opera RULES, no competi- tion!!

5.3. CLASSIFICAÇÃO DE OPINIÃO EM DEBATES DE PRODUTOS

relação ao experimento anterior (tabelas5.29a5.32), com destaque para o aumento de 12,5% na cobertura dos posts pro-iphone. A precisão e a cobertura dos posts pro-firefox e dos posts pro-wii também tiveram um aumento significativo nos valores.

Tabela 5.29 Resultado da classificação por posts do debate Firefox vs. Internet Explorer

Precisão Cobertura F(1)-Measure Pro-Firefox 0,9029 0,6788 0,7750 Pro-Internet Explorer 0,4318 0,5588 0,4872

None 0,3140 1,0 0,4783

Tabela 5.30 Resultado da classificação por posts do debate Iphone vs. Blackberry

Precisão Cobertura F(1)-Measure Pro-iPhone 0,6667 0,50 0,5714 Pro-Blackberry 0,75 0,8571 0,80

None 1,0 1,0 1,0

Tabela 5.31 Resultado da classificação por posts do debate Opera vs. Firefox

Precisão Cobertura F(1)-Measure Pro-Opera 0,6667 0,50 0,5714 Pro-Firefox 0,5 0,5714 0,5333

None 0,0 0,0 0,0

Tabela 5.32 Resultado da classificação por posts do debate Playstation 3 vs. Nintendo Wii

Precisão Cobertura F(1)-Measure Pro-Playstation 3 0,6667 0,5294 0,5902 Pro-Nintendo Wii 0,7222 0,7027 0,7123

None 0,3846 1,0 0,5556

É importante ressaltar que todos os debates tiveram suas taxas de precisão superior à classificação randômica (caso base), como pode ser verificado na tabela 5.33. O debate Firefox vs. Internet Explorer teve um aumento 6,31% na precisão em relação

Tabela 5.33 Resultado das classificações dos debates

Precisão Cobertura F(1)-Measure Firefox vs. Internet Explorer 0,6758 0,6406 0,6578

iPhone vs. Blackberry 0,7391 0,6538 0,6939 Opera vs. Firefox 0,5333 0,50 0,5161 Playstation 3 vs. Nintendo Wii 0,6447 0,6125 0,6282

ao segundo experimento, e um aumento de 7,46% na precisão em relação ao primeiro experimento. Sua cobertura aumentou em 8,85% e 9,89% em relação ao primeiro e ao segundo experimento respectivamente.

No debate Iphone vs. Blackberry, a precisão melhorou em relação ao segundo experimento, porém ainda está inferior ao primeiro experimento. Em compensação, a cobertura e o F-measure superaram em 7,69% e 4,17% respectivamente os resultados apresentados no primeiro experimento.

Os piores resultados nos três experimentos foram obtidos no debate Opera vs. Firefox. Essa configuração obteve o melhor resultado em relação às outras duas. A precisão alcançou 53,33%, a cobertura 50% e o F-measure 51,61%.

No debate Playstation 3 vs. Nintendo Wii, essa configuração obteve melhora acima de 10% em todas as medidas em relação ao segundo experimento. Em relação ao primeiro experimento, as taxas foram superiores em quase 15% em comparação com a primeira configuração.