Framework de Expansão com o TTsBR reduzido

Para tentar reduzir o enviesamento dos dados e diminuir os ruídos nas iterações do framework, realizamos experimentos com uma versão reduzida do TTsBR.

Semelhante ao processo descrito emBrum, Araujo e Kepler(2016), realizamos o under- samplingdo TTsBR, equilibrando o número de documentos entre as classes. Para tal, retiramos aleatoriamente documentos das classes positiva e negativa até que ambas possuíssem o mesmo total da classe minoritária (2.894 tweets), que em nosso caso era a neutra. Os documentos retirados das classes foram adicionados ao córpus para expansão, portanto o valor final dos córpus expandidos nessa abordagem são os mesmos da expansão do TTsBR completo.

Assim como na subseção anterior, disponibilizamos os valores completos de todos os experimentos noApêndice E.

ATabela 32apresenta os resultados obtidos nas médias das F-Measures obtidas com cada córpus. O classificador que gerou os córpus que obtiveram os melhores resultados foi o MLP, entretanto, usando dois thresholds (30% e 25%), o córpus expandido com Regressão Logística atingiu resultados ligeiramente maiores.

O classificador SVM e a Regressão Logística obtiveram valores maiores que os apresen- tados naTabela 30(onde apresentamos os valores obtidos na expansão do TTsBR completo) em todos os thresholds verificados.

Tabela 32 – Resumo da F-Measure média obtida com os córpus expandidos usando self-training com o TTsBR reduzido na classificação em três classes.

Classificador 40% 30% 25% 20% 10% 5% 1% SVM Linear 60,57 60,84 60,69 60,81 60,91 59,19 56,60 Naive Bayes 57,16 56,08 55,27 54,36 49,06 46,78 45,01 Regressão Logística 61,45 61,71 61,48 61,55 58,93 53,56 50,30 MLP 62,13 60,64 61,10 61,68 61,60 61,50 61,64 Árvore de Decisão 58,36 57,72 58,00 57,58 57,68 57,96 58,31 Random Forest 59,34 58,04 57,29 55,52 52,01 50,66 48,99

Fonte: Elaborada pelo autor.

O Naive Bayes continuou a obter os resultados menos expressivos, enquanto observamos uma melhora considerável nos córpus gerados pelo SVM e pela Árvore de Decisão. Esse comportamento é mais facilmente observável naFigura 23. O valor comparativo é o mesmo utilizado na subseção anterior já que a tarefa a ser comparada é a mesma. Podemos notar que os resultados obtidos com o córpus originado da MLP se mantêm acima da avaliação feita com o TTsBR em boa parte dos experimentos. Isso é um forte indício de que o córpus estendido e anotado semi-automaticamente consegue resultados superiores aos obtidos com o córpus manual original.

O córpus originado com Regressão Logística também obteve resultados muito satisfató- rios. Comparando com os resultados obtidos na expansão do TTsBR completo, podemos dizer que este modelo foi o mais afetado pelo balanceamento das classes. Exceto nos experimentos com threshold baixo, a Regressão Logística obteve resultados superiores em comparação à

5.2. Experimentos com expansão semissupervisionada 101

Figura 23 – Gráfico de F-Measure média obtida com cada córpus expandido com o TTsBR reduzido usando self-training na avaliação em três classes.

Fonte: Elaborada pelo autor.

mesma avaliação usando o córpus manual.

Uma evidência importante a ser observada é que a diminuição do treshold acaba favo- recendo a maximização dos documentos da classe majoritária ou de mais fácil classificação. Se observarmos aTabela 36, onde apresentamos as distribuições de classes dos córpus origina- dos com a expansão do TTsBR reduzido, vamos notar que a distribuição se parece muito nos thresholdsmais altos, enquanto continua enviesada em thresholds menores.

A literatura já havia indicado que a utilização de thresholds mais abrangentes (em nosso caso, thresholds maiores) favorecem a adição de ruídos nos córpus de treinamento, porém nossos experimentos mostram que, em nossa abordagem, o contrário, ou seja, thresholds menores, favorece o enviesamento do treinamento, podendo gerar resultados não tão satisfatórios.

Tabela 33 – Resumo da F-Measure média obtida com os córpus expandidos usando self-training com o TTsBR reduzido na classificação binária.

Classificador 40% 30% 25% 20% 10% 5% 1% SVM Linear 79,1 78,8 79,0 79,0 78,9 78,6 77,7 Naive Bayes 75,5 74,6 74,1 74,1 66,1 60,6 58,6 Regressão Logística 79,3 79,0 79,2 78,9 78,5 77,0 74,6 MLP 79,8 78,8 79,1 79,9 79,4 79,4 79,5 Árvore de Decisão 76,3 75,0 75,2 75,0 75,3 76,4 75,3 Random Forest 77,6 76,4 74,8 72,7 66,4 66,7 68,4

Fonte: Elaborada pelo autor.

Os valores das médias de F-Measure estão apresentados naTabela 33.

O mais curioso dessa avaliação é que, apesar da melhora obtida com o balanceamento do córpus na classificação em três classes, a classificação binária obteve resultados inferiores. Usando como comparativo o valor de 79, 80% obtido com o modelo treinado só com dados anotados manualmente, somente o córpus originado com a MLP conseguiu resultados maiores e por 0, 01%.

Os resultados ainda são bons, considerando que temos um córpus muito maior anotado semi-automaticamente, mas a própria expansão usando o TTsBR completo obteve resultados superiores. Uma explicação para isso talvez seja o que destacamos na subseção anterior: a classe neutra agindo como uma zona de incerteza na classificação.

Figura 24 – Gráfico de F-Measure média obtida com cada córpus expandido com o TTsBR reduzido usando self-training na avaliação binária.

Fonte: Elaborada pelo autor.

AFigura 24mostra o gráfico dos resultados obtidos, onde podemos ver que os modelos variam muito menos do que na classificação em três classes. Isso sugere que o balanceamento do córpus inicial gera córpus expandidos mais semelhantes e, portanto, os valores obtidos na avaliação ficam mais estáveis mesmo com diferentes thresholds.

Ainda observamos a queda de rendimento dos córpus gerados com o Naive Bayes e com Random Forest em thresholds muito baixos. De acrodo com a Tabela 36, vemos que são os córpus que têm uma queda drástica no número de documentos da classe positiva.

Podemos concluir que a utilização de um balanceamento de córpus forçado não favorece a formação de córpus expandidos melhores para a tarefa de classificação de polaridades binária. Já na classificação em três classes, o balanceamento do córpus consegue reduzir o enviesamento da classificação e obter resultados mais promissores.

5.2. Experimentos com expansão semissupervisionada 103

O classificador que obteve os melhores resultados na expansão de córpus foi a MLP, sendo que em diversos casos a avaliação realizada superou os valores de F-Measure obtidos na classificação somente com os dados anotados manualmente. Concluímos dessa forma que são fortes as evidências de que a utilização do aprendizado semissupervisionado para a expansão de um córpus anotado é capaz de gerar grandes córpus para os quais os resultados da classificação de polaridade podem superar aqueles do córpus original.