FERRAMENTAS DE EXTRAÇÃO DE INFORMAÇÃO

A fase final da mineração de texto se dá com a extração de informação. Foram analisadas e validadas duas ferramentas: o Sobek e a própria linguagem R.

5.4.1 Sobek

Mencionada por Klemann, Reategui e Rapkiewicz (2011), Macedo et al. (2016), bem como Oliveira, Azevedo e Gomes (2019), a ferramenta foi desenvolvida em 2007 pelo Grupo de Pesquisa GTech.Edu, da Universidade Federal do Rio Grande do Sul (UFRGS). Busca ser uma ferramenta para ajudar professores a revisarem trabalhos de alunos. Posteriormente, começou a ser usado na compreensão de leitura e na sumarização de texto, bem como em outras questões relacionadas à mineração de textos.

16 _{Cada linha carregada de um arquivo é caracterizada como “documento” pelo Corpus.}

17 _{O OpenRefine não possui de forma nativa a remoção de stopwords, mas demanda o uso de} códigos em Jython ou em GREL.

Figura 8 - Interface do Sobek

Fonte: Do autor (2019)

Possui uma interface muito simples, conforme Figura 8, sendo possível colar um texto ou carregar de um arquivo – em alguns testes, arquivos muito grandes apresentaram problemas e não puderam ser carregados. Após o processo, basta clicar no botão para extrair os conceitos. Após o processamento, é gerada uma rede de grafos, que mostra a relação entre palavras, bem como a importância e relevância de cada uma delas dentro do texto. Os grafos são manipuláveis, os nós podem ser removidos, e, ao clicar em um nó, é possível ver em quais frases a palavra é usada – aliás, não apenas palavras, mas também expressões.

No software ainda é possível definir o número médio de conceitos (palavras ou expressões) a serem exibidos, definir as stopwords que serão utilizadas – o Sobek realiza este pré-processamento de forma nativa – e definir a frequência mínima, ou seja, o número mínimo de vezes que determinada palavra ou expressão aparece.

5.4.2 Linguagem de programação R

Assim como exposto anteriormente, a linguagem R possui várias ferramentas que permitem a extração de informação a partir de um texto. Novamente, os testes foram realizados usando o RStudio, e este assunto será abordado em detalhes no capítulo 6.

A partir do DocumentTextMatrix e, após, do DataFrame gerado na fase de pré-processamento, é possível gerar inúmeras saídas, tanto gráficas quanto textuais. Como saídas textuais, mas que exibem ótimas informações, há dois comandos: o findFreqTerms, que exibe os termos mais frequentes de uma DocumentTextMatrix, conforme a correlação mínima; e o findAssocs, que analisa associações/correlações entre palavras com base em uma palavra.

A nuvem de palavras pode ser gerada a partir do pacote wordcloud2 (LANG; CHIEN; 2018), onde basta informar o DataFrame e configurar algumas outras opções, como a frequência mínima a ser exibida na nuvem e questões estéticas, como rotação, fonte e cores. Inclusive, a nuvem é interativa, pois ao posicionar o mouse em cima de uma palavra, aparece a quantidade de ocorrências dela no texto. Outra ferramenta gráfica é o histograma, que, a partir de dados inseridos, permite criar gráficos estatísticos sobre as palavras. Por meio do pacote ggplot2 (WICKHAM et al., 2019), é possível gerar várias opções de gráficos, como o de frequências e de correlações. A geração de gráficos é riquíssima, e possui inúmeras funcionalidades, como definições sobre títulos, eixos, fontes, entre outros.

Com boas referências ao Sobek, é possível mencionar a construção de grafos de palavras, por meio do pacote visNetwork (THIEURMEL; ROBERT, 2019). Ele funciona a partir de um DataFrame, onde são analisadas as correlações entre as palavras. Após definida a quantidade de palavras e a correlação mínima entre elas, são exibidas as ligações entre as palavras (representadas por círculos) por meio de setas.

Ainda é possível, por meio do pacote lexiconPT (GONZAGA, 2017), realizar a análise de sentimentos das frases ou parágrafos, a partir de dois dicionários léxicos: o OpLexicon (SOUZA et al., 2011) e o SentiLex (SILVA; CARVALHO; SARMENTO, 2012). O processo consiste em analisar cada palavra de uma frase ou parágrafo/linha e indicar se a mesma é positiva, neutra ou negativa. Usando o pacote ggplot2, podem ser gerados gráficos de dispersão e histogramas.

Embora haja outros pacotes que permitem a obtenção de mais informações, verifica-se que tais funcionalidades são suficientes para realizar a extração de informação a partir do R, devido à quantidade de informações que permitem gerar e, a partir delas, conhecimento que pode trazer novos entendimentos a respeito do uso das mídias sociais, bem como da repercussão em mídias tradicionais.

5.5 CONSIDERAÇÕES SOBRE O CAPÍTULO

O capítulo que se encerra abordou sobre as ferramentas que serão utilizadas no presente trabalho, destacando os pilares da seleção. Em seguida foram abordadas as ferramentas de coleta, tanto para mídias sociais quanto para as tradicionais - incluindo as dificuldades encontradas e as soluções aplicadas. Também foram abordadas as ferramentas da fase de pré-processamento, bem como as de extração de informação. Ao longo do capítulo, foram expostas as ferramentas selecionadas, bem como as que foram testadas mas que não foram aprovadas.

Foram pesquisadas e testadas 28 (vinte e oito) ferramentas, sendo que, por não atenderem ao dois pilares apontados, foram excluídas 22 (vinte e duas), listadas no subcapítulo 5.1, e foram selecionadas cinco: Facepager, Data Miner, Google Custom Search Engines, OpenRefine, Sobek.

Assim, considera-se que o capítulo atingiu os dois objetivos específicos de investigar de que forma é possível obter dados de mídias sociais e tradicionais, com base nos conceitos de mineração de texto, bem como, analisar as ferramentas existentes, que permitem a obtenção dos dados e a sua posterior mineração e extração de informação.

Entretanto, durante o estudo da linguagem de programação R, entendeu-se que não seria possível selecioná-la, visto que exige conhecimento de programação do usuário, fugindo totalmente dos pilares determinados. Mesmo o uso do RStudio – o que poderia melhorar a tarefa de programação – não seria capaz de reduzir uma possível dificuldade no uso.

Sendo assim, percebeu-se que seria necessário reunir todas as funcionalidades de mineração de texto em uma ferramenta gráfica simples, abstraindo do usuário final qualquer código, mas apenas usando widgets simples. Por isto, o próximo capítulo tratará do desenvolvimento desta ferramenta, que contém o pré-processamento e a extração de informação. Desta forma, adiciona-se ao conjunto de cinco ferramentas selecionadas a linguagem R.