Após o treinamento, o modelo foi avaliado de forma a verificar sua construção. A avaliação do modelo consistiu-se em duas etapas: i) avaliação subjetiva dos tópicos criados pela modelagem, que englobou as tarefas de inspeção visual dos tópicos, verificação de intrusão de palavras e intrusão de tópicos, verificação de saliência dos termos, e ii) a avaliação objetiva das medidas de coerência e de perplexidade do modelo. O detalhamento dessa etapa é apresentado na figura 20.
A avaliação subjetiva é feita na maioria das vezes através de inspeção visual. Os modelos de tópicos criados por algoritmos de aprendizagem de máquina não supervisionada, utilizam conjuntos de dados que por muitas vezes não possuem um subconjunto de testes com dados rotulados para validação, dificultando a aplicação de medidas estatísticas mais específicas como precisão, revocação (recall), f1 e outras. Dessa forma, o processo de avaliação acaba dependendo em parte da análise visual realizada por especialistas de domínio, para verificação da coerência destes tópicos (CHANGet al., 2009), da sua distribuição espacial (SIEVERT; SHIRLEY, 2014), da relevância dos termos e da saliência dos tópicos (CHUANG; MANNING; HEER, 2012).
A avaliação visual dos tópicos pode ser realizada através de ferramentas de visualização próprias como o PyLDAVis (SIEVERT; SHIRLEY, 2014), conforme apresentado na figura 19,
Capítulo 4. Apresentação e análise dos resultados 86
Figura 20 – Tarefas realizadas na etapa de avaliação do modelo.
Quanto os tópicos Fazem sentido para
os especialistas de domínio? Verificação de Saliência dos Tópicos Quanto os tópicos são coerentes, ou seja, representativos para um determinado conjunto de documentos. O quanto os tópicos gerados são salientes, , representativos para o documento e distantes dos demais tópicos candidatos Intrusão de Palavras e de Tópicos Quanto os tópicos permanecem relevantes ao ser introduzida uma palavra estranha ao tópico Computação da Perplexidade Como o modelo reage a documentos de fora do conjunto de treinamento Inspeção Visual
dos tópicos Computação da coerência
Fonte: O autor, (2019).
que apresenta uma projeção dos tópicos em espaço bidimensional que possibilita a interação para verificação dos tópicos. É possível utilizar diferentes tipos de projeções comoPrincipal Co-ordinate Analysis, ou Análise de Coordenada Principal (PCOA),Multidimensional Metric Scale, ou escala Multidimensional Métrica MMDS et-distributed Stochastic Neighbor Embedding, ou Incorporação Estocástica de Vizinhos t-Distribuídos (TSNE).
Construindo-se modelos de visualização nestas 3 escalas, foi possível verificar uma proximidade na projeção relativa a temas relacionados a um mesmo domínio. Os tópicos que tratavam de temas relacionados à saúde, por exemplo, ficaram muito próximos na projeção. O mesmo ocorreu para aqueles que tratavam de questões financeiras.
Outra forma de análise visual é a própria interpretação dos tópicos gerados, que consiste na verificação humana de coerência e na análise da saliência e relevância dos termos. O quadro 10 apresenta os 18 tópicos gerados pelo modelo).
Os termos mais salientes são aqueles que tem a maior probabilidade de estarem associados a um determinado tópico (CHUANG; MANNING; HEER, 2012). Os 10 termos mais salientes do modelo são apresentados no quadro 11. A análise da saliência dos termos permite verificar, por exemplo, que os termos “dano”, “moral” e “indenização” possuem forte associação com o tópico 12, levando a crer que este tópico representa bem os documentos relacionados à dano moral.
O termo “valor”, por outro lado, aparece em quase todos os tópicos, o que não gera surpresa, uma vez que a maioria das demandas envolve valores. Apesar disso, este termo está mais fortemente relacionado aos tópicos de número 1 e 3 do que aos demais, de maneira contrária o que seria esperado a partir leitura dos tópicos, já que ele compõe os tópicos de número 4, 8, 11 e 12, demonstrando que os tópicos são capazes de capturar informações latentes dos documentos. Dentre os termos que integram os tópicos, há alguns que em uma primeira análise parecem demasiadamente amplos ou até mesmo dúbios, como é o caso dos termos “realizar” (tópico 09) e “tempo” (tópico 18). Observados isoladamente, estes termos não parecem ser semanticamente relevantes para caracterização do tópico. Entretanto, se observados conjuntamente com os demais
Capítulo 4. Apresentação e análise dos resultados 87
Quadro 10 – Tópicos criados pelo Modelo LDA (k = 18)
ID Tópico
01. [’prescricao’, ’fiscal’, ’credo’, ’prazo’, ’citacao’, ’cpc’] 02. [’juro’, ’taxa’, ’multa’, ’selic’, ’morar’, ’correcao’]
03. [’rural’, ’atividade’, ’periodo’, ’beneficio’, ’idade’, ’segurado’] 04. [’contrato’, ’juro’, ’devedor’, ’saldo’, ’financeiro’, ’valor’]
05. [’declaracao’, ’prequestionamento’, ’acordao’, ’dispositivo’, ’legal’, ’declaratorio’] 06. [’responsabilidade’, ’civil’, ’obra’, ’pessoa’, ’culpa’, ’agencia’]
07. [’credo’, ’tributo’, ’tributario’, ’contribuinte’, ’lancamento’, ’ctn’] 08. [’valor’, ’calculo’, ’renda’, ’titulo’, ’imposto’, ’pagamento’] 09. [’realizar’, ’seguinte’, ’pagamento’, ’apelo’, ’juizo’, ’intimado’]
10. [’doenca’, ’incapacidade’, ’auxilio’, ’beneficio’, ’invalidez’, ’aposentadoria’] 11. [’empresa’, ’fiscal’, ’valor’, ’receita’, ’base’, ’pessoa’]
12. [’dano’, ’moral’, ’indenizacao’, ’valor’, ’cef’, ’material’]
13. [’servico’, ’atividade’, ’saude’, ’estado’, ’medico’, ’universidade’] 14. [’militar’, ’reforma’, ’area’, ’concurso’, ’edital’, ’licenca’]
15. [’beneficio’, ’oficial’, ’juro’, ’ins’, ’monetaria’, ’remessa’] 16. [’beneficio’, ’pensao’, ’morte’, ’ins’, ’segurado’, ’concessao’] 17. [’evento’, ’dispositivo’, ’cpc’, ’grau’, ’superior’, ’declaracao’] 18. [’novo’, ’tempo’, ’juridico’, ’superior’, ’servidor’, ’especial’]
O modelo numera os tópicos de 0 a 17, mas aqui foram numerados de 1 a 18 para facilitar sua identificação
Fonte: O autor, (2019).
termos de um mesmo tópico, passam a fazer sentido. Isto ocorre por que os tópicos não são representados por termos isoladamente, mas por uma mistura potencialmente infinita de termos e suas probabilidades condicionais e por isso a importância de se observar cada tópico por inteiro, como um conjunto de termos. Nos tópicos apresentados, foram utilizados somente os 6 termos com maior probabilidade.
Ainda dentro da análise subjetiva do modelo, é possível verificar a distribuição das contagens de palavras que compuseram cada tópico do modelo. Através dessa análise, é possível verificar como ficaram distribuídas as palavras utilizadas na construção do modelo dentro de cada tópico encontrado, evidenciando quais os tópicos que são representados por uma maior quantidade de palavras, e dessa forma menos representativos, e quais tópicos são representados por uma menor quantidade de palavras, ou seja, mais representativos. Para exibição, as frequências foram normalizadas (eixo 𝑦). A figura 21 apresenta essa distribuição.
A análise objetiva do modelo é feita a partir do cálculo das métricas de coerência e perplexidade. A métrica mais comum para apresentação de coerência é a𝐶𝑣baseada no trabalho de (FITELSON, 2003), variando de 0 a 1, para a qual ogold standardem umcorpuspadronizado
de artigos de notícias como o 20NG1é de 0.665 (RÖDER; BOTH; HINNEBURG, 2015). As
medidas de coerência e perplexidade do modelo são apresentadas na tabela 4
Capítulo 4. Apresentação e análise dos resultados 88
Quadro 11 – Os 10 termos mais salientes do modelos e suas associações aos tópicos
ID Termo Tópicos associados
01. dano 12,6 02. benefício 3,6,8,10,15,16 03. juro 2,4,6,8,10,12,15 04. valor 1,3,4,7,8,9,10,11,12,15,16 05. moral 12 06. rural 3 07. contrato 3,4,11 08. doença 10,15 09. serviço 3,6,11,13,14,18 10. indenização 12 Fonte: O autor, (2019).
Figura 21 – Distribuição de contagem de palavras em cada tópico dominante.
Fonte: O autor, (2019).
Os valores obtido para𝐶𝑣 e para a perplexidade estão de acordo com o esperado para o modelo.