Chatbots na área de suporte

Na presente secção apresentam-se três artigos sobre chatbots na área de suporte. A escolha deve- se ao fato de querer se apresentar as diferentes formas de desenvolvimento de chatbots na área de suporte.

Lowe, Pow, Serban, Pineau propõem o desenvolvimento de um sistema de diálogo em interação em várias voltas baseado na classificação da melhor resposta (chatbot baseado em recuperação de dados). Para tal, usou-se uma base de dados Ubuntu Dialogue Corpus, com cerca de um milhão de conversas de duas pessoas, com as seguintes caraterísticas [57]:

• Interações de apoio técnico na área de ubuntu; • Interação dinâmica;

• Grande quantidade de dados;

• Interações de mesmo tópico baseadas em texto e domínio específico [57]. Para preparação de dados foram usadas as seguintes técnicas:

• Frequency-inverse document (número de ocorrências de palavras num ficheiro);

• Divisão das mensagens da base de dados em quatro tuplas (tempo, emissor, recetor e interações);

• Identificação recetor/destinatário: dicionário de utilizadores atuais e dos dias anteriores e

stops words;

• Criação de interações: seleção de respostas recentes, e as antigas são descartadas;

• Casos especiais e limitações: as interações entre dois utilizadores se durarem várias horas são consideradas uma conversa;

• Desenvolvimento de triplos por diálogo (contexto resposta e sinalizador), baseada na técnica booleana para se perceber se a resposta foi próxima ou não da pretendida.

Para o desenvolvimento do sistema de diálogo, utilizaram-se dois modelos: primeiro foi utilizada o modelo RNN (sendo definida com 1 camada intermediária com 50 neurónios), e treinada com o optimizador Adam. Ainda foi utilizada foi o modelo LSTM para modelar dependências de longo

prazo. Visto que, é uma solução para superar problemas de Vanish Gradiente das RNN. Nas LSTM foram definidas 200 camadas intermediárias, sendo o único parâmetro alterado comparado com a RNN.

Para avaliação foi usada a métrica recall (reconhecida em sistemas de classificação de respostas de DL. Baseada na quantidade de respostas relevantes recuperados numa instância de compreensão e medida de relevância). Com a métrica obteve-se os seguintes resultados: TF-IDF (65.9%), RNN (76.8%) e LSTM (87.8%) no intervalo de 1/2. Nos três modelos, constatou-se pela métrica de avaliação que as LSTM superam as restantes arquiteturas. E ainda que o TF-IDF supera o RNN no caso do Recall@1 para a classificação 1 em 10.

Aalipour, Kumar, Aditham, Nguyen & Sood propõem um chatbot na área de suporte de hardware e software com objetivo de fornecer apoio técnico aos clientes. Diante disso desenvolveu-se um sumarizador (condensar tickects) e um sistema de diálogo [58].

Para a preparação de dados usou-se uma base de dados interna da empresa da equipa responsável pelo suporte, com 19 características com a descrição de problemas. A análise da base de dados passou pelas seguintes etapas:

• Técnicas de expressões regulares para capturar e normalizar os padrões necessários; • Remoção de todos os carateres especiais com valores em American Standard Code for

Information Interchange (ASCII);

• Remoção de pontuações;

• Lowercasinf (conversão de palavras em letras minúsculas), stemming (reduzir cada palavra à sua raiz ou base) e stopwords (palavras mais comuns no texto).

• Ignorar todos os casos que não possuem o inglês como idioma; • Técnica de criação de tags e um vocabulário com um range de 1 e -1.

O desenvolvimento baseou-se na arquitetura de redes recorrentes bidirecional LSTM, umas das razões da escolha do modelo, deve ao fato da sequência ser processada de trás bem como para a frente. Neste modelo, inclui a camada de atenção, esta é relevante, por colocar ênfase nas partes da entrada que recebe as informações e por fim um optimizador Adam.

• O modelo baseou-se em 4 camadas e 512 camadas intermediárias e com um conjunto de dados de treinamento de 44000;

• O chatbot com 3 camadas e 1024 camadas intermediárias; Para os dois modelos foram usados os seguintes parâmetros:

• Word embbeding de 300 com um vocabulário de 1.4 milhões; • Limite minino de frequências de palavras de 20;

• 20 épocas;

• Taxa de aprendizado de 0,005.

A avaliação cingiu-se somente no condensador de tickets usando métricas como ROUGE (calcula a porção de palavras no resumo gerado para o número de palavras que se pretende). E a segunda foi BLEU que calcula a percentagem de palavras sobrepostas ao número total de palavras geradas. O modelo de resumo baseado em redes RNN bidirecionais teve uma pontuação média no BLEU de 0,185 e uma pontuação ROGUE (uma extensão da métrica recall para avaliação de resumos) média de 0,67 neste conjunto de dados. •

Segundo Vinyals & Le propõem um sistema de diálogo neural. Com objetivo de fazer a previsão de uma saída mediante a leitura de uma entrada [50].

Para o desenvolvimento usou-se duas bases de dados (open domain e close domain). A primeira referente a resolução de problemas na área de suporte técnico. Com 400 palavras, 30M de tokens, e sendo validadas 3M token. E segunda a de OpenSubtitles de filmes com interações em formato XML. Para o data preparation usou-se as seguintes técnicas:

• Step Removing para remover tags XML;

• Split em 62M de frases, 923M tokens, tendo sido validados 26M de frases e 395 tokens. No trabalho prático usou-se uma camada de LSTM com uma memória de 1024 células com

stochastic gradient descent e gradient clipping. Um vocabulário de 20000 palavras com tokens

especiais. No segundo teste prático com a base de dados de OpenSubtitles, foram usadas duas camadas de LSTM com 4096 células de memória e vocabulário de 100.000 palavras. Para aumentar a velocidade da função de ativação de softmax foi adicionada a memória das células de 2048 linear antes de passar a informação ao classificador.

Para avaliação do chatbot aplicou-se 200 perguntas, sendo o modelo preferido em 97 das 200 perguntas, considerando que o CleverBot foi escolhido em 60 dos 200. Houve uma pontuação igual em 20 perguntas e em 23 perguntas os restantes foram em desacordo. Com estudo constatou-se que o modelo desenvolvido foi mais o mais escolhido à nível de coerência na interação [50]. Na avaliação do modelo do close domain, houve uma convergência, o modelo alcançou uma perplexidade de 8.

3 Os serviços de Informática e Comunicações

Neste capítulo irão ser caracterizados os SIC da UTAD. Esta caracterização será feita através de uma breve apresentação da sua estrutura de recursos humanos e das suas competências. É também apresentada uma caracterização dos pedidos de suporte.