Chatbot - Descoberta de fluxos de diálogo através de técnicas de aprendizagem computacional

Estes dois últimos fluxos são muito mais conclusivos e com melhores indicações que os anteriores. Por exemplo na Figura 5.6 o nó “like would book” do utilizador remete para uma intenção de reservar, ou marcar algo, e tem uma probabilidade alta (0.6) do sistema de completar o tipo de reserva através do nó “complete type book car”.

Ou assim que o utilizador agradece pela ajuda no sistema, (nó “thank you”) o sistema deseja-lhe um bom dia com uma probabilidade alta de 60% (nó “have day”), o que faz com que um diálogo termine, também indicado pela probabilidade de 92% de terminar o diálogo.

Na Figura 5.7 os assuntos são muito variados, o que não ajuda, mas ainda assim, há indicações interessantes, nomeadamente os agradecimentos do utilizador (nós “thank you” e “thank you 1”), indicando que o sistema resolveu o seu problema, remete para que o diálogo irá terminar com os nós “have great” e “your day” desejando assim um bom dia ao utilizador, terminando o diálogo a partir desses nós com 100% e 95% de probabilidades respetivamente.

e contar todas os clusters em que o id de turno era 0, conseguindo assim saber-se o início de diálogo. Para o fim de diálogo a ideia de pensamento é idêntica, encontramos o turno 0 (início de diálogo) e vamos ao anterior, o que será sempre o último turno de diálogo, uma vez que há diálogos que podem ter apenas dois turnos como ter dezasseis turnos, e mais uma vez, fazendo a contagem desses acontecimentos descobre-se as probabilidades de cada transição para o término do diálogo.

Estando criado e calculado os clusters para início e fim de diálogo, estes são inseridos numa matriz de ocorrências. Através dessa matriz calcula-se uma outra matriz de probabilidades, em que cada linha tem de ter uma probabilidade igual a um. Assim através dessa matriz é possível calcular o fluxo.

Tendo o fluxo de clusters desenvolvido e bem automatizado, segue-se a criação do chatbot propriamente dito. Inicia com o pedido para inserir um input por parte do utilizador, que é transformado em formato simples de fala, para que uma das técnicas de Word Embedding o receba, codifique e o transforme num vetor. Este vetor de números que corresponde ao input é introduzido no modelo de ML que foi utilizado anteriormente para processar e criar os clusters do utilizador, e dessa forma ser-lhe-á atribuído um dos clusters representados no fluxo. Estando já predito a que cluster pertence, é necessário prever qual a resposta correspondente. Existe uma estrutura de dados (DataFrame em Python) criada anteriormente, com a coluna com o número do cluster, a sua etiqueta, as falas pertencentes a esse cluster e qual o cluster mais provável de acordo com a Cadeia de Markov. Sabendo qual o cluster que a fala de input pertence, acede-se a este DataFrame e vê-se qual o cluster mais provável de se ligar. As falas que pertencem a esse cluster estarão codificadas com a mesma técnica de Word Embedding utilizada anteriormente, e irá ser calculado o cosseno de similaridade²⁵ entre o embedding de input e o embedding de todas as falas pertencentes ao cluster mais provável. O valor mais alto obtido de similaridade é a resposta que o chatbot irá dar ao utilizador, passando a ser pedido um novo input ao utilizador.

O chatbot foi testado com base no fluxo da Figura 5.8.

25Calcula o cosseno de similaridade entre dois exemplos. Pode encontrar-se aqui: https://scikit- learn.org/stable/modules/generated/sklearn.metrics.pairwise.cosine_similarity.html [março 2023]

Figura 5.8 - Fluxo obtido do MultiWOZ com Bigramas para teste de chatbot

O utilizador começa por pedir um comboio.

User: Hello. I need a train tomorrow to London.

(Cluster predito foi o (user -> need train). Logo a resposta do chatbot será a fala mais próxima pertencente ao cluster sys -> like to pois é o cluster mais provável com 38%.) Chatbot: How about the TR5015 train to Cambridge from London Liverpool? It arrives by 15:07.

Neste caso é sugerido um comboio no sentido contrário do que se pretende. Mas é dada uma resposta sobre informações de comboios e sobre Londres.

O utilizador pede então um número de telemóvel.

User: Can I get the phone number.

(Cluster predito foi o (user -> phone number). Logo a resposta do chatbot será a fala mais próxima pertencente ao cluster sys -> number is pois é o cluster mais provável com 75%.) Chatbot: The area is centre and the phone number is 01223334900. Is there anything else I can help you with?

É pedido um número de telemóvel e o chatbot fornece, mas é dado um número sem qualquer nexo. Esta é uma abordagem simples, algo que se poderá utilizar para criar robustez seria o uso de um corpus mais genérico, por exemplo o (Nekvinda &

Dušek, 2021). Visto assim sem valores específicos, poder dar respostas de acordo com o pedido pelo utilizador.

Um agradecimento.

User: Thank you so much!

(Cluster predito foi o (user -> thank you). Logo a resposta do chatbot será a fala mais próxima pertencente ao cluster sys -> have great pois é o cluster mais provável com 61%.) Chatbot: Please call us back if we can assist you in any other way. Have a great day!

Goodbye.

E de seguida terminaria a conversa, pois partindo do cluster sys -> have great tem-se 91% de probabilidade de ir para o fim do diálogo.

Aqui foi o exemplo de uma resposta perfeita por parte do chatbot.

6 CONCLUSÕES E TRABALHO FUTURO

Foi adotada uma abordagem não supervisionada para comparar anotações de atos de diálogo e de intents, de vários conjuntos de dados que contêm falas com base em diferentes representações. A plataforma desenvolvida descobre e extrai fluxos de diálogo a partir de um histórico, independentemente do domínio ou de anotações.

Esses fluxos conseguem ser facilmente interpretáveis pelos humanos ou agentes inteligentes.

As falas foram representadas de várias formas, tendo os modelos de Sentence Transformer obtido os melhores resultados globalmente, pois aproximaram-se mais dos atos de diálogo e dos intents para os diferentes corpora.

As experiências realizadas mostraram que os resultados obtidos através de clustering não são diretamente atos de diálogo ou intents, porém, através da etiquetagem dos clusters, foi possível verificar que uns poderão ser compostos por atos de diálogo, enquanto outros representam intents. Exemplo disso são os clusters “thank you” e “need train” da Figura 5.8 que traduzem um ato de diálogo e um intent, respetivamente.

Os fluxos resultantes fornecem uma visão geral de alto nível dos diálogos, que podem ter diferentes aplicações, por exemplo em serviços de segurança social de forma a ajudar os cidadãos a encontrar as informações de maneira mais eficiente e facilitar o atendimento ao cliente, ou sistemas de saúde 24 horas, ara fornecer suporte médico a pacientes ou ajudar na sua triagem.

O trabalho desenvolvido poderá ser aprofundando através de abordagens distintas, como a utilização de diferentes formas de representação de falas, ou outros métodos para etiquetar os clusters. O chatbot desenvolvido neste projeto, apesar de simples, ajuda a mostrar como um agente, artificial ou humano, pode tirar partido dos fluxos descobertos. No entanto, poderá ser aprimorado de forma a criar um sistema com mais robustez e até mesmo ter a capacidade de dar respostas através do histórico de diálogos e conexões entre palavras para formar uma resposta coesa e com nexo, dando respostas inseridas no mesmo domínio. Para tal pode ser utilizado um corpus mais genérico.

Num balanço final, após meses a investigar um paradigma, posso afirmar que este projeto me trouxe desafios a nível pessoal e profissional capazes de me tornar mais qualificado e habilitado para futuros reptos. Além disso, ao longo do tempo, descobri uma área que é realmente do meu interesse e que terei curiosidade para continuar a aprender e desenvolver.

REFERÊNCIAS BIBLIOGRÁFICAS

Austin, J. L. (1975). How To Do Things With Words: The William James Lectures delivered at Harvard University in 1955. Oxford University Press.

https://doi.org/10.1093/acprof:oso/9780198245537.001.0001

Ayanouz, S., Abdelhakim, B. A., & Benhmed, M. (2020, March 31). A Smart Chatbot Architecture based NLP and Machine Learning for Health Care Assistance. ACM International Conference Proceeding Series.

https://doi.org/10.1145/3386723.3387897

Boné, J., Ferreira, J. C., Ribeiro, R., & Cadete, G. (2020). Disbot: A Portuguese disaster support dynamic knowledge chatbot. Applied Sciences (Switzerland), 10(24), 1–20. https://doi.org/10.3390/app10249082

Bouraoui, J.-L., & Lemaire, V. (2017). Cluster-Based Graphs for Conceiving Dialog Systems.

Bouraoui, J. L., Le Meitour, S., Carbou, R., Rojas-Barahona, L. M., & Lemaire, V.

(2019). Graph2Bots, unsupervised assistance for designing chatbots.

SIGDIAL 2019 - 20th Annual Meeting of the Special Interest Group Discourse Dialogue - Proceedings of the Conference, 114–117.

https://doi.org/10.18653/v1/w19-5915

Bradeško, L., & Mladenić, D. (2012). A Survey of Chatbot Systems through a Loebner Prize Competition A Survey of Chabot Systems through a Loebner Prize Competition. Proceedings of Slovenian Language Technologies Society Eighth Conference of Language Technologies, 2(October 2012), 34–37. http://www- ai.ijs.si/eliza-cgi-bin/eliza_script

Budzianowski, P., Wen, T. H., Tseng, B. H., Casanueva, I., Ultes, S., Ramadan, O.,

& Gašić, M. (2018). MultiWoz - A large-scale multi-domain wizard-of-oz dataset for task-oriented dialogue modelling. Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018, 5016–5026.

https://doi.org/10.18653/v1/d18-1547

Bunt, H., Petukhova, V., Malchanau, A., Fang, A., & Wijnhoven, K. (2016). The DialogBank. Proceedings of the 10th International Conference on Language Resources and Evaluation, LREC 2016, 3151–3158.

Casanueva, I., Temčinas, T., Gerz, D., Henderson, M., & Vulić, I. (2020). Efficient Intent Detection with Dual Sentence Encoders. 38–45.

https://doi.org/10.18653/v1/2020.nlp4convai-1.5

Cerisara, C., Jafaritazehjani, S., Oluokun, A., & Le, H. T. (2018). Multi-task dialog act and sentiment recognition on Mastodon. COLING 2018 - 27th International

Conference on Computational Linguistics, Proceedings, 745–754.

Chen, C.-Y., Yu, D., Wen, W., Yang, Y. M., Zhang, J., Zhou, M., Jesse, K., Chau, A., Bhowmick, A., Iyer, S., Sreenivasulu, G., Cheng, R., Bhandare, A., & Yu, Z. (2018). Gunrock: Building A Human-Like Social Bot By Leveraging Large Scale Real User Data. Proceedings of the 2018 Amazon Alexa Prize.

http://aws.amazon.com/lambda

Collins, M. J. (1996). A new statistical parser based on bigram lexical dependencies. 184–

191. https://doi.org/10.3115/981863.981888

Coucke, A., Saade, A., Ball, A., Bluche, T., Caulier, A., Leroy, D., Doumouro, C., Gisselbrecht, T., Caltagirone, F., Lavril, T., Primet, M., & Dureau, J. (2018).

Snips Voice Platform: an embedded Spoken Language Understanding system for private-by- design voice interfaces. https://doi.org/10.48550/arxiv.1805.10190

Davies, D. L., & Bouldin, D. W. (1979). A Cluster Separation Measure. IEEE Transactions on Pattern Analysis and Machine Intelligence, PAMI-1(2), 224–227.

https://doi.org/10.1109/TPAMI.1979.4766909

Duran, N., Battle, S., Smith, J., & Duran, N. (2021). Sentence encoding for Dialogue Act classification. Natural Language Engineering.

https://doi.org/10.1017/S1351324921000310 Eisenstein, J. (2018). Eisenstein NLP Notes.

Ezen-Can, A., & Boyer, K. E. (2013). Unsupervised classification of student dialogue acts with query-likelihood clustering. Proceedings of the 6th International Conference on Educational Data Mining, EDM 2013.

Ezen-Can, A., & Boyer, K. E. (2015). Understanding Student Language: An Unsupervised Dialogue Act Classification Approach. EDM 2015.

Godfrey, J. J., Holliman, E. C., & McDaniel, J. (1992). SWITCHBOARD:

Telephone speech corpus for research and development. ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings, 1, 517–

520. https://doi.org/10.1109/ICASSP.1992.225858

Gonçalo Oliveira, H., Ferreira, P., Martins, D., Silva, C., & Alves, A. (2022). A Brief Survey of Textual Dialogue Corpora. Proceedings of the Language Resources and Evaluation Conference, 676(June), 1264–1274.

https://aclanthology.org/2022.lrec-1.135

Griol, D., Callejas, Z., Molina, J. M., & Sanchis, A. (2021). Adaptive dialogue management using intent clustering and fuzzy rules. Expert Systems, 38(1).

https://doi.org/10.1111/exsy.12630

Hagberg, A. A., Schult, D. A., & Swart, P. J. (2008). Exploring network structure,

dynamics, and function using NetworkX. In G. Varoquaux & Travis Vaught (Eds.), 7th Python in Science Conference (SciPy 2008) (pp. 11–15).

Jollife, I. T., & Cadima, J. (2016). Principal component analysis: A review and recent developments. In Philosophical Transactions of the Royal Society A:

Mathematical, Physical and Engineering Sciences (Vol. 374, Issue 2065). Royal Society of London. https://doi.org/10.1098/rsta.2015.0202

Jones, K. S. (1972). A statistical interpretation of term specificity and its application in retrieval. In Journal of Documentation (Vol. 28, Issue 1, pp. 11–21).

https://doi.org/10.1108/eb026526

Joty, S., Carenini, G., & Lin, C. Y. (2011). Unsupervised modeling of dialog acts in asynchronous conversations. IJCAI International Joint Conference on Artificial Intelligence. https://doi.org/10.5591/978-1-57735-516-8/IJCAI11-303 Li, X., Ouyang, J., Zhou, X., Lu, Y., & Liu, Y. (2015). Supervised labeled latent

dirichlet allocation for document categorization. Applied Intelligence, 42(3), 581–

593. https://doi.org/10.1007/s10489-014-0595-0

Li, Y., Su, H., Shen, X., Li, W., Cao, Z., & Niu, S. (2017). DailyDialog: A Manually Labelled Multi-turn Dialogue Dataset. 986–995. http://arxiv.org/abs/1710.03957 Liu, P., Ning, Y., Wu, K. K., Li, K., & Meng, H. (2021). Open Intent Discovery through

Unsupervised Semantic Clustering and Dependency Parsing. arXiv.

https://doi.org/10.48550/ARXIV.2104.12114

Liu, Y., Han, K., Tan, Z., & Lei, Y. (2017). Using context information for dialog act classification in DNN framework. EMNLP 2017 - Conference on Empirical Methods in Natural Language Processing, Proceedings, 2170–2178.

https://doi.org/10.18653/v1/d17-1231

Luhn, H. P. (2010). A Statistical Approach to Mechanized Encoding and Searching of Literary Information. IBM Journal of Research and Development, 1(4), 309–317.

https://doi.org/10.1147/rd.14.0309

MacQueen, J. (1967). Some methods for classification and analysis of multivariate observations. Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, 1, 281–296.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G., & Dean, J. (2013). Distributed representations ofwords and phrases and their compositionality. Advances in Neural Information Processing Systems.

Mou, Y., He, K., Wu, Y., Zeng, Z., Xu, H., Jiang, H., Wu, W., & Xu, W. (2022).

Disentangled Knowledge Transfer for OOD Intent Discovery with Unified Contrastive Learning. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), 46–53.

https://doi.org/10.18653/v1/2022.acl-short.6

Nekvinda, T., & Dušek, O. (2021). Shades of BLEU, Flavours of Success: The Case of MultiWOZ. GEM 2021 - 1st Workshop on Natural Language Generation, Evaluation, and Metrics, Proceedings, 34–46.

https://doi.org/10.18653/v1/2021.gem-1.4

Park, J., Jang, Y., Lee, C., & Lim, H. (2022). Analysis of Utterance Embeddings and Clustering Methods Related to Intent Induction for Task-Oriented Dialogue.

https://doi.org/10.48550/arxiv.2212.02021

Pennington, J., Socher, R., & Manning, C. D. (2014). GloVe: Global vectors for word representation. EMNLP 2014 - 2014 Conference on Empirical Methods in Natural Language Processing, Proceedings of the Conference, 1532–1543.

https://doi.org/10.3115/v1/d14-1162

Penta, A., & Pal, A. (2021). What is this Cluster about? Explaining textual clusters by extracting relevant keywords. Knowledge-Based Systems, 229.

https://doi.org/10.1016/j.knosys.2021.107342

Popescu-Belis, A. (2005). Dialogue acts: One or more dimensions. ISSCO WorkingPaper62, DECEMBER 2005.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.127.5668&rep=re p1&type=pdf

Rakesh Kumar Sharma. (2020). An Analytical Study and Review of open source Chatbot framework, Rasa. International Journal of Engineering Research And, V9(06). https://doi.org/10.17577/IJERTV9IS060723

Rastogi, A., Zang, X., Sunkara, S., Gupta, R., & Khaitan, P. (2020). Towards scalable multi-domain conversational agents: The schema-guided dialogue dataset. AAAI 2020 - 34th AAAI Conference on Artificial Intelligence, 8689–8696.

https://doi.org/10.1609/aaai.v34i05.6394

Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence embeddings using siamese BERT-networks. EMNLP-IJCNLP 2019 - 2019 Conference on Empirical Methods in Natural Language Processing and 9th International Joint Conference on Natural Language Processing, Proceedings of the Conference, 3982–3992.

https://doi.org/10.18653/v1/d19-1410

Ribeiro, E., Ribeiro, R., & De Matos, D. M. (2019). Deep dialog act recognition using multiple token, segment, and context information representations.

Journal of Artificial Intelligence Research, 66, 861–899.

https://doi.org/10.1613/jair.1.11594

Ribeiro, E., Ribeiro, R., & Matos, D. M. de. (2019). Reconhecimento de Actos de Diálogo Hierárquicos e Multi-Etiqueta em Dados em Espanhol. Linguamática,

11(1), 17–40. https://doi.org/10.21814/lm.11.1.278

Ritter, A., Cherry, C., & Dolan, B. (2010). Unsupervised modeling of twitter conversations. NAACL HLT 2010 - Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, Proceedings of the Main Conference, 172–180.

Rosenberg, A., & Hirschberg, J. (2007). V-Measure: A conditional entropy-based external cluster evaluation measure. EMNLP-CoNLL 2007 - Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, 410–420.

Rousseeuw, P. J. (1987a). Silhouettes: A graphical aid to the interpretation and validation of cluster analysis. Journal of Computational and Applied Mathematics, 20(C), 53–65. https://doi.org/10.1016/0377-0427(87)90125-7

Rousseeuw, P. J. (1987b). Silhouettes: A graphical aid to the interpretation and validation of cluster analysis. Journal of Computational and Applied Mathematics, 20(C), 53–65. https://doi.org/10.1016/0377-0427(87)90125-7

Sabharwal, N., & Agrawal, A. (2020). Cognitive Virtual Assistants Using Google Dialogflow. In Cognitive Virtual Assistants Using Google Dialogflow. Apress.

https://doi.org/10.1007/978-1-4842-5741-8

Serradilla, O., Zugasti, E., Rodriguez, J., & Zurutuza, U. (2022). Deep learning models for predictive maintenance: a survey, comparison, challenges and prospects. Applied Intelligence, 52(10), 10934–10964.

https://doi.org/10.1007/s10489-021-03004-y

Shang, L., Lu, Z., & Li, H. (2015). Neural responding machine for short-Text conversation. ACL-IJCNLP 2015 - 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural

Language Processing of the Asian Federation of Natural Language Processing, Proceedings of the Conference, 1, 1577–1586. https://doi.org/10.3115/v1/p15-1152

Stolcke, A., Coccaro, N., Bates, R., Taylor, P., Van Ess-Dykema, C., Ries, K., Shriberg, E., Jurafsky, D., Martin, R., & Meteer, M. (2000). Dialogue act modeling for automatic tagging and recognition of conversational speech.

Computational Linguistics, 26(3), 339–373.

https://doi.org/10.1162/089120100561737

Truong, K. N., Huang, E. M., & Abowd, G. D. (2004). CAMP: A magnetic poetry interface for end-user programming of capture applications for the home.

Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 3205, 143–160.

https://doi.org/10.1007/978-3-540-30119-6_9

Van Der Maaten, L., & Hinton, G. (2008). Visualizing data using t-SNE. Journal of Machine Learning Research, 9, 2579–2625.

Vedula, N., Lipka, N., Maneriker, P., & Parthasarathy, S. (2020). Open Intent Extraction from Natural Language Interactions. The Web Conference 2020 - Proceedings of the World Wide Web Conference, WWW 2020, 2009–2020.

https://doi.org/10.1145/3366423.3380268

Vysala, A., & Gomes, D. J. (2020). Evaluating and Validating Cluster Results. 37–47.

https://doi.org/10.5121/csit.2020.100904

Weitz, K., Schiller, D., Schlagowski, R., Huber, T., & André, E. (2021). “Let me explain!”: exploring the potential of virtual agents in explainable AI interaction design. Journal on Multimodal User Interfaces, 15(2), 87–98.

https://doi.org/10.1007/s12193-020-00332-0

Weizenbaum, J. (1966). ELIZA-A computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), 36–45. https://doi.org/10.1145/365153.365168

Wen, T. H., Vandyke, D., Mrkšíc, N., Gašíc, M., Rojas-Barahona, L. M., Su, P. H., Ultes, S., & Young, S. (2017). A network-based end-to-end trainable task- oriented dialogue system. 15th Conference of the European Chapter of the Association for Computational Linguistics, EACL 2017 - Proceedings of Conference, 1, 438–449.

https://doi.org/10.18653/v1/e17-1042

Yan, Z., Duan, N., Chen, P., Zhou, M., Zhou, J., & Li, Z. (2017). Building task- oriented dialogue systems for online shopping. 31st AAAI Conference on Artificial Intelligence, AAAI 2017, 4618–4625.

https://doi.org/10.1609/aaai.v31i1.11182

Zhang, H., Xu, H., Lin, T. E., & Lyu, R. (2021). Discovering New Intents with Deep Aligned Clustering. Proceedings of the AAAI Conference on Artificial Intelligence, 35(16), 14365–14373.

https://doi.org/10.1609/AAAI.V35I16.17689

ANEXO A -PROPOSTA DE ESTÁGIO

ANEXO B - ARTIGO PUBLICADO - RECPAD22

ANEXO C - COAUTORIA ARTIGO PUBLICADO -LREC 22

100

ANEXO D - COAUTORIA ARTIGO PUBLICADO -RECPAD 22

101

102

ANEXO E - TABELAS COM A APLICAÇÃO DAS DIFERENTES TÉCNICAS DE ETIQUETAGEM A TODOS OS CORPORA

Etiquetagem no CamRest676 de 4 clusters Cluster Bigrama Sintagma

Verbal Fala mais próxima do centroide Cluster 1 thank you thank you

goodbye thank you, goodbye.

Cluster 2 in the look be for there are many expensive restaurants in town....

Cluster 3 phone

number be what what is the address and phone number?

Cluster 4 thank you 1 care do not you are welcome.

Etiquetagem no Mastodon

Cluster Bigrama Sintagma Verbal Fala mais próxima do centroide

Cluster 1 of the be should not hard that right ?

Cluster 2 you re feel do ever anxious at i was really trying to sort out what a good re...

Cluster 3 is the say system do not word

window mobile duck fu... it is . until some update inevitably breaks ev...

Cluster 4 ðÿ ðÿ ugly ur on mastodon Cluster 5 social

media delete account ago feel and

never free they are as tired of social media as i am .

Cluster 6 of the 1 be probably count my favorite toku themes are on my home timelin...

Cluster 7 thank you thank you thank you Etiquetagem no DailyDialog

Cluster Bigrama Sintagma Verbal Fala mais próxima do centroide Cluster 1 Do you Be waht i know only too well what that's like Cluster 2 Yes it Yes yes, in most circumstances.

Cluster 3 Ok ll Ok ok. how about some lamb kebabs?

Cluster 4 It really Really it really hurts

103

Etiquetagem no CamRest676 de 16 clusters

Cluster Bigrama Sintagma Verbal Fala mais próxima do centroide Cluster 1 phone

number be be the phone number is 01223 327908, and the add...

Cluster 2 good bye thank you good

bye thank you good bye.

Cluster 3 in the be restaurant there are mexican, italian, chinese and india...

Cluster 4 phone

number be what what is the address and phone number?

Cluster 5 how about about how food what kind of food are you looking for?

Cluster 6 of town locate it be in which part of town it is in ? Cluster 7 is there be there

anything is there anything else?

Cluster 8 thank you thank no you you're very welcome.

Cluster 9 in the 1 be there

restaurant could you please find me a different restaura...

Cluster 10 price range be what 1 what price range do you prefer ? Cluster 11 thank you 1 thank you

goodbye thank you, goodbye.

Cluster 12 in the 2 be restaurant 1 i would like a moderately priced chinese rest...

Cluster 13 thank you 2 thank you thank you.

Cluster 14 don care care do not i don't care.

Cluster 15 thank you 3 thank you for

goodbye thank you for using our system.

good bye

Cluster 16 in the 3 look be for i'm looking for a moderately priced restaurant...

No documento Descoberta de fluxos de diálogo através de técnicas de aprendizagem computacional (páginas 85-121)