Teste de Julgamento de Probabilidade das Sentenças

Antes de apresentar o teste de desempenho do sistema de recomendação, é fundamental retomar as sentenças utilizadas neste teste, apresentadas no capítulo 3. Buscou-se aproximar ao máximo o contexto de interação do usuário turista com o chatbot, portanto, para criar as sentenças, foram considerados os seguintes critérios: (i) o formato das sentenças em “Quero + VInf + (outras estruturas como ObjD)”; (ii) os verbos utilizados, os quais foram retirados de corpus de comentários de turistas; e (iii) o grau de probabilidade das sentenças avaliado por participantes através de um questionário. Dessa forma, foram criadas as 31 sentenças dispostas no Quadro 10.

Para cada sentença, o participante deveria avaliar seu grau de probabilidade em uma interação com o chatbot, através dos níveis 1 a 5, em que o 1 compreenderia a alta improbabilidade, enquanto que o grau 5 representaria a alta probabilidade. Além disso, como apontado no capítulo de Metodologia, esse teste foi realizado com pesquisadores e bolsistas do Laboratório FrameNet Brasil e o total de participantes foram 16 pessoas. É fundamental ressaltar que esses participantes deveriam julgar as sentenças não por suas próprias experiências ou por aquilo que desejariam perguntar ao chatbot, mas sim deveriam pensar se seriam sentenças prováveis para qualquer turista que precisasse de qualquer recomendação. Como ponto de corte, definiu-se que seriam consideradas prováveis as sentenças cuja maioria dos julgamentos se concentrasse nos graus 4 e 5 da escala.

1. Quero visitar museus com meus filhos. 2. Quero comer tacacá.

3. Quero comer torresmo.

4. Quero estar em contato com a natureza. 5. Quero conhecer atrações culturais. 6. Quero passear ao ar livre.

7. Quero jantar com meu marido. 8. Quero conhecer uma boate.

9. Quero sair à noite com meus amigos.

10. Quero visitar museus com meus pais idosos. 11. Quero comer churrasco com a minha família. 12. Quero ir a shows.

13. Quero beber com meus amigos.

14. Quero comprar presentes para a minha família. 15. Quero sair ao ar livre.

16. Quero visitar parques naturais com meus filhos. 17. Quero visitar locais para levar crianças.

18. Quero me hospedar em um hotel.

19. Quero comer em um restaurante com pratos típicos. 20. Quero comer pão de queijo.

21. Quero conhecer um museu de arte. 22. Quero comer comida japonesa. 23. Quero curtir cachoeiras.

24. Quero curtir a noite com minha esposa. 25. Quero me hospedar em um hotel fazenda. 26. Quero comer feijoada.

27. Quero conhecer os bares da cidade. 28. Quero tomar um café com um amigo.

29. Quero ter um jantar romântico com minha esposa. 30. Quero comer hambúrguer com meus amigos à noite. 31. Quero comer pizza.

Dessa forma, a Tabela 8 apresenta os resultados do teste de julgamento de probabilidade, em ordem decrescente, conforme os 16 participantes.

Sentenças Julgamentos 4 e 5

Quero sair à noite com meus amigos. 100%

Quero conhecer uma boate. 100%

Quero conhecer os bares da cidade. 100%

Quero estar em contato com a natureza. 93,8%

Quero comer feijoada. 93,8%

Quero ir a shows. 87,5%

Quero beber com meus amigos. 87,5%

Quero visitar locais para levar crianças. 87,5%

Quero me hospedar em um hotel. 87,5%

Quero comer em um restaurante de pratos típicos. 87,5%

Quero conhecer um museu de arte. 87,5%

Quero comer hambúrguer com meus amigos à noite. 87,5%

Quero conhecer atrações culturais. 81,3%

Quero passear ao ar livre. 81,3%

Quero sair ao ar livre. 81,3%

Quero visitar parques naturais com meus filhos. 81,3%

Quero jantar com meu marido. 81,3%

Quero comer comida japonesa. 81,3%

Quero me hospedar em um hotel fazenda. 81,3%

Quero tomar um café com um amigo. 81,3%

Quero comer pão de queijo. 75%

Quero comer torresmo. 75%

Quero visitar museus com meus filhos. 75%

Quero curtir cachoeiras. 75%

Quero curtir a noite com a minha esposa. 75%

Quero ter um jantar romântico com a minha esposa. 68,8% Quero comprar presentes para a minha família. 62,5% Quero comer um churrasco com a minha família. 56,3% Quero visitar um museu com meus pais idosos. 31,3%

Quero comer tacacá. 26%

Tabela 8: Grau de probabilidade das sentenças segundo os participantes do teste

Pela Tabela 8, nota-se que 28 das 30 sentenças foram julgadas como muito prováveis pelos participantes do teste. Por outro lado, as sentenças “Quero comer tacacá” e “Quero visitar museus com meus pais idosos”, foram julgadas como improváveis. A rejeição a essas sentenças pode ser explicada mediante dois motivos diferentes: a relação entre a comida típica e a região dos participantes e a experiência familiar deles. Em relação à primeira sentença “Quero comer tacacá”, o alto nível de improbabilidade deve-se ao prato típico ser relativo à região Norte e não

algo comum na região Sudeste como no Rio de Janeiro ou em Juiz de Fora. Dessa forma, compreende-se que os participantes entendem essa sentença como algo improvável em uma região em que esse não é o prato típico. Por outro lado, em relação à segunda sentença “Quero visitar museus com meus pais idosos”, ela foi considerada improvável por talvez estar inserida em um contexto em que os próprios participantes não a utilizariam com o aplicativo, compreendendo uma experiência pessoal distinta do que seria comum a eles.

Outro ponto importante desse questionário foi o espaço disponibilizado para que os participantes fizessem sugestões de sentenças para este trabalho. Desse modo, as sugestões foram relacionadas à forma como o usuário se comunicaria – como a não utilização do verbo “quero” antes do verbo principal ou iniciar a sentença com “Onde”, por exemplo – até com os tipos de locais ou alimentos desejados – como “Quero comer uma pizza”. Nesse contexto, essa última sugestão foi utilizada para os testes, uma vez que seguia o padrão sentencial estabelecido. Portanto, o conjunto de sentenças testado continha 29 instâncias.