Universidade Federal Fluminense
Instituto de Computa¸
c˜
ao
Departamento de Ciˆ
encia da Computa¸
c˜
ao
Thais Maiolino
Eduardo Furtado De Souza Oliveira
Maximus: Automatizando Tarefas por Voz
Niter´
oi-RJ
2017
THAIS MAIOLINO
EDUARDO FURTADO DE SOUZA OLIVEIRA
Maximus: Automatizando Tarefas por Voz
Trabalho submetido ao Curso de
Bacharelado em Ciˆencia da Computa¸c˜ao da Universidade Federal Fluminense como requisito parcial para a obten¸c˜ao do t´ıtulo de Bacharel em Ciˆencia da Computa¸c˜ao.
Orientadoras: Profa. Aline Paes Profa. Luciana Salgado
Niter´oi-RJ 2017
Ficha Catalográfica elaborada pela Biblioteca da Escola de Engenharia e Instituto de Computação da UFF
M227 Maiolino, Thais
Maximus: automatizando tarefas por voz / Thais Maiolino, Eduardo Furtado de Souza Oliveira. – Niterói, RJ : [s.n.], 2017.
52 f.
Projeto Final (Bacharelado em Ciência da Computação) – Universidade Federal Fluminense, 2017.
Orientadoras: Aline Paes, Luciana Salgado.
1. Interação homem-máquina. 2. Assistente virtual. 3. Inteligência artificial. I. Oliveira, Eduardo Furtado de Souza. II. Título.
v
Dedico esse trabalho a minha fam´ılia por todo apoio e a faculdade por todo suporte e apren-dizado oferecido.
Agradecimentos
Agrade¸co aos professores pelo conhecimento repassado durante estes anos.
Agrade¸co ao meu orientador pelo suporte dado durante a elabora¸c˜ao deste projeto, com o objetivo de deix´a-lo completo.
Agrade¸co aos amigos pelo completo apoio e compreens˜ao no desenvolvimento deste pro-jeto, ajudando-me sempre que necess´ario com o apoio cabido a eles.
Agrade¸co por ´ultimo, mas n˜ao menos importante, aos meus pais e familiares pelos apoio recebido n˜ao somente durante os anos de estudo, mas por todo o amor dado durante minha vida.
vii
Resumo
No mundo atual, as pessoas est˜ao com cada vez mais tarefas para serem realizadas, o que faz o tempo poss´ıvel de ser dedicado a tais tarefas cada vez menor. Na tentativa de aliviar o tempo gasto em cada tarefa, assistentes virtuais, que s˜ao programas de compu-tador com a habilidade de auxiliar os usu´arios, tˆem se tornado cada vez mais populares. Neste trabalho foi desenvolvido um Assistente virtual denominado de Maximus, cuja fun-cionalidade principal ´e automatizar tarefas dos usu´arios por voz. Ele recebeu esse nome pois visa dar ao usu´ario o m´aximo de experiencia na intera¸c˜ao homem-m´aquina. Ent˜ao para que o Maximus fosse desenvolvido foi necess´ario realizar pesquisas sobre outros assis-tentes j´a existentes, para que com essa informa¸c˜ao o Maximus pudesse ser feito inspirado nas caracter´ısticas deles. Ap´os seu desenvolvimento foram realizados testes com volun-t´arios para saber a aceita¸c˜ao do Maximus por eles e quais melhorias poderiam ter para o futuro. Com os resultados obtidos a partir dos testes foi percept´ıvel que o Maximus auxiliou bastante pessoas que tem mais idade, que demoram mais tempo para realizar tarefas no computador. Al´em disso, ele teve boa aceita¸c˜ao pelos jovens que querem ser multitarefas, j´a que o Max pode ajud´a-los a realizar tarefas no computador, enquanto fazem outras n˜ao relacionadas ao computador.
Palavras-chave: Assistente, Assistente Virtual, Intera¸c˜ao homem-m´aquina, Reconheci-mento de voz
Abstract
Nowadays, people are having more and more tasks to do, while less and less time to be dedicated to each one of them. By attempting to alleviate the time required by each task, the use of virtual assistants, which are computer programs with the ability of helping the users, have become quite popular. In this work it was developed a virtual assistant named as Maximus. It is a virtual assistant designed to automate user tasks by voice. It has received this name because it aims at giving the user the maximum experience in human-machine interaction. To develop Max, it was necessary to conduct research on other existing assistants, so that with this information Maximus could be made inspired by their characteristics. After its development, tests were conducted with volunteers to evaluate the acceptance of Max and to gather possible future improvements for it. With the results obtained from the tests it was possible to observe that Maximus can help a lot older people, that take more time to perform tasks on the computer. In addition, it has been well accepted by young people who want to be multitasking, since Max can help them to perform tasks on the computer while doing other non-computer related tasks.
Sum´
ario
Resumo vii
Abstract viii
Lista de Figuras xi
Lista de Tabelas xii
1 Introdu¸c˜ao 1
2 Estudo de Trabalhos Relacionados 3
2.1 Assistentes Virtuais . . . 3
2.1.1 Siri . . . 4
2.1.2 Alexa . . . 6
2.1.3 Google Now . . . 7
2.1.4 Google Assistant . . . 8
2.2 Interfaces de Programa¸c˜ao de Aplica¸c˜oes para Reconhecimento de Voz . . . 9
2.2.1 Sphinx . . . 9
2.2.2 Speech to Text - Bluemix . . . 10
2.2.3 SpeechRecognition - Google . . . 10
2.3 Aplica¸c˜oes Semelhantes ao Maximus . . . 12
3 Maximus: Uma aplica¸c˜ao para auxiliar o usu´ario a realizar tarefas 14 3.1 Design Thinking . . . 14
3.1.1 Personas . . . 14
3.1.2 Hist´oria dos usu´arios . . . 15
3.2 Ferramentas utilizadas . . . 16
3.2.1 Sistema Operacional . . . 16
3.2.2 Linguagem de Programa¸c˜ao . . . 16
3.2.3 Frameworks . . . 16
3.3 Comandos aceitos pela aplica¸c˜ao . . . 18
3.3.1 Informa¸c˜oes clim´aticas . . . 18
3.3.2 Pesquisas utilizando o Google . . . 19
3.3.3 Dia e hora . . . 19
3.3.4 Instalar novas aplica¸c˜oes . . . 19
3.3.5 Abrir programas previamente instalados no computador . . . 20
3.3.6 Abrir Facebook . . . 21
3.4 Fun¸c˜oes implementadas no Maximus para trazer uma maior imers˜ao da aplica¸c˜ao para o usu´ario . . . 21
3.4.1 Conex˜ao com a internet . . . 21
3.4.2 Resposta da aplica¸c˜ao ao usu´ario . . . 21
4 Avalia¸c˜ao Funcional 23 4.1 Fase de prepara¸c˜ao para o teste . . . 23
4.2 Question´ario pr´e-testes . . . 24
4.3 Avalia¸c˜ao de usabilidade . . . 25
4.4 Entrevista P´os Teste . . . 26
4.5 Resultado dos Testes . . . 27
4.5.1 Question´ario Pr´e Teste . . . 27
4.5.2 Avalia¸c˜ao de usabilidade . . . 27
5 Conclus˜ao e Trabalhos futuros 31
A Termo de Consentimento 33
B Question´ario Pr´e Teste 35
C Roteiro do Teste de Usabilidade 38
xi
Lista de Figuras
2.1 Primeira vers˜ao da Siri . . . 5
2.2 Siri . . . 6
2.3 Amazon-Alexa . . . 7
2.4 Ok, Google . . . 8
2.5 Google Assistant . . . 9
2.6 Teste realizado com o Sphinx . . . 10
2.7 Teste realizado com o Speech to Text - Bluemix . . . 11
2.8 Aplica¸c˜ao para envio de SMS por voz . . . 12
2.9 Casa usando o projeto Sweet-Home . . . 13
3.1 Configura¸c˜oes do usu´ario . . . 17
3.2 JSON de retorno da API do OpenWeatherMap . . . 19
3.3 Diferen¸ca entre o Datetime n˜ao manipulado e manipulado . . . 19
3.4 Resposta do assistente para o usu´ario . . . 22
3.5 Hist´orico de notifica¸c˜oes . . . 22
Lista de Tabelas
3.1 Tabela com as hist´orias de usu´arios e crit´erios de aceita¸c˜ao . . . 15
3.2 Tabela com fun¸c˜oes da aplica¸c˜ao . . . 18
3.3 A¸c˜oes a serem tomadas a partir do resultado do algoritmo do Sequence Matcher . . . 20
4.1 Roteiro com situa¸c˜oes e objetivos . . . 26
4.2 Caminho de Sucesso para cada Tarefa . . . 26
4.3 Resultados do question´ario Pr´e-teste . . . 28
4.4 Resultados dos Teste por Volunt´ario . . . 29
Cap´ıtulo 1
Introdu¸
c˜
ao
Hoje em dia o mundo est´a cada vez mais acelerado e as pessoas precisam ser mul-titarefas, tendo assim uma vida agitada. Quando chega-se ao trabalho, por exemplo, ´e necess´ario ligar o computador e abrir uma s´erie de programas, al´em de realizar outras ta-refas n˜ao relacionadas ao computador, simultaneamente. Al´em disto, existem pessoas que n˜ao possuem conhecimentos com computadores e acaba por deixar de usa-los por acharem dif´ıcil a intera¸c˜ao. E com o avan¸co crescente da disponibiliza¸c˜ao de sistemas e ambientes inteligentes, surge ent˜ao a ideia de uma aplica¸c˜ao que respondesse a comandos de voz e realizasse o que era preciso sem que houvesse necessidade de tocar no computador surgiu como solu¸c˜ao. Assim foi criado o Maximus, que permite que o usu´ario envie comandos de voz enquanto realiza outras atividades, e acabe por ter um melhor aproveitamento da sua experiˆencia com o computador.
O Maximus ´e um assistente virtual que tem como fun¸c˜ao facilitar a experiˆencia do usu´ario com o computador. Leva esse nome porque visa trazer o m´aximo de experiˆencia na intera¸c˜ao homem-m´aquina. O assistente ouve o que o usu´ario precisa que seja feito atrav´es de um comando de voz e realiza a tarefa, sem que ele precise efetivamente mexer no computador.
Segundo Margaret Rouse[1] ”assistente virtual ´e uma aplica¸c˜ao que pode com-preender linguagem natural e completar tarefas para o usu´ario”. Eles s˜ao feitos usando inteligˆencia artificial1, aprendizado de m´aquina2 e reconhecimento de voz.
1Estudo de como fazer os computadores realizarem tarefas em que, no momento, as pessoas s˜ao
melhores.
2Conjunto de regras e procedimentos que permitem que os computadores possam agir e tomar decis˜oes
baseados em dados ao inv´es de ser explicitamente programados para realizar uma determinada tarefa.
O funcionamento do Maximus ´e simples. A aplica¸c˜ao recebe a fala do usu´ario e a processa, para saber qual a a¸c˜ao deve ser tomada. O Maximus pode realizar a¸c˜oes como abrir aplica¸c˜oes, pesquisar informa¸c˜oes no google, abrir sites na p´agina de download, caso o usu´ario precise de um programa que n˜ao esteja instalado, al´em de dar informa¸c˜oes sobre hora, data e clima. O programa ainda informa ao usu´ario, por texto e voz, se conseguiu entender o comando e execut´a-lo ou se teve algum problema durante o processamento da tarefa.
Para a realiza¸c˜ao desse trabalho foram feitas pesquisas para identificarmos como os assistentes virtuais j´a existentes funcionam, qual seria o reconhecedor de voz mais eficaz para trazer uma boa experiˆencia para o usu´ario, al´em de compara¸c˜oes com outros trabalhos relacionados. Portanto, este trabalho envolveu estudos em inteligˆencia artificial, reconhecimento de voz e intera¸c˜ao humano-computador.
Ao pesquisar por tabalhos relacionados foi visto que os usu´arios tem uma boa aceita¸c˜ao com reconhecimento de voz para automatiza¸c˜ao em geral e que tiveram uma boa experiˆencia ao utiliza-lo, como pode ser visto no artigo do Portet e t al. [2]. Sendo isso um dos fatores para utilizar a automatiza¸c˜ao de tarefas por voz.
A utiliza¸c˜ao do sistema de reconhecimento de voz tem como inten¸c˜ao melhorar a intera¸c˜ao homem-m´aquina, e trazer para o usu´ario uma experiˆencia mais completa de imers˜ao nas possibilidades do uso de computadores. O aplicativo foi criado para facilitar a vida dos usu´arios, e pode ser usado at´e por pessoas que tˆem pouca experiˆencia com computadores, visto que elimina problemas de utiliza¸c˜ao, como a procura por programas ou letras de um teclado.
Como metodologia para a realiza¸c˜ao do projeto de aplica¸c˜ao foi realizado primeira-mente a leitura de trabalhos relacionados, em seguida, experimentos com tecnologias que foram necess´arias pro desenvolvimento da aplica¸c˜ao e, por ´ultimo, avalia¸c˜ao com usu´arios. Os cap´ıtulos a seguir foram estruturados da seguinte forma: no segundo, foram realizadas pesquisas para obter mais informa¸c˜ao sobre o tema do projeto, no terceiro, mostramos a estrutura e usabilidade da aplica¸c˜ao, no quarto, discorremos sobre os estudos feitos com volunt´arios e considera¸c˜oes sobre esse estudo e, por ´ultimo, a conclus˜ao.
Cap´ıtulo 2
Estudo de Trabalhos Relacionados
Para que o projeto fosse realizado foram feitas pesquisas sobre alguns assisten-tes virtuais, interfaces de programa¸c˜ao de aplica¸c˜oes (API) para reconhecimento de voz e trabalhos relacionados a esse projeto. Esses pontos foram importantes para o desen-volvimento da aplica¸c˜ao, pois permitiu escolher qual seria a melhor API e como outros assistentes virtuais funcionam e suas principais caracter´ısticas.
2.1
Assistentes Virtuais
O Shoebox pode ser considerado o primeiro assistente desenvolvido. Foi criado em 1962 por William C. Dersch [3], um desenvolvedor da IBM1. O Shoebox era uma m´aquina capaz de reconhecer e responder a 16 palavras. Quando um n´umero de 0 a 9 e palavras-chaves como ”mais”, ”menos”e ”total”eram faladas, o Shoebox instruia uma m´aquina para calcular e imprimir a resposta `a express˜ao matem´atica falada. Para que o reconhecimento de voz dele funcionasse era preciso falar no microfone, que convertia o som da voz em impulsos el´etricos. Ent˜ao um circuito de medi¸c˜ao classificava esses impulsos de acordo com v´arios tipos de sons e assim ativava a m´aquina de calcular.
Hoje em dia, os assistentes realizam tarefas mais complexas que o Shoebox. A seguir mostramos alguns deles e como foram feitos.
1International Business Machines - Empresa voltada para a ´area de inform´atica
2.1.1
Siri
O Cognitive Assistant that Learns and Organizes (CALO) come¸cou a ser desen-volvido em 2003 pelo U.S. Defense Department’s - Defense Advanced Research Projects Agency (DARPA), sendo administrada pela SRI International[4], um centro de pesquisa sem fins lucrativos. O CALO aprende com os usu´arios e com as informa¸c˜oes dispon´ıveis para ele, sendo usado para agendar reuni˜oes, organizar documentos necess´arios para levar `
a reuni˜ao e tamb´em na tomada de decis˜oes em situa¸c˜oes que acontecem no escrit´orio. Por exemplo, caso um participante n˜ao possa comparecer a uma reuni˜ao ou precise sair antes do encerramento, o CALO avalia se aquela pessoa ´e importante o suficiente para justificar cancelamento ou a reprograma¸c˜ao da reuni˜ao.
Alguns anos depois, o SRI fundou uma nova empresa a Siri Inc.2, que come¸cou a desenvolver a Siri usando como base os conhecimentos do projeto CALO.R
Em sua primeira vers˜ao, o usu´ario utilizava voz ou texto para se comunicar, como pode ser visto na figura 2.1, para se comunicar, e esse dado era enviado para um servidor remoto que o analisava e interpretava. Visando uma melhor compreens˜ao do pedido do usu´ario, a Siri procurava por palavras chaves e seu contexto. Sendo assim, ela foi feitaR para analisar modelos de objetos3 e conceitos reais, diferentemente das pesquisas que usam linguagem natural, que apenas traduzem frases inteiras e n˜ao tentam entender seu contexto. Al´em disso, foram inseridas diversas frases pr´e-programadas para que a Siri R pudesse realizar adequadamente o comando sem que fosse necess´ario uma maior an´alise sobre o que foi dito. 2.1, para se comunicar, e esse dado era enviado para um servidor remoto que o analisava e interpretava. Visando uma melhor compreens˜ao do pedido do usu´ario, a Siri procurava por palavras chaves e seu contexto. Sendo assim, ela foi feitaR para analisar modelos de objetos4 e conceitos reais, diferentemente das pesquisas que usam linguagem natural, que apenas traduzem frases inteiras e n˜ao tentam entender seu contexto. Al´em disso, foram inseridas diversas frases pr´e-programadas para que a Siri pudesse realizar adequadamente o comando sem que fosse necess´ario uma maior an´alise sobre o que foi dito.
2https://www.sri.com/engage/ventures/siri
3Uma cole¸c˜ao de objetos ou classes atrav´es das quais um programa pode examinar e manipular algumas
partes espec´ıficas
4Uma cole¸c˜ao de objetos ou classes atrav´es das quais um programa pode examinar e manipular algumas
5
Em 2010 a Siri foi comprada pela AppleR e come¸cou a vir integrada com oR sistema operacional do smartphone da marca, o iPhone. A diferen¸ca da primeira vers˜ao, feita pela Siri Inc para a mais atual, feita pela Apple , nos smartphones ou tablets daR marca, ´e que n˜ao se pode mais usar o teclado para se comunicar, somente voz; perdeu-se o humor sarc´astico; ganhou uma melhor integra¸c˜ao com recursos internos do iPhone e uma voz aud´ıvel; al´em de realiza¸c˜ao de tarefas espec´ıficas (reservar um restaurante, realizar c´alculos matem´aticos, usar o GPS para localizar o usu´ario ou entregar informa¸c˜oes sobre isso, previs˜ao do tempo e etc.), como pode ser visto na figura 2.2.
Al´em de usar o processador do computador ou do smartphone, a aplica¸c˜ao tamb´em faz requisi¸c˜oes a servidores na nuvem5, e ´e sempre necess´ario o uso de internet para que funcione. Os usu´arios enfrentam problemas se precisarem usar a Siri quando aR internet est´a com baixa qualidade ou o sinal de seu smartphone esteja fraco. Al´em dessa limita¸c˜ao, a Siri tem dificuldade de interpreta¸c˜R ao correta dos diversos sotaques, havendo necessidade de uma articula¸c˜ao melhor das palavras. Ru´ıdos externos tamb´em podem prejudicar seu entendimento.
Figura 2.1: Primeira vers˜ao da Siri
A Siri s´R o pode ser usada em smartphones, tablets e computadores da Apple .R Para ativar a Siri em smartphones (iPhone) ou tablets (iPad) ´e necess´R ario pressionar o bot˜ao de Home ou quando se fala ’E ai, Siri’, s´o sendo poss´ıvel ativ´a-la por voz caso o celular esteja sendo carregado. Para que ela comece a te ouvir ´e necess´ario apertar o microfone que aparece na tela do iPhone. J´a para os computadores da Apple , a ativa¸c˜R ao pode ser feita de v´arias maneiras: clicando no s´ımbolo da Siri que fica localizado noR 5A pr´atica de usar uma rede de servidores remotos hospedados na Internet para armazenar, gerenciar
Menu Bar6, procurando por ela no Launchpad7 ou apertando teclas de comando. Na vers˜ao para computador o usu´ario tem a op¸c˜ao de configurar o seu assistente, escolhendo se ter´a retorno de voz ou n˜ao, qual atalho do teclado prefere, podendo at´e personalizar seu pr´oprio atalho.
Figura 2.2: Siri
2.1.2
Alexa
Em 2014 a Amazon lan¸cou a AlexaR , apresentada na figura 2.3, uma assistenteR que recebe a voz do usu´ario como entrada, envia essa informa¸c˜ao para um servidor na nuvem da Amazon , para que ent˜R ao esse dado possa ser processado pelo Alexa VoiceR Services (AVS), que transforma essa informa¸c˜ao em texto. Esse texto ent˜ao ´e analisado e h´a um retorno de comandos a partir de sua interpreta¸c˜ao, como tocar uma m´usica, retornar uma pesquisa na internet ou contar piadas.
Ela tamb´em ´e capaz de trabalhar com outras tecnologias usadas em casas, como lˆampadas inteligentes da Philips Hue. Se o cˆomodo estiver equipado com os dois, a Alexa ser´a capaz de enviar um comando de acender ou apagar a luz para a lampada do local, ap´os o usu´ario dar o comando. Ela tamb´em pode enviar comandos para a televis˜ao ligar/desligar ou para um fog˜ao ativar um timer, entre outros.
Uma outra caracter´ıstica da Alexa ´e o Skill, no qual um programador pode fazerR sua pr´opria funcionalidade para a assistente. Como por exemplo, uma pizzaria pode fazer uma API para que o usu´ario possa pedir uma pizza pela Alexa sem ter que telefonar, ir at´e o estabelecimento ou pedir pelo iFood 8. E a Alexa ser´a capaz de reproduzir esse
6barra localizada ao longo da parte superior da ´area de trabalho do Mac 7localiza¸c˜ao central onde vocˆe pode ver e abrir os aplicativos que est˜ao no Mac 8Aplicativo para entrega de comida. https://www.ifood.com.br
7
comando.
A Alexa tem como limita¸c˜R ao, assim como a Siri , a necessidade da internetR para funcionar, n˜ao sendo capaz de acessar o AVS sem conex˜ao `a rede mundial. Ela pode ser ativada ao ser chamada, seguido do comando que deseja realizar, como por exemplo: ”Alexa, acenda a luz.”.
Figura 2.3: Amazon-Alexa
2.1.3
Google Now
O Google Now ´e mais um exemplo de assistente virtual que utiliza voz paraR realizar comandos pedidos por seu usu´ario. Para sua constru¸c˜ao, foi necess´ario usar t´ecnicas como Redes Neurais9 e grafos de conhecimentos10, conforme breve descri¸c˜ao a seguir.
As Redes Neurais artificiais foram inspiradas nas redes neurais de mam´ıferos. Um ”neurˆonio”do computador recebe e analisa uma informa¸c˜ao utilizando uma fun¸c˜ao de ati-va¸c˜ao e, caso o resultado dessa an´alise seja satisfat´orio, essa informa¸c˜ao ´e repassada para a camada superior de neurˆonios. Esse processo se repete at´e chegar `a ´ultima camada. Cada camada de neurˆonios adquire conhecimento de acordo com os exemplos vividos anterior-mente. Elas foram usadas para fazer a parte de reconhecimento de voz do Google Now. O dado recebido pelo neurˆonio era uma representa¸c˜ao dos sinais do som e a Rede Neural entendia e interpretava os sons b´asicos da voz. Com essa t´ecnica os erros no sistema deles foram diminu´ıdos entre 20% `a 25%, pois a rede neural conseguiu identificar e eliminar diferentes sotaques, vozes e/ou ru´ıdos do ambiente.
9T´ecnicas computacionais que apresentam um modelo matem´atico inspirado na estrutura neural de
organismos inteligentes e que adquirem conhecimento atrav´es da experiˆencia
10Base de conhecimento do sistema de pesquisa da empresa Google que visa melhorar os resultados da
Os grafos de conhecimento da Google , por sua vez, s˜R ao bancos de dados de senso comum ligados `a 500 milh˜oes de entidades. Isso quer dizer que se um usu´ario procura por ’Tom Cruise’ vai aparecer o ator e n˜ao um cruzeiro. Usando esse grafo, o Google Now R ´e capaz de retornar informa¸c˜oes espec´ıficas e n˜ao somente diferentes links para aquela busca. O Google Now utiliza essa busca a partir dos resultados retornados pela redeR neural, para que assim possa tomar alguma atitude referente ao pedido do usu´ario, como por exemplo, abrir algum aplicativo ou retor o resultado da busca.
Ele n˜ao tem uma intera¸c˜ao t˜ao pessoal do smartphone com o usu´ario como a Siri , que ao escutar a frase ”Ol´R a, tudo bem?”, por exemplo, responde com ”Ol´a, estou ´
otima, obrigada por perguntar”. O Google Now , quando feita a mesma pergunta, ficaR esperando por um comando v´alido e n˜ao responde o usu´ario.
Ele pode ser ativado quando se fala ’Ok, Google’, como mostra a figura 2.4, perto do celular ou quando se pressiona o microfone que aparece na barra de pesquisa do Google.
Figura 2.4: Ok, Google
2.1.4
Google Assistant
O Google Assistant (figura 2.5) ´e um assistente da GoogleR que ´e usado noR Google Home, um dispositivo inteligente, e em smartphones com Android 7+ instalados. Ele pode ser considerado uma evolu¸c˜ao do Google Now , herdando todas suas fun¸c˜R oes e adquirindo outras novas com uma t´ecnica de inteligencia artificial mais apurada. Ganhou a capacidade de conversar com o usu´ario e aprender informa¸c˜oes dele, como por exemplo, quando ´e o seu anivers´ario. Outra funcionalidade adicionada foi a capacidade de responder a uma pergunta que teria uma longa explica¸c˜ao no Google Now com apenas poucasR palavras, utilizando voz em todos os momentos para interagir com o usu´ario.
9
Figura 2.5: Google Assistant
2.2
Interfaces de Programa¸
c˜
ao de Aplica¸
c˜
oes para
Reconhecimento de Voz
Existem algumas API’s open source ou com recursos gratuitos que foram testadas para a realiza¸c˜ao desse projeto. A seguir, discutiremos e apresentaremos os principais pontos de cada uma delas.
2.2.1
Sphinx
Sphinx ´e uma biblioteca Java para reconhecimento de voz, que transforma voz em texto. Podem ser utilizados arquivos de ´audio previamente gravados ou grava¸c˜oes em tempo real, por´em n˜ao h´a a op¸c˜ao de escolher outros idiomas al´em do inglˆes. Al´em disso, ´e necess´aria a cria¸c˜ao de uma lista de comandos que o programa deve entender. Essa gram´atica criada foi salva no arquivo words.gram que pode ser visto abaixo:
Words.gram #JSGF V1.0;
/** * JSGF Grammar **/ grammar tcc;
open; <windowsApps> = word pad | files | windows media player | note pad | chrome | paint | internet | internet explorer;
Ap´os alguns testes realizados usando o Sphinx, como: ”Open Notepad”, ”Open Internet”, ”Open Files”, foram obtidas respostas de que n˜ao foi poss´ıvel entender o que foi dito, como mostra a figura 2.6.
Figura 2.6: Teste realizado com o Sphinx
O programa n˜ao foi capaz de identificar com clareza as falas do usu´ario, seja por uma transcri¸c˜ao ruim do que foi falado ou atrapalhado por ru´ıdos do ambiente.
2.2.2
Speech to Text - Bluemix
O Speech to Text, uma API da IBM, foi testada com um c´odigo em Java que precisava de um arquivo de ´audio para que funcionasse. Ent˜ao, para realizar o teste, foi necess´aria a cria¸c˜ao de um arquivo .wav ou .flac. Ele permitia a escolha de diversos idiomas, por´em ao tentar usar a API em portuguˆes e falar palavras famosas em outro idioma, como ”Facebook”, o mesmo n˜ao entendia o comando. Um ponto positivo dessa API ´e que ela retorna um JSON com informa¸c˜oes sobre o resultado, como a porcentagem de acerto que a API obteve em rela¸c˜ao ao ´audio enviado. Um dos arquivos usados para o teste continha duas frases gravadas: ’Hi, I’m Emma, one of the available high quality text-to-speech voices. Select download now to install my voice.’ e o JSON de resposta trouxe uma porcentagem de acerto em torno de 92% para a primeira frase, errando apenas uma palavra. A segunda frase teve um taxa de acerto menor, de aproximademente 83%, contendo erros como confundir “now ” com “not ” e confundir “install ” com “instill ”, como pode ser visto na figura 2.7.
2.2.3
SpeechRecognition - Google
SpeechRecognition ´e uma API do Google para Python. Para sua utiliza¸c˜ao ´e necess´ario o uso de internet, pois o dado de voz recebido ´e enviado para os servidores
11
Figura 2.7: Teste realizado com o Speech to Text - Bluemix
do Google, para que l´a ocorra a transcri¸c˜ao de voz para texto. Ele usa o microfone como arquivo de entrada, ou seja, ele ouve em tempo real o que est´a sendo falado e sua transcri¸c˜ao para texto acontece. Caso a internet utilizada n˜ao esteja sobrecarregada, o tempo de resposta da API ´e praticamente simultˆaneo ao t´ermino da fala do usu´ario. Por´em se a internet estiver com o fluxo sobrecarregado, o tempo de resposta acaba por se prolongar, dando a sensa¸c˜ao que o usu´ario n˜ao est´a sendo escutado. Essa API ´e capaz de retirar os barulhos do ambiente e com isso permitir uma leitura mais limpa.
Ap´os realizar testes com o SpeechRecognition, foi poss´ıvel ver que sua taxa de acerto ´e alta independente do idioma escolhido e ele ´e capaz de interpretar em portuguˆes palavras famosas em outro idioma como, por exemplo, ”Facebook” e ”Twitter”, diferindo do Speech To Text do Bluemix (visto na subse¸c˜ao 2.2.2).
Sendo ele o escolhido para o desenvolvimento da aplica¸c˜ao, devido as suas vantagens em rela¸c˜ao ao Sphinx e ao Speech To Text e tamb´em por ser uma API gratuita.
2.3
Aplica¸
c˜
oes Semelhantes ao Maximus
Um programa desenvolvido em 2012 por Sanja Primorac e Mladen Russo [5] per-mite que usu´arios de Android enviem SMS por voz, ou seja, sua voz ´e gravada e trans-formada em texto, usando o Google Speech Recognition que foi mostrado em 2.2.3. Para o usu´ario poder enviar a mensagem, ´e necess´ario que ele entre no aplicativo e aperte o bot˜ao ”Click Me!”, podendo ser visualizado na figura 2.8, para que comece a ser ouvido. Quando o processo de audi¸c˜ao e transcri¸c˜ao para texto ´e terminado, uma lista com todas as possibilidades de mensagem que o usu´ario poderia querer dizer ´e mostrada. Ent˜ao, ele precisa escolher qual dessas mensagens se encaixa com o que foi dito. Ao escolher essa mensagem, ele vai ser redirecionado para outra p´agina na qual precisa entrar com um n´umero de telefone ou escolher algum de sua lista de contatos. E por ´ultimo ´e preciso mandar o bot˜ao de Send SMS para que a mensagem seja enviada.
Figura 2.8: Aplica¸c˜ao para envio de SMS por voz
No artigo feito por Portet et al. [2], em 2013, trata do uso de reconhecimento de voz em casas inteligentes para as pessoas com idade mais avan¸cada. Os pesquisadores criaram o projeto Sweet-Home, exemplificado na figura 2.9, que visa a acessibilidade e desenvolvimento de uma tecnologia de mais f´acil entendimento para o uso em casas automatizadas. Ao estudar a parte de reconhecimento de voz desse artigo foi poss´ıvel perceber que pessoas que testaram a casa ficaram interessadas em usar o comando por voz para, por exemplo, abrir ou fechar janelas, configurar a televis˜ao ou o r´adio. Tamb´em foi relatado que 95% dos usu´arios continuariam usando o sistema, mesmo que, por vezes,
13
a transcri¸c˜ao e interpreta¸c˜ao dos comandos pela m´aquina n˜ao fosse correta.
Os dois projetos acima se assemelham ao dessa monografia, pois todos utilizam de recurso de voz para poder entender o que o usu´ario precisa e transforma essa voz em uma a¸c˜ao para ajudar o usu´ario. O primeiro artigo citado utiliza a mesma API para reconhecimento de voz que o dessa monografia, o Google Speech Recogniztion; j´a o segundo artigo n˜ao cita como foi feito o reconhecimento de voz. A diferen¸ca dos trˆes trabalhos ´e que cada um foca em um dipositivo diferente: o primeiro ´e para o celular, o segundo para casa inteligentes e o dessa monografia, para computadores.
Figura 2.9: Casa usando o projeto Sweet-Home
Intharah et al. [6], em 2017, fizeram um artigo que fala sobre automatiza¸c˜ao de tarefas para computadores, que se assemelha ao desta monografia, por´em n˜ao utiliza comandos de voz e sim o mapeamento de tela. Ou seja, o usu´ario realiza a tarefa que precisa ser automatizada e o programa pode usar dois m´etodos: o que grava a tela, mapeia o status e localiza o mouse ou teclas que est˜ao sendo pressionadas; ou o m´etodo de Sniffer11, que pode acessar informa¸c˜oes diretas do sistema operacional, mas n˜ao consegue determinar como a a¸c˜ao foi feita.
11Ferramenta utilizada para monitorar e analisar tr´afego de rede transmitido de uma localiza¸c˜ao de
Cap´ıtulo 3
Maximus: Uma aplica¸
c˜
ao para
auxiliar o usu´
ario a realizar tarefas
Nesse cap´ıtulo ser´a abordado como a aplica¸c˜ao foi desenvolvida, mostrando os passos para a decis˜ao dos requisitos do programa usando a metodologia de design thinking1 e como eles foram implementados.
3.1
Design Thinking
Antes do in´ıcio do desenvolvimento do Maximus, foi feita uma se¸c˜ao de design thinking. Nela foram realizados alguns processos como a cria¸c˜ao de personas2 e hist´oria dos usu´arios3.
3.1.1
Personas
Para a cria¸c˜ao das personas foram avaliadas as pessoas que seriam o alvo principal para o sucesso do Maximus e, com isso, foram criadas duas personas diferentes.
Na primeira persona temos o Matheus, um jovem de 23 anos, entusiasta por com-putadores, que possui uma vida agitada. Faz faculdade, trabalha e precisa fazer diversas 1Processo de pensamento cr´ıtico e criativo que permite organizar informa¸c˜oes e id´eias, tomar decis˜oes,
aprimorar situa¸c˜oes e adiquirir conhecimento
2Representa¸c˜ao fict´ıcia do seu usu´ario ideal. Ela ´e baseada em dados reais sobre comportamento e
caracter´ısticas demogr´aficas dos seus usu´ario
3Agrupamento de tarefas t´ecnicas na vis˜ao de um usu´ario
15
tarefas ao mesmo tempo, como por exemplo, auxiliar um estagi´ario a realizar tarefas do trabalho, enquanto tamb´em precisa fazer as pr´oprias tarefas.
Na segunda persona temos Iracema, uma mulher de 59 anos, que adora usar o Facebook e jogar cartas pela internet, por´em tem muita dificuldade para conseguir acessa esses sites e demora para achar onde se localizam os ´ıcones no computador e onde ficam as letras no teclado.
3.1.2
Hist´
oria dos usu´
arios
Ap´os decidir as personas foi visto como seria a melhor forma para desenvolver a ferramenta para os usu´arios. Assim, foram criadas hist´orias que mostrariam os passos necess´arios para que o usu´ario possa usar a aplica¸c˜ao. Essas hist´orias podem ser vistas na tabela 3.1.
Hist´oria Crit´erio de Aceita¸c˜ao
Como usu´ario, eu quero ligar o computador e
j´a ter o assistente Garantir que o Maximus sempre esteja
virtual aberto de maneira que n˜ao precise aberto ao iniciar o computador procurar pelo aplicativo e abri-lo, assim otimizo meu tempo.
Como usu´ario, quero poder editar o nome do usu´ario,
porque dessa forma diversas pessoas que Garantir que o usu´ario possa modificar o seu nome. usam o mesmo computador poderam utilizar o Maximus.
Como usu´ario, gostaria de ativar o assistente virtual utilizando voz, Maximus precisa usar o reconhecimento pois dessa forma poderia realizar outras tarefas ao mesmo tempo sem de voz para ativar a comunica¸c˜ao entre
precisar apertar bot˜oes no computador. aplicativo e usu´ario
Como usu´ario, quero poder modificar a frase ativadora Garantir que o usu´ario possa modificar a frase ativadora. para iniciar a intera¸c˜ao.
Como usu´ario, quero poder saber se o computador est´a Garantir uma verifica¸c˜ao para saber o status conectado a internet para que o reconhecimento de voz funcione. da conex˜ao com a internet e avisar o usu´ario sobre.
Como usu´ario, quero poder realizar fun¸c˜oes b´asicas do computador,
como por exemplo, iniciar programas, abrir Facebook, Garantir que o Maximus seja capaz de realizar verificar data e hora, meteorologia, pesquisar as fun¸c˜oes pedidas pelo usu´ario informa¸c˜oes diversas, instalar novos programas,
sem a necessidade de usar mouse e teclado, porque assim n˜ao preciso perder tempo procurando programas ou letras no teclado.
Como usu´ario, quero poder ter respostas do Maximus atrav´es de voz Garantir que o Maximus de resposta por voz e texto. e texto, de maneira que eu saiba o estado atual do aplicativo
e n˜ao fique repetindo o comando desnecessariamente.
3.2
Ferramentas utilizadas
Com a defini¸c˜ao das hist´orias, foi feita uma an´alise para saber quais seriam as ferramentas necess´arias para o desenvolvimento do Maximus. E nessa se¸c˜ao vamos mostrar quais foram essas escolhas e o porque delas.
3.2.1
Sistema Operacional
O Maximus foi desenvolvido apenas para o sistema operacional Mac Os, pois era o sistema operacional usado pelos desenvolvedores do projeto.
A aplica¸c˜ao n˜ao consegue ser executada em computadores que possuem Windows como sistema operacional, pois o Maximus ao ser criado por um computador com Mac Os instalado herdou comandos que s˜ao somente aceitos para sistemas operacionais baseados no Unix e o Windows tem como base o sistema operacional Q-DOS.
3.2.2
Linguagem de Programa¸
c˜
ao
Para a escolha da linguagem primeiro foi analisado qual seria o melhor reconhecedor de voz e assim optar pela linguagem que interagisse mehor com o reconhecedor de voz.
Como o Google Speech Recognition foi o escolhido para ser o reconhecedor de voz do Maximus, a linguagem Python foi escolhida como linguagem de desenvolvimento da aplica¸c˜ao, pois ´e nessa que a API ´e oferecida gratuitamente.
Al´em desse fator, o Python ´e uma linguagem de alto n´ıvel, com tipagem forte e dinˆamica, orientada a objetos, e de f´acil uso e aprendizado.
3.2.3
Frameworks
Nessa se¸c˜ao ser˜ao apresentados os Frameworks necess´arios para a constru¸c˜ao da aplica¸c˜ao.
3.2.3.1 Reconhecimento de voz
Como definido na hist´oria dos usu´arios, um dos requisitos ´e que fosse utilizado um reconhecedor de voz para ativar a aplica¸c˜ao e para que o usu´ario possa fazer pedidos para a m´aquina.
17
Ent˜ao, como foi mostrado no 2.2.3 tivemos o Google Speech Recognition escolhido para ser o reconhecedor de voz da aplica¸c˜ao, pois ele foi o que mais se sobresaiu entre as 3 API’s testadas para reconhecimento de voz.
Ele ´e capaz de entender diversos idiomas e palavras estrangeiras famosas, e sua taxa de acur´acia em rela¸c˜ao a compreens˜ao de frases se manteve alta em diversos testes realizados.
3.2.3.2 Interface Gr´afica
No Maximus o usu´ario pode editar o nome do usu´ario e escolher uma frase ativadora para iniciar a intera¸c˜ao entre o usu´ario e o computador. Ent˜ao foi desenvolvida uma janela com as configura¸c˜oes do Maximus, que pode ser vista na figura 3.1.
Figura 3.1: Configura¸c˜oes do usu´ario
Para a cria¸c˜ao dessa janela foi usado o TkInter, um framework gr´afico popular no Python. O Tkinter oferece uma facilidade de uso e possui v´arios recursos dispon´ıveis. Uma outra vantagem ´e que ´e nativo da linguagem Python, ou seja, s´o ´e necess´ario importar a biblioteca para usar.
3.2.3.3 Banco de dados
Como uma das hist´orias do usu´arios ´e poder abrir qualquer programa instalado no computador, para isso ´e necess´ario ter previamente todos os caminhos dos programas j´a salvos. Por isso, ´e necess´ario armazenar essas informa¸c˜oes em um banco de dados.
Outra hist´oria ´e a de poder trocar o nome do usu´ario e a frase ativadora para inicializar o programa, que inicialmente vem como padr˜ao ”Hey Dude”. Para realizar essa tarefa tamb´em ´e necess´ario a utiliza¸c˜ao de um banco de dados.
Para fazer essas armazena¸c˜oes foi escolhido um banco de dados NoSQL, o Mon-goDB. Ele tem como caracter´ıstica de ser orientado a documentos, ou seja, os documentos s˜ao armazenados na forma de documentos de estilo JSON. Ele apresenta alta disponibili-dade e escalabilidisponibili-dade, ´otima performance e desenvolvimento r´apido. Al´em disso, permite um acesso mais r´apido de dados porque utiliza mem´oria interna para armazenar o conjunto de trabalho.
3.3
Comandos aceitos pela aplica¸
c˜
ao
A seguir ser˜ao explicadas os comandos que foram pedidos na hist´oria do usu´ario e como foram desenvolvidos. A tabela 3.2 traz essas informa¸c˜oes de forma mais simplificada.
Fun¸c˜ao Descri¸c˜ao
open facebook Abre o site facebook.com com o browser padr˜ao do sistema open Abre a aplica¸c˜ao falada, caso esteja instalada na m´aquina search Faz uma busca no Google usando o browser padr˜ao do sistema install Abre o site de download da aplica¸c˜ao que o usu´ario falou
weather of Diz a temperatura atual, m´ınima e m´axima do dia e uma breve descri¸c˜ao do tempo para a cidade escolhida time now Diz o dia da semana, dia do mˆes e hor´ario atual
Tabela 3.2: Tabela com fun¸c˜oes da aplica¸c˜ao
3.3.1
Informa¸
c˜
oes clim´
aticas
Foi utilizado a API do OpenWeatherMap, no qual o usu´ario fala o comando we-ather of e uma cidade desejada, e ´e enviado pela API essa cidade, como mostrado em ’http://api.openweathermap.org/data/2.5/weather?q=Cidade &units=metric´. Tendo um JSON retornado, como pode ser visto na imagem 3.2, com informa¸c˜oes de temperatura atual, m´axima, min´ıma, hor´ario do nascer e pˆor do sol, umidade, press˜ao atmosf´erica, uma breve descri¸c˜ao sobre o tempo, entre outros, ele ´e trabalhado para apenas trazer informa¸c˜oes sobre temperatura e a breve descri¸c˜ao.
O OpenWeatherMap foi escolhido por se tratar de uma API que permite fazer at´e 60 requisi¸c˜oes por minuto de gra¸ca.
19
Figura 3.2: JSON de retorno da API do OpenWeatherMap
3.3.2
Pesquisas utilizando o Google
Uma outra funcionalidade do assistente ´e a capacidade de poder pesquisar no Goo-gle. O usu´ario precisa somente enviar o comando de Search e a palavra que deseja pesqui-sar. Ent˜ao a aplica¸c˜ao transforma essa palavra em uma consulta para o google, que seria https://www.google.com.br/search?q=informa¸c˜ao, no qual a palavra informa¸c˜ao seria a palavra pedida pra ser pesquisada pelo usu´ario. Ent˜ao, o comando ”webbrowser.open(url, new=0, autoraise=True)”, no qual url ´e o link mostrado acima, ´e chamado para que o navegador padr˜ao abra uma aba com o resultado da pesquisa.
3.3.3
Dia e hora
O usu´ario tamb´em ´e capaz de saber o informa¸c˜oes sobre o dia ao falar Time now. Com esse comando ´e retornado o datetime do Pyhton que ´e manipulado pelo comando ”datetime.now().strftime(”%a, %d %b %Y %H:%M”)”para vir com o dia da semana, dia, mˆes e ano, e o hor´ario atual de uma forma amig´avel para o usu´ario, como pode ser vista na imagem 3.3.
Figura 3.3: Diferen¸ca entre o Datetime n˜ao manipulado e manipulado
3.3.4
Instalar novas aplica¸
c˜
oes
Caso o usu´ario precise instalar um novo aplicativo para o computador, ele pode falar install e o programa que ele gostaria de instalar. Ao pedir esse comando, o pro-grama utiliza o comando de webbrowser.open(url, new=0, autoraise=True), onde a URL
´e ”http://www.google.com/search?q=programa+download&btnI”, no qual a palavra ’pro-grama’ ´e o nome do programa que ele quer instalar. Esse link ´e uma consulta feita no Google referente ao ”estou com sorte”, com isso o navegador ´e aberto na p´agina de down-load do programa que ele deseja instalar.
3.3.5
Abrir programas previamente instalados no computador
Caso o usu´ario pe¸ca para o Maximus abrir algum programa uma consulta com a palavra ´e feita no banco de dados. Dentro dessa consulta ´e utilizada uma biblioteca do Python, o difflib, que utiliza um algoritmo de Sequence Matcher que tenta encontrar a subsequˆencia cont´ınua corresponte mais longa entre a palavra enviada e os nomes inseridos previamente no banco. Esse algoritmo retorna n´umeros que variam entre 1 e 0, no qual as duas palavras s˜ao 100% compat´ıveis ou nada compat´ıveis, respectivamente. Com isso, foi definido a seguinte regra: caso a fun¸c˜ao retorne um n´umero igual ou maior a 0.8 o assistente retornar´a para o usu´ario que o programa est´a sendo aberto e come¸ca a abri-lo. Caso o resultado seja entre 0.5 e 0.79, o usu´ario ser´a avisado que o programa pedido n˜ao foi achado, mas que existe um programa que foi o que mais se aproximou do pedido e se gostaria que ele fosse aberto. Se a string retornada obtiver um resultdo com menos de 0.5 ´e retornado para o usu´ario que n˜ao foi poss´ıvel achar nenhum programa com o que foi pedido e pergunta se ele gostaria de fazer o download do software. Essas informa¸c˜oes podem ser melhor visualizadas na tabela 3.3. Caso a resposta do usu´ario seja positiva o assistente ir´a abrir na p´agina de download do programa no navegador padr˜ao, para isso acontecer o comando webbrowser.open(url, new=0, autoraise=True) ´e chamado no qual a url ´e o link ’http://www.google.com/search?q=programa+download&btnI’, no qual a palavra program se refere ao programa que o usu´ario gostaria de baixar.
N´umero de semelhan¸ca A¸c˜ao
x≥ 0.8 Abre o programa achado
0.5≤ x≤ 0.7 Retorna para o usu´ario o programa que tenha maior similaridade e pergunta se ´e esse o programa desejado
x≤ 0.5 Retorna para o usu´ario que n˜ao existe tal programa e se ele gostaria de fazer download dele
Tabela 3.3: A¸c˜oes a serem tomadas a partir do resultado do algoritmo do Sequence Matcher
21
3.3.6
Abrir Facebook
Se o usu´ario disser algo e tiver na frase “open”, ´e conferido se o usu´ario falou em seguida “Facebook”(comando pr´e progamado), onde abre-se uma nova aba do navegador padr˜ao com a URL para o site facebook.com.
3.4
Fun¸
c˜
oes implementadas no Maximus para trazer
uma maior imers˜
ao da aplica¸
c˜
ao para o usu´
ario
Nessa se¸c˜ao ser´a abordado fun¸c˜oes que foram implementadas para trazer ao usu´ario um maior conforto ao utilizar a aplica¸c˜ao.
3.4.1
Conex˜
ao com a internet
Para que o Maximus funcione ´e necess´ario que a internet esteja ativa, pois o Google Speech Recognition precisa estar conectado `a internet para funcionar.
Ent˜ao na implementa¸c˜ao do Maximus foi criada uma fun¸c˜ao para verificar se a internet do computador est´a ativa ou n˜ao. Caso o computador esteja sem internet o Maximus ir´a reportar para o usu´ario que no momento est´a sem conex˜ao ativa e ap´os 60 segundos ele verifica novamente a conex˜ao. Caso esteja conectado a internet ele avisa que est´a pronto para come¸car a aplica¸c˜ao e j´a pode come¸car a interagir com o usu´ario.
3.4.2
Resposta da aplica¸
c˜
ao ao usu´
ario
Como esse projeto tamb´em foca na intera¸c˜ao humano-computador, foi desenvol-vida uma fun¸c˜ao de resposta do computador, como foi pedida nas hist´orias do usu´ario. A cada fun¸c˜ao pedida pelo usu´ario, o computador retorna por voz e texto a sua resposta. Na resposta por texto s˜ao utilizadas as notifica¸c˜oes do sistema, ent˜ao sempre que o compu-tador retornar uma informa¸c˜ao para o usu´ario, uma notifica¸c˜ao no canto superior direito ir´a aparecer com a frase que ser´a dita tamb´em por voz, como pode ser visto na imagem 3.4.
Todas as respostas que o assistente devolve ao usu´ario s˜ao mantidas nas notifica-¸c˜oes, at´e que o usu´ario as remova. Ent˜ao, caso ele tenha d´uvida de alguma resposta do assistente, ele s´o precisa ver as notifica¸c˜oes existentes, como se fosse um hist´orico, tanto
Figura 3.4: Resposta do assistente para o usu´ario
do que deu certo (comandos entendidos e executados), como do que n˜ao deu certo, como pode ser visto na imagem 3.5.
Cap´ıtulo 4
Avalia¸
c˜
ao Funcional
Para poder avaliar o aplicativo foram realizados alguns testes com volunt´arios e nesse cap´ıtulo vai ser mostrado como foram feitos esses testes e seus resultados.
4.1
Fase de prepara¸
c˜
ao para o teste
Para avaliar o aplicativo desenvolvido em termos de usabilidade e experiˆencia do usu´ario, foi realizado um teste piloto com alguns volunt´arios, que foram escolhidos pesso-almente. Para o teste foram selecionadas pessoas em dois p´ublicos alvo para a aplica¸c˜ao: pessoas mais velhas, que por muitas vezes n˜ao tem muito conhecimento sobre computa-dores e pessoas jovens, que querem agilizar as tarefas e ganhar tempo com isso.
Antes de inici´a-lo, o volunt´ario recebeu um termo de consentimento, que pode ser visualizado no Apˆendice A, garantindo a sua anonimidade e que seus dados seriam usados somente para as an´alises feitas nesse projeto.
Foi definido que o teste seria feito em trˆes fases distintas: question´ario pr´e-teste, avalia¸c˜ao de usabilidade e entrevista p´os teste.
A primeira fase, composta por um question´ario pr´e-teste, pode ser vista no apˆendice B, e continha perguntas pessoais e a rela¸c˜ao do entrevistado com o computador.
Na segunda fase, foi feita a avalia¸c˜ao de usabilidade, na qual o volunt´ario precisava realizar tarefas que foram definidas em um roteiro, que pode ser visto detalhadamente no apˆendice C, que tem todas as situa¸c˜oes que os usu´arios deveriam passar e como seria a solu¸c˜ao para obter sucesso na realiza¸c˜ao da tarefa, determinar qual o caminho ele iria percorrer para realizar tarefas usando diferentes sistemas operacionais e depois fazendo
o mesmo utilizando a aplica¸c˜ao. Nesse momento, foi feita a an´alise n˜ao somente da usabilidade mas tamb´em da experiˆencia do usu´ario, pois seria poss´ıvel visualizar se o usu´ario est´a conseguindo interagir com a aplica¸c˜ao.
E na ´ultima fase foi definido que fosse feita uma entrevista com o volunt´ario e n˜ao outro question´ario, pois com a entrevista foi poss´ıvel direcionar as perguntas de acordo com as repostas do usu´ario, conseguindo assim obter mais informa¸c˜oes sobre sua experiˆencia com o programa.
4.2
Question´
ario pr´
e-testes
Na fase inicial do teste, foi requisitado aos participantes que respondessem per-guntas sobre sua vida e seu dia-a-dia, onde podemos ter uma vis˜ao dos usu´arios, se eles sabem como usar um computador e se tem dom´ınio da l´ıngua inglesa, sendo esta ´ultima um importante fator para esses testes, pois a aplica¸c˜ao funciona apenas nesse idioma.
Esse teste consistia em responder as perguntas listadas abaixo:
• Nome
• Idade
• Profiss˜ao
• N´ıvel de conhecimento da lingua inglesa
• Se possui um computador pessoal
• Se possui internet em casa
• Com quais sistemas operacionais a pessoa era familiarizada
• Frequˆencia que a pessoa usa o computador, caso tenha um
• Se j´a usou algum assistente de voz em qualquer dispositivo
• A frequˆencia que usa o assistente de voz
• Se gosta de usar assistentes de voz
Como a l´ıngua inglesa ´e importante para o projeto, foi feita classifica¸c˜ao de conhe-cimento do idioma da seguinte forma:
25
• Nenhum / Pouco Contato - Pessoa que nunca teve contato com a l´ıngua ou conhece apenas palavras simples
• B´asico - Pessoa que ´e capaz de compreender e usar express˜oes familiares e coti-dianas, assim como enunciados bem simples
• Intermedi´ario - Pessoa ´e capaz de compreender as quest˜oes principais em textos complexos sobre assuntos concretos e abstratos
• Avan¸cado - ´e capaz de compreender um vasto n´umero de textos longos e exi-gentes e consegue se expressar de forma fluente e espontˆanea
4.3
Avalia¸
c˜
ao de usabilidade
O teste foi conduzido pelos dois alunos respons´aveis pelo Projeto de Aplica¸c˜ao, um com fun¸c˜ao de descrever como o teste seria realizado e observar o volunt´ario durante a execu¸c˜ao do teste e o outro com fun¸c˜ao de cronometrar o tempo de dura¸c˜ao de cada tarefa realizada pelo volunt´ario.
As sess˜oes de testes aconteceram em um ambiente simular ao de um laborat´orio de avalia¸c˜ao, ou seja, silencioso, com uma mesa, cadeira e o computador que seria utilizado no teste, j´a com o Maximus instalado.
Inicialmente foi dado uma breve descri¸c˜ao da ideia do projeto e como o aplicativo funcionaria. Ap´os essa etapa foi explicada como seria a realiza¸c˜ao do teste, a qual foi planejada para acontecer da seguinte maneira: Os usu´arios precisariam executar comandos no sistema operacional Windows, MacOs e utilizando o assistente virtual desenvolvido a partir de uma situa¸c˜ao passada por um dos responsav´eis, que estava previamente no roteiro. Em cada situa¸c˜ao e execu¸c˜ao era cronometrado o tempo para a realiza¸c˜ao da tarefa e analisado os caminhos percorridos por cada volunt´ario, avaliando assim o tempo gasto nos diferentes sistemas operacionais.
Para os usu´arios de Windows que n˜ao tinham conhecimento algum de como fun-ciona o MacOS, uma breve explica¸c˜ao foi dada de como eles poderiam ver onde ficam os aplicativos e a barra de tarefas. J´a para a execu¸c˜ao da tarefa no aplicativo o comando por voz era passado pro usu´ario antes do in´ıcio do teste.
Todos os volunt´arios seguiram o mesmo roteiro para executar os testes. E, em caso de alguma d´uvida, um dos respons´aveis estava de prontid˜ao para responder, mas foi
aconselhado que tentassem fazer todos os procedimentos sozinhos e somente em caso de extrema d´uvida que perguntassem, para que assim fosse poss´ıvel analisar a usabilidade do volunt´ario. As respostas dos respons´aveis para eles eram dicas de como chegar a solu¸c˜ao e n˜ao resposta para chegar na solu¸c˜ao.
O roteiro compreende as situa¸c˜oes apresentadas na Tabela 4.1.
Tarefa Situa¸c˜ao Objetivo
Tarefa 1 Vocˆe mora em Niter´oi e est´a pensando em ir na praia verificar qual o clima da no Rio de Janeiro,mas n˜ao sabe se tempo est´a bom. cidade do Rio de Janeiro Tarefa 2 Vocˆe est´a fazendo um trabalho sobre Falsifica¸c˜ao, Procurar no
e precisa de informa¸coes sobre esse tema Google por Falsifica¸c˜ao Tarefa 3 Vocˆe acha que tem algum compromisso hoje, Descobrir dia da semana
mas n˜ao lembra qual dia da semana ´e, descubra o dia. e do mˆes Tarefa 4 Vocˆe precisa fazer uma conta na calculadora Abrir a calculadora. Tarefa 5 Uma pessoa te marcou em uma foto no facebook e vocˆe quer ver Abrir o Facebook
Tabela 4.1: Roteiro com situa¸c˜oes e objetivos
Para cada tarefa, foi dada uma situa¸c˜ao e um objetivo em particular, e para cada sistema operacional e o aplicativo deveria ter um caminho certo para que fosse realizado com sucesso a tarefa, como ´e poss´ıvel ver na Tabela 4.2:
Tarefa Caminho de Sucesso
Windows MacOS Assistente
Tarefa 1 Abrir o navegador de preferencia, Abrir o LaunchPad, Falar weather of ir no google e procurar pelo clima da cidade ir no Dashboard e ver o tempo Rio de Janeiro Tarefa 2 Abrir o navegador de preferencia, Abrir o navegador de preferencia, Falar Search
ir no google e procurar Falsifica¸c˜ao ir no google e procurar Falsifica¸c˜ao Falsifica¸c˜ao Tarefa 3 Achar a hora no canto inferior direito Achar a hora no canto superior direito Falar Time Now
clicar na data para aparecer a data clicar na data para aparecer a data
Tarefa 4 Ir na barra de menu, iniciar, Ir no LaunchPad Open Calculator
achar por acessorios e calculadora e procurar por Calculadora
Tarefa 5 Abrir o navegador de preferencia, Abrir o navegador de preferencia, Falar Open Facebook
ir no Facebook ir no Facebook
Tabela 4.2: Caminho de Sucesso para cada Tarefa
4.4
Entrevista P´
os Teste
Ap´os a execu¸c˜ao de cada avalia¸c˜ao foi realizada uma entrevista com o participante volunt´ario para acessarmos com maior profundidade o que os usu´arios acharam do uso da aplica¸c˜ao, se foi ´util e se a usariam novamente. O question´ario ´e composto por 5 perguntas,
27
descritas abaixo, que foram estritamente pensadas para abranger toda a experiˆencia do usu´ario. Com esses dados, poderemos criar tendˆencias `a respeito da aplica¸c˜ao e planos futuros. O retorno dos participantes ´e essencial para a acuracidade dos dados e sua expans˜ao. As perguntas s˜ao de f´acil compreens˜ao para poderem ser compreendidas pelo maior n´umero de pessoas, tanto de leigos quanto de adeptos da tecnologia.
• O que achou do assistente
• Se usaria novamente
• Se auxiliou na realiza¸c˜ao das tarefas
• Quais tarefas ficaram mais f´aceis usando o assistente e o por que
• Se gostou das funcionalidade e se adicionaria outras
4.5
Resultado dos Testes
A seguir, ser´a mostrada como foram o desempenhos e as considera¸c˜oes finais dos 6 volunt´arios selecionados para participar dos testes.
4.5.1
Question´
ario Pr´
e Teste
Com as respostas dos usu´arios, que podem ser visualizadas na tabela abaixo 4.3, foi poss´ıvel classificar os usu´arios em dois grupos distintos, o grupo de jovens com pessoas entre 20 e 30 e um grupo de pessoas mais velhas com uma faixa et´aria de 55 a 65 anos.
Ambos os grupos usam internet seis vezes ou mais por semana, dos seis partic-pantes, apenas um n˜ao utiliza Windows como seu sistema operacional, e metade dos participantes j´a utilizaram um assistente virtual e gostaram de us´a-lo.
Pode-se perceber tamb´em que apenas um volunt´ario do grupo de pessoas mais velhas tem n´ıvel de inglˆes intermedi´ario, enquanto todos do grupo de jovens tˆem fluˆencia no idioma, como foi mostrado na se¸c˜ao 4.2.
4.5.2
Avalia¸
c˜
ao de usabilidade
Medindo o tempo de realiza¸c˜ao das tarefas entre computadores com o sistema Windows, macOS e macOS com a nossa aplica¸c˜ao para execu¸c˜ao de tarefas, podemos
N´ıvel Possui Frequˆencia J´a Frequˆencia Gosta
Volunt´ario Idade de Possui Internet Sistema de uso usou de uso assistente do
Inglˆes PC em Operacional do PC Assistente Virtual Assistente
casa (por semana) Virtual (por semana) Virtual
Vol 1 65 Nenhum Sim Sim Windows 6+ vezes Nenhum N˜ao usa
-Vol 2 55 Nenhum N˜ao Sim Nenhum - Sim 6+ vezes Sim
Vol 3 55 Intermedi´ario Sim Sim Windows 6+ vezes N˜ao N˜ao usa
-Vol 4 24 Avan¸cado Sim Sim Windows 6+ vezes Sim N˜ao usa Sim
Vol 5 25 Avan¸cado Sim Sim Windows 6+ vezes N˜ao N˜ao usa
-Vol 6 25 Avan¸cado Sim Sim MacOs 6+ vezes Sim 0-2 vezes Sim
Tabela 4.3: Resultados do question´ario Pr´e-teste
perceber que o tempo exigido para o sistema Windows costuma ser menor do que com o macOS. Isso se d´a pelo fato de que aproximadamente 90% da popula¸c˜ao utiliza o Windows como sistema operacional como pode ser visto no gr´afico 4.1 abaixo.
Figura 4.1: Porcentagem dos sistemas operacionais usados
Por´em, com o uso da aplica¸c˜ao de voz, podemos ver redu¸c˜ao significativa do tempo, pois acaba-se com problemas causados pela n˜ao familiaridade do sistema operacional, principalmente com o uso do MacOS, pela pouca habilidade de digita¸c˜ao e dificuldade de precis˜ao com o uso do mouse, comuns na popula¸c˜ao mais idosa.
Esses problemas foram reduzidos pelo uso de comandos de voz. Podemos ver na tabela 4.4 que o tempo usado por cada volunt´ario para a realiza¸c˜ao de cada tarefa e cada sistema operacional.
Os usu´arios mais jovens j´a tinham uma familiaridade com computadores pessoais, especialmente com Windows. Nos testes, vimos que eles conseguiram facilmente executar as tarefas do roteiro em um computador com Windows sem a aplica¸c˜ao de aux´ılio por voz. Entretanto, quando os mesmos usu´ario usaram a aplica¸c˜ao de voz, foi notado que a m´edia do tempo de execu¸c˜ao das tarefas por sistema operacional fora reduzido pela metade, como ´e poss´ıvel ver na Tabela 4.5 onde os volunt´arios 4, 5 e 6 representam o grupo de jovens.
29
Volunt´ario Tarefa 1 Tarefa 2 Tarefa 3 Tarefa 4 Tarefa 5
W M A W M A W M A W M A W M A Vol 1 30s 30s 3s 50s 45s 5s 5s 5s 1s 20s 40s 5s 60s 50s 5s Vol 2 15s 30s 3s 20s 30s 10s 1s 2s 3s 30s 40s 2s 30s 60s 5s Vol 3 12s 20s 3s 15s 20s 2s 2s 2s 1s 12s 33s 3s 8s 7s 2s Vol 4 8s 4s 3s 6s 6s 2s 2s 2s 1s 7s 8s 2s 5s 5s 2s Vol 5 10s 10s 3s 6s 7s 3s 1s 3s 1s 6s 10s 3s 7s 8s 2s Vol 6 8s 7s 2s 6s 6s 3s 1s 1s 1s 9s 8s 2s 6s 6s 2s
Tabela 4.4: Resultados dos Teste por Volunt´ario
J´a com os usu´arios mais velhos (volunt´arios 1,2,3), vimos uma diferen¸ca conside-r´avel em rela¸c˜ao ao outro grupo, com redu¸c˜ao para a execu¸c˜ao das tarefas de at´e 7 vezes ao utilizar o assistente ao modo convencional de qualquer um dos sistemas operacionais.
Identificamos uma dificuldade maior em usar tanto o mouse quanto o teclado no grupo de pessoas acima dos 30 anos. Quando pedimos para estes usu´arios abrirem uma nova aba, podemos perceber a dificuldade em conseguir colocar e manter o ponteiro em cima do ´ıcone e clicar. Outro problema encontrado foi em digitar, onde percebemos grande dificuldade em encontrar as letras no teclado, acabando por diminuir a experiˆencia do usu´ario e a usabilidade do computador, por´em ao usar a aplica¸c˜ao ele era capaz de realizar as tarefas sem grandes dificuldades, j´a que era somente falar as palavras chaves para que os comandos fossem realizados, mesmo sendo necess´ario o uso da l´ıngua inglesa.
Volunt´ario M´edia M´edia por Grupo
Windows MacOs Assistente Windows MacOs Assistente
Vol 1 33s 34s 4s Vol 2 19s 32s 5s 21s 27s 4s Vol 3 10s 15s 3s Vol 4 6s 5s 3s Vol 5 6s 8s 3s 6s 6s 3s Vol 6 6s 6s 2s
Tabela 4.5: M´edia de Resultados dos Teste por Volunt´ario
4.5.2.1 Entrevista P´os Teste
Na entrevista foi visto que os volunt´arios gostaram da aplica¸c˜ao que lhes foi ofere-cida e que a usariam de novo. O grupo de pessoas mais velhas, que relatam ter problemas para encontrar os programas no computador, falaram que o uso do assistente otimiza o tempo delas e que traz uma facilidade para elas que antes n˜ao tinham, pois com o uso do Maximus n˜ao precisam mais ficar procurando por programas no computador, e tamb´em
n˜ao precisam ficar procurando pela teclas. Uma das volunt´arias desse grupo de estudo relatou que sentiu muito mais facilidade precisando somente falar ao inv´es de ter que digitar e fazer tarefas repetitivas, como abrir abas, e simplifica¸c˜ao em aspectos que ela n˜ao sabia, como achar uma aplica¸c˜ao. Mesmo tendo pouca familiaridade com a l´ıngua inglesa, a mesma afirma preferir o uso da aplica¸c˜ao devido `as suas vantagens.
J´a o grupo de jovens tamb´em relataram que gostaram da ferramenta e deram id´eias de novas funcionalidades poderiam ser implementadas, como: fechar programas e desligar ou reiniciar o computador, poder agendar compromissos no calend´ario. Ao mesmo tempo, outros relataram que a necessidade de ficar chamando o assistente pela frase ativadora todo momento que precise falar com ele ´e muito repetitiva e cansativa. Ent˜ao para o futuro ser´a pensado em um novo m´etodo para que n˜ao seja necess´ario fazer esse processo toda vez.
Outro ponto levantado pelos usu´arios ´e que a maioria deles utilizam o sistema operacional Windows e que hoje em dia o Max n˜ao d´a suporte para eles, e pediram que fosse implementado para outros sistemas, porque assim poderiam usar o aplicativo.
Cap´ıtulo 5
Conclus˜
ao e Trabalhos futuros
O trabalho surgiu com o intuito de otimizar o uso do computador pelo usu´ario. Ao automatizar as tarefas por voz, economiza-se tempo que seria gasto procurando por aplicativos instalados no computador, por exemplo. Para que essa automatiza¸c˜ao fosse feita foram selecionadas 3 APIs diferentes para serem testadas: o Sphinx, Text-to-Speech do Bluemix e a Google SpeechRecongnition. O primeiro s´o funciona no modo offline e entende apenas poucas palavras, fazendo que ela n˜ao seja muito eficaz em compara¸c˜ao a Text-to-Speech do Bluemix e a Google SpeechRecongnition, que utilizam servidores na nuvem para fazer seu processamento e possuem um maior entendimento de palavras. A API do Bluemix n˜ao ´e capaz de entender palavras estrangeiras famosas (como Facebook ), fazendo com que haja erros em sua transcri¸c˜ao. J´a o Google SpeechRecognition mostrou-se eficaz em entender essas palavras estrangeiras, trazendo bons resultados, mesmo quando usado por pessoas com pouca familiaridade com a l´ıngua inglesa.
A aplica¸c˜ao desenvolvida tem a fun¸c˜ao de ouvir o usu´ario usando o Google Spee-chRecognition como sua API de reconhecimento de voz, pois al´em dos beneficios supraci-tados, tamb´em ´e gratuita. A partir do que foi escutado o programa toma a¸c˜oes de acordo com o comando que o usu´ario enviou, podendo abrir algum programa espec´ıfico, mostrar o clima de alguma cidade, entre outros. Caso o comando dado pelo usu´ario n˜ao seja v´alido para o programa, ele continua esperando outro comando.
Para avaliar a funcionalidade da aplica¸c˜ao e a satisfa¸c˜ao das pessoas com seu uso, foram realizados testes que possu´ıam 3 fases: question´ario pr´e-teste, teste de execu¸c˜ao e entrevista p´os-teste.
A partir do question´ario pr´e-teste, separamos os entrevistados em um grupo de
pessoas entre 55 e 65 anos e outro com pessoas entre 25 e 35 anos. No grupo dos mais jovens foi poss´ıvel ver que todos os entrevistados tinham um bom conhecimento da l´ıngua inglesa, o que os dava maior confian¸ca ao usar a aplica¸c˜ao, que usa o inglˆes como base. O grupo de pessoas mais velhas, por´em, teve menor ˆexito em usar o programa, dada a menor familiaridade com o idioma. No teste de tempo de execu¸c˜ao de tarefas usando Windows, MacOS e a aplica¸c˜ao, percebemos uma significativa redu¸c˜ao do tempo de execu¸c˜ao quando utilizado o aplicativo, principalmente no grupo das pessoas mais velhas.
O question´ario p´os-teste visava avaliar a aceita¸c˜ao dos usu´arios com a aplica¸c˜ao, al´em de pedir opini˜oes sobre como melhorar. A aceita¸c˜ao do programa foi unˆanime, trazendo elogios em rela¸c˜ao pela facilidade do uso e economia de tempo. Os usu´arios sugeriram implementar ao programa a habilidade de fechar programas abertos e poder manipular uma agenda pessoal (ver eventos pr´oximos, adicionar eventos em datas espec´ı-ficas, etc), al´em de implementar a op¸c˜ao de uso de portuguˆes como idioma de escolha.
Apesar da limita¸c˜ao que o projeto tem hoje de funcionar somente para o sistema operacional do MacOs, o objetivo desse trabalho foi atingido com sucesso, e a aplica¸c˜ao foi desenvolvida e executada como esperado, com grande aprova¸c˜ao pelos volunt´arios. Ainda h´a, por´em, espa¸co para desenvolvimento de melhorias no futuro.
Futuramente, estudaremos a implementa¸c˜ao das melhorias solicitadas pelos usu´ a-rios, al´em de fazer com que v´arias tarefas do dia a dia do usu´ario e seus programas costumeiramente utilizados possam ser iniciados com um ´unico comando de voz. Tam-b´em queremos implementar em outros sistemas operacionais para que possamos atingir um maior p´ublico. Al´em disso, fazer teste com usu´arios de diferentes idades para poder ter mais opni˜oes de diferentes p´ublicos, al´em tamb´em de realizar testes de campo.
Apˆ
endice A
Termo de Consentimento
Caro participante:
Somos estudantes da Universidade Federal Fluminense (UFF) das faculdades de Ciência da Computação e Sistemas de Informação. Estamos realizando testes na aplicação desenvolvida por nós com o propósito de automatizar tarefas com o uso de voz em um computador ligado à internet.
Sua participação é voluntária e anônima e nos comprometemos a não publicar nenhum dado ou informação que possibilite a sua identificação. Sua participação não implica em qualquer benefício direto à você, porém, ela ajudará no estudo de nossa aplicação e futuros avanços em pesquisas científicas do mesmo ramo.
Você seguirá um roteiro escrito pelos desenvolvedores onde lhe será indicado cenários e atividades chaves que desenvolvemos e após sua participação, conduziremos uma entrevista para obtermos a sua opinião sobre o seu uso, sua avaliação do programa, e os pontos positivos e negativos que você venha a encontrar.
Está avaliação refere-se ao Trabalho de Conclusão de Curso dos alunos Eduardo Furtado de Souza Oliveira e Thais Maiolino, sendo supervisionado pelas orientadoras Aline Paes, D.Sc. e Luciana Salgado, D.Sc. Caso tenha alguma dúvida, você pode entrar em contato pelos seguintes meios: Orientadora Aline Paes: alinepaes@ic.uff.br Orientadora Luciana Salgado: luciana@ic.uff.br Pesquisador Eduardo Furtado: fsoeduardo@gmail.com Pesquisadora Thais Maiolino: thais_maiolino@hotmail.com Atenciosamente ________________________________________________________________________________ Eduardo Furtado e Thais Maiolino De acordo com os termos acima, desejo participar dessa pesquisa e afirmo que recebi uma cópia do termo de consentimento ________________________________________________________________________________ Participante __________________________________________ Data e Local 34
Apˆ
endice B
Question´
ario Pr´
e Teste
https://docs.google.com/forms/d/1IxOUI1fTf01KfVQ1sJpwYBjY231jHfyFOYDbEk/edit 1/2
Questionário Pré Teste
1. Nome: 2. Idade: 3. Profissão: 4. Nível de Inglês: Marcar apenas uma oval. Nenhum / Pouco contato Básico Intermediário Avançado 5. Tem computador pessoal? Marcar apenas uma oval. Sim Não 6. Tem internet? Marcar apenas uma oval. Sim Não 7. Sistema Operacional usado: Marcar apenas uma oval. Windows MacOs Linux Nenhum 8. Frequência de uso do computador: Marcar apenas uma oval. 6+ vezes por semana 35 vezes por semana Menos de 2 vezes por semana 366/19/2017 Questionário Pré Teste https://docs.google.com/forms/d/1IxOUI1fTf01KfVQ1sJpwYBjY231jHfyFOYDbEk/edit 2/2 Powered by 9. Já usou assistente de voz antes? Marcar apenas uma oval. Sim Não 10. Com qual frequência você usa assistente virtual? Marcar apenas uma oval. 6+ vezes por semana 35 vezes por semana Menos de 2 vezes por semana Não uso 11. Você gosta do assistente virtual? Marcar apenas uma oval. Sim Não 37
Apˆ
endice C
Roteiro do Teste de Usabilidade
Apˆ
endice D
Entrevista P´
os Teste
https://docs.google.com/forms/d/1_V5X8C3aUdICTQJHdwqmUFejx96KHOGPeJGNrQ58JUg/edit 1/2
