Universidade de S˜ao Paulo
Instituto de Matem´atica e Estat´ıstica
BoraL´a
Sistema de Compartilhamento de Roteiros de Viagem
Fase 5 - Teste de Usabilidade
Disciplina:MAC5786 Princ´ıpios de IHC Prof. Carlos Hitoshi Morimoto
Andrew Toshiaki Nakayama Kurauchi Alexandre Martins Ferreira de Sousa
Alexandre Morimitsu Vin´ıcius Kiwi Daros
S˜ao Paulo, Brasil 4 de junho de 2012
1 Site do projeto
As fases anteriores do projeto podem ser encontradas em:
http://www.ime.usp.br/˜alemart/mac5786/
2 O Teste de Usabilidade
As sess˜oes de testes de usabilidade do prot´otipo com usu´arios foram feitas seguindo as ativida- des descritas abaixo. Antes do in´ıcio de cada sess˜ao, o ambiente de teste foi preparado de modo que as p´aginas dos question´arios, bem como a pr´opria p´agina inicial do BoraL´a, j´a estivessem abertas em abas no navegador. Al´em disso, o aplicador do teste j´a estava com o roteiro das tarefas a serem feitas em m˜aos.
1. Primeiramente, foi dada uma r´apida introduc¸˜ao `a ideia do BoraL´a, onde basicamente se apresentou a motivac¸˜ao para o uso do sistema;
2. Em seguida, foi pedido ao usu´ario para preencher o question´ario pr´e-teste;
3. Feito isso, a p´agina inicial do BoraL´a foi aberta e o aplicador do teste passou a pedir para o usu´ario realizar uma s´erie de tarefas no sistema. No total, foram 11 tarefas, sendo que o aplicador s´o pedia a tarefa seguinte depois que o usu´ario tivesse completado a tarefa anterior;
4. Uma vez que todas as tarefas tenham terminado, foi dada ao usu´ario a oportunidade de explorar o prot´otipo;
5. Cumpridas essas etapas, pediu-se para o usu´ario preencher o question´ario p´os-teste e se finalizou a sec¸˜ao.
Durante a sess˜ao, o aplicador n˜ao deu dicas nem tirou d´uvidas quanto `a forma de se cum- prir as tarefas. Assim, os usu´arios tiveram um cen´ario de uso real, com as pr´oprias telas do sistema sendo a fonte de informac¸˜ao e sem auxilio externo. Em m´edia, os usu´arios gastaram aproximadamente 10 minutos no teste, incluindo o tempo de preenchimento dos question´arios.
2.1 Tarefas
Durante o teste, foi pedido aos usu´arios para que uma s´erie de tarefas fossem cumpridas. Essas tarefas, al´em de simularem os principais usos do BoraL´a, foram colocadas em uma ordem na qual o prot´otipo fosse capaz de responder de modo muito pr´oximo ao esperado do sistema em real funcionamento.
O fluxo de tarefas usado no teste est´a mostrado abaixo:
1. Efetue um logout.
2. Efetue um login. Obs: Vocˆe pode inventar um usu´ario e senha e supor que eles existam.
3. Procure por Quito, capital do Equador.
4. Tente encontrar mais detalhes sobre a cidade e coment´arios feitos por outros usu´arios sobre essa cidade.
5. Suponha que vocˆe tenha visitado Quito, achou legal, e queira registrar isso. Adicione um coment´ario `a cidade informando que vocˆe gastou R$ 500,00, se hospedou no “Grande Hotel” e visitou o “Museu Velho”;
6. Suponha que vocˆe est´a planejando uma viagem para Europa e j´a tenha cadastrado um roteiro chamado “Roteiro pela Europa”. Procure por pontos tur´ısticos de Paris para adi- cionar a esse roteiro.
7. Adicione a Torre Eiffel ao roteiro “Roteiro pela Europa”
8. Agora, vocˆe vai querer editar o seu roteiro pela Europa. Entre na p´agina de roteiros.
9. Inclua a Torre Eiffel na sua programac¸˜ao do primeiro dia.
10. Exclua a “Praia Artificial P” do segundo dia de viagem do seu roteiro.
11. Suponha que vocˆe j´a tenha viajado para Paris, visitou uma prac¸a comercial que n˜ao tinha visto no BoraL´a e teve as seguintes impress˜oes:
• E um ´otimo lugar para comer e fazer compras;´
• Furtaram seu mp3 player enquanto vocˆe estava l´a;
• No total, vocˆe gastou R$ 80,00 no passeio;
Agora, vocˆe quer que adicionar esse ponto tur´ıstico ao BoraL´a para que outros usu´arios possam incluir esse local em seus roteiros. Fac¸a isso.
3 Os Participantes
O teste foi realizado com cinco participantes. Abaixo, vamos descrevˆe-los...
Participante 1
Descric¸˜ao:
Estudante universit´ario, 19 a 21 anos, com grande familiaridade em relac¸˜ao ao uso da internet.
Dificuldades:
• O usu´ario criticou a tela de detalhes de ponto tur´ıstico em relac¸˜ao `a visibilidade dos coment´arios, pois s´o descobriu a existˆencia destes ap´os algum tempo, quando decidiu rolar a p´agina.
• Completou prontamente tarefas como: login, logout, cadastro de ponto tur´ıstico, etc.
• O participante “patinou” completa e absolutamente quando foi pedido que adicio- nasse um item ao roteiro.
– Ele n˜ao entendeu o bot˜ao de “+” (durante muito tempo, sequer percebeu que o bot˜ao existia), que ´e usado para adicionar um ponto tur´ıstico ao roteiro.
– Ele confundiu esta tarefa com a de organizac¸˜ao de roteiros e, logo em seguida, comec¸ou a “andar em c´ırculos” pelo site, dizendo “n˜ao sei o que fazer”, “n˜ao fac¸o a m´ınima ideia”, etc. Tivemos que pular momentaneamente a tarefa.
– O participante eventualmente entendeu a met´afora do bot˜ao de “+”: entre o momento em que pulamos a tarefa e o da compreens˜ao da funcionalidade, passaram-se aproximadamente vinte minutos.
• Apesar das dificuldades, no question´ario o participante classificava os recursos do sistema como “m´edio” a “muito f´aceis” de usar.
Reac¸˜oes:
• Adorou a tela de organizac¸˜ao de roteiros, principalmente por causa do recurso de arrastar e soltar: ele entendeu rapidamente o mecanismo.
• N˜ao usou osliderde fotos em momento algum.
• Outro fato curioso que aconteceu foi que, na tarefa de localizar Quito, o participante foi at´e o mapa e localizou corretamente a capital do Equador, por´em n˜ao encontrou o registro correspondente no sistema. Em seguida, quando pedido para encontrar mais detalhes/coment´arios sobre a regi˜ao, ele utilizou a ferramenta de busca e s´o ent˜ao achou o registro do lugar.
• A cada tarefa conclu´ıda, o usu´ario comemorava. :-)
Participante 2
Descric¸˜ao:
Estudante universit´aria, com idade entre 22 e 25 anos, que faz viagens com grande frequˆencia, j´a utiliza sites especializados para fazer o planejamento e participou do teste com prot´otipo de baixa fidelidade.
Dificuldades:
• Mesmo havendo um link “Enviar foto”, a usu´aria n˜ao o enxergou e ficou com a impress˜ao de que n˜ao era poss´ıvel adicionar novas fotos;
• Em virtude de j´a ter tido um contato pr´evio com o sistema, na vers˜ao de prot´otipo de baixa fidelidade, a usu´aria n˜ao encontrou dificuldade para realizar as tarefas pro- postas.
Reac¸˜oes:
• A usu´aria se queixou por n˜ao haver um modo de adicionar coment´arios na pr´opria p´agina de cadastro de novo local;
• Na mesma p´agina, a usu´aria disse que seria ´util permitir escrever uma justificativa para cada nota;
• Ao digitar um texto no campo de busca, a usu´aria pressionou a tecla Enter e, ao ver que nada aconteceu, a pressionou mais duas vezes. S´o ent˜ao decidiu clicar no bot˜ao Buscar;
• Na tela de roteiros, ao clicar e arrastar as opc¸˜oes para cada dia do roteiro, a usu´aria disse “Isso ficou bem legal”;
• Depois do teste, a usu´aria perguntou: “E vocˆes v˜ao deixar isso aberto na internet para todo mundo usar?”. Isso porque ela pensou que o prot´otipo era o sistema parcialmente funcional e queria us´a-lo para as pr´oximas viagens e mostr´a-lo para amigos.
Participante 3
Descric¸˜ao:
Funcion´aria p´ublica, com idade entre 22 e 25 anos, que faz viagens com grande frequˆencia e que utiliza com frequˆencia sites especializados para planejar suas viagens.
Dificuldades:
• Na tarefa de buscar pontos tur´ısticos, a usu´aria se utilizou da barra de busca, mas n˜ao notou os pontos tur´ısticos relacionados na p´agina de detalhes das cidades;
• O ´ıcone para adicionar um item a um roteiro n˜ao foi compreendido de forma intui- tiva;
• A usu´aria n˜ao percebeu inicialmente que os dias nos roteiros podiam ser expandidos e ocultados.
Reac¸˜oes:
• Assim como o participante anterior, o usu´ario se queixou de ter que clicar com o mouse para buscar, ao inv´es de apenas apertar Enter;
• A participante gostou da ideia de poder organizar os roteiros por dia e achou intuitivo a montagem dos mesmos;
• Apesar de alguns problemas, a participante julgou o sistema como “intuitivo e f´acil de usar”.
Participante 4
Descric¸˜ao:
Estudante, com idade entre 22 e 25 anos que faz viagens com grande frequˆencia, sempre utilizando sites especializados para planejar suas viagens.
Dificuldades:
• Preencheu o campo “Pa´ıs” no cadastro de um novo ponto tur´ıstico com o nome da cidade (Paris), pois ele est´a logo abaixo do campo de “criar novo(a)”;
• A participante n˜ao enfrentou grandes dificuldades por ser uma usu´aria bastante ativa de diversos sites de viagens.
Reac¸˜oes:
• Assim como os participantes anteriores, a usu´aria se queixou de ter que clicar com o mouse para buscar, ao inv´es de apenas apertar Enter;
• Executou as tarefas de maneira bastante natural e r´apida;
• Apesar de alguns problemas a participante gostou do sistema e disse que usaria para planejar suas viagens.
Participante 5
Descric¸˜ao:
Engenheiro, com mais de 41 anos, com pouca familiaridade com a internet, que faz via- gens internacionais longas com uma certa frequˆencia, utilizando alguns sites especializa- dos para planejar suas viagens.
Dificuldades:
• Assim como a participante 4, preencheu o campo “Pa´ıs” no cadastro de um novo ponto tur´ıstico com o nome da cidade (Paris), pois ele est´a logo abaixo do campo de
“criar novo(a)”;
• O usu´ario n˜ao encontrou os outros coment´arios no final da p´agina (n˜ao procurou nada que n˜ao estivesse na parte vis´ıvel inicialmente);
• O participante n˜ao encontrou o local para adicionar novos coment´arios;
• O participante entrou na p´agina de detalhes de um ponto tur´ıstico e n˜ao encontrou uma forma de adicion´a-lo a um roteiro;
• O usu´ario n˜ao encontrou a seta para mostrar as informac¸˜oes de um dia do roteiro com informac¸˜oes escondidas;
• O participante ficou em d´uvida quanto ao significado de “site oficial”.
Reac¸˜oes:
• O usu´ario achou bastante intuitivo arrastar um item para adicion´a-lo a um dia do roteiro;
• O usu´ario achou intuitivo clicar no bot˜ao X para remover um item do roteiro.
• O participante se sentiu bastante perdido para realizar as ac¸˜oes. Sentiu falta de textos explicativos e disse que n˜ao achou o sistema muito “amig´avel”.
4 Resultados
Depois de realizarmos o teste de usabilidade com os participantes, pedimos que eles preen- chessem um question´ario sobre a experiˆencia. As 4 primeiras quest˜oes tinham como objetivo detectar o qu˜ao f´acil ou dif´ıcil foi, para o usu´ario, utilizar algumas das funcionalidades do sis- tema. Para a obtenc¸˜ao destes dados, foram utilizadas escalas de Likert.
Abaixo est˜ao os resultados:
Figura 1: Dificuldade de realizar as tarefas
Figura 2: Dificuldade de encontrar destinos e pontos tur´ısticos
Figura 3: Dificuldade de adicionar destinos e
pontos tur´ısticos aos roteiros Figura 4: Dificuldade de planejar um roteiro As duas quest˜oes a seguir tratavam de detectar quais funcionalidades eram mais dif´ıceis e
´uteis, respectivamente. Para estes dois itens, havia algumas opc¸˜oes pr´e-definidas, das quais o usu´ario deveria escolher uma.
A lista de opc¸˜oes dispon´ıveis era a seguinte:
• Encontrar informac¸˜oes sobre um destino ou ponto tur´ıstico;
• Adicionar sua opini˜ao sobre um destino ou ponto tur´ıstico;
• Incluir destinos ou pontos tur´ısticos em um roteiro;
• Organizar os passeios dentro dos dias de um roteiro;
• Cadastrar um novo destino ou ponto tur´ıstico no sistema;
Ao final do question´ario, havia duas quest˜oes abertas: a primeira requisitava ao usu´ario que listasse funcionalidades que n˜ao foram implementadas mas que poderiam melhorar o sistema.
A segunda era um campo para digitar qualquer tipo de coment´ario referente ao sistema em si.
5 Coment´arios dos Usu´arios
A seguir, apresentaremos os coment´arios mais relevantes feitos pelos usu´arios durante as sess˜oes de teste de usabilidade.
Figura 5: Tarefa mais dif´ıcil de realizar Figura 6: Melhor funcionalidade do sistema
“Sou um usu´ario mais velho que n˜ao acha as coisas muito intuitivas, por isso bal˜oes com o significado dos bot˜oes ajudariam”
“Depois que coloco um coment´ario seria legal se aparecesse uma mensagem do tipo ‘agradecemos pelo seu coment´ario’, ou algo assim”
“N˜ao gosto desses bot˜oes de avaliac¸˜ao, n˜ao ´e poss´ıvel arrast´a-los”
“Seria legal colocar um t´ıtulo no coment´ario para n˜ao precisar ler tudo o que todos escrevem e j´a ter uma ideia geral do que as pessoas pensam, principalmente quando tem muitos coment´arios”
“No roteiro, ‘Dia 1’ n˜ao ´e muito esclarecedor. Acho que a data ou o dia da semana seriam mais adequados”
6 Problemas Encontrados
Com base no retorno fornecido pelos usu´arios, foi poss´ıvel levantar alguns problemas de inter- face. Abaixo, listaremos os principais problemas, juntamente com uma graduac¸˜ao entre 1 e 5 pontos (pts), sendo que essa pontuac¸˜ao ´e diretamente proporcional `a importˆancia do problema.
Tecla Enter para buscar - 5 pts
No campo de busca, ´e preciso habilitar a tecla Enter para ter a mesma funcionalidade de clicar no bot˜ao “buscar”.
Coment´arios com muito texto - 5 pts
Colocar t´ıtulos nos coment´arios, para passar uma ideia geral do seu conte´udo de forma r´apida.
N˜ao ´e f´acil encontrar roteiros p ´ublicos de outros usu´arios - 5 pts
N˜ao ´e poss´ıvel por exemplo encontrar roteiros em Quito de forma f´acil. Mostrar roteiros p´ublicos na p´agina de detalhes de uma cidade e permitir a busca por roteiros.
Adicionar itens da p´agina de detalhes a um roteiro - 5 pts
N˜ao ´e poss´ıvel adicionar um item a um roteiro quando se est´a em sua p´agina de detalhes.
Muito espac¸o em branco - 5 pts
Por esse motivo muita informac¸˜ao n˜ao fica vis´ıvel inicialmente (como a lista de coment´arios).
Moedas utilizadas - 4 pts
Nos campos de texto para se preencher gastos n˜ao fica claro qual ´e a moeda que deve ser utilizada.
Datas do roteiro n˜ao s˜ao edit´aveis - 4 pts
N˜ao ´e poss´ıvel mudar as datas.
Bot˜oes n˜ao s˜ao auto explicativos - 4 pts
Os ´ıcones dos bot˜oes, principalmente o “+”, deveriam ser substitu´ıdos por outros mais in- tuit´ıvos.
Posic¸˜ao do campo ‘nome’ no cadastro est´a confusa - 4 pts
Usu´arios preenchem o campo de texto logo em seguida de “Cadastrar novo(a)” com a informac¸˜ao do nome, mas esse na verdade ´e o campo de “Pa´ıs”.
N˜ao ´e poss´ıvel saber se a entrada sendo cadastrada j´a existe - 3 pts
Seria interessante ir mostrando sugest˜oes de entradas existentes no banco enquanto o usu´ario digita o nome (tanto na tela de cadastro quanto ao adicionar lugares onde ficou e que visitou em um coment´ario).
Func¸˜ao de rolar pelas fotos - 3 pts
Osliderde fotos na p´agina de detalhes n˜ao foi muito bem percebido. ´E preciso mudar o visual dessa parte e adicionar setas para esquerda e direita para servirem de bot˜oes de rolagem.
Navegac¸˜ao ruim a partir da tela de roteiro - 3 pts
N˜ao ´e poss´ıvel voltar para a tela de resultados de busca ou detalhes de um item a partir da tela de roteiro.
Navegac¸˜ao ruim a partir da tela de detalhes - 3 pts
N˜ao ´e poss´ıvel ir para a tela de detalhes da cidade a partir das telas de detalhes de pontos tur´ısticos, alimentac¸˜ao e hospedagem.
N˜ao ´e poss´ıvel adicionar gastos extras em um roteiro - 3 pts
Colocar campos para adicionar gastos extras, como transporte p´ublico, ou lanches de rua, ou outros gastos que n˜ao aparecem no roteiro como “Destinos em vista”.
“Gasto m´edio por dia” n˜ao ´e adequado em alguns casos - 2 pts
Em refeic¸˜oes e entrada de museus esse texto n˜ao faz muito sentido.
Bot˜oes de avaliac¸˜ao n˜ao s˜ao arrast´aveis - 2 pts
Os bot˜oes de avaliac¸˜ao deveriam ser arrast´aveis.
O link para a tela de cadastro tem o nome muito grande - 1 pts
Talvez utilizar “Adicionar nova entrada”.
Campos na p´agina de cadastro est˜ao faltando - 1 pts
N˜ao ´e poss´ıvel indicar a cidade de atrac¸˜oes tur´ısticas, hospedagem e refeic¸˜ao.
7 Telas do Prot´otipo
Nessa sec¸˜ao, apresentaremos todas as telas do prot´otipo com as quais os usu´arios interagiram.
Figura 7: P´agina inicial do BoraL´a
Figura 8: Resultados de busca
Figura 9: P´agina de detalhes
Figura 10: P´agina para edic¸˜ao de roteiros
Figura 11: P´agina de cadastro de um novo local, estabelecimento ou ponto tur´ıstico
Figura 12: P´agina do perfil de um usu´ario
