Os resultados para cada tarefa de cada cenário foram organizados e calculados em uma planilha eletrônica. Para cada cenário, foram calculados os tempos gastos de cada tarefa. A média das tarefas para cada cenário geraram os seguintes resultados observados na Figura 7:
Figura 7 – Resultados da média das tarefas para cada cenário do contexto móvel
Comparando os cenários em que o usuário está parado e locomovendo-se em ambiente bem iluminado, podemos observar que em todas as tarefas o cenário locomovendo- se obteve um desempenho pior em relação ao cenário em que o usuário está parado. Nas tarefas 1, 2 e 4 o cenário locomovendo-se aumentou significativamente o tempo de realização das tarefas para mais. Na tarefa 3, essa diferença não foi muito significativa. Isso pode ser explicado por existir outros aspectos do contexto móvel que podem influenciar
31 T e m p o g a sto e m s e g und os
significativamente no desempenho do usuário mesmo ele estando parado, por exemplo: a interrupção de outros usuários durante a realização dos testes.
Comparando os cenários em que os usuários estavam parados e locomovendo-se em ambiente mal iluminado, podemos observar que em todas as tarefas o tempo para completar a tarefa foi maior. Porém nas tarefas 3 e 4 a diferença do desempenho nos cenários parado e locomovendo-se não foi muito significativa, o que, mais uma vez, pode ser explicado pelo fato de existir outras interrupções para o usuário, quando este se encontra parado.
Comparando o desempenho dos usuários parados em ambientes pouco iluminados e bem iluminados, percebe-se que em todas as tarefas o cenário onde o ambiente encontra-se mal iluminado afetou para pior o desempenho dos usuários na realização das tarefas. Nas tarefas 1 e 2 não existe uma diferença muito significativa em desempenho, já para outras duas tarefas (tarefa 3 e 4), no ambiente mal iluminado o usuário obteve um desempenho pior que no ambiente bem iluminado.
Comparando o desempenho dos usuários locomovendo-se em ambientes pouco e bem iluminados, percebe-se que somente em uma tarefa (tarefa 1) o ambiente mal iluminado obteve o mesmo desempenho do cenário em que o usuário estava em um ambiente bem iluminado. Para as outras tarefas (tarefa 2, 3 e 4) o ambiente mal iluminado afetou para pior o desempenho do usuário.
Na Figura 8, é apresentada a média geral das tarefas para cada cenário.
32
De maneira geral, o que mais influenciou no desempenho dos usuários foi a movimentação em um ambiente mal iluminado
4 CONSIDERAÇÕES FINAIS
A literatura apresenta que é necessário considerar as características do contexto móvel no momento de avaliar os resultados dos testes de usabilidade de aplicações móveis, para assegurar a validade dos resultados dos testes. A partir disso foi formulada a seguinte hipótese: os resultados das avaliações de usabilidade das aplicações móveis são influenciados pelos fatores do contexto móvel.
Assim, o objetivo geral deste trabalho foi identificar qual a influência exercida pelo contexto móvel nos resultados dos testes de usabilidade. Para tanto, definimos alguns cenários do contexto móvel: movimento do usuário e luminosidade do local e desenvolvemos um serviço de software que captura o fluxo de interação do usuário com a aplicação e o contexto móvel em que este estava inserido.
Os dados coletados dos testes nesse trabalho não negam nossa hipótese de que o contexto móvel influencia nos resultados dos testes de usabilidade. A experiência adquirida com os testes realizados, entretanto, indica que outros cenários deveriam ter sido considerados na análise, tais como se a aplicação está sendo executada em ambiente fechado ou aberto. O fato de o ambiente ser fechado (e.g, em casa ou no escritório) ou aberto (e.g., na rua ou em um concerto musical) pode indicar que o usuário está apto a sofrer interrupções de outros usuários no momento da realização dos testes, o que explicaria um desempenho pior do usuário em movimento em um ambiente aberto quando comparado ao cenário em ele se encontra parado em um ambiente fechado, por exemplo.
Apesar de se ter observado que critérios de análise adicionais poderiam ter sido considerados, os resultados obtidos já nos permitem afirmar que é necessário considerar os aspectos do contexto móvel no momento da análise dos resultados dos testes de usabilidade, pois o que pode parecer problema de desempenho do usuário ao executar a aplicação podem ser interferências do contexto e do dispositivo móvel.
Além da contribuição da análise da influência do contexto móvel nos resultados, o aplicativo ContextCollector mostrou-se como outra importante contribuição, pois possibilita o usuário utilizar a aplicação móvel em qualquer situação de uso sem a presença do avaliador ao mesmo tempo em que captura, automaticamente, os dados de fluxo da interação do usuário com a aplicação e o contexto móvel em que este está inserido. Portanto, o ContextCollector
33
pode ser utilizado tanto por desenvolvedores quanto por testadores para testar a usabilidade de aplicações móveis sem a necessidade de deslocar os usuários para um ambiente de teste em laboratório.
A partir dos resultados obtidos, para trabalhos futuros, sugerimos uma análise mais abrangente incluindo novos cenários, como o cenário com ambiente fechado e aberto, novas métricas de usabilidade para diferentes contextos e a realização de um experimento com um maior número de pessoas, incluindo análise estatística dos resultados. Com relação ao ContextCollector, sugerimos, ainda, a definição de um formato padrão e interoperável para a geração dos registros, a criação de um módulo de análise automática dos dados coletados e outros trabalhos envolvendo a descoberta de conhecimento a partir dos logs gerados.
34
REFERÊNCIAS
BALLARD, B. Designing the Mobile User Experience. Little Springs Design, Inc., USA: Wiley, 2007.
BARBOSA, S. D. J e SILVA, B. S. Interação Humano-Computador. Rio de Janeiro: Elsevier, 2010.
BETIOL, A. H. Avaliação de usabilidade para os computadores de mão: Um estudo
comparativo entre três abordagens para ensaios de interação. 2004. Tese de Doutorado
(Doutorado em Engenharia de Produção) - Universidade Federal de Santa Catarina, Florianópolis, 2004.
BETIOL, A. H. e CYBIS, W. A. Sistema de Câmera sem fio para apoio a testes de
usabilidade de computadores de mão. In: Workshop IHC 2006.
BEVAN, N. Cost-effective user-centred design based on ISO13407. Tutorial notes. UPA’2002,
Orlando, Florida,USA. July, 2002.
BUTLER, M. Android: Changing the Mobile Landscape, IEEE Pervasive Computing, vol. 10, no. 1, pp. 4-7, Jan.-Mar. 2011.
CHINCHOLLE, D., GOLDSTEIN, M., NYBERG, M., ERIKSSON, M. Lost or found? A usability evaluation of a mobile navigation and location-based service. Proceedings of
Mobile HCI 2002 - Fourth International Symposium on Human Computer Interaction with
Mobile Devices. Pisa, Italy, September 2002.
DANTAS, V. L. L. Requisitos para Testes de Aplicações Móveis. 2009. Dissertação
(Mestrado em Ciência da Computação) - Departamento de Computação, Universidade Federal do Ceará, Fortaleza, 2009.
FIGUEIREDO, C. M. S. ; NAKAMURA, E. F. . Computação Móvel: Novas
Oportunidades e Novos Desafios. T&C Amazônia, v. 1, 2003.
HEWETT et all. ACM-SIGCHI Curricula for Human-Computer Interaction. ACM SIGCHI Report, ACM, NY, 1992.
ISOMURSU, M., KUUTTI, K., & VÄINÄMÖ, S. Experience Clip: Method for User
Participation and Evaluation of Mobile Concepts. In Participatory Design Conference (83-
92). Toronto, Canada, 2004.
ISO 9241-11 – Ergonomic Requirements for office work with visual display terminals (VDT)s – Part 11: Guidance on usability, 1998.
ISO/IEC 9126-1: 2000. Software engineering– Software product quality- Part 1: Quality Model.
ISO/IEC 9126-2: 2000. Software engineering– Software product quality- Part 2: External Metrics.
ISO/IEC 9126-3: 2000. Software engineering– Software product quality- Part 3: Internal Metrics.
35
ISO/IEC 9126-4: 2000. Software engineering– Software product quality- Part 4: Quality in Use Metrics.
JORDAN, P.W. An Introduction to Usability. London, UK: Taylor & Francis, 1998. LEE, V.; SCHNEIDER, H. ; SCHELLl, R. Aplicações Móveis - Arquitetura, projetos e
desenvolvimento. São Paulo: Pearson Education do Brasil, 2005.
NIELSEN, J. Usability Engineering. Boston - USA: Academic Press, 1993.
WEISS, S. (2002). Handheld Usability. John Wiley & Sons, Ltd, West Sussex, England, 2002.
SOMMERVILLE, I. Engenharia de Software. 8.ed. São Paulo: Addison Wesley, 2007. 552p ZEIDLER, C.; KITTL, C.; PETROVIC, O. (2007). An Integrated Product Development
Process for Mobile Software. In: Proceedings of the IX International Conference on the
Management of Mobile Business (ICBM), 2007, p. 23-23.
ZHANG, D.; ADIPAT, B. (2005) Challenges, Methodologies, and Issues in the Usability Testing of Mobile Applications. In: Proceedings of the International Journal of Human
36
APÊNDICE A – Roteiro com as informações fornecidas aos participantes
Primeiramente, gostaríamos de agradecer a sua disponibilidade em colaborar com essa avaliação. Reiteramos que a sua participação é de extrema importância para a realização do Trabalho de Conclusão de Curso da aluna Rainara Maia Santos do curso de Sistemas de Informação da Universidade Federal do Ceará, campus de Quixadá, sob minha orientação.
Você irá participar de uma avaliação de usabilidade de aplicações que são executadas em dispositivos móveis. O nosso objetivo é colher informações do contexto móvel (localização, velocidade, luminosidade do ambiente, etc.) enquanto você utiliza o aplicativo oficial do Twitter em seu celular. Essas informações são coletadas e enviadas para nós, automaticamente, via e-mail pelo aplicativo ContextCollector em anexo.
Para que a avaliação seja conduzida de maneira apropriada, os seguintes requisitos devem ser observados: (i) o aplicativo oficial do Twitter deve estar instalado no seu dispositivo; (ii) o aplicativo ContextCollector deve estar instalado no seu dispositivo; e (iii) durante a avaliação, seu dispositivo deve estar conectado à rede de dados e com GPS acionado. Após isso, a seguinte sequencia de passos deve ser executada:
1. Para inicializar o ContextCollector bloqueie e desbloqueie o seu celular ou o reinicie;
2. Inicie o aplicativo Twitter;
3. Execute a seguinte ordem de ações no aplicativo Twitter: 3.1. Fazer autenticação no aplicativo (login);
3.2. Postar um comentário (tweet); 3.3. Responder a um comentário (reply);
3.4. Replicar um comentário de alguém (retweet); 3.5. Sair do aplicativo (exit).
4. Repita o procedimento desde o passo 2 estando, no mínimo uma vez, em cada um dos seguintes cenários:
4.1. Parado (de pé, sentado ou deitado) em um ambiente bem iluminado;
37
4.3. Parado (de pé, sentado ou deitado) em um ambiente pouco iluminado;
4.4. Locomovendo-se (a pé, de carro ou de ônibus) em um ambiente pouco iluminado.
É importante mencionar que o aplicativo ContextCollector envia e-mails de 20 (vinte) em 20 (vinte) minutos com as informações coletadas. Dessa forma, pedimos que mantenha seu celular conectado à rede de dados por período igual ou superior durante e após o término da avaliação. Mais uma vez, agradecemos sua colaboração e enfatizamos que todas as informações coletadas serão guardadas sigilosamente. Informamos também, que o código fonte do ContextCollector será disponibilizado gratuitamente e para aqueles que o solicitarem.