EvaLogger

Para dispositivos m´oveis podem ser citados trabalhos como o de Balagtas-Fernandez e Hussmann (2009) que desenvolveram uma t´ecnica de teste de usabilidade baseado em monitoramento por arquivos de logs para dispositivos m´oveis. Nesta abordagem, um aplicativo de monitoramento chamado EvaLogger ´e instalado no dispositivo m´ovel de forma a monitorar todas as a¸c˜oes realizadas por seus usu´arios. O aplicativo contˆem uma classe denominada EvaWriter que processa dos dados coletados e envia os mesmos para um arquivo XML utilizado para gera¸c˜ao de dados em gr´aficos. A classe pode ser estendida para gera¸c˜ao de dados em outros formatos desejados, entretanto os autores n˜ao detalham os tipos de sa´ıda. A Figura 10 apresenta a abordagem de coleta e processamento de dados do sistema EvaLogger.

Figura 10 – Abordagem do sistema EvaLogger (BALAGTAS-FERNANDEZ; HUSSMANN, 2009)

Segundo Balagtas-Fernandez e Hussmann (2009), as fases apresentadas na Figura 10 representam as seguintes atividades: A Prepara¸c˜ao consiste na configura¸c˜ao do aplica- tivo para habilitar a coleta de dados necess´arios para apoiar a avalia¸c˜ao da usabilidade por meio de arquivos log. Nem todos os aplicativo cont´em recursos para configura¸c˜ao para registros de dados com Log e muitas vezes ´e necess´aria uma s´erie de atividades para otimizar esta tarefas, tal como determinar o melhor formato (layout ) do arquivo para

2.7 Frameworks para Avalia¸c˜ao da Usabilidade 62

um processo de an´alise e extra¸c˜ao com mais qualidade. A fase de Coleta consiste na realiza¸c˜ao das tarefas nos dispositivos e em certificar se a aplica¸c˜ao esta registrando to- dos os dados necess´arios nos arquivos de log. J´a a fase de Extra¸c˜ao ´e uma das mais complicadas, pois se refere a etapa de extra¸c˜ao dos dados registrados durante o teste e a transferˆencia para um aplicativo que permita a leitura e an´alise dos arquivos de Log. Esta fase ´e considerada delicada, pois pode exigir a manipula¸c˜ao de uma grande quantidade de dados registrados. A ´ultima fase, An´alise, consiste no estudo dos dados registrados para identificar quais partes do sistema tem problemas de intera¸c˜ao.

O processo de an´alise dos dados no EvaLogger ´e feita com base em gr´aficos que apre- sentam n´umeros para gerar m´etricas diversas. Dentre os dados s˜ao apresentadas taxas de acesso a bot˜oes, r´otulos e demais componentes de interface como forma de avaliar a quantidade de a¸c˜oes e transi¸c˜oes de tela. A taxa de aprendizado, efic´acia e memoriza¸c˜ao ´e tratada utilizando dados de tempo para finaliza¸c˜ao de tarefas, assim como a simplicidade ´e medida pelo esfor¸co para realizar as tarefas. As informa¸c˜oes dos gr´aficos s˜ao comparadas com a interface atual para verificar se alguma interface n˜ao foi utilizada e pode ser remo- vida ou para determinar bons padr˜oes de interface (BALAGTAS-FERNANDEZ; HUSSMANN, 2009).

Outros trabalhos voltados para dispositivos m´oveis foram realizados por Lettner e Holzmann. Em ambos os trabalhos, (LETTNER; HOLZMANN, 2011, 2012), os autores prop˜oem modelos de monitoramento das atividades dos usu´arios em dispositivos m´oveis. Os trabalhos apresentam a utiliza¸c˜ao de um recurso que pode ser baixado e instalado em aplicativos m´oveis, com destaque para plataforma Android.

No primeiro trabalho Lettner e Holzmann (2011) apresenta um framework para uti- liza¸c˜ao com Android baseado em inje¸c˜ao de c´odigos em estruturas bases da codifica¸c˜ao Java, tais como entrada e sa´ıda de m´etodos. Esse m´odulo pode se adaptar de forma rela- tivamente f´acil a demais aplicativos da plataforma sem a necessidade de recompila¸c˜ao de grande quantidade de c´odigos. Al´em disso, o autor destaca a seguran¸ca da aplica¸c˜ao que n˜ao tem acesso a dados pessoais do usu´ario, mas somente a funcionalidades atividades.

No segundo artigo Lettner e Holzmann (2012) destacam o funcionamento da aplica¸c˜ao que ´e dividida em trˆes est´agios: Coleta de dados, m´odulo instalado no dispositivo m´ovel que monitora a utiliza¸c˜ao do participante; Server Backend que cont´em recursos para recebimento dos dados, an´alise, processamento e gera¸c˜ao de m´etricas e por ´ultimo; Web Frontend para visualiza¸c˜ao e an´alise por parte de avaliadores.

2.7 Frameworks para Avalia¸c˜ao da Usabilidade 63

para an´alise foram:

• Contadores: valores simples de contagem de determinadas a¸c˜oes realizadas no dispositivo;

• Rela¸c˜oes/Propor¸c˜oes: apresenta a rela¸c˜ao de valores coletados dentro de deter- minados contextos de opera¸c˜ao

• Agrega¸c˜ao: apresenta valores gerais de utiliza¸c˜ao e acesso de um software. Est´a m´etrica esta relacionada `a utiliza¸c˜ao geral e n˜ao com recursos espec´ıficos;

• Segmenta¸c˜ao: apresentada valores de determinados pontos do sistema em deter- minado per´ıodo de tempo pr´e estabelecido;

• Individual: m´etricas utilizadas para analisar o comportamento de um usu´ario em determinado per´ıodo de tempo

Esses pesquisadores consideraram esta abordagem como eficaz para coleta automati- zada de dados e gera¸c˜ao de m´etricas de baixo n´ıvel considerando, principalmente, erros de navega¸c˜ao e de comportamento do participante. Como trabalho futuro, os trabalhado- res pesquisam para criar uma ferramenta que visa o tratamento e exibi¸c˜ao otimizada de informa¸c˜oes, assim como a melhora da capacidade de coleta de dados, visando considerar tamb´em o comportamento dos participantes.

Os trabalhos apresentados acima apresentaram propostas de frameworks para apoiar testes de usabilidade para dispositivos m´oveis. O destaque destes modelos ´e a utiliza¸c˜ao da abordagem de monitoramento, ou seja, os autores n˜ao est˜ao preocupados somente com padr˜oes de qualidade ou guias de padr˜ao de interface, mas tamb´em com a capacidade de intera¸c˜ao entre usu´ario e sistema.

A gera¸c˜ao de informa¸c˜oes pelos sistemas citados pode auxiliar na melhoria de sistemas m´oveis, algo t˜ao comum na atualidade e que tende a ter sua ´area de cobertura ampliada.