Avaliação é o processo sistemático de coleta de dados responsável por obter informações sobre o modo como um determinado usuário deve utilizar um sistema para uma determinada tarefa num determinado ambiente (PREECE et al., 2012).
Alguns objetivos a serem atingidos pelas avaliações são: constatar, observar e registrar problemas durante a interação; calcular métricas objetivas para eficácia, eficiência e produtividade do usuário na interação com o sistema; diagnosticar as características do projeto que provavelmente atrapalhem a interação; e prever dificuldades de aprendizado na operação do sistema (CYBIS et al., 2010).
Os obstáculos que impedem o usuário de realizar suas tarefas, como problemas de visualização e até mesmo o acesso a determinados conteúdos, são considerados problemas de usabilidade. Nesse contexto, um problema de usabilidade é uma interferência na capacidade do usuário em completar suas tarefas de forma efetiva e eficiente (INTERNATIONAL..., 1998).
Geralmente os problemas de usabilidade são classificados como uma barreira ou obstáculo, de acordo com suas conseqüências na interação do usuário com o sistema. Diz-se que o problema é uma barreira quando o usuário esbarra sucessivas vezes e não aprende a suplantá-lo (CYBIS et al., 2010), e ainda quando impede o cumprimento da tarefa desejada pelo usuário ou compromete seu desempenho.
A avaliação de usabilidade pode ser realizada em qualquer fase do desenvolvimento de sistemas interativos; deve verificar o desempenho (eficiência e eficácia) da interação usuário/sistema e obter indícios do nível de satisfação do usuário, identificando problemas de usabilidade durante a realização de tarefas específicas em seu contexto de uso (NIELSEN; MACK, 1994).
A finalidade de métodos de avaliação de usabilidade é identificar e diagnosticar problemas de usabilidade. O conjunto de métodos de avaliação existentes na literatura pode ser subdividido em três grandes grupos: métodos de inspeção, métodos baseados em modelos e métodos de teste com usuários (DIAS, 2007).
Os métodos de inspeção, também conhecidos como métodos analíticos ou de prognóstico, caracterizam-se pela não participação direta dos usuários do sistema na avaliação. Os avaliadores são especialistas em usabilidade ou desenvolvedores de sistema e se baseiam em regras, recomendações, princípios e/ou conceitos previamente estabelecidos para identificar problemas de usabilidade relacionados à interação dos usuários reais com o sistema.
Os métodos baseados em modelos, também chamados de modelagem analítica, têm como objetivo prever a usabilidade de um sistema a partir de modelos ou representações da interface e/ou de seus usuários. Esses métodos pretendem representar como os usuários interagem com um sistema, isto é, modelam aspectos do entendimento, conhecimento, intenções ou reações dos usuários.
Os métodos de teste com usuários caracterizam-se pela participação direta dos usuários do sistema no processo de avaliação. Esses métodos podem ser prospectivos, como questionários e entrevistas, ou empíricos, ao adotar técnicas de observação ou monitoramento do uso do sistema em situações reais.
Deve-se também considerar aspectos relacionados à realização das tarefas do usuário em uma avaliação de usabilidade (DIAS, 2007). Uma tarefa é realizada visando atingir um objetivo. As tarefas possuem diferentes níveis de abstração, variando desde tarefas de alto nível (preenchimento de um formulário) a tarefas de baixo nível (seleção de um botão na tela). Em ambos os casos, deve-se pensar nas tarefas que podem ou não ser realizadas na interface e em sua ordem temporal.
No caso de tarefas de alto nível, as relações temporais são determinadas pelas dependências lógicas entre as tarefas. No caso de tarefas de baixo nível, as relações temporais podem depender também das restrições apresentadas pela implementação da interface (por exemplo, o usuário deve preencher os campos obrigatórios antes de selecionar um botão de confirmação de um cadastro) (LACEROF; PATERNÒ, 1998).
Uma proposta que tem se mostrado eficaz na avaliação de problemas de usabilidade consiste na análise dos arquivos de log com dados da interação do usuário com um sistema com base em um modelo de tarefas pré-estabelecido (PATERNÒ, 2001). Essa técnica é
realizada através da comparação entre a sequência de eventos realizada pelo usuário na execução de uma tarefa e a sequência de eventos esperada, definida em um modelo de tarefas.
3.2.1 Avaliação de Usabilidade na Web
Dentro do contexto de avaliações de usabilidade de sistemas web, pode-se afirmar que um sistema web é um software interativo, pois interage com pelo menos dois tipos de usuários: os usuários finais que tentam alcançar alguma meta na execução de uma tarefa, e os desenvolvedores que se esforçam para manter o funcionamento do sistema (NIELSEN, 2000). O emprego de técnicas relativas à avaliação da usabilidade para o desenvolvimento de sistemas web é uma tarefa difícil, pois testes tradicionais possuem desvantagens em relação ao custo e tempo. Para aprimorar este cenário são conduzidos testes remotos e automáticos de usabilidade, permitindo envolver uma grande quantidade de usuários com baixo custo (NIELSEN; MACK, 1994). Uma das técnicas mais utilizadas para realizar avaliações remotas de usabilidade é a análise de log.
3.2.2 Análise de Log
A análise de log é uma técnica na qual são analisadas as interações do usuário registradas em arquivos de log gerados durante a utilização de um sistema (PREECE et al., 2012; IVORY; HEARST, 2001; PALANQUE et al., 2011; VARGAS et al., 2011; JANSEN et al., 2009). É um método de avaliação que, além de apontar problemas de usabilidade, pode ajudar a compreender o comportamento dos usuários em relação à interface do sistema.
Uma característica que merece destaque é que a análise de log é uma técnica que não interfere na interação do usuário com as tarefas executadas no sistema. Outro ponto de destaque é o fato de que as informações obtidas a partir da aplicação dessa técnica geram dados estatísticos confiáveis, relativos a várias questões, como: padrões de uso, usabilidade de produtos, estratégias de integração e utilidade percebida de produtos que envolvam o uso de sistemas computacionais (PREECE et al., 2012).
A análise de log pode ser considerada um método de teste com usuários para a avaliação da usabilidade de um sistema, pois se caracteriza pela participação direta do usuário no processo de avaliação. No entanto, de uma forma empírica, pois são adotadas técnicas de observação ou monitoramento do uso do sistema em situações reais de uma forma remota.
Como mencionado anteriormente, uma das técnicas mais utilizadas para realizar avaliações remotas de usabilidade de sistemas web é a análise de arquivos de log do servidor web (IVORY; HEARST, 2001). No entanto, o uso desses arquivos de log como fonte para a coleta dos dados relativos às interações fornecem, em sua maioria, apenas as páginas (URLs) visitadas pelo usuário, não trazendo informações detalhadas sobre a interação real do usuário com um sistema web.
Assim, este trabalho utiliza a ferramenta WAUTT (RIVOLLI et al., 2008) para a captura das interações do usuário com um sistema web, pois a abordagem desta ferramenta é baseada na captura de eventos realizados pelo usuário em elementos de interação contidos numa página web.
3.2.2.1 Limitações da análise de log
A avaliação automática da usabilidade através da análise de log pode ser proposta como uma abordagem para avaliação de usabilidade de sistemas web. A avaliação automática tem baixo custo, é de fácil condução e tem grande abrangência de usuários. No entanto, essa forma de avaliação apresenta problemas relativos à própria automatização, como (FARENC et al., 1999):
• A automatização da avaliação de usabilidade pode não levar em consideração algumas informações qualitativas e subjetivas que podem ser importantes, por exemplo, as preferências dos usuários ou interpretações errôneas dos textos ou mecanismos de interação;
• Na maioria dos casos, a inspeção automatizada das regras é feita nos níveis sintáticos e léxicos a partir do código de implementação da interface;
• Algumas regras ergonômicas requerem descrições de alto nível dos objetos usados, mas estas informações não podem ser recuperadas de forma automática.
Entretanto, a utilização da análise de log tem apresentado experiências positivas, como a possibilidade de identificar os caminhos (links) percorridos pelo usuário, as páginas mais visitadas e locais da interface nunca explorados. Adicionalmente, essa técnica pode ajudar a compreender o comportamento dos usuários com relação à interface e a melhorar a qualidade das interações.