Comparação de Métodos de Avaliação de Usabilidade

Cada um dos métodos apresentados tem as suas próprias características e varia muito quer na metodologia, quer no tempo e no custo. Na tabela 2.3 encontra-se um resumo de cada método.

A aplicação das mesmas técnicas não produz resultados idênticos, o que dificulta a com- paração de resultados entre estudos diferentes ou a análise da evolução temporal. Molich et al. demostra que estudos de Usabilidade sobre um mesmo tema – desenvolvidos por diferen- tes equipas e empregando diferentes métodos – produzem resultados diferentes (Molich, Ede, Kaasgaard, & Karyukin, 2004). Hertzum et al. conclui que a média de concordância entre dois estudos realizados por equipas diferentes com base no mesmo alvo e no mesmo método varia entre 5% e 65% (Hertzum & Jacobsen, 2003). Pearrow reconhece que não há cálculos que possam substituir a compreensão do design e da interação humana, mas admite que uma abordagem quantitativa simples, como a obtenção de valores médios, permite elaborar uma ideia de evolução entre testes consecutivos e adquirir a noção dos progressos realizados (Pearrow, 2000).

Embora o potencial de melhoria esteja diretamente relacionado com o esforço investido em testes de Usabilidade, todas essas abordagens conduzem a melhores sistemas (Levi & Conrad, 2008).

Método Vantagens Desvantagens

Avaliação heurística Fácil de realizar; barato; capaz de en-

contrar muitos problemas; sem necessi- dade de recrutar utilizadores.

Não permite a descoberta de todos os problemas, sobretudo, problemas espe- cíficos.

Exploração cognitiva Possibilidade de ser efetuada com esbo-

ços; sem necessidade de recrutar utili- zadores; rápido de realizar.

Necessária muita experiência dos peri- tos.

Ordenação de cartões Fácil; barata; ideal para estruturar a ar-

quitetura de informação de um sistema.

Domínio de aplicação restrito. Não per- mite avaliar cenários de navegação e transacionais.

Prototipagem Barato; rápido; poderá ser realizado em

qualquer fase do projeto.

Necessidade de capacidade de abstra- ção.

Teste com utilizadores reais Muito eficaz na deteção de problemas. Custos elevados.

Cenários de utilização Prático; Coloca foco do projeto em ce-

nários de uso concretos.

A criação de cenários exige um grande domínio do contexto do sistema.

Pensar em voz alta Capaz de encontrar a razão dos proble-

mas; uso de poucos utilizadores;

Incapaz de providenciar dados quanti- tativos.

Questionários Fácil de realizar; barato; flexível na

aplicação.

Dependendo das condições em que são feitos, poderão não representar o público-alvo ideal; as questões têm que ser muito claras sob pena de serem mal interpretadas.

Entrevistas Versáteis; Sem risco de má interpreta-

ção de questões.

Custos elevados de dinheiro e tempo.

Grupo de discussão Poderá ser usada em qualquer fase de

desenvolvimento; Útil para descobrir necessidades dos utilizadores.

Incapaz de providenciar dados quanti- tativos; perigo de “contaminação” do grupo por parte dos membros mais in- fluentes.

Eyetracking Útil para analisar focos de atenção e pa-

drões de leitura.

Caro; Análise dos dados complexa e com necessidade de contextualização.

Tabela 2.3: Resumo das principais vantagens e desvantagens de métodos de Usabilidade

tes empíricos e aplicação de diretrizes) e concluiu que a avaliação heurística é o método que mais problemas consegue encontrar. O mesmo estudo mostra a importância de usar mais do que um avaliador, dado que diferentes avaliadores conseguem encontrar problemas distintos. Contudo, não é certo que todos os problemas identificados pela avaliação heurística tenham o mesmo impacto na experiência de utilização (Jeffries, Miller, Wharton, & Uyeda, 1991).

Os testes empíricos são muito úteis a encontrar problemas genéricos e globais, mas têm di- ficuldade em encontrar problemas específicos e locais: se existe um problema num ecrã que os utilizadores nunca usam, os testes empíricos não irão permitir encontrar o problema (Jeffries et al., 1991). Comparando os testes empíricos com o uso de cognitive walkthroughs, Karat demostrou que os primeiros são duas a três vezes mais úteis a descobrir problemas do que os segundos, quer com cognitive walkthroughs individuais, quer com cognitive walkthroughs com grupos. No mesmo estudo, salienta-se o facto dos testes empíricos consumirem muito tempo, tempo esse que acaba por ser rentabilizado pelo número de problemas descobertos (Karat, Campbell, & Fiegel, 1992).

Sauro (2012) comparou a avaliação heurística com testes empíricos e concluiu que, apesar da avaliação heurística não conseguir detetar falhas que os utilizadores conseguem, este tipo de avaliação permite encontrar até 50% dos problemas de um sítio Web, pelo que este método continua a ser relevante, devendo ser complementado com outras técnicas. Apesar de tudo,

é importante referir que existem diferenças no tipo de informação que os métodos forne- cem. Por exemplo, Fu, Salvendy, & Turley (2002) descobriu que os testes empíricos são mais eficazes na descoberta de problemas relacionados com o níveis de performance, enquanto a avaliação heurística é mais útil na identificação de problemas associados a aptidões e conhe- cimento baseado em regras. Este entendimento é corroborado por de de Kock, van Biljon, & Pretorius (2009) que estudaram as diferenças no tipo de informação obtida pela avaliação heurística em comparação com testes empíricos auxiliados por sistema de eyetracking.

No que diz respeito ao método “Pensar em voz alta”, Cooke estudou as suas limitações com um sistema de eyetracking (Cooke & Cuddihy, 2005) e conclui que a análise do movimento dos olhos – sobretudo na construção de gráficos em tempo real – poderá ajudar os facilitadores a compreender padrões de utilização e a procurar esclarecer a razão pela qual os participantes realizaram determinadas ações.