Procedimentos Metodológicos de Avaliação de Usabilidade

De maneira geral, as pesquisas apresentadas na área de usabilidade e, mais especificamente, usabilidade móvel não apresentam detalhes dos

procedimentos metodológicos utilizados para conduzir as avaliações de usabilidade, principalmente os ensaios de usabilidade envolvendo usuários.

Constata-se na literatura a existência de procedimentos metodológicos, desde tradicionais, e.g. Rubin (1994), Dumas & Redish (1999), até procedimentos utilizados especificamente para avaliação de dispositivos móveis, e.g. Weiss (2002), Betiol (2004).

No procedimento descrito por Rubin (1994), observam-se as seguintes etapas: (i) a identificação do propósito da avaliação é alcançada através da identificação das características alvo e dos objetivos da avaliação; (ii) o planejamento do teste inclui, dentre outras, atividades de identificação do perfil alvo dos usuários, desenvolvimento das tarefas e cenários de teste e especificação do material a ser utilizado nos testes; (iii) a obtenção dos usuários envolve tarefas de identificação de usuários de testes, posterior recrutamento e definição de questionários pré-teste; (iv) a configuração do teste contempla atividades de preparação de todo material a ser utilizado nas avaliações; (v) a condução dos testes inclui as atividades diretamente relacionadas à execução da avaliação com os usuários de teste; (vi) a próxima etapa está relacionada à análise dos dados coletados na etapa anterior; e (vii) a partir dos resultados apresentados pela etapa anterior, deve-se fazer os ajustes no produto. Vide Quadro 8.

Quadro 8 – Procedimento de teste de usabilidade desenvolvido por Rubin (1994).

Etapas Sub-Etapas

Identificação do propósito da avaliação Identificação dos objetivos;

Planejamento do teste Identificação do perfil alvo dos usuários; Determinação do projeto experimental; Definição das tarefas e cenários; Especificação do material de teste; Identificação do pessoal requisitado; Obtenção dos usuários Identificação dos usuários alvo;

Recrutamento dos usuários;

Definição de questionários pré-teste; Configuração do teste Preparação do material de teste;

Condução dos testes Introdução de informações ao participante; Execução das tarefas;

Coleta de dados; Debriefing;

Análise dos dados Identificação de grandes problemas; Análise dos dados de desempenho; Análise de dados preferenciais; Realização de ajustes no produto

Dumas & Redish (1999) recomendam várias etapas para o planejamento e execução de testes de usabilidade. A etapa inicial consiste no planejamento da avaliação, seguido pela definição das metas e do perfil dos participantes. Em seguida, os participantes devem ser recrutados. Selecionam-se as tarefas e os cenários de teste, decidem-se as métricas de usabilidade a serem utilizadas, prepara-se o material, o ambiente e a equipe de teste, e, em seguida, o teste-piloto deve ser conduzido. Após a condução dos testes com os usuários, os dados coletados devem ser analisados, alterações recomendadas e resultados divulgados. Os autores recomendam a preparação de uma amostra dos vídeos do teste e, por último, a incorporação das mudanças recomendadas no produto.

Queiroz (2001) adotou um procedimento metodológico específico para a condução de experimentos avaliatórios, cujas etapas e sub-etapas são sumariadas no Quadro 9.

Weiss (2002) apresentou um procedimento metodológico ao realizar testes de usabilidade em dispositivos móveis. Uma vez definido o produto a ser avaliado, o questionário para seleção dos usuários de teste é elaborado e, por conseguinte, tais participantes são recrutados. Em seguida, elabora-se o material informativo do teste, as questões pré e pós-teste e as tarefas de teste. Então, os ensaios de interação são conduzidos, sendo finalizados com uma sessão de discussão (debriefing com todos os observadores dos testes e membros da equipe de desenvolvimento do produto). Em seguida, os dados coletados são analisados e as recomendações elaboradas e apresentadas.

Betiol (2004), ao realizar seus experimentos com dispositivos móveis, seguiu o procedimento metodológico apresentado no Quadro 10.

De forma geral, as várias etapas e sub-etapas dos diversos procedimentos metodológicos apresentados para a condução de ensaios de interação apresentam muitas semelhanças. Algumas metodologias, e.g. Queiroz (2001), por apresentarem mais detalhes, são aparentemente maiores. Outras optam pelo agrupamento de etapas, como forma de simplificar o processo. Às vezes, determinadas etapas não são mencionadas por determinados autores, pois tais etapas não se faziam necessárias ao experimento.

É importante destacar que ensaios de usabilidade devem fundamentar- se numa metodologia ou procedimento e que o mais importante é instanciá-

las de forma que se adapte às necessidades da avaliação.

Quadro 9 – Generalização da Abordagem Metodológica (Queiroz, 2001).

Etapas Sub-etapas

Planejamento dos

experimentos avaliatórios

ƒ Caracterização do alvo de estudo; ƒ Definição das metas e interesses; ƒ Caracterização do universo amostral;

ƒ Levantamentos dos usuários de teste potenciais; ƒ Definição do modo de recrutamento dos participantes; ƒ Decisão do número de participantes do ensaio avaliatório; ƒ Seleção das técnicas de avaliação;

ƒ Definição de indicadores objetivos e subjetivos; Treinamento do universo

amostral

ƒ Familiarização dos usuários de teste com a ferramenta a ser testada; ƒ Capacitação do universo amostral de teste;

Elaboração do material do ensaio

ƒ Definição e estruturação das atividades associadas à avaliação do produto;

ƒ Definição dos recursos necessários à execução de cada tarefa; ƒ Elaboração da ficha cadastral do participante e do documento de

aceitação das condições de teste;

ƒ Elaboração do material necessário à condução do processo avaliatório;

ƒ Discussão das abordagens de avaliação da usabilidade do produto; ƒ Modelagem da tarefa e da interação

ƒ Elaboração dos roteiros da tarefa ƒ Validação do material elaborado Condução do ensaio e coleta

de dados

ƒ Aplicação das estratégias avaliatórias pré-definidas; ƒ Registro dos indicadores pré-definidos;

Tabulação e análise dos dados ƒ Triagem preliminar dos dados coletados; ƒ Triangulação dos dados coletados; ƒ Tabulação e síntese dos dados coletados; ƒ Organização dos problemas listados;

Apresentação dos resultados ƒ Definição do modo de divulgação dos resultados;

ƒ Priorização dos dados apresentados de acordo com os usuários finais dos resultados;

ƒ Elaboração do documento final;

Apreende-se a partir da leitura deste capítulo, especialmente da subseção 2.5.1, que uma abordagem híbrida para avaliação da usabilidade de dispositivos móveis mostra-se uma importante contribuição, sendo fortalecida inclusive pela validação estatística que avaliará o impacto das adaptações realizadas na abordagem tradicional.

Quadro 10 – Procedimento metodológico seguido por Betiol (2004).

Etapas Sub-Etapas

Definição do produto-alvo de avaliação Definição do contexto de uso

Definição dos contextos de avaliação

Definição da amostra de participantes Definição do perfil dos participantes; Definição do número de participantes; Recrutamento dos participantes; Definição do script das tarefas

Escolha das medidas e métricas de usabilidade

Definição dos critérios de comparação dos desempenhos das avaliações

Condução dos Ensaios de Interação Introdução do participante no ambiente de teste;

Aplicação de questionário pré-teste; Realização de treinamento;

Execução das tarefas de teste; Aplicação de questionários pós-teste; Debriefing;

Levantamento dos dados coletados Análise das fitas de vídeo

Análise dos problemas de usabilidade Análise estatística

Capítulo 3 – A Metodologia para Avaliação de