Método de Avaliação de Comunicabilidade

O método de avaliação de comunicabilidade avalia a qualidade da comunicação da metamensagem do designer para os usuários, ou seja, se a metamensagem está sendo comunicada de forma eficiente e efetiva (Prates el al., 2000; de Souza, 2005). A metamensagem comunica ao usuário a lógica do design: a quem se destina o sistema? Para que ele serve? Qual a vantagem de utilizá-lo? Como ele funciona? Quais são os princípios gerais de interação com o sistema? (Barbosa e Silva, 2010). Os avaliadores observam os usuários utilizando o sistema para identificar rupturas de comunicação da metamensagem durante a interação usuário-sistema. A Tabela 2 apresenta as ativida- des do método de avaliação de comunicabilidade.

Tabela 2 – Atividades do método de avaliação de comunicabilidade

Avaliação de comunicabilidade Atividade Tarefa

Preparação  Inspecionar os signos estáticos, dinâmicos e metalinguísticos

 Definir tarefas para os participantes executarem  Definir o perfil dos participantes e recruta-los  Preparar o material para observar e registrar o uso  Executar um teste-piloto

Coleta de dados  Observar e registrar sessões de uso em laboratório  Gravar o vídeo da interação de cada participante

Interpretação  Etiquetar cada vídeo de interação individualmente

Consolidação dos resultados

 Interpretar as etiquetagens de todos os vídeos de interação  Elaborar perfil semiótico

Relato dos resul- tados

 Relatar a avaliação da comunicabilidade da solução de IHC, sob o ponto de vista do receptor da metamensagem

A preparação da avaliação de comunicabilidade começa com inspeção dos signos estáticos, dinâmicos e metalinguísticos da interface. Essa inspeção serve para orientar a definição das tarefas que os participantes devem executar durante a observação. Os avaliadores devem preparar o ambiente e todo material de apoio (e.g. termo de con- sentimento, questionário pré e pós-teste, instruções para os usuários executarem as tarefas e um roteiro de observação). Tudo isso deve ser revisado após a execução do teste-piloto.

36 A coleta de dados na avaliação de comunicabilidade é muito semelhante à do teste de usabilidade. Um grupo de usuários-alvo é convidado a utilizar o sistema em um ambiente controlado, como um laboratório. O usuário começa respondendo o questionário pré-teste e depois realiza um conjunto de tarefas. Sua interação com sis- tema é gravada, incluindo tudo o que aparece na tela, as teclas digitadas e as ações do mouse. Por fim o usuário responde um questionário pós-teste.

Na interpretação, o avaliador assiste o vídeo de interação de cada usuário para identificar rupturas de comunicação. Ele analisa o comportamento do usuário durante a interação para identificar situações onde ele demonstra dificuldades em função de dificuldades de comunicação ou má compreensão da lógica de design. Essa intepreta- ção do avaliador considera todos os dados coletados além do vídeo, como as respostas dos questionários pré e pós-teste e anotações durante a observação. O avaliador asso- cia cada ruptura de comunicação encontrada ao que o usuário poderia ter dito naquele momento, ou seja, ele faz a etiquetagem do vídeo. Existem 13 etiquetas para rupturas de comunicação no método de comunicabilidade (Prates el al., 2000; de Souza, 2005):

 Cadê? É usada quando o usuário sabe que o sistema tem a função, mas não consegue encontra-la na interface.

 E agora? Significa que o usuário está perdido e não sabe qual o próximo passo para atingir se objetivo. Ele geralmente sai navegando de forma aleatória na in- terface atrás do que deseja.

 O que é isto? Quando o usuário não entende o significado dos signos estáticos e dinâmicos na interface, geralmente coloca o mouse em cima para ver se o sis- tema da alguma dica ou procura outras formas de explicações.

 Epa! Ocorre quando o usuário executa uma ação e percebe que cometeu um erro, quanto maior o esforço para recuperação desse equivoco, maior a gravi- dade dessa ruptura.

 Onde estou? É utilizado quando o usuário tenta executar algo que está desabi- litado ou quando tenta interagir com elementos estáticos do sistema.

 Ué, o que houve? É usada quando o usuário não entende as respostas do sis- tema decorrente de uma ação.

37  Por que não funciona? É usada quando o usuário esperava um resultado, mas o sistema exibe outros. O usuário tem certeza que executou a ação correta, por isso persiste algumas vezes num caminho improdutivo.

 Assim não dá. É usada quando o usuário abandona a interação por considera-la improdutiva e tenta executar por outro caminho.

 Vai de outro jeito. Acontece quando o usuário não entende o caminho proje- tado pelo designer para executar determinada ação, ou não consegue executar, então é obrigado a seguir por outro caminho.

 Não, obrigado! É utilizado quando o usuário sabe o caminho preferido pelo de- signer e sabe executa-lo, porém opta por outra opção.

 Para mim está bom. Acontece quando o usuário pensa que concluiu a tarefa, porém não conseguiu. Geralmente ocorre quando o sistema exibe informações inadequadas.

 Socorro! Ocorre quando o usuário não consegue entender os signos estáticos e dinâmicos e procura ajuda online.

 Desisto. Acontece quando o usuário não consegue concluir a ação e desiste de tentar novamente.

Na consolidação dos resultados, o avaliador interpreta e atribui significado às etiquetas por participante, por tarefa ou em toda a interação. Ele deve considerar a frequência, a sequência e o contexto em que ocorre cada etiqueta, os níveis de (me- ta)comunicação operacional, tático e estratégico, e outras classificações de problemas de IHC (de Souza, 2005, p.137). Por fim, o avaliador deve elaborar o perfil semiótico que identifica e explica os problemas de comunicabilidade encontrados e encaminha proposta de solução.

No relato dos resultados, o avaliador descreve (Barbosa e Silva, 2010, p. 347- 358):

 objetivos da avaliação;

 breve descrição do método para auxiliar o leitor a compreender como os resultados foram obtidos;

38  tarefas executas pelos participantes;

 resultado da etiquetagem, contabilizando as etiquetas por usuário e tarefa;  problemas de comunicabilidade encontrados;

 sugestões de melhorias;  perfil semiótico do sistema.

Três desses quatro métodos já foram comparados por (Salgado et al., 2006), num estudo em que os avaliadores não estavam envolvidos no processo de design dos sis- temas. No caso do sistema jurídico da SoftUrbano para smartphone, as avaliações fo- ram realizadas pelo próprio designer. Surgem questionamentos como: qual retorno a avaliação trará ao próprio designer? O projeto atende os critérios de qualidade? Aten- de o estado atual da aplicação?