Avaliação de comunicabilidade
INF1403 – Introdução a IHC
Aula 11
Marcelle Mota
10/04/2013
Avaliação – Com quem?
• Inspeção
– SEM a participação dos usuários
– Especialistas em IHC percorrem os cenários como se fossem usuários
• Observação dos usuários
– COM a participação de usuários
– Especialistas em IHC observam a experiência dos usuários, coletam e analisam dados
• Vídeo da interação, vídeo do participantes, áudios, entrevistas, questionários e anotações.
Avaliação – Com quantos?
• Quantitativa
– Amostra estatisticamente válida do universo de usuários visados
• Qualitativa
– Amostra reduzida mas suficiente para que se atinja um ponto em que padrões significativos começam a se repetir
Avaliação – Onde?
• Pesquisa de campo
– No ambiente do usuário
• Testes de interação
– Em laboratórios ou ambientes suficientemente controlados para os propósitos do teste
Método de Avaliação de Comunicabilidade (MAC)
• Envolve a observação dos usuários durante a interação com o sistema
• Faz análise QUALITATIVA
• É um método da Engenharia Semiótica
• Objetivo
– Investiga a qualidade da metacomunicação do designer para os usuários
– Foco na RECEPÇÃO (como o usuário recebe a mensagem do designer)
MAC: Foco na Recepção
Engenharia Semiótica
• Semiótica
– Estudo dos signos: qualquer coisa que signifique algo para alguém
• Engenharia Semiótica
– Está preocupada com os signos envolvidos na interação humano-computador.
– Os signos colocam designers e desenvolvedores em comunicação com os usuários.
Engenharia Semiótica (2)
• Interação humano-computador como um tipo particular de metacomunicação mediada por computador
• Comunicação (e não cognição) é o fenômeno de interesse central
• Interfaces representam os designers em tempo de
interação
MAC: Etapas do método
1. Preparação 2. Aplicação
3. Interpretação (etiquetagem e análise) 4. Consolidação dos resultados
5. Relato dos resultados
1 - Preparação
• Definição dos objetivos da investigação
• Escolha dos participantes
• Inspecionar a interface
• Preparação do cenário de interação
• Preparação da infraestrutura de testes
• Elaboração de roteiro de observação do teste
• Elaboração de roteiro das entrevistas
• Executar teste-piloto
2 - Aplicação
• Entrevista pré-teste
• Orientações sobre teste
• Cenário
– Narrativa envolvente na qual haja um personagem com o qual os participantes do teste (usuários) possam identificar
– Atividade que este personagem deve realizar
• Entrevista pós-teste
– Impressões gerais do participante
– Eliminar ambiguidades para a etiquetagem posterior
Observação
3 - Interpretação
• O avaliador deve etiquetar os vídeos da interação
• Etiquetar
– Colocar “palavras na boca do usuário”
– Ex.: ‘Cadê?’, ‘Desisto’, ‘Onde estou?’, ‘Vai de outro jeito!’ e etc.
• As etiquetas identificam tipos definidos de rupturas na comunicação
• Ao final desta etapa, o avaliador deve ter uma lista de
etiquetas para cada vídeo de interação. Cada etiqueta
deve estar associada a um trecho do vídeo e pode estar
acompanhada de anotações.
Etiquetas
• E agora?
• Onde estou?
• Epa!
• Assim não dá.
• O que é isto?
• Socorro!
• Por que não funciona?
• Desisto.
• Pra mim, está bom.
• Não, obrigado.
• Vai de outro jeito.
• Ué, o que houve?
• Cadê?
Exemplos
• Arachnophilia
• Spiderpad
• Site: http://www.id-book.com/casestudy_14-3.php
Falhas completas
• Pra mim está bom...
– Usuário acha equivocadamente que concluiu uma tarefa com sucesso
• Desisto
– Usuário percebe que não concluiu a tarefa, mas não tem recursos, capacidade ou vontade de continuar tentando
malsucedida, mas não inicia outra pra obter resultado esperado
Falhas parciais
• Não, obrigado
– Usuário entende o que o designer quis dizer através do sistema, mas prefere realizar a tarefa de outra forma
• Vai de outro jeito
– Usuário NÃO entende a mensagem do designer e tenta realizar a tarefa de outra forma
interpretação antes de obter o resultado esperado e inicia
outra com o mesmo propósito
Falhas temporárias
• Cadê
– Usuário sabe a operação que deseja executar mas não a encontra de imediato na interface
• Ué, o que houve?
– O usuário não percebe ou não entende a resposta dada pelo
sistema para a sua ação (ou o sistema não dá resposta alguma).
• E agora?
– Usuário não sabe o que fazer e procura descobrir qual é o seu próximo passo.
temporariamente sua recepção
Falhas temporárias (2)
• Onde estou?
– Usuário efetua operações que são apropriadas para outros contextos, mas não para o contexto atual
• Epa!
– Usuário realizou uma ação indesejada e, percebendo imediatamente que isto ocorreu, desfaz a ação
• Assim não dá
– O usuário efetuou uma sequência (longa) de operações
consistentemente encadeadas antes de perceber que estava seguindo um caminho improdutivo.
comunicativo não foi bem- sucedido
Falhas temporárias (3)
• O que é isto?
– Usuário não sabe o que significa um elemento de interface e
procura obter esclarecimento através de uma leitura da interface
• Socorro!
– Usuário não consegue realizar sua tarefa através da exploração da interface
• Por que isso não funciona?
– Operação efetuada não produz o resultado esperado, mas o usuário não entende ou não se conforma com o fato
o ato comunicativo do sistema
4 - Consolidação dos resultados
• Perguntas-guia
– Qual a frequência das etiquetas por participante, por atividade (do cenário de teste), por elemento da interface ou qualquer
outro critério que a equipe de avaliadores considerar relevante?
– Quais padrões de ocorrência das etiquetas no contexto das atividades entre os participantes?
– Os tipos ou sequências de etiquetas podem ser associados a problemas no estabelecimento das metas e submetas de
comunicação?
• Exemplo: ‘Cadê?’ seguido de ‘Vai de outro jeito.’
Perfil Semiótico
• Reconstrução da metamensagem
• Perguntas-guia
1. No meu entendimento, quem são (ou serão) os usuários do produto do meu design? – comparação do usuário-alvo com o ‘real’
2. O que eu aprendi sobre as necessidades e desejos destes usuários?
3. No meu entendimento, quais são as preferências destes usuários com respeito a seus desejos e necessidades, e por quê? – checar consistência entre os sistemas de significação designer e usuários
4. Portanto, qual sistema eu desenhei para estes usuários, e como eles podem ou devem usá-lo?
5. Qual é a minha visão de design?
5 - Relato dos resultados
• Descrever
– Objetivos da avaliação – Método utilizado
– Número e perfil dos avaliadores e participantes – Tarefas executadas pelos participantes
– Resultado da etiquetagem
– Problemas de comunicabilidade encontrados – Sugestões de melhorias
– O perfil semiótico do sistema
Referências
• BARBOSA, S.D.J.; SILVA, B.S. Interação Humano-
Computador. Editora Campus-Elsevier, 2010. Pg 344 – 357.
• Relatórios da Competição de Avaliação do XI Simpósio Brasileiro sobre Fatores Humanos em Sistemas
Computacionais, 2012.
– Relatórios completos
– Imagem e privacidade: contradições no Facebook – Inspeção semiótica e avaliação de comunicabilidade:
identificando falhas de comunicabilidade sobre as configurações de privacidade do Facebook
