O que é avaliar?

(1)

1 1

INF1403

INF1403 – – Introdução a Interação Introdução a Interação INF1403

INF1403 – – Introdução a Interação Introdução a Interação Humano

Humano--Computador (IHC) Computador (IHC)

Turma

Turma 3WC3WC Professor: Alberto B.

Professor: Alberto B. RaposoRaposo

Avaliação de IHC: Paradigmas, Métodos e Técnicas Avaliação de IHC: Paradigmas, Métodos e Técnicas

30

30/Mar/2011/Mar/2011

(2)

O que é avaliar?

•• determinar o valor de determinar o valor de

•• apreciar apreciar

•• julgar julgar

•• ponderar, examinar, considerar ponderar, examinar, considerar

•• calcular, estimar calcular, estimar

adaptado de: Dicionário Aurélio – Século XXI em CD-ROM

(3)

Avaliação de IHC Avaliação de IHC

•• O que é? O que é?

– Chamamos de avaliação de IHC a atividade profissional especializada que tem por objetivo julgar a qualidade de

interação que um sistema ou artefato computacional oferece interação que um sistema ou artefato computacional oferece aos seus usuários.

1. Avaliação é uma atividade profissional. Não é uma emissão de opinião baseada em preferências ou conjecturas pessoais.

2. Usuários sempre têm opiniões e julgamentos sobre a qualidade dos sistemas com que interagem: mas isto não é uma “avaliação de IHC”, a menos que os usuários sejam também profissionais.

(4)

O que define uma ‘atividade profissional’?

•• Neste contexto, uma ‘atividade profissional’ é aquela Neste contexto, uma ‘atividade profissional’ é aquela cuja realização utiliza e depende de conhecimentos cuja realização utiliza e depende de conhecimentos técnicos, tais como, por exemplo:

técnicos, tais como, por exemplo:

Este módulo do curso tem por objetivo levar os alunos a entenderem

– Conceitos de IHC

– Métodos de avaliação

– Modos e meios de aplicação de conceitos e métodos a instâncias específicas de interação

– Disciplina e rigor para realizar procedimentos de coleta de dados e análise

– Cuidados éticos

os alunos a entenderem o que isto significa na

prática.

(5)

Por que fazer avaliação ? Por que fazer avaliação ?

•• Por que avaliar?Por que avaliar?

– Seu sistema SEMPRE será avaliado

• pelo menos toda vez que um usuário utilizá-lo

•• (Bruce Tognazzini (Bruce Tognazzini http://www.asktog.com/columns/037TestOrElse.htmlhttp://www.asktog.com/columns/037TestOrElse.html))

– Consertar problemas antes e não depois de o produto ser lançado – Voltar a energia da equipe para a solução de problemas reais

– Voltar a energia da equipe para a solução de problemas reais – Engenheiros codificam, não discutem: quem será o advogado do

usuário?

– O tempo para colocar o produto no mercado diminui.

– Comercialização de um produto mais sólido (a próxima versão corretiva não precisa estar no forno na hora do lançamento do produto no

mercado)

(6)

O que avaliar?

•• Aspectos Aspectos cognitivoscognitivos e e funcionaisfuncionais relativos à realização de tarefas apoiadas relativos à realização de tarefas apoiadas pelo sistema

pelo sistema

– É fácil de aprender? É rápido? Dá para confiar? Dá para reverter erros

cometidos (facilmente)? Dá para lembrar depois de algum tempo sem usar? …

•• Aspectos Aspectos sóciosócio--culturaisculturais do uso do artefato no local / contexto previstosdo uso do artefato no local / contexto previstos

– A tecnologia se integra fácil no ambiente físico? Causa algum tipo de problema com outras tecnologias ou com pessoas que estejam usando outras

com outras tecnologias ou com pessoas que estejam usando outras

tecnologias? E com quem não esteja usando tecnologia nenhuma? Pode-se prever mudanças (a curto ou médio prazo) das práticas do ambiente sócio-

cultural previsto? Quais? E aí (o que vai provavelmente acontecer)? Há alguma redistribuição de poder? …

•• Aspectos Aspectos afetivosafetivos

– As pessoas vão gostar? Vão achar bonito, agradável? Vão achar que dá status usar a tecnologia (ou vão achar que estão “pagando mico”)? …

(7)

Quando avaliar ? Quando avaliar ?

•• Avaliação Avaliação formativa formativa (ou construtiva) (ou construtiva)

– ao longo de todo o processo de design

– artefatos: cenários, storyboards, modelagem da interação e protótipos de sistema

•• Avaliação Avaliação somativa somativa (ou conclusiva) (ou conclusiva)

– nas etapas finais (de cada ciclo) do desenvolvimento – artefatos: produto (ou protótipo, intermediário ou final)

funcionando

(8)

Avaliação

Avaliação –– objetivos objetivos

•• verificar o verificar o entendimentoentendimento dos projetistas sobre as necessidades e dos projetistas sobre as necessidades e preferências dos usuários

preferências dos usuários

•• investigar como uma interface investigar como uma interface afetaafeta a forma de trabalhar dos a forma de trabalhar dos usuários

usuários

•• comparar comparar alternativasalternativas de projeto de interfacede projeto de interface

•• identificar identificar problemasproblemas de interação ou de interfacede interação ou de interface

– potenciais (previstos por especialistas) ou reais

•• verificar se foram alcançados verificar se foram alcançados objetivos quantificáveisobjetivos quantificáveis em métricas em métricas de usabilidade

de usabilidade

•• verificar verificar conformidadeconformidade com um padrão ou conjunto de heurísticascom um padrão ou conjunto de heurísticas

•• elaborar elaborar material de apoiomaterial de apoio (e.g. instruções, sistema de ajuda) e (e.g. instruções, sistema de ajuda) e treinamento

treinamento

(9)

Paradigmas, Métodos e Técnicas Paradigmas, Métodos e Técnicas

•• Paradigma?Paradigma?

– É um modelo ou forma de conceber a atividade, normalmente atrelado ao objetivo que se quer atingir com ela.

– Toda avaliação é guiada explícita ou implicitamente por uma série de crenças e expectativas. Várias vezes elas têm origem em teorias.

• Estas crenças e expectativas, juntamente com as teorias a que podem se referir, constituem o paradigma de avaliação.

•• Método?Método?

– É um conjunto claramente definido de passos, que são sistematica e rigorosamente repetidos, para se realizar um procedimento.

•• Técnica?Técnica?

– É uma forma de realizar uma tarefa ou atividade.

(10)

Contextualizando os conceitos:

•• Existe um Existe um paradigmaparadigma na ciência segundo o qual o conhecimento, na ciência segundo o qual o conhecimento, para ser

para ser científicocientífico, tem de ser: , tem de ser:

– construído a partir da observação empírica e

– reproduzido sempre que ocorrerem exatamente as mesmas condições em que ele foi observado para ser construído.

•• Para fazer ciência de acordo com este paradigma, um dos Para fazer ciência de acordo com este paradigma, um dos métodosmétodos que se pode usar é o experimental:

que se pode usar é o experimental:

– A grosso modo, este método envolve formular hipóteses sobre um

fenômeno empírico, elaborar um teste para verificá-las em ocorrências observáveis do fenômeno em questão, identificar variáveis a serem controladas, medir o seu comportamento, analisar as medidas

coletadas e concluir sobre a validade das hipóteses.

•• A regressão linear é uma A regressão linear é uma técnicatécnica estatística bastante usada para estatística bastante usada para analisar dados coletados em testes de observação empíricas.

analisar dados coletados em testes de observação empíricas.

(11)

Contextualizando os conceitos:

•• Existe um Existe um paradigmaparadigma na ciência segundo o qual o conhecimento, na ciência segundo o qual o conhecimento, para ser

para ser científicocientífico, tem de ser: , tem de ser:

– construído a partir da observação empírica e

– reproduzido sempre que ocorrerem exatamente as mesmas condições em que ele foi observado para ser construído.

•• Para fazer ciência de acordo com este paradigma, um dos Para fazer ciência de acordo com este paradigma, um dos métodosmétodos que se pode usar é o experimental:

que se pode usar é o experimental:

– A grosso modo, este método envolve formular hipóteses sobre um

fenômeno empírico, elaborar um teste para verificá-las em ocorrências observáveis do fenômeno em questão, identificar variáveis a serem controladas, medir o seu comportamento, analisar as medidas

coletadas e concluir sobre a validade das hipóteses.

•• A regressão linear é uma A regressão linear é uma técnicatécnica estatística bastante usada para estatística bastante usada para analisar dados coletados em testes de observação empíricas.

analisar dados coletados em testes de observação empíricas.

Desde visão macro até a visão micro: COERÊNCIA DE ESCOLHAS!

(12)

4 paradigmas para a avaliação de IHC 4 paradigmas para a avaliação de IHC

1.

1. O O

rápido e rasteiro rápido e rasteiro

(que prima pela informalidade)(que prima pela informalidade) 2.

2. Os Os

testes de usabilidade testes de usabilidade

(experimentos controlados em (experimentos controlados em laboratórios)

laboratórios) 3.

3. Os Os

estudos em campo estudos em campo

(que se realizam nos contextos (que se realizam nos contextos

naturais de uso das tecnologias avaliadas e são mais difíceis de naturais de uso das tecnologias avaliadas e são mais difíceis de controlar e registrar do que os testes de usabilidade)

controlar e registrar do que os testes de usabilidade) 4.

4. A A

avaliação preditiva avaliação preditiva

(que se baseia em conhecimento (que se baseia em conhecimento heurístico ou teórico de um avaliador especializado)

heurístico ou teórico de um avaliador especializado)

(13)

O paradigma

O paradigma rápido e rasteiro rápido e rasteiro

•• É uma prática comum no É uma prática comum no designdesign de IHC.de IHC.

•• Os Os designersdesigners pedem apreciações informais do que fizeram ou estão pedem apreciações informais do que fizeram ou estão fazendo a:

fazendo a:

– pessoas que tenham maior conhecimento sobre usabilidade, ou

– pessoas sejam destinatárias da tecnologia que está sendo produzida.

•• São avaliações literalmente São avaliações literalmente rápidas rápidas e e rasteirasrasteiras, que podem se , que podem se repetir em vários pontos do ciclo de desenvolvimento.

repetir em vários pontos do ciclo de desenvolvimento.

•• A idéia é que a avaliação ofereça o A idéia é que a avaliação ofereça o feedbackfeedback mais imediato mais imediato possível, e não a de que seja a mais cuidadosa e informativa.

possível, e não a de que seja a mais cuidadosa e informativa.

(14)

Testes de Usabilidade (1/2) Testes de Usabilidade (1/2)

•• Testes de usabilidade têm Testes de usabilidade têm de envolver usuários (reais de envolver usuários (reais ou potenciais) e um

ou potenciais) e um

registro de sua atuação.

•• Podem ser feitos em Podem ser feitos em

laboratório ou em campo laboratório ou em campo (ver próximo paradigma).

(ver próximo paradigma).

•• Os participantes (usuários) Os participantes (usuários) devem realizar certas

devem realizar certas atividades controladas atividades controladas (tarefas), o que permite (tarefas), o que permite avaliar o seu desempenho.

avaliar o seu desempenho.

(15)

Testes de Usabilidade (2/2) Testes de Usabilidade (2/2)

•• Os registros podem capturar uma ampla gama do comportamento do Os registros podem capturar uma ampla gama do comportamento do usuário: vídeo do usuário+ tecnologia,

usuário: vídeo do usuário+ tecnologia, loglog da interação na interface da interação na interface (movimentos mouse, cursor, teclas apertadas, etc.), áudio de

(movimentos mouse, cursor, teclas apertadas, etc.), áudio de

comentários ou interjeições do usuário, e até mesmo certos sinais comentários ou interjeições do usuário, e até mesmo certos sinais sensório

sensório--motores (direção do olhar, tensão muscular, etc.).motores (direção do olhar, tensão muscular, etc.).

•• Os registros podem ser usados para prever e explicar certas Os registros podem ser usados para prever e explicar certas ocorrências de desempenho, bem como para ajudar a corrigir e ocorrências de desempenho, bem como para ajudar a corrigir e prevenir erros de interação.

prevenir erros de interação.

•• Através de entrevistas e questionários podeAtravés de entrevistas e questionários pode--se descobrir o grau de se descobrir o grau de satisfação dos participantes, bem como outros aspectos psicológicos.

satisfação dos participantes, bem como outros aspectos psicológicos.

(16)

Estudos de Campo Estudos de Campo

•• Os estudos de campo, ao contrário dos testes de usabilidade, são Os estudos de campo, ao contrário dos testes de usabilidade, são feitos

feitos exclusivamente no ambiente “natural” dos exclusivamente no ambiente “natural” dos usuários/participantes.

usuários/participantes.

•• O objetivo destes estudos é observar O objetivo destes estudos é observar sem qualquer interferênciasem qualquer interferência (sem propor tarefas específicas) como as pessoas usam e se

(sem propor tarefas específicas) como as pessoas usam e se relacionam com artefatos tecnológicos.

relacionam com artefatos tecnológicos.

•• Tais estudos são bons para:Tais estudos são bons para:

– Prospectar a introdução de novas tecnologias – Determinar requisitos de projeto

– Decidir estratégias para promover a adoção de tecnologias – Descobrir como uma tecnologia é de fato usada

(17)

Avaliação preditiva Avaliação preditiva

•• EspecialistasEspecialistas utilizam o conhecimento utilizam o conhecimento que já têmque já têm sobre usuários e sobre usuários e situações típicas de uso de uma série de tecnologias para

situações típicas de uso de uma série de tecnologias para preverprever o o efeito de determinado produto ou tecnologia sobre os seus

efeito de determinado produto ou tecnologia sobre os seus usuários.

usuários.

– Note que não é preciso envolver os usuários! Na maioria dos

casos, um especialista advoga em nome dos usuários, indicando o que os usuários achariam ou fariam da tecnologia.

•• Outra alternativa é utilizar Outra alternativa é utilizar modelosmodelos para guiar uma inspeção da para guiar uma inspeção da tecnologia e prever a ocorrência de problemas.

tecnologia e prever a ocorrência de problemas.

•• As avaliações neste paradigma são atraentes em termos de custo.As avaliações neste paradigma são atraentes em termos de custo.

(18)

Técnicas de avaliação de IHC Técnicas de avaliação de IHC

Há diferentes

Há diferentes técnicas técnicas de de avaliação.

avaliação.

• Cada técnica se aplica melhor ou pior (ou não se

R

Ráápido e pido e Rasteiro Rasteiro

Testes de Testes de Usabilid Usabilidaa de

de

Estudos Estudos de Campo de Campo

Avalia Avaliaççãoão Preditiva Preditiva

T

Téécnica 1cnica 1

melhor ou pior (ou não se aplica) conforme o

paradigma em que nos encontramos.

• Logo o que queremos fazer é saber como

preencher as colunas de uma tabela como esta ao lado. (Por quê?)(Por quê?)

TTéécnica 2cnica 2

…

TTéécnica ncnica n

(19)

Sobre as técnicas de avaliação 1/5 Sobre as técnicas de avaliação 1/5

Paradigmas de Avaliação Paradigmas de Avaliação Tipo de

Tipo de Técnica Técnica

Rápida &

Rasteira Rasteira

Teste de Teste de Usabilidade Usabilidade

Estudos de Estudos de Campo

Campo

Avaliação Avaliação Preditiva Preditiva

Observação

Observação É muito útil É muito útil Registros da Registros da A observação é A observação é Não acontece.Não acontece.

Observação Observação de usuários de usuários

É muito útil É muito útil para se ter para se ter noção geral, noção geral, embora não embora não muito rica, de muito rica, de como os

como os

usuários atuam usuários atuam em seu

em seu contexto contexto natural.

natural.

Registros da Registros da atitude e atitude e interação interação ajudam a ver ajudam a ver erros, descobrir erros, descobrir caminhos

caminhos

inesperados na inesperados na interface e a interface e a calcular tempo calcular tempo de interação.

de interação.

A observação é A observação é o coração dos o coração dos estudos de estudos de campo; eles campo; eles não existem não existem sem ela. O sem ela. O avaliador tem avaliador tem de ficar

de ficar imersoimerso no ambiente no ambiente dos usuários.

dos usuários.

Não acontece.

(20)

Sobre as técnicas de avaliação 2/5 Sobre as técnicas de avaliação 2/5

Rápida &

Rasteira Rasteira

Campo

Perguntar aos Perguntar aos usuários

usuários

É útil conversar É útil conversar com usuários com usuários individualmente individualmente ou com grupos ou com grupos de usuários de usuários (reais ou (reais ou potenciais).

potenciais).

Pode

Pode--se usar a se usar a técnica de

técnica de focus groups.

focus groups.

Questionários Questionários (com perguntas (com perguntas abertas ou

abertas ou

fechadas), bem fechadas), bem como

como

entrevistas entrevistas (com perguntas (com perguntas abertas ou

abertas ou fechadas) fechadas) exploram a exploram a satisfação do satisfação do

É possível É possível (embora não (embora não indispensável) indispensável) entrevistar os entrevistar os usuários. A usuários. A etnografia

etnografia tem tem métodos

métodos específicos específicos para isto, que para isto, que têm sido muito têm sido muito usados em usados em

Não acontece.

Focus groups

Focus groups: técnica qualitativa de análise; 8- 15 representantes dos

“usuários” participam de uma discussão liderada e focada em uma questão específica. A idéia não é generalizar – é entender melhor.

Etnografia

Etnografiaé uma técnica utilizada principalmente por antropólogos e cientistas sociais. Consiste em REGISTRAR ou ESCREVER (‘grafia’) detalhadamente as práticas culturais de um grupo (‘etno’).

(21)

Sobre as técnicas de avaliação 3/5 Sobre as técnicas de avaliação 3/5

Rápida &

Rasteira Rasteira

Campo

Consultar Consultar especialistas especialistas

É bom colher É bom colher críticas de críticas de especialistas especialistas (‘relatório (‘relatório

crítico’), pois o crítico’), pois o olhar do

olhar do especialista especialista treinado treinado costuma costuma

identificar logo identificar logo vários

vários problemas.

problemas.

Não acontece.

Não acontece. Não acontece.Não acontece. Previsões de Previsões de especialistas especialistas logo no início logo no início do ciclo de do ciclo de design design, , sobretudo a sobretudo a partir de partir de heurísticas, heurísticas, traz ganhos no traz ganhos no tempo de

tempo de

desenvolvimen desenvolvimen-- to global.

to global.

(22)

Sobre as técnicas de avaliação 4/5 Sobre as técnicas de avaliação 4/5

Rápida &

Rasteira Rasteira

Campo

Testes com Testes com usuários usuários

Não acontece.

Não acontece. Testes com Testes com representantes representantes de usuários de usuários típicos, em típicos, em laboratórios, laboratórios, com variáveis com variáveis controláveis, controláveis, são o coração são o coração dos testes de dos testes de usabilidade.

usabilidade.

Não acontece.

Não acontece. Não acontece.Não acontece.

(23)

Sobre as técnicas de avaliação 5/5 Sobre as técnicas de avaliação 5/5

Rápida &

Rasteira Rasteira

Campo

Modelo de

Modelo de Não acontece.Não acontece. Não acontece.Não acontece. Não acontece.Não acontece. Especialistas Especialistas Modelo de

Modelo de desempenho desempenho dos usuários dos usuários

Não acontece.

Não acontece. Não acontece.Não acontece. Não acontece.Não acontece. Especialistas Especialistas podem usar podem usar modelos modelos específicos específicos para prever o para prever o desempenho desempenho de usuários, de usuários, comparativa comparativa-- mente aos mente aos modelos de modelos de design que há.

design que há.

(24)

Exemplo de uma avaliação preditiva: a Lei de Fitts Exemplo de uma avaliação preditiva: a Lei de Fitts

•• O que é a Lei de Fitts?O que é a Lei de Fitts?

– Um modelo do comportamento psicomotor humano.

– Ela diz essencialmente que a velocidade/precisão para acertar um ALVO com um movimento rápido é uma FUNÇÃO da DISTÂNCIA a que se está do alvo e do TAMANHO dele.

• Quanto maior e mais próximo o alvo, mais rápido de ser atingido.

•• Aplicação: Comparar diferentes Aplicação: Comparar diferentes layoutslayouts de telasde telas

– Um com botões de tamanho e distâncias padronizadas de uma área central de trabalho

– Outro com botões de tamanho e distância variáveis, conforme sejam mais ou menos utilizados na execução de tarefas do usuário

(25)

O que é melhor para o desempenho do usuário?

Este?

Layout com

botões padronizados.

Ou este?

Botões que

acionam tarefas mais frequentes são maiores.

(26)

Antes de começar qualquer avaliação, pergunte:

•• Qual o meu objetivo? Qual o meu objetivo?

– Por que e para que estou fazendo a avaliação?

• Me encomendaram?

• Estou fazendo uma pesquisa?

• Estou fazendo um exercício?

• ?

•• Quais os meus recursos? Quais os meus recursos?

– Tenho prazos, orçamento, infraestrutura?

– Preciso observar pessoas? Onde? Como?

•• Qual o objeto da minha avaliação? Qual o objeto da minha avaliação?

– Tenho um sistema plenamente implementado? Parcialmente implementado? Apenas uma maquete? Completa? Parcial?

(27)

DECIDE

DECIDE –– Guia para o planejamento de uma avaliação Guia para o planejamento de uma avaliação (Preece et al., 2002)

(Preece et al., 2002)

•• D Determinar os objetivos gerais que a avaliação deverá eterminar os objetivos gerais que a avaliação deverá tratar

tratar

•• E Explorar perguntas específicas a serem respondidas xplorar perguntas específicas a serem respondidas

•• Escolher ( Escolher (C Choose) o paradigma e as técnicas de hoose) o paradigma e as técnicas de

•• Escolher ( Escolher (C Choose) o paradigma e as técnicas de hoose) o paradigma e as técnicas de avaliação que responderão as perguntas

avaliação que responderão as perguntas

•• IIdentificar questões práticas que devem ser tratadas dentificar questões práticas que devem ser tratadas

•• D Decidir como lidar com questões éticas ecidir como lidar com questões éticas

•• Avaliar ( Avaliar (E Evaluate), interpretar e apresentar os dados valuate), interpretar e apresentar os dados

(28)

DECIDE

–– Guia para o planejamento de uma avaliação (Preece et Guia para o planejamento de uma avaliação (Preece et al., 2002)

al., 2002)

•• D D eterminar os objetivos gerais que a avaliação eterminar os objetivos gerais que a avaliação deverá tratar

deverá tratar

– quais são os objetivos gerais da avaliação – quais são os objetivos gerais da avaliação – quem solicitou a avaliação, e por quê

– Os objetivos influenciam a escolha de paradigma e técnica.

Por quê?

(29)

DECIDE

al., 2002)

•• E E

xplorar perguntas específicas a serem respondidasxplorar perguntas específicas a serem respondidas

– Quem são os usuários-alvo?

– Quais são suas atividades?

– Em quais tarefas ocorrem mais erros?

– Quais tarefas apresentam problemas mais graves de desempenho?

– A proposta A é melhor do que a proposta B em algum aspecto?

Qual(is)?

•• Toda boa avaliação tem de ser guiada por objetivos e questões Toda boa avaliação tem de ser guiada por objetivos e questões claras; se não for, vira uma perda de tempo.

claras; se não for, vira uma perda de tempo.

(30)

DECIDE

al., 2002)

•• Escolher ( Escolher ( C C hoose) o paradigma e as técnicas de hoose) o paradigma e as técnicas de avaliação que responderão as perguntas

avaliação que responderão as perguntas

– prazo, custo, equipamentos necessários, e grau de

conhecimento e experiência dos avaliadores exigidos por cada – prazo, custo, equipamentos necessários, e grau de

conhecimento e experiência dos avaliadores exigidos por cada técnica

•• Alguns paradigmas são incompatíveis com certas Alguns paradigmas são incompatíveis com certas técnicas.

técnicas.

– Por exemplo, estudos de campo não são compatíveis com testes ou com modelagem. Por quê?

(31)

DECIDE

al., 2002)

•• II dentificar questões práticas que devem ser tratadas dentificar questões práticas que devem ser tratadas

– Como selecionar os usuários?

• perfil e número de usuários

– Como ficar dentro de um orçamento apertado?

– Como não extrapolar o cronograma?

– Como encontrar avaliadores?

• alocação de pessoal para a realização da avaliação

– Como selecionar e preparar equipamentos?

– Quais tarefas serão avaliadas?

– Que material deve ser preparado para a avaliação?

(32)

DECIDE

al., 2002)

•• D D

ecidir como lidar com questões éticasecidir como lidar com questões éticas

– os avaliadores devem se certificar que os direitos dos participantes do teste estão sendo respeitados

•• Preparar um termo de consentimentoPreparar um termo de consentimento

•• Todo participante tem o direito de:Todo participante tem o direito de:

– saber exatamente o objetivo do estudo

– saber exatamente o que vai ser feito com os dados – ter garantias de seus dados pessoais e privativos

– não ser citado ou mostrado em qualquer situação sem seu consentimento prévio – abandonar o estudo quando e por que bem entender

– exigir ser tratado com toda educação

(33)

DECIDE

al., 2002)

•• Avaliar ( Avaliar ( E E valuate), interpretar e apresentar os dados valuate), interpretar e apresentar os dados

– confiabilidade dos dados: a técnica produz os mesmos resultados nas mesmas circunstâncias?

– validade dos dados: a técnica permite medir o que deveria?

– potenciais distorções: existe algum viés oculto?

– escopo: o que pode ser generalizado?

– validade “ecológica”: o quanto o ambiente em que a avaliação é feita influencia ou distorce os resultados?

•• Análise e apresentação dependem de paradigma e técnica.Análise e apresentação dependem de paradigma e técnica.

(34)

Estudos

Estudos--piloto piloto

•• Servem de teste para o “teste pra valer”.Servem de teste para o “teste pra valer”.

•• Visam avaliarVisam avaliar

– O estudo/experimento é viável?

– Você consegue conduzir o procedimento inteiro e bem?

– Os scripts, entrevistas, questionários estão claros e sem “bugs”?

•• Quantos estudosQuantos estudos--piloto se deve fazer?piloto se deve fazer?

– quantos forem necessários para ajustar a qualidade do experimento – pelo menos um é indispensável

•• E se não tiver usuários “sobrando”?E se não tiver usuários “sobrando”?

– Procurar pessoas com perfil semelhante. Vale até usar seus próprios conhecidos.

(35)

Conhecimentos necessários a um avaliador Conhecimentos necessários a um avaliador

•• Conhecimento sobre o domínioConhecimento sobre o domínio

– necessário para determinar o que os usuários querem, do que eles precisam, quais são as tarefas mais freqüentes e quais as mais importantes

•• Conhecimento Conhecimento sobre o projeto de interfaces de usuáriosobre o projeto de interfaces de usuário

– avaliador deve ser capaz de analisar os aspectos mais importantes de um projeto de interfaces (e.g. navegação, terminologia, estruturas de controle, etc.) e conhecer os princípios e diretrizes disponíveis na literatura

•• Experiência de utilização do método de avaliaçãoExperiência de utilização do método de avaliação

– permite ao avaliador ao representar um cliente, bem como o

conhecimento sobre o que procurar e o que relatar como resultado da avaliação

(36)

Sobre os dados coletados (1/2) Sobre os dados coletados (1/2)

•• Avaliação quantitativa Avaliação quantitativa

– necessariamente envolve métricas e números

• métrica é a expressão numérica de uma qualidade

– requer conhecimentos de outras disciplinas, em especial de – requer conhecimentos de outras disciplinas, em especial de

Estatística

– amostragens que podem ser muito volumosas

– pode-se obter previsões bastante boas sobre o comportamento dos usuários

(37)

Sobre os dados coletados (2/2) Sobre os dados coletados (2/2)

•• Avaliação qualitativa Avaliação qualitativa

– normalmente não envolve métricas e números

– requer conhecimentos teóricos e técnicos de várias disciplinas, e também de conhecimentos práticos dos profissionais

(heurísticas)

– trabalha tipicamente com casos

– fornece insumos para pesquisas quantitativas que poderão fazer previsões

– “entender” antes de “medir”