Interação
Interação Humano Humano--Computador Computador
Avaliação
Avaliação em em IHC: IHC: Primeiras Primeiras noções noções (1) (1)
www.inf.puc
www.inf.puc--rio.br/~inf1403rio.br/~inf1403
Conhecimento de IHC para profissional de TIC
Conhecimento de IHC para profissional de TIC
design
previsão
apoiar pessoas centrado no usuário
interface
design
avaliação
explicação
apoiar pessoas
elaborar alternativas
medir retorno de investimento avaliar alternativas observar o uso
•• determinar o valor dedeterminar o valor de
•• apreciarapreciar
•• julgarjulgar
•• ponderar, examinar, considerarponderar, examinar, considerar
•• calcular, estimarcalcular, estimar
adaptado de: Dicionário Aurélio – Século XXI em CD-ROM
Avaliação: aspectos subjetivos e objetivos
Você quer comprar uma casa nova para morar e viu uma que parece ser exatamente “a casa dos seus sonhos”.
Avaliação: aspectos subjetivos e objetivos
Avaliação “subjetiva” – os sonhos de quem vai para a casa
Avaliação: aspectos subjetivos e objetivos
Avaliação “objetiva” – a obra para colocar a casa em dia
Avaliação: aspectos subjetivos e objetivos
Avaliação “objetiva” – o custo de morar bem na casa
Avaliação: aspectos subjetivos e objetivos
Avaliação “objetiva” – as alternativas de financiamento e a situação jurídica do contrato de compra
Quantos “profissionais” foram (ou deveriam ter sido) envolvidos na SUA avaliação?
Corretores de Imóveis Além da Além da Corretores de Imóveis
Engenheiros Arquitetos Decoradores Empreiteiros Carpinteiros Advogados
Gerentes de Banco
….
Além da Além da família, do família, do gato, do gato, do
cachorro, dos cachorro, dos amigos…
amigos…
AVALIAÇÃO é algo muito complexo.
AVALIAÇÃO é algo muito complexo.
Frequentemente começa e termina por decisões subjetivasFrequentemente começa e termina por decisões subjetivas (e (e não há nada de errado com isto!);
mas passa por inúmeras decisões objetivas (na maioria das vezes apoiada pelo conselho de um PROFISSIONAL).
O profissional põe seu O profissional põe seu conhecimento a serviço conhecimento a serviço do CLIENTE, cujos do CLIENTE, cujos interesses vai
interesses vai defender.
defender.
•• O que é?O que é?
–– Chamamos de Chamamos de avaliação de IHCavaliação de IHC a atividade profissional especializada a atividade profissional especializada que tem por objetivo julgar a qualidade de interação que um sistema que tem por objetivo julgar a qualidade de interação que um sistema ou artefato computacional oferece aos seus usuários.
ou artefato computacional oferece aos seus usuários.
1.
1. Avaliação é uma atividade profissional. Não é uma emissão de opinião Avaliação é uma atividade profissional. Não é uma emissão de opinião baseada em preferências ou conjecturas pessoais.
baseada em preferências ou conjecturas pessoais.
2.
2. Usuários sempre têm opiniões e julgamentos sobre a qualidade dos Usuários sempre têm opiniões e julgamentos sobre a qualidade dos sistemas com que interagem: mas isto não é uma “avaliação de IHC”, a sistemas com que interagem: mas isto não é uma “avaliação de IHC”, a menos que os usuários sejam
menos que os usuários sejam tambémtambém profissionais.profissionais.
•• Neste contexto, uma ‘atividade profissional’ é aquela cuja realização Neste contexto, uma ‘atividade profissional’ é aquela cuja realização utiliza e depende de conhecimentos técnicos, tais como, por
utiliza e depende de conhecimentos técnicos, tais como, por exemplo:
exemplo:
–– Conceitos de IHCConceitos de IHC –– Conceitos de IHCConceitos de IHC
–– Métodos de avaliaçãoMétodos de avaliação
–– Modos e meios de aplicação de conceitos e métodos a instâncias Modos e meios de aplicação de conceitos e métodos a instâncias específicas de interação
específicas de interação
–– Disciplina e rigor para realizar procedimentos de coleta de dados e Disciplina e rigor para realizar procedimentos de coleta de dados e análise
análise
–– Cuidados éticosCuidados éticos
•• Por que avaliar?Por que avaliar?
–– Seu sistema SEMPRE será avaliadoSeu sistema SEMPRE será avaliado
•• pelo menos toda vez que um usuário utilizápelo menos toda vez que um usuário utilizá--lolo
•• (Bruce Tognazzini (Bruce Tognazzini http://www.asktog.com/columns/037TestOrElse.htmlhttp://www.asktog.com/columns/037TestOrElse.html))
–– Consertar problemas Consertar problemas antesantes e não e não depoisdepois de o produto ser lançadode o produto ser lançado –– Voltar a energia da equipe para a solução de problemas Voltar a energia da equipe para a solução de problemas reaisreais
–– Voltar a energia da equipe para a solução de problemas Voltar a energia da equipe para a solução de problemas reaisreais –– Engenheiros Engenheiros codificamcodificam, não discutem: quem será o advogado do , não discutem: quem será o advogado do
usuário?
usuário?
–– O tempo para colocar o produto no mercado O tempo para colocar o produto no mercado diminuidiminui..
–– Comercialização de um produto mais sólido (a próxima versão corretiva Comercialização de um produto mais sólido (a próxima versão corretiva não precisa estar no forno na hora do lançamento do produto no
não precisa estar no forno na hora do lançamento do produto no mercado)
mercado)
•• Aspectos Aspectos cognitivoscognitivos e e funcionaisfuncionais relativos à realização de tarefas apoiadas relativos à realização de tarefas apoiadas pelo sistema
pelo sistema
–– É fácil de aprender? É rápido? Dá para confiar? Dá para reverter erros É fácil de aprender? É rápido? Dá para confiar? Dá para reverter erros
cometidos (facilmente)? Dá para lembrar depois de algum tempo sem usar? … cometidos (facilmente)? Dá para lembrar depois de algum tempo sem usar? …
•• Aspectos Aspectos sóciosócio--culturaisculturais do uso do artefato no local / contexto previstosdo uso do artefato no local / contexto previstos
–– A tecnologia se integra fácil no ambiente físico? Causa algum tipo de problema A tecnologia se integra fácil no ambiente físico? Causa algum tipo de problema com outras tecnologias ou com pessoas que estejam usando outras
com outras tecnologias ou com pessoas que estejam usando outras com outras tecnologias ou com pessoas que estejam usando outras com outras tecnologias ou com pessoas que estejam usando outras tecnologias? E com quem não esteja usando tecnologia nenhuma? Pode tecnologias? E com quem não esteja usando tecnologia nenhuma? Pode--se se prever mudanças (a curto ou médio prazo) das práticas do ambiente sócio prever mudanças (a curto ou médio prazo) das práticas do ambiente sócio--
cultural previsto? Quais? E aí (o que vai provavelmente acontecer)? Há alguma cultural previsto? Quais? E aí (o que vai provavelmente acontecer)? Há alguma redistribuição de poder? …
redistribuição de poder? …
•• Aspectos Aspectos afetivosafetivos
–– As pessoas vão gostar? Vão achar bonito, agradável? Vão achar que dá status As pessoas vão gostar? Vão achar bonito, agradável? Vão achar que dá status usar a tecnologia (ou vão achar que estão “pagando mico”)? …
usar a tecnologia (ou vão achar que estão “pagando mico”)? …
•• Avaliação Avaliação formativaformativa (ou construtiva)(ou construtiva)
–– ao longo de todo o processo de designao longo de todo o processo de design
–– artefatos: cenários, artefatos: cenários, storyboardsstoryboards, modelagem da interação e protótipos , modelagem da interação e protótipos de sistema
de sistema
•• Avaliação Avaliação somativasomativa (ou conclusiva)(ou conclusiva)
•• Avaliação Avaliação somativasomativa (ou conclusiva)(ou conclusiva)
–– nas etapas finais (de cada ciclo) do desenvolvimentonas etapas finais (de cada ciclo) do desenvolvimento
–– artefatos: produto (ou protótipo, intermediário ou final) funcionandoartefatos: produto (ou protótipo, intermediário ou final) funcionando
•• verificar o verificar o entendimentoentendimento dos projetistas sobre as necessidades e dos projetistas sobre as necessidades e preferências dos usuários
preferências dos usuários
•• investigar como uma interface investigar como uma interface afetaafeta a forma de trabalhar dos a forma de trabalhar dos usuários
usuários
•• comparar comparar alternativasalternativas de projeto de interfacede projeto de interface
•• identificar identificar problemasproblemas de interação ou de interfacede interação ou de interface
•• identificar identificar problemasproblemas de interação ou de interfacede interação ou de interface
–– potenciais (previstos por especialistas) ou reaispotenciais (previstos por especialistas) ou reais
•• verificar se foram alcançados verificar se foram alcançados objetivos quantificáveisobjetivos quantificáveis em métricas em métricas de usabilidade
de usabilidade
•• verificar verificar conformidadeconformidade com um padrão ou conjunto de heurísticascom um padrão ou conjunto de heurísticas
•• elaborar elaborar material de apoiomaterial de apoio (e.g. instruções, sistema de ajuda) e (e.g. instruções, sistema de ajuda) e treinamento
treinamento
•• Paradigma?Paradigma?
–– É um modelo ou forma de conceber a atividade, normalmente atrelado É um modelo ou forma de conceber a atividade, normalmente atrelado ao objetivo que se quer atingir com ela.
ao objetivo que se quer atingir com ela.
•• Método?Método?
•• Método?Método?
–– É um conjunto claramente definido de passos, que são sistematica e É um conjunto claramente definido de passos, que são sistematica e rigorosamente repetidos, para se realizar um procedimento.
rigorosamente repetidos, para se realizar um procedimento.
•• Técnica?Técnica?
–– É uma forma de realizar uma tarefa ou atividade.É uma forma de realizar uma tarefa ou atividade.
•• Existe um Existe um paradigmaparadigma na ciência segundo o qual o conhecimento, na ciência segundo o qual o conhecimento, para ser
para ser científicocientífico, tem de ser: , tem de ser:
–– construído a partir da observação empírica e construído a partir da observação empírica e
–– reproduzido sempre que ocorrerem exatamente as mesmas condições reproduzido sempre que ocorrerem exatamente as mesmas condições em que ele foi observado para ser construído.
em que ele foi observado para ser construído.
•• Para fazer ciência de acordo com este paradigma, um dos Para fazer ciência de acordo com este paradigma, um dos métodosmétodos que se pode usar é o experimental:
que se pode usar é o experimental:
–– A grosso modo, este método envolve formular hipóteses sobre um A grosso modo, este método envolve formular hipóteses sobre um fenômeno empírico, elaborar um teste para verificá
fenômeno empírico, elaborar um teste para verificá--las em ocorrências las em ocorrências observáveis do fenômeno em questão, identificar variáveis a serem observáveis do fenômeno em questão, identificar variáveis a serem controladas, medir o seu comportamento, analisar as medidas
controladas, medir o seu comportamento, analisar as medidas coletadas e concluir sobre a validade das hipóteses.
coletadas e concluir sobre a validade das hipóteses.
•• A regressão linear é uma A regressão linear é uma técnicatécnica estatística bastante usada para estatística bastante usada para analisar dados coletados em testes de observação empíricas.
analisar dados coletados em testes de observação empíricas.
•• Existe um Existe um paradigmaparadigma na ciência segundo o qual o conhecimento, na ciência segundo o qual o conhecimento, para ser
para ser científicocientífico, tem de ser: , tem de ser:
–– construído a partir da observação empírica e construído a partir da observação empírica e
–– reproduzido sempre que ocorrerem exatamente as mesmas condições reproduzido sempre que ocorrerem exatamente as mesmas condições em que ele foi observado para ser construído.
em que ele foi observado para ser construído.
•• Para fazer ciência de acordo com este paradigma, um dos Para fazer ciência de acordo com este paradigma, um dos métodosmétodos que se pode usar é o experimental:
que se pode usar é o experimental:
–– A grosso modo, este método envolve formular hipóteses sobre um A grosso modo, este método envolve formular hipóteses sobre um fenômeno empírico, elaborar um teste para verificá
fenômeno empírico, elaborar um teste para verificá--las em ocorrências las em ocorrências observáveis do fenômeno em questão, identificar variáveis a serem observáveis do fenômeno em questão, identificar variáveis a serem controladas, medir o seu comportamento, analisar as medidas
controladas, medir o seu comportamento, analisar as medidas coletadas e concluir sobre a validade das hipóteses.
coletadas e concluir sobre a validade das hipóteses.
•• A regressão linear é uma A regressão linear é uma técnicatécnica estatística bastante usada para estatística bastante usada para analisar dados coletados em testes de observação empíricas.
analisar dados coletados em testes de observação empíricas.
1.
1. O O rápido e rasteirorápido e rasteiro (que prima pela informalidade)(que prima pela informalidade) 2.
2. Os Os testes de usabilidadetestes de usabilidade (experimentos controlados em (experimentos controlados em laboratórios)
laboratórios) 3.
3. Os Os estudos em campoestudos em campo (que se realizam nos contextos naturais de (que se realizam nos contextos naturais de uso das tecnologias avaliadas e são mais difíceis de controlar e uso das tecnologias avaliadas e são mais difíceis de controlar e registrar do que os testes de usabilidade)
registrar do que os testes de usabilidade) 4.
4. A A avaliação preditivaavaliação preditiva (que se baseia em conhecimento heurístico (que se baseia em conhecimento heurístico ou teórico de um avaliador especializado)
ou teórico de um avaliador especializado)
•• É uma prática comum no É uma prática comum no designdesign de IHC.de IHC.
•• Os Os designersdesigners pedem apreciações informais do que fizeram ou estão pedem apreciações informais do que fizeram ou estão fazendo a:
fazendo a:
–– pessoas que tenham maior conhecimento sobre usabilidade, ou pessoas que tenham maior conhecimento sobre usabilidade, ou
–– pessoas sejam destinatárias da tecnologia que está sendo produzida.pessoas sejam destinatárias da tecnologia que está sendo produzida.
•• São avaliações literalmente São avaliações literalmente rápidas rápidas e e rasteirasrasteiras, que podem se , que podem se repetir em vários pontos do ciclo de desenvolvimento.
repetir em vários pontos do ciclo de desenvolvimento.
•• A idéia é que a avaliação ofereça o A idéia é que a avaliação ofereça o feedbackfeedback mais imediato mais imediato
•• Testes de usabilidade têm Testes de usabilidade têm de envolver usuários (reais de envolver usuários (reais ou potenciais) e um
ou potenciais) e um
registro de sua atuação.
registro de sua atuação.
•• Podem ser feitos em Podem ser feitos em
laboratório ou em campo laboratório ou em campo (ver próximo paradigma).
(ver próximo paradigma).
•• Os participantes (usuários) Os participantes (usuários) devem realizar certas
devem realizar certas atividades controladas atividades controladas (tarefas), o que permite (tarefas), o que permite avaliar o seu desempenho.
avaliar o seu desempenho.
Testes de Usabilidade (2/2) Testes de Usabilidade (2/2)
•• Os registros podem capturar uma ampla gama do comportamento do Os registros podem capturar uma ampla gama do comportamento do usuário: vídeo do usuário+ tecnologia,
usuário: vídeo do usuário+ tecnologia, loglog da interação na interface da interação na interface (movimentos mouse, cursor, teclas apertadas, etc.), áudio de
(movimentos mouse, cursor, teclas apertadas, etc.), áudio de
comentários ou interjeições do usuário, e até mesmo certos sinais comentários ou interjeições do usuário, e até mesmo certos sinais sensório
sensório--motores (direção do olhar, tensão muscular, etc.).motores (direção do olhar, tensão muscular, etc.).
•• Os registros podem ser usados para prever e explicar certas Os registros podem ser usados para prever e explicar certas ocorrências de desempenho, bem como para ajudar a corrigir e ocorrências de desempenho, bem como para ajudar a corrigir e prevenir erros de interação.
prevenir erros de interação.
•• Através de entrevistas e questionários podeAtravés de entrevistas e questionários pode--se descobrir o grau de se descobrir o grau de satisfação dos participantes, bem como outros aspectos psicológicos.
satisfação dos participantes, bem como outros aspectos psicológicos.
•• Os estudos de campo, ao contrário dos testes de usabilidade, são Os estudos de campo, ao contrário dos testes de usabilidade, são feitos
feitos exclusivamente no ambiente “natural” dos exclusivamente no ambiente “natural” dos usuários/participantes.
usuários/participantes.
•• O objetivo destes estudos é observar O objetivo destes estudos é observar sem qualquer interferênciasem qualquer interferência (sem propor tarefas específicas) como as pessoas usam e se
(sem propor tarefas específicas) como as pessoas usam e se relacionam com artefatos tecnológicos.
relacionam com artefatos tecnológicos.
•• Tais estudos são bons para:Tais estudos são bons para:
–– Prospectar a introdução de novas tecnologiasProspectar a introdução de novas tecnologias –– Determinar requisitos de projetoDeterminar requisitos de projeto
–– Decidir estratégias para promover a adoção de tecnologiasDecidir estratégias para promover a adoção de tecnologias –– Descobrir como uma tecnologia é Descobrir como uma tecnologia é de fatode fato usadausada
•• EspecialistasEspecialistas utilizam o conhecimento utilizam o conhecimento que já têmque já têm sobre usuários e sobre usuários e situações típicas de uso de uma série de tecnologias para
situações típicas de uso de uma série de tecnologias para preverprever o o efeito de determinado produto ou tecnologia sobre os seus
efeito de determinado produto ou tecnologia sobre os seus usuários.
usuários.
–– Note que não é preciso envolver os usuários! Na maioria dos Note que não é preciso envolver os usuários! Na maioria dos casos, um especialista
casos, um especialista advogaadvoga em nome dos usuários, indicando o em nome dos usuários, indicando o que os usuários
que os usuários achariamachariam ou ou fariamfariam da tecnologia.da tecnologia.
•• Outra alternativa é utilizar Outra alternativa é utilizar modelosmodelos para guiar uma inspeção da para guiar uma inspeção da tecnologia e prever a ocorrência de problemas.
tecnologia e prever a ocorrência de problemas.
•• As avaliações neste paradigma são atraentes em termos de custo.As avaliações neste paradigma são atraentes em termos de custo.
• Escolha uma aplicação e defina uma tarefa a ser executada. Em seguida:
1. Faça uma lista do que você acha que são “itens a avaliar”.
2. Identifique na sua lista o que é: “subjetivo” e “objetivo”
3. Identifique na sua lista o que, como visto em aulas anteriores, é relativo a:
– Interface/ Interação
– Usabilidade / Acessibilidade / Comunicabilidade
Livro
Livro –– capítulocapítulo 99
BARBOSA, S.D.J.; SILVA, B.S. Interação Humano
BARBOSA, S.D.J.; SILVA, B.S. Interação Humano--Computador. Computador.
Editora Campus
Editora Campus--ElsevierElsevier, 2010., 2010.
