O experimento foi conduzido com o objetivo de avaliar as métricas de desempenho do dispositivo IOM, como uma possível TA para interação com o computador, e apren- der através da experimentação os métodos de avaliação vistos na literatura. Para que tivéssemos um parâmetro de comparação, foram utilizados os valores e métricas apre- sentados na avaliação feita por (KURAUCHI et al., 2015), utilizando um head tracker, dispositivo controlado por sensores anexados a cabeça, através de um suporte, um eye tracker, dispositivo controlado pelo rastreamento do olhar através de câmeras, e o software câmera mouse (BETKE; GIPS; FLEMING, 2002) em conjunto.
Um total de 10 voluntários, 4 mulheres e 6 homens de faixa etária entre 18 e 35 anos, sem nenhuma deficiência motora, foram recrutados no IFSul - campus Pelotas, para desenvolver os testes planejados, os quais foram aplicados entre os dias 25 e 28 de julho de 2016. Oito deles eram estudantes e nunca haviam utilizado nenhum dispositivo ou software baseado em movimentos dos olhos e de cabeça no controle do ponteiro do mouse na interface gráfica de usuário. Desses usuários, metade usava óculos, seja de modo contínuo ou como acessório para proteção solar ou leitura e todos eles utilizam o mouse como principal ferramenta de interação com o computador, no que se refere ao controle do cursor e uso do clique.
O experimento envolveu tarefas cotidianas de apontar e selecionar, que são mé- tricas para verificar o desempenho de uma interface de computador de acordo com paradigma da lei de Fitt (MACKENZIE, 2011), seguindo o protocolo disponível em (MACKENZIE, 2016). A atividade foi proposta utilizando o dispositivo IOM e também utilizando o mouse padrão, para que fosse possível inicialmente traçar uma compa- ração com relação a performance, a partir de um protocolo específico para avaliar dispositivos apontadores.
A interface é demonstrada na Figura 14 (a). Foram utilizados 13 alvos circulares, organizados em um círculo no centro da tela. Duas distâncias entre os círculos (300 e 500 pixels, aproximadamente 12 e 20 cm) e duas medidas de diâmetro do círculo (30 e 60 pixels, aproximadamente 1,5 e 3 cm) foram testadas, abrangendo quatro combinações, com 13 trilhas em cada combinação.
81
Tabela 12 – Método de Avaliação utilizando o instrumento Attrakdiff
Método Avaliação de Atratividade através da Qualidade Hedônica e Pragmática através do instrumento Attrakdiff
Referência (HASSENZAHL; BURMESTER; KOLLER, 2003)
Propósito Avaliar atratividade de um produto interativo, considerando tanto aspectos de qualidade pragmá- tica (relacionadas a usabilidade) quanto aspectos de qualidade hedônica (relacionados a experi- ência de uso) da solução avaliada.
Processo (1) Definição do produto interativo que será avaliado; (2) Elaboração de script de atividades que serão realizada pelos usuários; (3) Criação do questionário na ferramenta online Attrakdiff; (4) Organização e configuração da infraestrutura de teste; (5) Explicação da avaliação realizada e componentes envolvidos; (6) Desenvolvimento de tarefas, descritas roteiro previamente definido, pelo usuário; (7) Solicitação que o usuário preencha o questionário Attrakdiff; (8) Finalização e análise dos resultados após o preenchimento dos dados por todos usuários.
Envolvidos
(Público alvo) O público alvo não é Universal. O questionário é disponibilizado online, sendo necessário adapta-ções para pessoas com limitações físicas, tais como cegos ou pessoas com mobilidade reduzidas nos membros superiores. É preciso que o público alvo seja alfabetizado para ler e compreender os termos utilizados no questionário. Além disso, o questionário atualmente está oficialmente disponível apenas em alemão e inglês, necessitando traduções (nem sempre fidedignas) para outras línguas.
Avaliadores Dependente do tipo de aplicação que será avaliada. Idealmente os avaliadores devem ter conhe- cimento tanto do produto testado (para percepção de problemas de usabilidade ou UX), quanto do Attrakdiff (para esclarecimento de dúvidas ao longo da avaliação, em especial no que diz respeito a compreensão do contexto do adjetivos).
Tempo de Planeja-
mento O tempo de planejamento para utilização da ferramenta é relativamente curto (alguns minutos).Basta a criação de uma conta e posterior criação do projeto, preenchendo poucas informações a respeito do produto que será analisado, na ferramenta online disponibilizada.
Tempo de Execu-
ção Após realizado o teste, ocorre o preenchimento do questionário. Além de algumas informaçõesbásicas que devem ser inseridas, o preenchimento leva algum tempo, já que 28 pares de adjetivos opostos devem ser analisados e pontuados pelos usuários. Além de longo, alguns dos adjetivos utilizados são relativamente similares e causam uma certa confusão nos usuários, tomando um tempo considerável para serem ponderados.
Coleta de Dados Após realizados todos os testes, o questionário é finalizado gerando gráficos (três na versão gratuita) que denotam o grau de atratividade do produto avaliado, na ferramenta online.
Análise dos Dados Utiliza uma pontuação que se baseia nos valores definidos pelos usuários para cada um dos 28 pares de adjetivos opostos analisados em uma escala com diferencial semântico de 7 pontos (variando de -3 a 3, sendo zero o ponto neutro). 7 pares de palavras se referem a qualidade pragmática (PQ), 14 a qualidade hedônica (7 HQ focada em identidade e 7 HQ focada em es- tímulo) e mais 7 relacionadas diretamente a atratividade da solução. A partir destes valores 3 gráficos são gerados na versão gratuita:
Representação de portfólio da aplicação: apresenta uma relação entre as dimensões de qua- lidade hedônica com a qualidade pragmática, colocando o produto em um dos quadrantes no portfólio gerado.
Diagrama de valores médios: apresenta, de maneira geral, a pontuação das 4 dimensões anali- sadas.
Pares de Palavras: apresenta a pontuação média de cada par de adjetivos opostos analisados, agrupados em sua dimensão.
Tabela 13 – Método de Avaliação utilizando o instrumento Attakdiff. (Cont.)
Infraestrutura Ne-
cessária (1) O produto interativo que será avaliado (devidamente configurado); (2) O avaliador (interlocu-tor); (3) O usuário que irá avaliar o produto; (4) Computador com acesso a internet para inserção dos resultados na ferramenta online.
Instrumentos Questionários Attrakdiff
Pontos Positivos (a) Mede a atratividade de produtos interativos e a sua relação com a experiência de uso; (b) Prático de se criar; (c) Simples de ser aplicado; (d) Possui uma versão gratuita que gera uma quantidade razoável de dados rapidamente.
Pontos Negativos Não identifica quais problemas de usabilidade o produto possui. Toma um tempo considerável para ser respondido. Alguns pares de palavras são confusos (ou muito parecidos) para inter- pretação dos usuários Ferramenta não contextualiza os pares de palavras dentro da dimensão analisada. Apenas versões validadas do questionário em inglês e alemão.
Relação com os Conceitos Fundamentais de IHC
Interação A ferramenta permite extrair, de forma objetiva, como o usuário se sentiu ao interagir com o produto, porém sendo um auto-relato, esta reposta se restringe aos sentimentos pontuais do final da interação.
Interface A ferramenta permite avaliar atratividade do produto, e da interação do usuário com o mesmo. Permite verificar o que o usuário pensa a respeito do produto especialmente em termos de in- teração. Não permite identificar claramente os problemas de usabilidade, mas indica se existem ou não problemas neste quesito.
Affordance Dificuldade de detecção do affordance da aplicação. Pois o instrumento foca na captação das impressões de uso do que no objeto.
Aspecto de Quali-
dade Usabilidade e Experiência de usuário
o ponteiro e o clique padrão (botão esquerdo) era efetuado após o ponteiro ficar parado sobre o alvo por determinado período de tempo. Assim que o usuário selecionasse o alvo determinado (efetuasse o clique por tempo), um outro ficava em vermelho para que pudesse ser atingido. Se o clique ocorresse fora do alvo em destaque, o erro seria contado e o experimento continuaria normalmente.
Durante o experimento os participantes escolheram a posição mais confortável, aproximadamente 50 cm de distância do monitor. A duração de tempo para o clique, no IOM, foi configurada em 2 segundos (para evitar cliques involuntários).
Para a métrica quantitativa, foi computado a velocidade de movimento como D/(TS - 2 s), onde D é a distância entre a posição inicial e final de uma sequência de movi- mento, e o TS é tempo em segundos que o ponteiro levava de um ponto que estava até o alvo em destaque. O tempo de 2 segundos para efetivar o clique foi desconsiderado. Todas as métricas foram de acordo com MACKENZIE (2011).
Os valores demonstraram o que, empiricamente, já havíamos constatado, uma vez que o mouse é o dispositivo padrão como entrada de dados para movimento do pon- teiro, mas ainda sim são métricas que comprovam a eficiência do dispositivo IOM ava- liado. Importante salientar que quando os testes forem realizados com o público alvo, as pessoas com deficiência motora, deve-se compará-lo a uma outra ferramenta que eles já tenham tido acesso para o movimento do mouse, ou mesmo aqueles que não
83
Figura 14 – (a) Médias das velocidades dos movimentos sobre as trilhas em cada ex- perimento, para os três dispositivos e também as médias do IOM. Fonte: (RODRIGUES et al., 2016). (b) protocolo utilizado no experimento. De acordo com a Lei de Fitt. Fonte: (MACKENZIE, 2011)
tinham ao seu alcance nenhum aparato de comunicação, será uma porta de entrada para o mundo digital, possibilitando sua inclusão digital.
Mesmo que a velocidade do IOM tenha sido inferior aos dispositivos analisados em KURAUCHI et al. (2015), a precisão (acurácia) apresentada nos testes pelo IOM foi de 0%. E através do gráfico ilustrado na Figura 14 percebe-se que o desvio padrão, a variância de médias de velocidade, foi pequeno em relação aos outros dispositivos, para usuários que nunca antes haviam experimentado o dispositivo, tiveram todos neste grupo uma aproximação bem visível no quesito de tempo de execução das ta- refas. Não há dados que comprovem que está é uma característica positiva ou não, mas precisam ser feitos mais testes, inclusive comparando este gráfico com o pró- prio mouse, para identificar se esta análise não está relacionada com a facilidade ou dificuldade na aprendizagem de utilização do IOM.