No segundo experimento foram utilizados protocolos com foco numa abordagem qualitativa com o objetivo de avaliar a experiência de uso do dispositivo e de desem- penho baseado no desenvolvimento de tarefas, seguindo a metodologia mais utilizada nos trabalhos estudados até agora, a usabilidade. Os testes consistiram em um con- junto de tarefas, utilizando o IOM e o dispositivo mais comum para estas atividades usualmente, o mouse (RODRIGUES et al., 2016).
Foi aplicado um roteiro de tarefas predefinidas que consistiam na interação do usuário com alguns elementos gráficos dispostos na interface de usuário. Para tanto optou-se pelo uso do sistema operacional Microsoft Windows 10, que é o mais utilizada pela maioria dos usuários.
Esse roteiro era explicado aos usuários no momento do desenvolvimento das ta- refas, sendo que ao completar uma era revelado o próximo passo. Foi contabilizado o tempo de execução de cada tarefa, e os cliques errados e também a gravação da execução dessas tarefas.
As tarefas predefinidas solicitadas aos usuários: (1) clicar e abrir gerenciador de arquivos; (2) clicar no ícone para maximizar a janela; (3) efetuar uma rolagem (rolagem até o fim da tela); (4) clicar num ícone (abrir arquivo em formato .doc); (5) clicar num
77
Tabela 11 – Método de Avaliação por Observação e Entrevista Focalizada
Método Observação e Entrevista Não estruturada
Propósito Pode ser utilizado tanto para avaliar, de forma empírica, a usabilidade, a experiência de usuário e/ou acessibilidade, considerando tanto aspectos de qualidade pragmática (relacionadas a usabilidade) quanto aspectos de qualidade hedônica (relacionados a ex- periência de uso) da solução avaliada.
Processo - Elaboração das questões de pesquisa; - Organização do ambiente, se controlado ou em ambiente familiar; – Explicações iniciais e agradecimentos pela participação; – Tempo para exploração inicial; – Execução de tarefas, escolhidas pelo usuário; – Observação dos usuários; - o avaliador deixa o entrevistado descrever livremente sua experiência pessoal; – Coleta de dados; – Análise dos dados; – Conclusões e relatos das descober- tas.
Envolvidos (Público alvo) A recomendação é que sejam envolvidos o público final do produto
Avaliadores Recomenda-se que sejam peritos em avaliação, pesquisadores em avaliação, que pos- sam observar todos os aspectos envolvidos
Tempo de Planejamento Requer um planejamento detalhado de todos os detalhes que necessitam ser registra- dos, ferramentas envolvidas, organização de ambiente adequado, seleção dos usuários envolvidos
Coleta de Dados Uma combinação de registros em vídeo, áudio, papel, logs de interação e diários pode ser utilizados para coletar os dados das observações.
Análise dos Dados Análise de conteúdo, de sinais vitais, do percurso do usuário, de expressões faciais, de esforço e qualquer outro aspecto sob ponto de vista do observador.
Infraestrutura Necessária Usuários podem ser observados em condições controladas de laboratório ou em ambi- entes naturais (estudos de campo).
Instrumentos Ferramentas para a captação dos dados;
Pontos Positivos (+) Avaliação bastante abrangente, podendo detectar problemas de usabilidade (heurís- ticas de Nielsen por exemplo), pode se elencar soluções junto com os usuários finais. (+) Capacidade de obtenção de mais dados qualitativos que quantitativos. (+) liberdade na construção das questões, já que não possui um script ou formulário pronto.
Pontos Negativos (-) Requer maior tempo de execução e planejamento; (-) Requer maior tempo na coleta de dados; (-) Requer maior tempo na análise dos dados; (-) Necessita-se de um avaliador qualificado em termos de avaliação para a decodificação das ações e percepção aguçada em avaliação; (-) Maior complexidade ao realizar uma análise de conteúdo, analisar logs de vídeo e dados, em razão do grande volume de dados. (-) Os avaliadores marcam os eventos em tempo real e os analisam com detalhes posteriormente.
Relação com os Conceitos Fundamentais de IHC
Interação Toda interação é analisada por observação, verbalização, anotação de aspectos impor- tantes. Fica sob responsabilidade do avaliador.
Interface Essas entrevistas são de comunicação natural, fornecem informações relevantes de acordo com os objetivos da pesquisa, o tempo e os recursos disponíveis para a sua realização. Mas se houverem problemas na interface é necessário que seja registrado pelo observador, pois não é rastreável se não existir um bom registro.
Affordance O avaliador pode observar se a funcionalidade do produto ou interface é facilmente per- cebido pelos participantes do experimento. Embora também fica na responsabilidade do avaliador.
ícone (mudar aba de ferramentas); (6) Clicar e fechar o programa; (7) clicar e abrir menu do gerenciador de arquivos; e (8) clicar e fechar gerenciador de arquivos;
Após a execução das tarefas, um questionário com questões relativas a satisfação e experiência de usuário foi aplicado, conforme Apêndice C.
Um total de 9 voluntários, 3 mulheres e 6 homens de faixa etária entre 18 e 45 anos, foram recrutados no IFSul - campus Pelotas para desenvolver os testes plane- jados e que foram aplicados entre os dias 25 e 27 de novembro de 2015 (Figura 12). Todos eram estudantes e nunca haviam utilizado nenhum dispositivo ou software ba- seado em movimentos dos olhos e de cabeça no controle do cursor na IGU. Desses usuários 44% utilizava óculos, seja de modo contínuo ou como acessório para prote- ção solar ou leitura e 78% utilizava o mouse como principal ferramenta de interação com o computador, no que tange o controle do cursor e uso do clique.
Figura 12 – Segundo experimento sendo registrado para análises posteriores. Fonte: autor
Como resultados das análises, em termos gerais a média de tempo para desenvol- vimento das tarefas usando o mouse comum representa em torno de 17% do tempo que levaria executando com o IOM.
Apesar de, comparativamente, temos o mouse como dispositivo que possibilitou maior agilidade (menor tempo de execução de tarefas) e menor taxa de erros no con- texto desse experimento, a maioria dos usuários indicou uma experiência de uso sa- tisfatória com o IOM com relação ao mouse, para avaliamos a experiência de usuário,
utilizamos a ferramenta AttrakDiffTM (HASSENZAHL; BURMESTER; KOLLER, 2003).
Nessa perspectiva de avaliar a experiência de usuário, o AttrakDiffTM é um instru-
mento para medir a atratividade de produtos interativos e a relação dos mesmos. Ele utiliza de pares de adjetivos opostos para que os usuários (ou potenciais usuários) possam identificar a sua percepção do produto. Os adjetivos representam uma co- leção de quatro possíveis dimensões para avaliação (identificados na Figura 13 (b)). São elas:
79
Figura 13 – (a) Propriedade de qualidade hedônica do IOM conforme o AttrakDiff deste experimento. (b) Resumo das quatro dimensões para a avaliação do IOM no AttrakDiff. Fonte:(RODRIGUES et al., 2016)
• Qualidade pragmática (PQ): Descreve a usabilidade de um produto e indica como os usuários alcançam seus objetivos ao usar o produto.
• Qualidade hedônica - Estimulação (HQ-S): Essa dimensão explora o potencial evolutivo do produto. Em outras palavras indica até que ponto o produto pode suportar as necessidades de usuário em termos de inovação, interesse e fun- ções estimulantes, conteúdo e estilos de Interação e apresentação.
• Qualidade hedônica - Identidade (HQ-I): Essa dimensão indica até que ponto o produto permite ao usuário se identificar com ele.
• Atratividade (ATT): É uma medida que representa através de um valor global a qualidade do produto percebida pelo usuário. É importante ressaltar que a quali- dade hedônica e pragmática são dimensões independentes e ambas contribuem para a medida de atratividade.
Os usuários avaliam os diferenciais semânticos utilizando uma escala de sete pon- tos (-3 a +3), na qual valores negativos correspondem a adjetivos que desfavorecem a UX e valores positivos, a adjetivos que favorecem a UX. Para cada diferencial semân- tico calcula-se a média aritmética dos valores atribuídos pelos usuários. Em seguida, calculam-se as médias dos sete itens de cada uma das quatro categorias de diferen- cial semântico.
Todas as palavras foram avaliadas de modo positivo - exceto no par barato – caro. Este par provavelmente obteve essa média, mesmo que o IOM ainda não seja um produto industrializado, mas como é um óculos em sua essência, os usuários respon- deram com muita tranquilidade, pois a tendência é que ele seja um produto de baixo custo.
Percebe-se através destes dados que o dispositivo foi bem avaliado na perspec- tiva do usuário final. Destacando-se características desejáveis como criatividade e inovação, nos critérios relacionados à dimensão de qualidade hedônica, e bom, nos critérios de atratividade.
A Tabela 12 sumariza as propriedades do método utilizado nesta avaliação.