Execução do Framework IDEA

7.5.4.1 Incluir Aspectos Humanos Representativos

O experimento executado envolveu 5 participantes, representantes do público alvo da aplicação, todos com mais de 60 anos, sendo 3 mulheres e 2 homens. Este número de usuários, selecionados para testar o aplicativo, é baseado na teoria que afirma que os melhores resultados vêm do teste de não mais que 5 usuários executando tantos pequenos testes quanto possível (NIELSEN; LANDAUER, 1993).

A respeito de experiências anteriores vividas por estes usuários, todos eles rela- taram utilizar o computador diariamente tanto em casa quanto em seus ambientes de trabalho, interagindo com seus dispositivos computacionais através de instrumentos de interação convencionais, como mouse, mousepad e teclado. Todos os usuários possuíam habilidades de movimentos de cabeça preservados. Além disso, outro dado relevante, é que nenhum deles utilizou o dispositivo IOM ou as aplicações +TV4E ou IOM4TV anteriormente.

7.5.4.2 Desempenhar Múltiplas Sessões

Foram realizadas duas sessões de avaliação para uma melhor análise dos resulta- dos. A primeira sessão foi realizada em um laboratório da Universidade e a segunda foi organizada com o auxílio de um terapeuta ocupacional e realizada em um ambiente similar a uma sala de estar.

7.5.4.3 Escolher Ambiente

Na primeira seção o ambiente foi configurado em um laboratório da Universidade e as mesas estavam dispostas como uma sala de aula, sem nenhum conforto além do padrão, para que se pudesse ter uma referência. A Figura 25 ilustra a sessão realizada em laboratório.

Sala de estar e tv

A organização para a segunda seção contou com a orientação de um profissional terapeuta ocupacional, um ambiente de sala de estar foi cuidadosamente preparado, com todos os móveis padrão encontrados em um ambiente intimista, um sofá, estante, objetos de decoração, tapete, mesa de centro e a TV disposta em posição dois me- tros distante do sofá. Uma pequena estante de livros e quadros na parede, além da preparação de temperatura ambiente, tudo conforme uma sala aconchegante de TV.

A configuração do teste permaneceu a mesma, nenhuma alteração em termos de hardware e software foram realizados. A única diferença, além do ambiente, era o fato dos participantes já terem experimentado a utilização do IOM e o IOM4TV. A Figura 26 ilustra a sessão realizada em ambiente configurado como uma sala de estar.

111

Figura 25 – Primeira sessão de avaliação do IOM4TV realizada em laboratório. 7.5.4.4 Analisar Qualitativamente os Resultados

O instrumento SAM é projetado para coletar informações sobre sentimentos sub- jetivos, baseando-se no pressuposto de que as emoções variam continuamente ao longo de algumas dimensões. Assim, uma primeira análise direta dos resultados obti- dos com este método, percebe-se que os participantes do experimento consideraram a solução muito satisfatória, conforme pode ser percebido na Figura 27.

Com relação ao aspecto de Satisfação, todos os participantes do teste, tanto no primeiro quanto na segunda seção de teste, responderam estar Satisfeitos no uso do IOM4TV, uma vez que todos selecionaram o nível máximo neste quesito de avaliação. Como o SAM é um instrumento de auto avaliação de aspectos emocionais, desta maneira vários fatores podem influenciar os usuários no preenchimento da escala. Assim, é preciso que os peritos analisem, durante a atividade proposta, nuances que ocorrem ao longo de cada avaliação. A avaliação muito positiva no quesito de Satis-

fação, neste caso, pode estar ligada a sensação de participação, utilidade e inserção

que os usuários sentiram ao participar desta rodada de teste, considerando que as pessoas idosas ficam mais carentes de atenção e afeto, o simples fato de serem in- cluídas em alguma atividade diferenciada, faz com que possam ocorrer interferências nos testes, necessitando de outras ferramentas que corroborem estes resultados.

Já o aspecto de Excitação indica que os usuários ficaram ansiosos no primeiro experimento, agitados e este quesito pode representar a novidade da interação, já que nenhum dos participantes havia utilizado o movimento da cabeça para interagir e nem conheciam o IOM, as respostas estão representadas na cor laranja da Figura 27. Porém, o mesmo aspecto de Excitação no segundo experimento obteve resultados

Figura 26 – Segunda sessão de avaliação do IOM4TV realizada em ambiente configu- rado como sala de estar.

Figura 27 – Resultados da aplicação do SAM. Em laranja as respostas do primeiro experimento, e em verde as respostas do segundo experimento. Fonte: CARDOSO et al. (2018, 2019)

completamente opostos aos do primeiro, evidenciando que os participantes estavam mais calmos e tranquilos na realização do teste e na utilização do dispositivo, que já não era considerado novo para eles.

Com relação ao domínio de Controle, foi percebido que os usuários não se sen- tiam completamente no controle da utilização do novo dispositivo. Isso foi refletido mais claramente na escala que media este aspecto, já que um usuário relatou não sentir domínio sobre a situação e dois marcaram como neutro este aspecto da inte- ração. Neste ponto os usuários tentavam justificar isso, relatando que nunca tinham utilizado outro dispositivo para interação que não fosse teclado, mouse ou controles remotos.

113

recem destaque, uma vez que se comprovou que os participantes já estavam mais seguros quanto ao novo dispositivo de interação.

Na segunda sessão apesar do ambiente de teste ser completamente diferente, a configuração do IOM4TV foi exatamente a mesma, e os participantes afirmaram estar familiarizados com a utilização do IOM. Os resultados se apresentaram comple- tamente diferente no que tange os domínios de Excitação e Controle.

Como se pode observar na Figura 28 as respostas sobre o nível de Excitação e

Satisfação todas estão situadas em quadrante oposto no gráfico, do lado direito temos

um nível alto de satisfação porém com níveis de excitação máximos, indicando um estado alterado, agitado, em todos os participantes, já no lado esquerdo temos ainda níveis altos de satisfação e também de excitação, indicando um estado desejável, estado de tranquilidade e domínio da situação. A Tabela 17 sumariza as propriedades do método utilizado nesta avaliação.

Figura 28 – Gráfico resultante aplicação do SAM. No lado direito, em laranja, está a concentração de respostas do primeiro experimento. No lado esquerdo do gráfico, em verde, estão as respostas do segundo experimento. Fonte: CARDOSO et al. (2018, 2019)

Para avaliamos a experiência de usuário, utilizamos a ferramenta AttrakDiffTM

(HASSENZAHL; BURMESTER; KOLLER, 2003). Os usuários avaliam os diferenciais semânticos utilizando uma escala de sete pontos (-3 a +3), na qual valores negativos correspondem a adjetivos que desfavorecem a UX e valores positivos, a adjetivos que favorecem a UX. Para cada diferencial semântico calcula-se a média aritmética dos valores atribuídos pelos usuários. Em seguida, calculam-se as médias dos sete itens de cada uma das quatro categorias de diferencial semântico.

O AttrakDiff gera gráficos diferentes, considerando os resultados do questionário. O primeiro é a representação de portfólio, que consiste em dois eixos: o vertical repre- sentando a qualidade hedônica (QH); e o eixo horizontal, refletindo a qualidade prag-

Tabela 17 – Método de Avaliação de Aspectos Emocionais utilizando o instrumento SAM

Método SAM Self-Assessment Manikin (BRADLEY; LANG, 1994)

Propósito Avaliação de aspectos emocionais em domínios específicos: Valência, motivação (excitação) e sentimento de controle.

Processo (1) Os avaliadores precisam definir o domínio a ser avaliado. (2) Configuração da infraestrutura de teste Seleção do público alvo (3) Explicação da avaliação realizada e componentes envolvi- dos; (4) Preenchimento do TCLE para a utilização dos dados (5) Tempo para experimentação; (6) Execução das atividades. (7) Usuário preenche um formulário iconográfico que melhor repre- senta sua emoção (self-assessment). (8) Análise dos Resultados

Envolvidos

(Público alvo) Por se tratar de um instrumento de avaliação iconográfico, que não demanda leitura, mostrando-se adequado a muitos perfis de usuários e línguas, pois não é necessária uma tradução. Pode ser executado na interface gráfica, como também em papel e necessita de adaptações para o público com deficiência visual.

Avaliadores Como regra geral, os avaliadores devem ter conhecimento tanto do produto testado (para per- cepção de problemas de usabilidade ou UX), quanto do SAM (para esclarecimento de dúvidas ao longo da avaliação, em especial no que diz respeito a compreensão dos elementos iconográ- ficos). Mas isto dependerá do produto que se quer avaliar e é necessário se estudar os tipos de ruídos que isto pode ocasionar. Por exemplo, quando se lida com um público alvo como as pessoas idosas, é presumível que a taxa de satisfação e prazer seja alta, independente da apli- cação, sendo necessária uma calibração antes ou um perfil de avaliador com mínima interação possível.

Tempo de Planeja-

mento Sabendo que é o aspecto emocional que se quer avaliar, necessita-se de tempo mínimo (relativoàs tarefas e objetivos do teste) para : Organizar a infra-estrutura; Organizar as tarefas impor- tantes a serem realizadas; Decidir quantos serão os domínios a serem questionados; Quantos elementos da interface se quer avaliar, ou qual o produto que se quer avaliar; Organizar a cali- bração do teste; Refletir sobre os ruídos ou problemas poderão ocorrer; Elaborar o TCLE (Termo de Consentimento Livre e Esclarecido);

Tempo de Execu-

ção Após realizado o teste, ocorre o preenchimento do instrumento SAM. O preenchimento é bastanterápido, já que são três domínios no máximo a ser avaliados.

Coleta de Dados Instrumento de avaliação estilo questionário SAM. No documento original não existe recomen- dações de outras coletas de dados. Porém em trabalhos que utilizam o SAM recomendam que múltiplas entradas fornecem maior confiabilidade nos resultados.

Análise dos Dados Quantitativa: faz a média e identifica em qual quadrante do espaço emocional definido por Sche- rer esta média se enquadra (1-4 : negativa; 5 : neutra; 6-8 positiva)

Infraestrutura Decidir o local dos testes, a interface, ou produto, a ser avaliada, o avaliador (interlocutor), o usuário que irá avaliar o sistema, o TCLE e o questionário SAM com os domínios necessários.

Aspectos Positi-

vos Quantificar e inferir emoções dos usuários; Fácil compreensão dos elementos iconográficos doinstrumento; Pode ser aplicada em IGU ou em papel.

Relação com os Conceitos Fundamentais de IHC

Interação A ferramenta permite extrair, de forma objetiva, como o usuário se sentiu ao interagir com o produto, porém sendo um auto-relato, esta reposta se restringe aos sentimentos pontuais do final da interação.

Interface A ferramenta permite avaliar satisfação do usuário ao interagir com produto, se a experiência foi positiva e se sentiu no controle da situação. Não permite identificar os problemas de usabilidade, nem se existem ou não problemas neste quesito. Porém pode sugerir que existem problemas dado o resultado do score de satisfação.

Affordance Dificuldade de detecção do affordance da aplicação.

Aspecto de Quali-

115

mática (QP) do aplicativo. Dependendo dos valores alcançados, a solução é enqua- drada em um ou mais dos seguintes quadrantes: muito auto-orientado, auto-orientado, desejado, neutro, orientado a tarefas, supérfluo e muito orientado a tarefas. Outro fator que deve ser observado neste gráfico é o retângulo de confiança, que representa a precisão dos resultados obtidos. Quanto menor o tamanho desse retângulo, maior a confiabilidade dos resultados obtidos. A Figura 29 (a) apresenta este gráfico, gerado para as duas rodadas de teste.

Testing round 1 (n=5) PQ: 1,91 Confidence: 0,30 HQ: 2,19 Confidence: 0,31 Testing round 2 (n=5) PQ: 2,43 Confidence: 0,22 HQ: 2,51 Confidence: 0,17 desired neutral superfluous self- oriented tasks- oriented to task- oriented too self- oriented Pragmatic Quality (PQ) Hedonic Quality (HQ) Testing round 2 (n=5) Testing round 1 (n=5)

Figura 29 – Gráficos gerados pela ferramenta AttrakDiff para a primeira e segunda rodada de testes. (a) Representação de Portfólio; (b) Descrição dos pares de palavras. Fonte: CARDOSO et al. (2018, 2019)

Os resultados da primeira avaliação mostram que os escores de QP e QH obtidos foram 1,91 e 2,19, respectivamente. A segunda avaliação obteve um resultado ainda melhor, com pontuação de 2,43 e 2,51 pontos. Observada a relação entre essas dimensões, é possível notar que, na primeira sessão, o retângulo de confiança está localizado no quadrante "desejado", possuindo um tamanho razoavelmente pequeno. Esse tamanho atesta a confiabilidade dos resultados, de acordo com a ferramenta de avaliação. Comparando os resultados alcançados nas duas rodadas, é notável uma melhora na segunda sessão de avaliação. Além de o retângulo de confiança estar mais próximo do ponto desejado no gráfico do quadrante, seu tamanho diminuiu na segunda rodada de testes, indicando resultados mais precisos.

O segundo gráfico criado pelo AttrakDiff destaca as pontuações atribuídas aos pa- res de adjetivos opostos. Como pode ser visto na Figura 29 (b), exceto no par de palavras barata/cara (cheap/premium), todas as outras palavras foram avaliadas posi- tivamente na primeira rodada de testes. Seguindo a tendência destacada no gráfico Portfólio, os resultados do par de palavras mostraram melhorias na segunda rodada de avaliação. No entanto, os mesmos pares de palavras-chave com pontuações mais bai- xas foram classificados como neutros/negativos novamente. O par de diferencial se- mântico cheap-premium provavelmente alcançou esse resultado porque é difícil para os usuários monetizar o valor final da solução proposta, uma vez que envolve várias tecnologias que eles não conhecem o custo. Por outro lado, o par de adjetivos opostos "técnico-humano" foi avaliado dessa maneira, pois causou uma sensação dúbia nos usuários. Uma vez que o aplicativo analisado se refere a algo técnico ou tecnológico, mas que visa humanizar o uso da tecnologia.

No entanto, apesar desses dois pares de palavras avaliados quase neutros, os resultados extraídos desses dados permitem avaliar positivamente a solução desen- volvida, na perspectiva dos participantes do processo de avaliação. Recursos positi- vos como prático, inventivo, criativo, agradável e bom foram enfatizados nos critérios relacionados à atratividade do IOM4TV.

A Figura 30 apresenta o terceiro diagrama gerado pela ferramenta. O diagrama de valores médios distingue a QH entre aspectos de estímulo e identidade. Além disso, este diagrama também mostra a classificação de atratividade.

Testing round 1 (n=5) PQ: 1,91 HQ-I: 2,19 HQ-S: 2,46 ATT:2,63 Testing round 2 (n=5) PQ: 2,43 HQ-I: 2,49 HQ-S: 2,54 ATT:3,00

Figura 30 – Diagrama de valores médios gerados pela ferramenta AttrakDiff’s. Fonte: CARDOSO et al. (2018, 2019)

Os valores de QP descrevem a usabilidade do produto e indicam como os usuários atingem seus objetivos ao usá-lo. O gráfico sugere que houve uma ligeira melhora na avaliação do item, possivelmente está relacionado ao fato que os usuários já terem tido um primeiro contato com a forma proposta de interação. O valor HQ-I demonstra

117

o quanto o produto revisado permite que seus usuários se identifiquem com ele. Se- guindo a mesma tendência do QP, o gráfico mostra uma pequena melhoria em termos dessa avaliação de dimensão. Além da familiaridade com o IOM4TV, a questão do ambiente acolhedor influencia esse resultado. O valor do HQ-S explora o potencial do produto evolutivo, indicando em que medida o produto é estimulante para o usuário, atendendo às suas necessidades. Esses dados, que já tiveram uma avaliação positiva na primeira rodada de testes, mantiveram o mesmo nível. Por fim, a ATT ressalta que a impressão geral do produto é muito atraente, uma vez que atingiu o nível máximo de avaliação nessa escala durante a segunda sessão de avaliação.

Os resultados alcançados com o instrumento AttrakDiff corroboram os do SAM, apontando para melhorias, mesmo pequenas, na segunda avaliação. Esses núme- ros significam que os usuários se sentiram mais confiantes e seguros ao realizar o segundo experimento.

A pontuação alcançada na segunda sessão de testes teve melhorias nos dois mé- todos de avaliação, possivelmente motivadas por dois fatores principais:

1. Familiaridade: os usuários já estavam familiarizados com as ferramentas e o dis- positivo não convencional de iteração. Assim, o modo de operação do aplicativo era conhecido anteriormente, não representando um fator de impacto considerá- vel;

2. Ambiente de avaliação: o local onde os testes foram aplicados foi organizado para ficar o mais próximo possível de uma sala de estar real. Esse fator foi essencial para tornar os usuários mais confortáveis durante o processo de inte- ração com o IOM4TV.

As Tabelas 12 e 13, sumarizam as propriedades do método Attrakdiff utilizado nesta avaliação e também no experimento do Capítulo 5 na Seção 5.5.