Modelo de Avalia¸c˜ ao da Usabilidade para Model Driver

Um outro trabalho, desenvolvido por Fern´andez et al. (2012), mostrava o uso de uma abordagem emp´ırica para avalia¸c˜ao da usabilidade de sistema para Model Driven Develop-

2.7 Frameworks para Avalia¸c˜ao da Usabilidade 68

ment (MDD), ou, Desenvolvimento Baseado em Modelos (portuguˆes). Nesta abordagem, os autores realizaram testes de usabilidade em ferramentas de MDD utilizando uma s´erie de participantes com habilidade diferentes que realizaram atividades diferenciadas.

Neste experimentos os participantes foram classificados em 3 n´ıveis: Novatos, Inter- medi´arios e Especialistas. As hip´oteses dos trabalhos foram: os participantes realizariam suas atividades com eficiˆencia independente do n´ıvel de complexidade e; os participantes alcan¸cariam a solu¸c˜ao ´otima independente do n´ıvel do usu´ario e complexidade.

Os testes deste ambiente foram realizados utilizando a ferramenta Noldus, dispon´ıvel em (http://www.noldus.com), a fim de registrar imagens do usu´ario e de suas express˜oes faciais e identificar se as tarefas foram efetuadas por completo al´em do tempo para re- aliza¸c˜ao destas atividades. Para analisar as express˜oes faciais foram utilizados 16 emo- cards, cart˜oes que continham imagens de express˜oes faciais masculinas e femininas, ou seja, havia 8 imagens de express˜oes masculinas e 8 de express˜oes femininas. A Figura 12 apresenta uma adpata¸c˜ao do modelo de cart˜ao de express˜oes apresentado por Fern´andez et al. (2012).

Figura 12 – Modelo de Cart˜ao de emo¸c˜oes de Fern´andez et al. (2012)

Na Figura 12 ´e poss´ıvel perceber que as emo¸c˜oes foram classificadas em quadrantes, sendo os 2 superiores relacionados `as emo¸c˜oes nas quais as pessoas se apresentam mais ativas. Nos quadros inferiores, s˜ao consideradas as express˜oes classificadas como ”sonolen- tas”e por fim, as express˜oes neutras que se posicionam como um divisor dos quadrantes. De forma lateral, as emo¸c˜oes foram classificadas como ”Satisfat´orias”e ”Insatisfat´orias”. Com base neste conceito e nos n´umeros apresentados na Figura 12 as imagens faciais apresentadas nos quadrantes se referiam a:

2.7 Frameworks para Avalia¸c˜ao da Usabilidade 69

1. Atento e Rea¸c˜ao Neutra;

2. Atento e Rea¸c˜ao Satisfat´oria;

3. Exita¸c˜ao m´edia e Satisfat´oria;

4. Sonolˆencia e Satisfat´oria

5. Sonolˆencia e Rea¸c˜ao Neutra;

6. Sonolˆencia e Insatisfa¸c˜ao;

7. Exita¸c˜ao M´edia e Instatisfat´oria;

8. Atento e Insatisfa¸c˜ao.

No cart˜ao eram apresentadas figuras que representavam express˜oes masculinas e fe- mininas para cada quadrante e tipo de express˜ao disponibilizada.

Como resultado geral da avalia¸c˜ao da ferramenta, os autores conclu´ıram que o n´ıvel de complexidade versus o n´ıvel de qualifica¸c˜ao do participante afetou significativamente os valores dos resultados. Os usu´arios mais experientes demoraram mais para realizar as tarefas, por´em, realizaram as mesmo com maior completitude, enquanto usu´arios inter- medi´arios e novatos apresentaram taxas inferiores de conclus˜ao das tarefas. Para tarefas simples, a diferen¸ca ´e menor, entretanto, para tarefas complexas, a diferen¸ca ´e muito grande conforme mostram os gr´aficos da Figura 13.

Figura 13 – Resultados dos experimentos de Fern´andez et al. (2012)

Segundo Fern´andez et al. (2012), o aplicativo de monitoramento apoiou a coleta de dados que levaram a gera¸c˜ao dessas estat´ısticas.

2.7 Frameworks para Avalia¸c˜ao da Usabilidade 70

Em rela¸c˜ao `a analise de emo¸c˜oes, al´em da filmagem, os participantes receberam 1 emocard por tarefa e para cada atividade deveria apontar no emocard qual a rea¸c˜ao que melhor se adequava a opini˜ao dele. No final dos experimentos os resultados foram contados e agrupados por tarefa e express˜ao e gerou os gr´aficos apresentados na Figura 14.

Figura 14 – Resultados da an´alise de emo¸c˜oes de Fern´andez et al. (2012)

Como pode ser visualizado na Figura 14 para os trˆes n´ıveis de tarefas (simples, m´edio e completo) as rea¸c˜oes emocionais dos participantes ficaram no quadrante inferior o que indica uma maior ´ındice de tarefas que levaram a situa¸c˜oes de sonolˆencia. Entretanto, para tarefas simples os participantes se mostraram relaxados e de certa forma, satisfeitos, situa¸c˜ao contr´aria para tarefas m´edias e dif´ıceis nas quais os participantes se mostraram calmos, por´em insatisfeitos.

A abordagem utilizada permitiu a identifica¸c˜ao de problemas de usabilidade nas 18 tarefas executadas. Os problemas foram classificados de acordo com os Crit´erios Er- gonˆomicos: Condu¸c˜ao, Carga de Trabalho, Controle de Usu´ario, Adaptabilidade, Geren- ciamento de Erro, Consistˆencia e Significado de c´odigos. A Tabela 5 apresentada por Fern´andez et al. (2012) relaciona os problemas de usabilidade identificados e suas res- pectivas quantidades classificadas pela complexidades das tarefas nas quais os problemas foram encontrados.

Por fim, os avaliadores compararam os resultados da abordagem com os resultados obtidos separadamente por meio de uma inspe¸c˜ao utilizando os Crit´erios Ergonˆomicos. A abordagem permitiu identificar todos os defeitos encontrados pela inspe¸c˜ao com os Crit´erios Ergonˆomicos e em maior quantidade. Um percentual pequeno de defeitos foi encontrado somente pelos Crit´erios Ergonˆomicos ou somente pela abordagem, conforme mostra a Figura 15 tamb´em de Fern´andez et al. (2012).

2.7 Frameworks para Avalia¸c˜ao da Usabilidade 71

Crit´erio Simples M´edias Complexas

Condu¸c˜ao 5 3 2

Carga de Trabalho 2 2 0 Controle de Usu´ario 0 1 0 Adaptabilidade 2 1 0 Gerenciamento de Erros 2 4 1 Consistˆencia 2 2 0 Significado de c´odigos 2 2 1

Tabela 5 – Problemas identificados pela abordagem de Fern´andez et al. (2012)

Como resultado final, al´em de problemas identificados na ferramenta de MDD, o traba- lho apresenta a abordagem como eficiente e r´apida para apoiar testes de usabilidade nesta categoria de software. A utiliza¸c˜ao dos emocards e a forma como os mesmos permitiram classificar as emo¸c˜oes de todos os participantes (Novatos, Intermedi´arios e Experientes) em cada tarefa foi considerado pelos autores como o ponto forte desta t´ecnica de teste de usabilidade.

Figura 15 – Compara¸c˜ao dos resultados da abordagem de Fern´andez et al. (2012) com os Crit´erios Ergonˆomicos