Experimentos

Esta se¸c˜ao apresenta o experimentos realizados para valida¸c˜ao do ambiente de ava- lia¸c˜ao de usabilidade proposto, assim como a utiliza¸c˜ao das ferramentas ErgoSV e ErgoSV Analyzer para apoiar os testes. S˜ao apresentados e discutidos os resultados obtidos nos experimentos.

3.3.4.1 Coleta de Dados

Para valida¸c˜ao da ferramenta ErgoSV foram realizados 16 testes em 3 aplicativos diferentes utilizados por 12 participantes os quais 5 deles realizaram mais de um teste. A quantidade de testes efetuados em cada aplicativo ´e apresentada na Tabela 9.

Tabela 9 – Quantidade de testes por aplicativo Aplicativo Qtde. WCE 5 WPG 3 PEM 6 Testes Gerais 2 Total 16

De todos os testes realizados, 2 deles n˜ao utilizaram os recursos de imagens e fala em conjunto (teste completo) sendo 1 teste realizado somente com dados de fala devido a problema com o funcionamento de uma webcam e outro teste somente faciais com imagens

3.3 Valida¸c˜ao da Abordagem 117

devido a restri¸c˜oes de barulho no local realizado. Entretanto, ambos os testes utilizaram o recurso de registro de snapshots para apoia na identifica¸c˜ao de poss´ıveis interfaces com problemas. Os identificadores dos testes nesta pesquisa s˜ao: o teste n´umero 1 para o teste somente com dados de fala e o teste n´umero 11 para o teste somente com dados de imagem.

O tempo m´edio de cada teste foi de 12 minutos e ocorreram com certa facilidade j´a que os participantes n˜ao apresentaram dificuldades em utilizar os aplicativos. Acredita-se que o fato de todos os participantes terem o conhecimento b´asico em computa¸c˜ao e serem usu´arios comuns da Internet e de aplicativos diversos contribuiu para tal facilidade. A Tabela 10 apresenta a lista de testes realizados.

Tabela 10 – Lista de experimentos da abordagem

N Aplicativo Dura¸c˜ao Intervalo Face Intervalo Te- las

1 WCE 25 min. 1 segundo 1 segundo 2 WCE 13 min. 1 segundo 1 segundo 3 WCE 13 min. 1 segundo 1 segundo 4 WCE 10 min. 1 segundo 1 segundos 5 WCE 10 min. 2 segundos 2 segundos 6 WPG 8 min. 1 segundo 1 segundo 7 WPG 8 min. 1 segundo 1 segundo 8 WPG 9 min. 1 segundo 1 segundo 9 PEM 7 min. 2 segundos 2 segundoss 10 Testes Gerais 2 min. 1 segundo 1 segundo 11 Testes Gerais 3 min. 1 segundo 1 segundo 12 PEM 13 min. 1 segundo 1 segundo 13 PEM 10 min. 1 segundo 1 segundos 14 PEM 8 min. 1 segundo 1 segundos 15 PEM 11 min. 2 segundos 2 segundos 16 PEM 8 min. 2 segundos 2 segundos

Conforme apresentado na Tabela 10 os dados estat´ısticos referentes aos testes podem ser visualizados na Tabela 11.

Tabela 11 – Estat´ısticas dos teste Estat´ıstica Valor

Teste mais curto 2 minutos Teste mais longo 25 minutos Tempo m´edio dos testes 10 minutos

Tempo com maior ocorrˆencia 8 minutos (4 ocorrˆencias) Desvio Padr˜ao 5,94

3.3 Valida¸c˜ao da Abordagem 118

O tempo total de monitoramento foi de 2 horas e 37 minutos os quais foram contabili- zadas 201 palavras chave pronunciadas e devidamente reconhecidas, 3323 imagens faciais e o total de imagens de tela foi de 3526. Quando citado o termo imagens candidatas, o mesmo se refere a imagens sem o processamento facial, ou seja, contabiliza-se tanto imagens com face reconhecida quanto imagens descartadas.

As quantidades de palavras, imagens faciais reconhecidas, imagens descartas e imagens de tela de todos os testes s˜ao apresentadas na Tabela 12

Tabela 12 – Quantidade de dados registrados

N Aplicativo Palavras Imagens Snapshot

1 WCE 29 522 527 2 WCE 12 459 455 3 WCE 26 429 426 4 WCE 00 31 18 5 WCE 08 150 158 6 WPG 15 324 284 7 WPG 04 312 281 8 WPG 07 129 115 9 PEM 30 147 130 10 Testes Gerais 10 48 47 11 Testes Gerais 00 44 32 12 PEM 24. 523 433 13 PEM 00 27 17 14 PEM 00 309 258 15 PEM 23 217 197 16 PEM 13 174 158

Divergˆencias entre o tempo aproximado dos testes, a quantidade de imagens regis- tradas (face e tela) e o intervalo de registro de imagens estipulado ocorreram devido a interrup¸c˜oes ocasionadas nos experimentos por motivos diversos tais como queda de energia, interrup¸c˜ao do servi¸co de Internet ou problemas com o aplicativo testado e o ErgoSV.

A quantidade de palavras registradas, processo que dependia da a¸c˜ao humana de pronunciar a palavra, teve grande varia¸c˜ao em rela¸c˜ao `a quantidade devido ao fato que alguns participantes pronunciaram um n´umero maior de palavras por a¸c˜ao e outros se mostraram mais t´ımidos. A princ´ıpio, o participante foi cobrado para pronunciar mais palavras, por´em foi poss´ıvel perceber que alguns se mostraram tensos ou retra´ıdos com a cobran¸ca. Embora instru´ıdos a respeito da necessidade de pronunciar uma palavra em tom de voz alto e firme a cada a¸c˜ao realizada no software tal como um clique em um bot˜ao, uma consulta ou uma simples a¸c˜ao de mudar a interface movendo a barra de rolagem ou

3.3 Valida¸c˜ao da Abordagem 119

no m´aximo a cada 15 segundos em certos casos o participante demorou para falar. O total de palavras registradas em cada teste ´e a soma dos conceitos pronunciados que pode ser uma das palavras selecionadas para o teste: ´Otimo, Bom, Regular, Ruim e P´essimo. A Tabela 13 apresenta os totais de palavras pronunciadas por conceito.

Tabela 13 – Quantidade de palavras registradas ´

Otimo Bom Regular Ruim P´essimo

WCE 1 59 14 1 2

WPG 1 16 6 1 0

PEM 3 27 10 1 0

Total 5 102 30 3 3

As imagens dos participantes registradas nos testes passava, ainda na fase de coleta de dados, pelo processamento da ferramenta OpenCV no qual procurava uma imagem facial na foto. Em caso positivo a mesma era classificada como “Relevante”e ao contr´ario como “Descarte”.

A princ´ıpio, as imagens descartadas n˜ao seriam utilizadas na fase de an´alise, por´em decidiu-se mantˆe-las porque poderiam fornecer dados relevantes para verifica¸c˜ao do motivo da n˜ao identifica¸c˜ao facial. Refor¸cando que a detec¸c˜ao de imagem facial era realizada por um framework conhecido por OpenCV que foi integrado ao ErgoSV para permitir a utiliza¸c˜ao de seus recursos na totalidade sem a necessidade de alterar o c´odigo fonte respons´avel pelo reconhecimento. A Tabela 14 apresenta os totais referentes ao registro, reconhecimento de face e descarte das imagens dos testes.

Tabela 14 – Quantidade de imagens registradas versus imagens descartadas Aplicativo Imagens

WCE 364 WPG 614 PEM 800

Ap´os a coleta, as imagens faciais passaram por uma fase de pr´e processamento a fim de enriquecer seus dados para apoiar de forma mais efetiva a an´alise do teste. A fase de Pr´e Processamento ´e explicada a seguir.