OST-HMD Monocular:
6.2 Experimentos e Avalia¸ c˜ ao do Prot´ otipo
6.2.1 Estudo de Experiˆ encia de Usu´ ario
O estudo de experiˆencia de usu´ario iniciou-se com a defini¸c˜ao de uma metodologia que facilitasse a sua realiza¸c˜ao. Dessa forma, o desenvolvimento do projeto foi dividido em oito etapas: o planejamento do estudo de experiˆencia de usu´ario a ser realizado; a deter- mina¸c˜ao das tarefas a serem realizadas pelos usu´arios; o desenvolvimento das interfaces de usu´ario (softwares) do experimento; a determina¸c˜ao das m´etricas objetivas; o desen- volvimento de question´arios para aquisi¸c˜ao de m´etricas subjetivas; a determina¸c˜ao do procedimento a ser seguido em cada experimento; a elabora¸c˜ao das hip´oteses; e, por fim, a realiza¸c˜ao do experimento propriamente dito com cada um dos usu´arios participantes. A seguir, as etapas listadas anteriormente s˜ao descritas em detalhes.
6.2.1.1 Planejamento do Estudo
Dadas as limita¸c˜oes do prot´otipo desenvolvido, foi proposto um cen´ario de atividade in- dustrial no qual as caracter´ısticas do prot´otipo poderiam colaborar e melhorar a eficiˆencia do usu´ario durante a realiza¸c˜ao de uma tarefa.
O cen´ario proposto consiste em uma tarefa de inspe¸c˜ao na qual o inspetor deve efe- tuar medi¸c˜oes em um determinado equipamento e, posteriormente, informar os valores aferidos atrav´es de outro dispositivo. Nessa situa¸c˜ao, o equipamento a ser inspecionado e o dispositivo de entrada dos valores podem estar em locais relativamente afastados,
considerando-se o campo de vis˜ao do inspetor. Dessa forma o inspetor ter´a que movi- mentar sua cabe¸ca e/ou corpo para alternar entre as tarefas de inspe¸c˜ao do equipamento e inser¸c˜ao dos dados. Considerando a existˆencia de uma rede de comunica¸c˜ao interli- gando os diversos equipamentos da ind´ustria, seria poss´ıvel coletar os dados medidos e exibi-los atrav´es de um dispositivo qualquer, incluindo um HMD de Realidade Au- mentada. Sendo assim, o prot´otipo desenvolvido poderia ser utilizado para diminuir ou eliminar a necessidade de movimenta¸c˜ao da cabe¸ca e/ou corpo do inspetor enquanto ele alterna entre as atividades de medi¸c˜ao e inser¸c˜ao dos dados.
Considerando o cen´ario descrito anteriormente, foi poss´ıvel utilizar um planejamento experimental com repeti¸c˜ao 3 e com duas vari´aveis independentes: o uso da realidade aumentada; e a distˆancia relativa entre os equipamentos de medi¸c˜ao e inser¸c˜ao de dados. Cada uma das vari´aveis independentes pode assumir apenas dois valores: a presen¸ca ou a ausˆencia da realidade aumentada; e a alta ou a baixa distˆancia relativa entre os equipamentos. O fato de ambas vari´aveis possu´ırem dois n´ıveis resulta em uma combina¸c˜ao de quatro condi¸c˜oes experimentais (planejamento fatorial 2x2) que devem ser realizadas por cada participante: a tarefa com distˆancia alta e sem uso de realidade aumentada; a tarefa com distˆancia baixa e sem uso de realidade aumentada; a tarefa com distˆancia alta e com uso de realidade aumentada; e, por fim, a tarefa com distˆancia baixa e com uso de realidade aumentada.
Em qualquer uma das condi¸c˜oes experimentais, duas m´etricas objetivas s˜ao determi- nantes para eficiˆencia do usu´ario na realiza¸c˜ao da tarefa proposta: o tempo de resposta, dado pelo intervalo entre a medi¸c˜ao e a inser¸c˜ao dos dados, e a quantidade de erros nos dados inseridos. Al´em disso, m´etricas subjetivas colhidas atrav´es do preenchimento de question´arios e coment´arios realizados pelos usu´arios s˜ao fundamentais para extra¸c˜ao de informa¸c˜oes a respeito das experiˆencias dos participantes durante a realiza¸c˜ao da tarefa, o uso da realidade aumentada e a intera¸c˜ao com o prot´otipo desenvolvido.
No total, 24 pessoas participaram voluntariamente do estudo em quest˜ao, sendo 20 pessoas do sexo masculino (nove com idade entre 24 e 29 anos, seis com idade entre 18 e 23 anos, quatro com idade entre 30 e 35 anos, e uma com idade igual ou superior a 48 anos) e quatro pessoas do sexo feminino (duas com idade entre 18 e 23 anos e outras duas com idade entre 24 e 29 anos). Entre os participantes, 14 possuem escolaridade de n´ıvel superior incompleto e 10 possuem n´ıvel superior completo. A distribui¸c˜ao dos
3
Planejamento experimental com repeti¸c˜ao trata-se de uma pr´atica onde cada um dos participantes ´
Tabela 6.1: Distribui¸c˜ao dos participantes por ´area de conhecimento ´
Area de Conhecimento Quantidade de Participantes Ciˆencias Exatas e da Terra 13
Engenharias 5
Multidisciplinar 0 Ciˆencias Agr´arias 0 Ciˆencias Biol´ogicas 1 Ciˆencias da Sa´ude 3 Ciˆencias Humanas 0 Ciˆencias Sociais Aplicadas 1 Lingu´ıstica, Letras e Artes 1
Total 24
participantes em rela¸c˜ao `as ´areas de conhecimento4 de forma¸c˜ao acadˆemica ´e dada pela Tabela 6.1.
Os participantes foram submetidos a uma breve apresenta¸c˜ao contendo uma in- trodu¸c˜ao sobre HMDs de realidade aumentada e uma explica¸c˜ao sobre a pesquisa e a avalia¸c˜ao a ser realizada.
Al´em disso, todos eles preencheram um question´ario pr´e-teste sobre conhecimento pr´evio e experiˆencias relacionadas ao uso de realidade aumentada e HMDs. Do total de 24 participantes, 12 alegaram ter conhecimento superficial sobre realidade aumentada, 8 disseram apenas ter ouvido falar sobre esse assunto e 4 afirmaram ter conhecimento intermedi´ario. Em rela¸c˜ao `a experiˆencia pr´evia com HMDs de realidade aumentada, 11 participantes tˆem ou tiveram um pouco de contato com esses dispositivos, 7 parti- cipantes j´a leram algo sobre esses equipamentos e 5 participantes afirmaram n˜ao saber da existˆencia de dispositivos desse tipo. Apenas um participante alegou ter contato frequente e di´ario com HMDs de realidade aumentada.
A ordem de realiza¸c˜ao das quatro condi¸c˜oes experimentais foi completamente contra- balanceada, ou seja, cada condi¸c˜ao foi conduzida a mesma quantidade de vezes em cada posi¸c˜ao poss´ıvel (como sendo a 1a, a 2a, a 3a ou a 4a tarefa a ser realizada por cada um
4
Tabela de ´Areas de Conhecimento segundo a Coordena¸c˜ao de Aperfei¸coamento de Pessoal de N´ıvel Superior (CAPES - http://www.capes.gov.br/)
dos participantes). Isso se tornou poss´ıvel pelo uso do planejamento fatorial para deter- mina¸c˜ao da quantidade de participantes necess´arios para realiza¸c˜ao dos testes. Sabendo que a permuta¸c˜ao simples de um conjunto de quatro elementos resulta em um total de 24 agrupamentos que se diferenciam apenas pela ordem dos elementos, ´e poss´ıvel afirmar que, dadas as quatro condi¸c˜oes experimentais poss´ıveis, s˜ao necess´arias 24 permuta¸c˜oes e, consequentemente, 24 participantes para que todas as condi¸c˜oes sejam realizadas de maneira contrabalanceada.
Ao final dos experimentos, os participantes ganharam barras de chocolate como forma de agradecimento pela contribui¸c˜ao.
6.2.1.2 Tarefas e Interfaces
Devido `a dificuldade de simular o ambiente industrial correspondente ao cen´ario des- crito, foi proposto um conjunto de interfaces e tarefas relacionadas que abstra´ıssem essa situa¸c˜ao, possibilitando a realiza¸c˜ao da avalia¸c˜ao de experiˆencia de usu´ario dentro de um ambiente controlado e sob as quatro condi¸c˜oes experimentais determinadas.
Primeiramente, trˆes interfaces de usu´ario foram propostas e desenvolvidas, sendo elas:
Interface de exibi¸c˜ao sem realidade aumentada: E respons´´ avel por exibir uma sequˆencia aleat´oria de s´ımbolos em um monitor. Essa interface visa abstrair a funciona- lidade do equipamento de medi¸c˜ao, com os s´ımbolos representando os valores medidos, e trata-se de uma aplica¸c˜ao Desktop desenvolvida utilizando o Unity Engine.
Interface de exibi¸c˜ao em realidade aumentada: E respons´´ avel por exibir simultane- amente, atrav´es do prot´otipo de realidade aumentada, a mesma sequˆencia de s´ımbolos mostrada no monitor. Essa interface foi desenvolvida na linguagem de programa¸c˜ao C++ e compilada para a placa de desenvolvimento ESP8266, a unidade de processa- mento presente no prot´otipo.
Interface de inser¸c˜ao de dados: E respons´´ avel por exibir um conjunto de bot˜oes interativos que cont´em todos os s´ımbolos que podem aparecer na sequˆencia mostrada pelo monitor e pelo prot´otipo. Essa interface visa abstrair a funcionalidade do dispositivo
no qual o inspetor informa os valores previamente medidos e trata-se de uma aplica¸c˜ao Desktop desenvolvida utilizando o Unity Engine.
A partir dessas interfaces, foi proposto um conjunto de tarefas capaz de realizar a abstra¸c˜ao do cen´ario. As tarefas consistem na visualiza¸c˜ao dos s´ımbolos exibidos pelas interfaces de exibi¸c˜ao (com e sem realidade aumentada) e posterior inser¸c˜ao do s´ımbolo visualizado atrav´es do bot˜ao correspondente presente na interface de inser¸c˜ao de dados. Dessa forma, a altera¸c˜ao da distˆancia entre a interface de inser¸c˜ao de dados e a interface de exibi¸c˜ao sem realidade aumentada ´e capaz de simular os cen´arios com o dispositivo de medi¸c˜ao dentro (baixa distˆancia) ou fora (alta distˆancia) do campo de vis˜ao do usu´ario. Sendo assim, ´e poss´ıvel medir a eficiˆencia do usu´ario conforme essa distˆancia ´e alterada e conforme o uso da realidade aumentada, viabilizando a valida¸c˜ao do prot´otipo.
Considerando o que foi dito anteriormente, foi definido um conjunto de quatro tarefas, mostrado pela Tabela 6.2, a ser realizado por cada participante do experimento, sendo uma tarefa para cada condi¸c˜ao experimental.
Tabela 6.2: Conjunto de tarefas derivado das poss´ıveis condi¸c˜oes experimentais
Para possibilitar a realiza¸c˜ao desse conjunto de tarefas foi utilizado um computa- dor conectado a trˆes monitores, executando as interfaces de inser¸c˜ao de dados e de exibi¸c˜ao sem realidade aumentada, e o prot´otipo, executando a interface de exibi¸c˜ao com realidade aumentada. A Figura 6.6 ilustra a realiza¸c˜ao de cada uma das quatro tarefas por um usu´ario. Em todas as ilustra¸c˜oes presentes na Figura 6.6, o
monitor da esquerda representa a interface de exibi¸c˜ao sem realidade aumentada. Nas Figuras 6.6a e 6.6c, o monitor da direita representa a interface de inser¸c˜ao de dados com distˆancia alta em rela¸c˜ao a interface de exibi¸c˜ao sem realidade aumen- tada. Nas Figuras 6.6b e 6.6d, o monitor central representa a interface de inser¸c˜ao de dados com distˆancia baixa em rela¸c˜ao a interface de exibi¸c˜ao sem realidade aumentada. Nas Figuras 6.6c e 6.6d, o dispositivo apoiado na orelha do usu´ario repre- senta o prot´otipo de HMD de realidade aumentada utilizado no experimento, ou seja, a interface de exibi¸c˜ao em realidade aumentada. Na Figura 6.6a, as setas represen- tam o movimento que o usu´ario precisa realizar com a cabe¸ca a fim de alternar entre as tarefas de visualiza¸c˜ao e inser¸c˜ao dos s´ımbolos.
(a) (b)
(c) (d)
Figura 6.6: Conjunto de tarefas: (a) Distante sem RA; (b) Pr´oximo sem RA; (c) Distante com RA; (d) Pr´oximo com RA
Cada uma das tarefas mostradas na Figura 6.6 s˜ao subdivididas em cinco sess˜oes. Dessa forma, os usu´arios podem descansar nos intervalos entre as sess˜oes, tornando a realiza¸c˜ao da tarefa menos exaustiva. Cada sess˜ao consiste na exibi¸c˜ao de uma sequˆencia de 10 s´ımbolos gerada aleatoriamente. Cada s´ımbolo ´e exibido durante um segundo e
a troca de s´ımbolos acontece a cada dois segundos. Portanto, uma sess˜ao ´e conclu´ıda em aproximadamente 20 segundos e uma tarefa realizada de forma cont´ınua pode ser conclu´ıda em, no m´ınimo, 100 segundos. Durante uma sess˜ao, o usu´ario deve visualizar o s´ımbolo exibido e pressionar o bot˜ao correspondente, na interface de inser¸c˜ao de dados, antes que o pr´oximo s´ımbolo da sequˆencia seja mostrado. Caso o usu´ario consiga realizar essa atividade com sucesso, ser´a contabilizado um acerto. Caso o usu´ario n˜ao consiga pressionar o bot˜ao dentro do tempo ou pressione o bot˜ao errado, ser´a conta- bilizado um erro. Toda vez que um bot˜ao ´e pressionado, os bot˜oes s˜ao reposicionados aleatoriamente, fazendo com que todos eles ocupem uma posi¸c˜ao diferente da anterior.
6.2.1.3 M´etricas Objetivas
A partir do conjunto de tarefas proposto e das interfaces desenvolvidas, ´e poss´ıvel coletar duas m´etricas objetivas: o tempo de resposta e a quantidade de erros. O tempo de resposta corresponde ao tempo gasto pelo usu´ario entre o momento em que ele visualiza o s´ımbolo exibido por uma das interfaces de exibi¸c˜ao e o momento em que ele indica qual s´ımbolo foi visualizado atrav´es da interface de inser¸c˜ao de dados. A taxa de erro est´a relacionada `a quantidade de erros cometidos pelos usu´arios ao indicar, na interface de inser¸c˜ao de dados, qual s´ımbolo foi visualizado.
Considerando que s˜ao exibidos 10 s´ımbolos por sess˜ao e que cada tarefa ´e composta por cinco sess˜oes, foram coletados 50 tempos de resposta por usu´ario para cada tarefa realizada. Sendo assim, foram coletados, no total, 1200 dados de tempo de resposta por tipo de tarefa. Partindo desse pressuposto, ´e poss´ıvel concluir que a quantidade m´axima poss´ıvel de erros cometidos por usu´ario em uma tarefa ´e igual a 50. Desta forma, agregando os dados de todos os usu´arios para uma mesma tarefa, a quantidade m´axima poss´ıvel de erros ´e igual a 1200.
6.2.1.4 Question´arios e M´etricas Subjetivas
Os question´arios respondidos pelos usu´arios e as m´etricas subjetivas coletadas atrav´es dos mesmos possibilitam a an´alise e avalia¸c˜ao da experiˆencia, da percep¸c˜ao e da sa- tisfa¸c˜ao dos usu´arios durante a realiza¸c˜ao de cada uma das tarefas, durante o uso da realidade aumentada e durante a intera¸c˜ao com o prot´otipo desenvolvido. Ao todo, fo- ram elaborados quatro question´arios para aquisi¸c˜ao de m´etricas subjetivas relacionadas ao impacto da aplica¸c˜ao da realidade aumentada nas tarefas propostas, `a usabilidade
do prot´otipo desenvolvido e `a aplicabilidade dos dispositivos de realidade aumentada no dia-a-dia dos usu´arios.
O primeiro question´ario, que avalia a percep¸c˜ao do usu´ario sobre o impacto da rea- lidade aumentada na tarefa proposta, ´e composto por seis quest˜oes obrigat´orias, sendo cinco com respostas no formato de escala Likert de 5 pontos e uma com resposta de m´ultipla escolha. A Tabela 6.3 lista as quest˜oes apresentadas nesse question´ario.
O segundo question´ario, que avalia a experiˆencia do usu´ario durante a intera¸c˜ao com o prot´otipo, ´e composto por quatro quest˜oes obrigat´orias, cujas respostas est˜ao no formato de escala Likert de 5 pontos. A Tabela 6.4 lista as quest˜oes apresentadas nesse question´ario.
O terceiro question´ario, que avalia a expectativa do usu´ario sobre a aplica¸c˜ao de realidade aumentada em seu dia-a-dia, ´e composto por quatro quest˜oes obrigat´orias, cujas respostas est˜ao no formato de m´ultipla escolha. A Tabela 6.5 lista as quest˜oes apresentadas nesse question´ario.
O quarto question´ario ´e composto por trˆes quest˜oes que devem ser respondidas de forma discursiva. Essas quest˜oes n˜ao s˜ao obrigat´orias e buscam coletar sugest˜oes e cr´ıticas do usu´ario sobre poss´ıveis aplica¸c˜oes para HMDs de realidade aumentada, sobre o experimento realizado, e sobre o prot´otipo de desenvolvido. A Tabela 6.6 lista as quest˜oes apresentadas nesse question´ario.
6.2.1.5 Procedimento
A realiza¸c˜ao dos experimentos com cada usu´ario deve seguir o procedimento: apre- senta¸c˜ao e explica¸c˜ao da pesquisa, do prot´otipo e das tarefas; aplica¸c˜ao do question´ario para coleta de informa¸c˜oes sobre usu´ario; treinamento na realiza¸c˜ao de cada uma das ta- refas; realiza¸c˜ao das quatro tarefas; e, por fim, aplica¸c˜ao dos quatro question´arios sobre a experiˆencia do usu´ario.
Tabela 6.3: Question´ario de avalia¸c˜ao do impacto da realidade aumentada na tarefa proposta ID da Quest˜ao Quest˜ao Tipo de Resposta Alternativas de Resposta Q1
Como vocˆe classificaria a complexidade da tarefa proposta? Escala Likert de 5 Pontos Escala de 1 (Muito F´acil) a 5 (Muito Dif´ıcil) Q2
Meu tempo de resposta foi mais r´apido com o uso da realidade aumentada do que sem
a realidade aumentada Escala Likert de 5 Pontos Escala de 1 (Discordo Completamente) a 5 (Concordo Completamente) Q3
A tarefa se tornou mais interessante e divertida com o uso da realidade aumentada.
Escala Likert de 5 Pontos Escala de 1 (Discordo Completamente) a 5 (Concordo Completamente) Q4
Minha eficiˆencia foi melhor com uso da realidade aumentada. Escala Likert de 5 Pontos Escala de 1 (Discordo Completamente) a 5 (Concordo Completamente) Q5
A realiza¸c˜ao da tarefa foi facilitada com o uso de realidade aumentada. Escala Likert de 5 Pontos Escala de 1 (Discordo Completamente) a 5 (Concordo Completamente) Q6
Na tarefa do tipo Pr´oximo com Realidade Aumentada, qual op¸c˜ao de visualiza¸c˜ao vocˆe mais utilizou?
M´ultipla Escolha
- N˜ao tenho certeza - Monitor (sem realidade aumentada)
- Prot´otipo (com realidade aumentada)
- Ambas as op¸c˜oes foram igualmente utilizadas
Tabela 6.4: Question´ario de avalia¸c˜ao do prot´otipo de HMD de realidade aumentada