Os! testes! foram! realizados! em! laboratório! entre! os! dias! 25! de! outubro! e! 25! de! novembro,! do! ano! de! 2016! com! a! participação! de! 31! pessoas.! A! idade! média! dos! participantes! foi! de! 26,13,! variando! entre! 20! e! 35! anos,! sendo! 28! homens! e! 3! mulheres.!Os!usuários!foram!voluntários!e!relataram!possuir!muita!experiência!em! utilização! de! computadores,! e! 80,6%! declararam! possuir! pouca! ou! nenhuma! experiência!com!controle!remoto!de!robôs.!
O!desvio!padrão!nas!respostas!referentes!ao!NasahTLX!variou!entre!0,91!e!2,03.!No! PSSUQ! o! desvio! padrão! variou! entre! 0,81! e! 1,53.! As! tabelas! 1! e! 2! apresentam! o! desvio!padrão!e!as!médias!para!cada!quesito!dos!questionários!aplicados!nos!testes,! o!Nasah!TLX!para!cada!tarefa,!e!o!PSSUQ!referente!a!todo!o!teste.!
Parâmetro!
Tarefa#1! Tarefa#2! Tarefa#3!
Média! Desvio#padrão! Média! Desvio#padrão! Média! Desvio#padrão!
Exigência!Mental! 4,06! 1,55! 4,23! 1,54! 4,97! 1,78! Exigência!Física! 1,65! 0,91! 2,06! 1,41! 2,32! 1,76! Exigência!Temporal! 3,35! 1,40! 3,35! 1,60! 3,74! 1,91! Performance! 2,77! 1,41! 3,48! 2,03! 2,97! 1,49! Esforço! 3,77! 1,41! 4,35! 1,45! 4,58! 1,78! Frustração! 1,97! 1,38! 2,58! 1,88! 2,77! 1,61! Tabela#1.#Média#e#desvio#padrão#dos#quesitos#do#NasaVTLX#para#as#tarefa#1,#2#e#3.#
Para! avaliar! o! resultado! das! respostas! do! PSSUQ! foi! utilizado! 80%! de! confiança! conforme! indicado! por! Nielsen! (1997! apud! Sauro! &! Lewis! 2016)! como! um! percentual!satisfatório!para!aplicação!em!testes!de!usabilidade,!com!10%!de!desvio! padrão,! para! o! critério! de! 80%! de! aprovação! dos! usuários.! As! respostas! dos! usuários! que! concordaram! totalmente! foram! somadas! aos! que! concordaram! parcialmente! com! as! afirmações! do! questionário.! Na! Tabela! 2! é! demonstrado! o! percentual!total!de!aprovação!de!cada!pergunta!na!coluna!"Aprovação".!Na!coluna! seguinte!é!indicado!com!"V"!os!quesitos!que!de!acordo!com!os!critérios!utilizados!
podem! ser! considerados! como! sucesso! no! resultado! das! respostas,! e! é! assinalado! com!"X"!os!aspectos!que!não!obtiveram!um!resultado!de!acordo!com!as!afirmações.! Em! seguida! foi! realizada! uma! análise! individual! de! cada! quesito! do! questionário,! representados!por!histogramas!das!respostas!obtidas.!
#
Pergunta! Média!# padrão!Desvio# Aprovação#(%)! Resultado!
1.!No!geral,!estou!satisfeito!com!o!quão!fácil!é!utilizar! este!sistema.! 2,74! 1,48! 70,9%! X! 2.!Utilizar!o!sistema!foi!simples.! 2,26! 1,32! 83,8%! V! 3.!Fui!capaz!de!completar!rapidamente!as!tarefas!e! cenários!usando!este!sistema.! 3,55! 1,34! 54,8%! X! 4.!Me!senti!à!vontade!usando!este!sistema.! 2,19! 1,38! 83,8%! V! 5.!Foi!fácil!aprender!a!utilizar!este!sistema.! 1,90! 0,94! 93,5%! V! 6.!Eu!acredito!que!eu!poderia!me!tornar!produtivo! rapidamente!usando!este!sistema.! 2,16! 1,16! 90,3%! V! 7.!O!sistema!forneceu!mensagens!de!erro!que!me! disseram!claramente!como!corrigir!problemas.! 2,77! 1,61! 80,6%! V! 8.!Quando!cometi!eventuais!erros,!eu!pude!me!recuperar! facilmente!e!rapidamente.! 3,23! 1,28! 54,8%! X! 9.!As!informações!(como!guias!e!elementos!virtuais! aumentados!pelo!sistema)!fornecidas!pelo!sistema!eram! claras.! 1,74! 1,15! 90,3%! V! 10.!Era!fácil!encontrar!a!informação!que!eu!precisava.! 2,10! 1,01! 90,3%! V! 11.!A!informação!foi!eficaz!para!ajudar!a!completar!as! tarefas!e!cenários.! 2,06! 1,26! 90,3%! V! 12.!A!organização!de!informações!nas!telas!do!sistema! era!clara.! 1,84! 1,16! 90,3%! V! 13.!A!interface*!deste!sistema!foi!agradável.! 1,81! 1,01! 93,5%! V! 14.!Gostei!de!usar!a!interface!deste!sistema.! 1,52! 0,81! 96,7%! V! 15.!Este!sistema!tem!todas!as!funções!e!capacidades!que! eu!esperava!que!ele!tivesse.! 2,68! 1,54! 74,1%! X! 16.!No!geral,!estou!satisfeito!com!este!sistema.! 2,06! 1,09! 87,0%! V! Tabela#2.#Médias,#desvio#padrão,#percentual#de#aprovação,#e#resultado#dos#quesitos# do#PSSUQ#referente#a#todo#o#teste.#
Figura#32.#Gráfico#referente#ao#tempo#de#completude#das#tarefas#em#segundos.#
!
O! tempo! de! completude! da! tarefa) 1! foi! o! menor! dos! três,! com! valor! da! média! de! 207,31! segundos,! o! primeiro! quartil! em! 132,20! e! o! terceiro! quartil! em! 219,14! e! mediana! em! 144,79! segundos,! conforme! representado! no! gráfico! da! Figura! 32.! O! tempo!de!execução!da!tarefa)2!foi!em!média!de!238,83!segundos,!enquanto!o!tempo! médio! de! execução! da! tarefa! foi! de! 207,31! segundos,! com! diferença! de! 31,52! segundos! do! tempo! médio! de! execução,! apesar! da! tarefa) 2! ter! exigido! mais! mentalmente!dos!usuários!conforme!relatado!no!NasahTLX.!
!Já!durante!a!tarefa!3!o!tempo!de!completude!aumentou!em!relação!às!duas!tarefas! anteriores,! e! era! a! tarefa! que! possuía! mais! etapas! para! ser! executada! e! consequentemente!maior!exigência,!conforme!confirmando!no!NasahTLX.!A!tarefa!3! teve!uma!elevação!na!média!do!tempo!de!completude!de!181!segundos!em!relação!a! segunda!tarefa,!correspondente!à!uma!tarefa!mais!complexa,!com!média!de!420,32! de!tempo!de!execução!total.!!
O! nível! de! exigência! das! tarefas! aumentou! crescentemente! de! acordo! com! a! percepção! dos! usuários! relatada! no! NasahTLX,! conforme! ilustrado! no! gráfico! da!
Figura!33.!O!quesito!a!respeito!da!exigência!mental!aumentou!de!4,06!para!4,23!da! tarefa)1!para!a!tarefa!2.!Na!tarefa)3!ocorreu!um!aumento!maior!em!relação!a!tarefa) 2,!com!4,97!conforme!relatado!pelos!usuários.!
A! exigência! física! teve! um! crescimento! homogêneo! de! 1,65! para! 2,06! e! 2,32! da! tarefa!1para!a!2,!e!da!tarefa!2!para!a!3,!respectivamente.!Os!usuários!perceberam!a! exigência! física! menor! que!a! exigência! mental! para! a! realização! das! tarefas,! o! que! era!um!resultado!esperado,!dados!os!desafios!da!teleoperação!de!robôs.!A!exigência! temporal! se! manteve! constante! de! acordo! com! os! usuários! na! tarefa) 1! e! 2,! no! entanto!aumentou!de!3,35!para!3,74!na!terceira!tarefa.!Este!resultado!também!era! esperado! uma! vez! que! a! tarefa) 3! era! composta! de! mais! etapas! que! as! tarefas! anteriores,!necessitando!da!realização!da!atividade!de!ajuste!no!bloco!manipulado.!
O! desempenho! foi! a! único! que! não! teve! um! comportamento! crescente! de! acordo! com!a!percepção!dos!usuários!no!NasahTLX.!A!tarefa!que!obteve!melhor!pontuação! neste! aspecto! foi! a! tarefa! 2,! com! 3,48.! A! tarefa! 1! pontuou! 2,77! neste! quesito,! enquanto! a! tarefa! 3! pontuou! 2,97.! Apesar! da! exigência! mental! ter! aumentado! de! uma!tarefa!para!a!outra,!ainda!assim!os!usuários!relataram!um!desempenho!maior! nas!duas!últimas!tarefas!em!relação!a!primeira.! No!quesito!esforço!houve!um!aumento!entre!uma!tarefa!e!outra,!a!primeira!tarefa! ficou!com!média!de!3,77,!enquanto!a!segunda!tarefa!obteve!4,35!e!a!terceira!tarefa! 4,58.!A!frustação!relatada!pelos!usuários!não!ultrapassou!a!média!3,!obtendo!média! de!1,97!na!primeira!tarefa,!2,58!na!segunda!tarefa,!e!2,77!na!última!(Figura!33).! ! #
Figura#33.#Dados#das#médias#das#questões#do#NasaVTLX#para#cada#tarefa.#
!
As! respostas! obtidas! dos! usuários! com! o! formulário! de! pesquisa! de! satisfação! (PSSUQ)! representaram! a! satisfação! dos! usuários! como! uma! análise! geral.! Alguns! quesitos! se! destacaram! como! positivos! nas! respostas! referentes! a! clareza! e! facilidade!de!encontrar!as!informações,!e!quanto!a!organização!das!informações!na! tela.! Tais! resultados! foram! relevantes! para! apontar! o! bom! desempenho! das! intervenções!feitas!nos!elementos!gráficos!do!protótipo.!!
Na!primeira!pergunta!do!questionário!os!usuários!relataram!se!estavam!satisfeitos! ou! não! com! o! protótipo! testado,! na! escala! Likert! 7,! 25,8%! dos! usuários! relataram! que!concordavam!completamente!com!a!afirmação!"No!geral,!estou!satisfeito!com!o! quão! fácil! é! utilizar! este! sistema.",! assinalando! o! número! 1! correspondente! na! escala,!seguidos!de!22,6%!dos!usuários!que!concordaram!parcialmente!assinalando! o! número! 2,! e! 22,6%! que! assinalaram! o! número! 3.! Como! pode! ser! visualizado! na! imagem! do! histograma! (Figura! 34),! a! maioria! das! respostas! dos! usuários! se! concentraram! no! canto! esquerdo! do! gráfico,! concordando! totalmente! ou! parcialmente!com!a!afirmação.!
Figura#34.##Histograma#das#respostas#para#a#questão#1#do#PSSUQ#
#
A! segunda! pergunta! do! questionário! se! refere! ao! quão! simples! foi! a! utilização! do! protótipo,! com! a! afirmação! de! que! "Utilizar! o! sistema! foi! simples.",! a! taxa! de! concordância!com!essa!afirmação!foi!ainda!maior!que!na!primeira!pergunta,!em!que! apenas!16,1%!dos!usuários!responderam!na!escala!do!centro!a!esquerda,!indicando! neutralidade!ou!não!concordância!com!a!afirmação,!do!restante!dos!usuários,!32,3%! dos! usuários! concordaram! completamente,! seguidos! de! 38,7%! e! 12,9%! concordando!parcialmente,!conforme!indicado!no!histograma!da!Figura!35.!
Figura#35.#Histograma#das#respostas#para#a#questão#2#do#PSSUQ#
Já!a!terceira!pergunta!se!referia!ao!desempenho!dos!usuários!ao!executar!as!tarefas! propostas,! com! a! afirmação! de! que! o! usuário! havia! sido! capaz! de! completar! rapidamente! as! tarefas! e! cenários! usando! o! sistema.! Como! as! tarefas! foram! consideradas! desafiadoras,! e! os! usuários! avaliaram! os! desafios! que! ocorreram! durante!todo!o!teste,!a!taxa!de!concordância!quanto!a!essa!afirmação!foi!a!menor!em! relação!às!demais!perguntas!do!questionário,!como!era!esperado,!apenas!3,2%!dos! usuários!concordaram!completamente!com!a!afirmação,!mas!ainda!19,4%!e!32,3%! concordaram!de!forma!parcial,!dados!representados!no!histograma!da!Figura!36.!! Figura#36.#Histograma#das#respostas#para#a#questão#3#do#PSSUQ.# ! Quando!questionados!se!concordavam!com!a!afirmação!de!que!haviam!se!sentido!à! vontade! utilizando! o! protótipo,! os! usuários! também! tiveram! um! comportamento! mais! próximo! da! concordância! com! a! afirmação.! Apenas! 16,2%! dos! usuários! discordaram!parcialmente!ou!foram!neutros,!38,7%!concordaram!completamente!e! 32,3%!e!12,9%!concordaram!parcialmente!com!a!afirmação!(Figura!37).!
Figura#37.##Histograma#das#respostas#para#a#questão#4#do#PSSUQ.#
!
Foi! observado! que! os! usuários! após! terem! problemas! na! primeira! tarefa! do! teste,! conseguiam!realizar!as!tarefas!seguintes!com!uma!destreza!crescente.!Um!usuário! relatou! espontaneamente! que! após! realizar! as! tarefas! 2! e! 3,! resolveria! mais! facilmente!problemas!encontrados!na!execução!da!tarefa!1.! A!taxa!de!acerto!da!terceira!tarefa,!foi!maior!que!da!primeira!e!segunda!tarefa,!o!que! também!aumenta!a!indicação!de!que!houve!uma!curva!de!aprendizagem!satisfatória! durante!o!teste.!O!quesito!5!do!PSSUQ!reforçou!esse!resultado,!conforme!ilustrado! no!histograma!da!figura!38.!Quando!questionados!se!foi!fácil!aprender!a!utilizar!o! sistema,!houve!concordância!com!a!afirmação!por!parte!de!96,7%!dos!usuários.! ! #
Figura#38.##Histograma#das#respostas#para#a#questão#5#do#PSSUQ.#
!
Outra! questão! que! pode! reforçar! a! indicação! de! aprendizagem! foi! a! sobre! o! quão! rápido!os!usuários!acreditavam!que!se!tornariam!produtivos!utilizando!o!sistema.! Também!observamos!no!histograma!da!Figura!39!o!agrupamento!das!respostas!no! canto! esquerdo! do! gráfico,! indicando! uma! taxa! alta! de! concordância! com! a! afirmação!de!que!o!usuário!acreditava!que!poderia!se!tornar!produtivo!rapidamente! usando!o!sistema!testado.!
Figura#39.##Histograma#das#respostas#para#a#questão#6#do#PSSUQ.#
Os! usuários! relataram! durante! ou! no! final! do! teste! dificuldades! da! percepção! da! profundidade,! e! da! distância! relativa! dos! objetos,! um! usuário! relatou! que! “O) problema) é) que) você) não) tem) noção) do) 3D,) de) profundidade”.! A! visualização! da! profundidade! foi! o! tema! mais! levantado! espontaneamente! pelos! usuários! durante! ou!após!os!testes.!Um!usuário!relatou!o!desejo!de!ter!um!guia!visual!que!indicasse!a! distância!relativa!entre!os!objetos!de!alguma!forma,!que!é!um!dos!auxílios!propostos! neste!dissertação,!mas!que!estava!fora!do!escopo!dos!testes.!
Três! usuários! mencionaram! que! desejavam! em! algum! momento! utilizar! outra! câmera!“Se)tivesse)outra)câmera,)para)escolher)uma)visualização)diferente”)poderia! auxiliar.!A!oclusão!de!objetos!do!ângulo!de!visão!da!câmera!também!foi!reportada! como! um! problema! pelos! usuários.! Um! comportamento! dos! usuários! observado! com!recorrência!ao!se!depararem!com!problemas!de!oclusão!durante!a!execução!da! tarefa,! foi! o! de! o! usuário! inclinar! a! cabeça! por! reflexo! na! tentativa! de! olhar! tridimensionalmente! a! tela! 2D.! Para! solucionar! este! problema,! foi! proposto! nesta! pesquisa! o! widget! visual! de! ghost! model,! e! também! a! solução! de! destacar! a! área! oclusa!simulando!uma!visão!de!raio!X.!
Durante! a! fase! de! manejo! das! tarefas,! os! usuários! relataram! facilidade! e! aconteceram! erros! em! etapas! pontuais.! Os! erros! aconteceram! na! fase! inicial! do! manuseio!para!pegar!os!objetos!e!na!fase!final!de!posicionamento!dos!blocos.!Quatro! usuários! relataram! espontaneamente! durante! o! teste! que! os! arcos! de! auxílio! do! manejo!auxiliam!no!movimento!do!braço!robótico!no!espaço,!com!a!percepção!dos! limites!e!direção!que!o!braço!poderia!se!mover.!!
A!respeito!da!ocorrência!de!mensagens!de!erro!na!tela,!38,7%!e!25,8%!dos!usuários! concordaram! parcialmente! com! a! afirmação! de! que! o! sistema! havia! fornecido! mensagens! de! erro! que! disseram! claramente! como! corrigir! problemas.! Concordaram!totalmente!com!a!afirmação!16,1%!dos!usuários,!6,5%!responderam! de!forma!neutra,!6,4%!discordaram!parcialmente!da!afirmação!e!6,5%!discordaram! completamente!(Figura!40).!As!mensagens!de!erro!eram!completamente!visuais,!e! desprovidas! de! textos! explicativos,! e! se! resumiam! a! mudança! de! cor! dos! arcos! direcionais,! e! o! ícone! representando! colisão,! podendo! ter! passado! despercebida! para!alguns!usuários.!
Figura#40.#Histograma#das#respostas#para#a#questão#7#do#PSSUQ.#
!
O! quesito! 8! dizia! respeito! ao! quão! rápido! os! usuários! julgaram! se! recuperar! de! eventuais!erros!cometidos.!Nesta!questão!a!maior!quantidade!de!respostas!foi!que! 35,5%! responderam! de! forma! neutra,! no! centro! da! escala.! Concordaram! parcialmente! com! a! afirmação! 25,8%! e! 19,4%! dos! usuários,! e! apenas! 9,7%! dos! usuários! relataram! concordar! completamente! a! respeito! da! recuperação,! após! os! erros!conforme!demonstrado!no!histograma!da!Figura!41.!!
A!resposta!mais!neutra!dos!usuários!e!menos!concordante!com!a!afirmação!dessa! questão! é! congruente! ao! fato! de! que! a! recuperação! após! os! erros! nas! tarefas! de! teleoperação! do! robô! dependia! não! apenas! dos! auxílios! visuais! da! interface,! mas! também!da!mudança!de!modelos!mentais!dos!usuários!para!encontrar!a!solução!no! cenário!de!acordo!com!as!dificuldades!das!tarefas,!a!exemplo!da!estratégia!de!pegar! os! blocos,! que! em! algumas! situações! necessitou! ser! modificada! para! permitir! a! melhor!visão!da!cena.!
Figura#41.##Histograma#das#respostas#para#a#questão#8#do#PSSUQ.# ! Mais!da!metade!dos!usuários!posicionavam!a!garra!de!forma!a!causar!menos!oclusão! de!acordo!com!o!posicionamento!da!câmera.!Na!primeira!e!segunda!tarefa!a!solução! utilizada!pelos!usuários!variou!entre!a!pega!com!garra!por!baixo,!rente!a!superfície! (Figura!42.a),!ou!a!garra!por!cima,!para!pegar!o!bloco!por!cima!(Figura!42.b).!! Figura#42.#a)#e#b)#Exemplos#de#formas#de#pega## utilizadas#pelos#usuários#durante#os#testes.# ! Na!terceira!tarefa,!no!entanto,!a!estratégia!de!posicionar!a!garra!rente!à!superfície! causava!oclusão!da!garra!em!relação!ao!ângulo!da!câmera,!os!poucos!usuários!que! insistiram!nessa!estratégia!delongaram!a!conseguir!pegar!o!bloco,!outros!usuários! perceberam! a! dificuldade! causada! pela! oclusão! e! posicionaram! a! garra! apontando! para!baixo!e!mudaram!a!estratégia!da!pega.!Como!forma!de!confirmação!de!contato!
com! a! garra! alguns! usuários! fecharam! as! pinças! da! garra! para! tocar! o! bloco! e! posicionar!a!garra!acima!de!forma!precisa!para!depois!abrir!a!garra!e!baixar!mais! para!pegar!o!bloco.!
Os!usuários!elogiaram!a!associação!das!cores!dos!arcos!com!cada!eixo!do!robô!e!com! o! teclado! de! controle! utilizado.! Ressaltaram! também! a! importância! do! feedback! visual! dos! controles.! Um! usuário! relatou! que! sentiu! falta! da! existência! de! um! recurso!de!feedback!visual!para!o!comando!de!abrir!e!fechar!a!garra,!ao!comentar! sobre!essa!ausência!um!usuário!relatou!que!"Esse!é!o!único!que!está!sem!me!dizer! que!mexeu".!
Na!questão!do!PSSUQ!que!dizia!respeito!a!clareza!das!informações!visuais!utilizadas! no!protótipo!as!respostas!se!concentraram!na!extremidade!esquerda!do!histograma! representado! na! figura! 43,! com! 58,1%! concordando! completamente! com! a! afirmação! de! que! as! informações! fornecidas! pelo! protótipo! eram! claras.! Apenas! 6,5%! dos! usuários! discordaram! parcialmente! da! afirmação,! outros! 3,2%! responderam!de!forma!neutra!e!os!demais!25,8%!e!6,5%!concordaram!parcialmente! com! a! afirmação! conforme! ilustrado! na! Figura! 43.! As! soluções! utilizadas! para! o! problema! de! contraste! obtiveram! então! um! retorno! direto! nas! respostas! dos! usuários!no!que!diz!respeito!ao!quesito!clareza!de!informação,!indicando!o!sucesso! das!intervenções.!#
Figura#43.##Histograma#das#respostas#para#a#questão#9#do#PSSUQ.#
A! realidade! aumentada! possibilita! a! inserção! dos! elementos! visuais! de! forma! integrada!aos!objetos!da!cena,!auxiliando!na!organização!das!informações!de!forma! contextual! no! cenário.! Quando! questionados! sobre! o! quão! fácil! era! encontrar! as! informações!na!tela,!35,5%!dos!usuários!concordaram!com!a!afirmação!de!que!era! fácil! encontrar! as! informações! que! precisavam,! seguidos! de! 29%! e! 25,8%! que! concordaram! parcialmente! com! a! afirmação! e! apenas! 9,7%! se! posicionaram! de! forma! neutra! à! afirmação! conforme! exibido! na! Figura! 44.! Com! esse! resultado! percebehse!que!a!organização!dos!elementos!gráficos!proporcionada!pela!RA!obteve! bons!resultados!de!acordo!com!os!relatos!dos!usuários.!
Figura#44.##Histograma#das#respostas#para#a#questão#10#do#PSSUQ.#
!
No! que! diz! respeito! à! eficácia! da! interface! para! auxiliar! na! execução! das! tarefas,! 41,9%! dos! usuários! relataram! concordar! totalmente! com! a! afirmação! de! que! a! informação! havia! sido! eficaz! em! ajudar! a! completar! as! tarefas.! 29%! e! 19,4%! dos! usuários! concordaram! parcialmente! com! a! afirmação,! enquanto! 3,2%! se! posicionaram! de! forma! neutra,! e! 3,2%! discordaram! parcialmente,! seguidos! de! outros!3,2%!que!discordaram!com!a!afirmação,!como!pode!ser!observado!no!gráfico! da! Figura! 45.! A! maioria! dos! usuários! concordou! em! algum! grau! que! a! interface! prestou! auxílio! para! a! execução! das! tarefas,! que! foi! um! dos! principais! objetivos! durante! o! desenvolvimento! do! protótipo,! e! das! recomendações! para! desenvolvimentos!de!interfaces!dessa!dissertação.#
Figura#45.##Histograma#das#respostas#para#a#questão#11#do#PSSUQ.#
!
A!taxa!de!concordância!com!a!afirmação!da!pergunta!12!pode!ser!associada!com!a! pergunta! 10,! uma! vez! que! ambas! foram! beneficiadas! com! o! recurso! da! RA,! que! proporciona!integração!da!interface!com!o!cenário!real.!Dos!usuários!que!testaram!o! protótipo,!48,4%!concordaram!totalmente!com!a!afirmação!de!que!as!informações! nas! telas! do! sistema! eram! claras,! seguidos! de! 35,5%! e! 6,5%! que! concordaram! parcialmente!com!a!afirmação,!conforme!observahse!no!gráfico!da!Figura!46.!
Figura#46.#Histograma#das#respostas#para#a#questão#12#do#PSSUQ.#
!
Os!usuários!também!relataram!que!as!tarefas!eram!desafiadoras,!e!que!a!pega!dos! objetos!era!a!parte!mais!difícil,!devido!à!dificuldade!da!visualização!da!profundidade!
para!posicionar!o!bloco!dentro!da!garra.!No!entanto!oito!usuários!teceram!elogios! voluntários!à!interface!no!final!dos!testes,!e!se!mostravam!satisfeitos!ao!realizar!as! tarefas.!Quando!perguntados!sobre!o!quão!agradável!a!interface!havia!sido,!48,4%! dos!usuários!concordaram!com!a!afirmação!de!que!a!interface!havia!sido!agradável,! enquanto!32,3%!e!12,9%!concordaram!parcialmente!com!a!afirmação,!e!3,2%!dos! usuários! responderam! de! forma! neutra! e! 3,2%! discordaram! apenas! parcialmente! desta!afirmação.!
Figura#47.##Histograma#das#respostas#para#a#questão#13#do#PSSUQ.#
!
Quando! questionados! a! respeito! do! quanto! gostaram! de! utilizar! a! interface! do! sistema,! houve! uma! grande! taxa! de! concordância! e! nenhuma! discordância! com! a! afirmação! "eu! gostei! de! usar! a! interface! deste! sistema".! Concordaram! completamente! 64,5%! dos! usuários,! seguido! de! 22,6%! e! 9,7%! que! concordaram! parcialmente! (Figura! 48).! Apenas! 3,2%! dos! usuários! se! posicionaram! de! forma! neutra!a!respeito!da!afirmação.!Este!resultado!se!relaciona!com!a!questão!anterior,!e! ambas! obtiveram! respostas! à! esquerda! do! gráfico! na! Figura! 48! e! na! Figura! 47,! reforçando! o! resultado! de! ambas.! Com! este! resultado! podemos! observar! que! os! usuários! relataram! uma! experiência! positiva,! uma! vez! que! gostaram! de! utilizar! a! interface!e!a!consideraram!agradável.!
Figura#48.#Histograma#das#respostas#para#a#questão#14#do#PSSUQ.#
!
A! respeito! da! afirmação! da! questão! 15! do! PSSUQ! os! usuários! foram! menos! concordantes! com! a! afirmação! de! que! o! sistema! possuía! todas! as! funções! e! capacidades! que! esperavam! que! tivesse.! 13%! dos! usuários! no! total! discordaram! parcialmente!da!afirmação!(sendo!que!6,5%!discordaram!mais!e!6,5%!discordaram! menos! na! escala! Likert),! e! 12,9%! se! posicionaram! de! forma! neutra,! não! concordando!nem!discordando!com!a!afirmação,!conforme!representado!na!figura! 49.!Tal!resultado!era!esperado,!uma!vez!que!nem!todos!os!auxílios!visuais!propostos! para! interfaces! com! RA! para! teleoperação! em! tarefas! de! manipulação! foram! implementados! neste! protótipo,! devido! a! limitações! do! robô.! Ainda! assim,! 32,3%! dos!usuários!concordaram!completamente!com!a!afirmação,!e!12,9%!concordaram! parcialmente,!e!29%!concordaram!parcialmente,!um!pouco!menos,!com!a!afirmação.!
Figura#49.##Histograma#das#respostas#para#a#questão#15#do#PSSUQ.#
!
O!PSSUQ!se!encerra!com!um!quesito!de!satisfação!geral,!onde!35,5%!dos!usuários! concordaram!completamente!com!a!afirmação!de!que!"no!geral,!estou!satisfeito!com! este! sistema",! seguido! de! 38,7%! e! 12,9%! que! concordaram! parcialmente! com! a! afirmação.! Apenas! 9,7%! responderam! de! forma! neutra! à! afirmação,! e! 3,2%! discordaram! da! afirmação.! Conforme! ilustrado! na! Figura! 50! observahse! que! as! respostas!se!acumularam!mais!do!lado!esquerdo!da!escala!Likert,!totalizando!87,1%! dos! usuários! que! relataram! estar! satisfeitos! ou! parcialmente! satisfeitos! com! o! protótipo.#
Figura#50.#Histograma#das#respostas#para#a#questão#16#do#PSSUQ.#
Obtiveram!aprovação!dos!usuários!12!das!16!questões!do!PSSUQ.!As!questões:!sobre! o!quão!simples!foi!utilizar!o!sistema,!e!o!quanto!os!usuários!se!sentiram!à!vontade! ao! utilizar! a! interface! também! obtiveram! resultados! favoráveis! de! acordo! com! o! nível!de!confiança!proposto!por!Nielsen!(1997!apud!Sauro!&!Lewis!2016).!Obtevehse! resultado!positivo!também!dos!usuários!quando!questionados!se!haviam!gostado!de! utilizar!a!interface,!na!questão!14.!!Nas!questões!5!e!6!referentes!à!aprendizagem,!e! sobre! se! tornarem! produtivos! rapidamente! utilizando! o! sistema! o! resultado! também!foi!positivo.!!
Os! usuários! não! relataram! dificuldades! de! visualizar! os! elementos! da! interface! proposta! durante! os! testes,! que! é! uma! preocupação! do! design! da! informação.! Os! elementos!eram!compostos!de!linhas!de!cores!saturadas,!e!contornos!brancos!para! garantir! legibilidade! através! do! contraste! dos! elementos! com! a! imagem! de! vídeo! enviada! do! robô.! Os! resultados! das! questões! 9,! 10! e! 12! a! respeito! de! clareza,!