Conforme explicitado na seção 1.4, o desenvolvimento desta pesquisa propôs investigar a veracidade das seguintes afirmações:
• H1: Há diferenças significativas entre os dados coletados nos testes de campo e aqueles coletados nos testes laboratoriais; • H2: Há diferenças significativas entre os dados coletados nos
ambientes silencioso, normal e ruidoso; e
• H3: Há diferenças significativas entre os dados relativos às categorias de participantes consideradas (principiantes e intermediários)
O primeiro argumento refere-se ao estudo comparativo realizado para avaliar o impacto do contexto de uso (com destaque para a mobilidade, no caso de estudo com o HP iPAQ 910c) mostrou não existir diferenças significativas entre os resultados obtidos no laboratório e aqueles obtidos no campo, no que diz respeito aos indicadores objetivos selecionados (tempo de execução, número de opções incorretas, número de ações incorretas, número de erros repetidos, número de consultas à ajuda, número de ações de reconhecimento de comandos de voz incorretas), nem entre os indicadores específicos à entrada de dados via reconhecimento de escrita para cada um dos dispositivos avaliados) (vide Apêndices Z e AK).
Considerando as especificidades e dificuldades inerentes à realização de testes no campo e as peculiaridades dos dispositivos avaliados, conclui- se que, para esta avaliação, a relação custo-benefício da realização de testes de campo não se mostrou compensadora, uma vez que exigiu muito mais esforço do avaliador para realizá-los no tocante ao acompanhamento
163
das sessãões de teste, ao registro audiovisual da interação e ao controle dos equipamentos de apoio ao registro das sessões de teste.
O segundo argumento diz respeito ao estudo comparativo entre os dados coletados nos ambientes silencioso, normal e ruidoso, a partir da mensuração do desempenho e da satisfação dos usuários, mostrou não existir diferenças significativas entre os dados coletados nos ambientes silencioso, normal e ruidoso, salvo o número de ações de reconhecimento de comandos de voz incorretos associados às Tarefas 02 e 05 entre o ambiente ruidoso e os demais (vide Apêndices AG e AI).
O último argumento refere-se ao estudo comparativo entre os dados relativos às categorias de participantes consideradas (principiantes e intermediários) mostrou não existir diferenças significativas entre os indicadores quantitativos relativos às categorias principiantes e intermediários nos casos de estudos realizados. No entanto, observa-se nos casos de estudos algumas exceções: (i) no HP Touchsmart PC, apenas no número de opções incorretas e número de consultas à ajuda, referentes às Tarefas 00 e 01 (vide Apêndice X); e (ii) no HP iPAQ 910c, no número de ações de reconhecimento dos comandos de voz incorretas no contexto laboratorial. Dentre os ambientes avaliados (silencioso, normal e ruidoso), o que registrou o maior número de diferenças entre as categorias principiantes e intermediários, foi o ambiente ruidoso (vide Apêndices AA, AB e AC para os testes de laboratório e nos Apêndices AD, AE e AF para os testes de campo, nos ambientes silencioso, normal e ruidoso, respectivamente.
Do ponto de vista do número de falhas, constatou-se, a partir dos comentários verbais feitos durante os testes e pela entrevista não- estruturada ao término das sessões de teste, que, no tocante ao perfil dos usuários, aqueles categorizados como intermediários contribuíram de forma mais significativa para a detecção de falhas. Apesar de se esperar que os usuários principiantes possibilitasse a elucidação do maior número de falhas, grande parte desta categoria de usuários não concluiu satisfatoriamente as tarefas ou não as concluiu em tempo hábil. Por outro lado, uma parcela significativa dos usuários intermediários conseguiu concluir as tarefas em tempo hábil. Grosso modo, o número de falhas identificadas nos testes conduzidos com os usuários principiantes e
164
intermediários pode representar o comportamento de um usuário em específico que seja diferente dos demais usuários do universo amostral.
O caráter complementar dos enfoques de avaliação que compõem a abordagem, já verificado por Queiroz (2001) para dispositivos desktop unimodais, assim como por Ferreira (2007) para dispositivos móveis, também é válido para aplicações com interfaces multimodais. A partir da aplicação da abordagem híbrida para a avaliação da usabilidade de aplicações com interfaces multimodais, verificou-se que os três enfoques de avaliação que compõem a metodologia (inspeção de conformidade a padrões, mensuração do desempenho do usuário e sondagem da satisfação subjetiva do usuário) complementam-se, permitindo uma avaliação mais completa.
No tocante aos enfoques de inspeção de conformidade e mensuração do desempenho, estes possibilitaram a detecção de problemas de usabilidade de naturezas distintas, enquanto a sondagem da satisfação do usuário possibilitou confirmar ou refutar, em mais alto nível, os problemas de usabilidade detectados a partir dos dois outros enfoques.
Outro tópico que merece um comentário refere-se às modalidades de entrada do usuário, tais como reconhecimento de voz e entrada textual, que requerem muita interação com o usuário. Por exemplo, a interação por comando de voz exige que os usuários pronunciem tais comandos com ênfase. Já para a entrada textual, no caso do dispositivo desktop, foi destacado pelos usuários o incômodo causado pela posição do braço durante a realização da tarefa. Para o dispositivo móvel, verificou-se que a execução das tarefas durante a movimentação do usuário pelo ambiente de teste provocou o cometimento de um número maior de erros, devido à divisão de atenção do usuário entre movimentar-se e executar as tarefas. Isto reforça o fato de que, para o escopo dos produtos-alvo avaliados, o ambiente de avaliação laboratorial se mostrava tão adequado para a realização da tarefas com o dispositivo móvel quanto com o dispositivo desktop.
Dentre as contribuições advindas da realização desta pesquisa, pode- se ainda citar o desenvolvimento do aparato para o suporte da micro- câmera sem fio minimamente intrusivo (Figura 8), tomando como referência o modelo desenvolvido por Ferreira (2007), a fim de tornar possível o registro em vídeo da interação dos usuários com o dispositivo
165
móvel (HP iPAQ 910c) nos testes de campo. De acordo com os resultados da entrevista não-estruturada, os usuários afirmaram que o aparato não interferiu na execução das tarefas.
Portanto, a partir da aplicação da abordagem híbrida, dos dados coletados e da análise realizada, conclui-se que a abordagem híbrida se mostrou eficaz na detecção de problemas de usabilidade de aplicações com interfaces multimodais e que adaptações mínimas nas técnicas de avaliação tradicionais são suficientes para englobar a avaliação de aplicações com interfaces multimodais.