3.1 Abordagem Híbrida Original
3.1.2 Sondagem da Satisfação Subjetiva e Mensuração do
Queiroz (2001) relatou que a satisfação (subjetiva) do usuário tem sido um dos estimadores utilizados na definição do grau de interação homem- computador, e também empregado como fator de avaliação do sucesso de processos interativos e do desempenho de sistemas de informação, uma vez que o aumento da produtividade do processo interativo no tocante à satisfação do usuário e à facilidade de exploração do potencial global do sistema resulta de um bom projeto de interface homem-computador.
A estratégia mais comum empregada nas avaliações para análise das atitudes, opiniões e preferências dos usuários tem sido o uso de questionários como instrumentos para o delineamento do perfil e a sondagem da satisfação subjetiva do usuário.
No âmbito da abordagem proposta por Queiroz (2001), a aplicação de questionários para o delineamento do perfil dos participantes do ensaio de usabilidade propiciou a coleta de séries de dados qualitativos concernentes a características (i) físicas; (ii) associadas ao conhecimento e à experiência; e (iii) associados à tarefa e ao trabalho do usuário de teste. Por outro lado, a sondagem da opinião dos usuários de teste sobre o produto avaliado produziu séries de dados qualitativos referentes (i) ao uso e navegação; (ii) à documentação online e offline; e (iii) a impressões pessoais.
Como outra forma para aquisição de indicadores de satisfação, a metodologia utiliza (i) as respostas verbais coletadas nas entrevistas informais com participantes do ensaio; (ii) o índice de satisfação obtido a partir dos dados coletados a partir da administração do questionário de
53
sondagem da satisfação do usuário; e (iii) os comentários verbais de opiniões feitos pelos participantes durante as sessões de teste.
No tocante aos indicadores quantitativos, foram considerados na metodologia original: (i) o tempo de conclusão da tarefa; (ii) o número de ações incorretas; (iii) o número de escolhas incorretas; (iv) o número de erros repetidos e (v) o número de consultas à ajuda.
O destaque deste enfoque está em avaliar o produto sob o ponto de vista do usuário final, expondo suas expectativas e necessidades ao usar o produto.
3.2
Abordagem
Híbrida
para
a
Avaliação
da
Usabilidade de Dispositivos Móveis
Ferreira (2007) instanciou a metodologia híbrida de avaliação concebida por Queiroz (2001), de forma a adequá-la à avaliação da usabilidade de dispositivos móveis. Na adaptação da abordagem híbrida original para o contexto de avaliação de dispositivos móveis, os enfoques de avaliação foram mantidos: (i) inspeção da conformidade do produto a um padrão; (ii) mensuração do desempenho do usuário; e (iii) sondagem da satisfação subjetiva do usuário. No entanto, constatam-se adaptações relacionadas a cada um destes enfoques, a saber: (i) incorporação de outros padrões
internacionais (ISO e ITU); (ii) inclusão da avaliação de campo; (iii) inclusão de entrevistas não-estruturadas (Figura 2).
Usabilidade do produto
Abordagem híbrida
Mensuração do desempenho do usuário Sondagem da satisfação do usuário Inspeção da conformidade do produto a um padrão Influência Avaliação laboratorial Avaliação de campo Questionário pós-teste Comentários verbais Entrevista informal ISO 9241 ISO 24755 ISO 14754 ISO 18021 ITU E.161Figura 2 – Descrição da abordagem híbrida adaptada para avaliação de dispositivos móveis por Ferreira (2007).
54
3.2.1 Inspeção da Conformidade do Produto a Padrões
Na adaptação da abordagem híbrida original para o contexto de avaliação de dispositivos móveis, focalizou-se uma atenção especial aos padrões utilizados na inspeção de conformidade, uma vez que não havia, no âmbito das organizações internacionais de padronização, um padrão equivalente ao padrão ISO 9241, que envolvesse requisitos ergonômicos para o trabalho com dispositivos móveis. Portanto, investigou-se uma série de padrões específicos e a adequação do padrão ISO 9241 – Ergonomic Requirements for Office Work with Visual Display Terminals (VDTs) (ISO, 1997) - à avaliação de dispositivos móveis e ao escopo delimitado para o produto- alvo.
O padrão ISO 9241 recomenda que durante as fases de especificação, desenvolvimento e avaliação de sistemas baseados em diálogos de interação, sejam aplicados sete princípios de diálogo10. No entanto, tais princípios devem ser aplicados apenas como diretrizes, pois seu uso está relacionado às características dos usuários, das tarefas, do ambiente de uso e da própria técnica de diálogo utilizada.
Foram utilizadas, no âmbito da abordagem híbrida para a avaliação de dispositivos móveis proposta por Ferreira (2007), as partes 10, 11, 14, 16 e 17 do padrão ISO 9241. Uma vez que a interface do dispositivo utilizado na validação desta abordagem, apresentava diálogos com o usuário através de painéis de menu, manipulação direta de objetos visuais e preenchimento de formulários, as partes 14 - Menu dialogues (ISO, 1997), 16 – Direct manipulation dialogues (ISO, 1999b) e 17 – Form filling dialogues (ISO, 1998b) do padrão ISO 9241 foram consideradas aplicáveis, ao contrário das demais partes do padrão ISO 9241 utilizadas na validação da abordagem original. As partes 10 - Dialogue Principles (ISO, 1996) e 11 - Guidance on usability (ISO, 1998a) foram utilizadas no processo de inspeção do produto apenas como guias para os demais processos de avaliação.
10 Os sete princípios a seguir foram identificados como sendo importantes para o projeto e
avaliação de um diálogo com computadores: adequação à tarefa; auto descrição; controlabilidade; conformidade com expectativas do usuário; tolerância ao erro; adequação à individualização; adequação ao aprendizado.
55
Os princípios de diálogo, listados na Parte 1011 (ISO, 1996), foram utilizados de forma implícita na inspeção das outras partes e também no processo de detecção de falhas durante o processo de mensuração do desempenho. A Parte 11 do padrão internacional ISO 9241 (ISO, 1998a), Especificações de usabilidade (Guidance on usability), embora não tenha sido utilizada para inspecionar o produto, foi utilizada como referência para a escolha das estratégias de avaliação envolvidas na abordagem, principalmente no que diz respeito à mensuração do desempenho e à sondagem da satisfação dos usuários.
Além do padrão ISO 9241, Ferreira (2007) verificou que os seguintes padrões eram aplicáveis ao escopo delimitado para o produto-alvo:
• ISO 14754 – Pen-Based Interfaces – Common gestures for Text Editing with Pen-Based Systems (ISO, 1999) o qual define os comandos gestuais básicos e ações para execução de tais comandos para edição de texto em sistemas baseados em reconhecimento de escrita, e.g. seleção, exclusão, quebra de linha, copiar, colar, recortar, desfazer;
• ISO 18021 – User interfaces for mobile tools for management of database communications in a clientserver model (ISO, 2002) define funções da interface com o usuário para gerenciar a comunicação com banco de dados do lado cliente de um MBT (MoBile Tool) capaz de trocar informações com um servidor; e • ISO 24755 – Screen icons and symbols for personal mobile
communication device (ISO, 2006) define e recomenda um conjunto de ícones e símbolos que, normalmente, estão presentes em dispositivos de comunicação móvel pessoal. Suas recomendações de ícones e símbolos estão relacionadas às características de configuração do próprio dispositivo (e.g. teclado, bateria, toques e sons) e às suas aplicações (e.g. catálogo de endereços, imagens, filmes, áudio, acesso à Web, jogos, agenda, mensagens).
11
Apesar de ter sido descontinuada, chamando-se agora de ISO 9241 – Ergonomics of humansystem interaction – Part 110: Dialogue principles (ISO, 2006), incorporou-se a versão antiga do padrão, por ser a versão disponível e por suas recomendações não diferirem significativamente daquelas contidas na versão atual.
56
Ferreira (2007) destacou que tais padrões, apesar de serem, em geral, adequados aos dispositivos móveis, estão intimamente associados ao dispositivo alvo da avaliação, i.e. a aplicabilidade do padrão está ligada ao produto-alvo da avaliação.
Além da ISO (International Standard Organization), a ITU (International Telecommunication Union) também desenvolve padrões relacionados aos serviços de telecomunicação e, consequentemente, relacionados a dispositivos móveis. Dentre as recomendações da ITU investigadas por Ferreira (2007), foi escolhida e adotada a recomendação E.161 (Arrangement of digits, letters and symbols on telephones and other devices that can be used for gaining access to a telephone network) (ITU, 2001), relacionada ao posicionamento dos dígitos, letras e símbolos em telefones e outros dispositivos móveis.
3.2.2 Sondagem da Satisfação Subjetiva e Mensuração do Desempenho do Usuário
No que diz respeito à sondagem da satisfação subjetiva dos usuários ao utilizarem o produto, optou-se pela utilização de questionários informatizados de sondagem da satisfação dos usuários, anotações de comentários verbais feitas pelos usuários durante as sessões de teste e dados coletados a partir de entrevistas não estruturadas (debriefing) realizadas ao final das sessões de teste. Para auxiliar o processo de coleta de dados através de questionários, foi utilizada a ferramenta WebQuest (Queiroz, 2005; Oliveira, 2005; WebQuest, 2009).
Na adaptação da abordagem híbrida original para o contexto de avaliação de dispositivos móveis, outro aspecto que mereceu atenção durante a adaptação referiu-se à mensuração do desempenho do usuário, uma vez que aspectos relacionados às dimensões, à mobilidade e ao contexto de uso de tais dispositivos mostra-se significativamente distinto do contexto de uso de dispositivos/sistemas desktop, para o qual a metodologia foi originalmente proposta.
Foi avaliado o impacto da inclusão da avaliação de campo, com a inclusão da avaliação de campo para mensurar o desempenho do usuário, para aproximar o ambiente de teste do ambiente real de uso de tais
57
dispositivos. Assim, o enfoque de avaliação da mensuração do desempenho passou a ser compreendido por dois métodos de avaliação: (i) avaliação laboratorial; (ii) avaliação de campo.
No âmbito da pesquisa desenvolvida por Ferreira (2007) foram definidos na etapa de planejamento os indicadores objetivos e subjetivos mais significativos para o que se propunha tal pesquisa. Tendo selecionado indicadores de natureza quantitativa e qualitativa. Os indicadores quantitativos considerados no experimento foram: (i) tempo execução da tarefa; (ii) número de opções incorretas; (iii) número de ações incorretas; (iv) número de erros repetidos; e (v) número de consultas à ajuda (online e offline).
Quanto aos indicadores qualitativos foram considerados: (i) facilidade de uso do produto; (ii) facilidade de uso dos mecanismos de entrada de dados; (iii) facilidade de uso dos modos de entrada de texto; (iv) facilidade de compreensão dos termos e símbolos do produto; (v) facilidade de compreensão das mensagens de erro/advertência do produto; e (vi) eficiência da ajuda.
3.2.3 Comentários adicionais sobre as abordagens de