RAFAEL FACCIO
VALIDAÇÃO DE HEURÍSTICAS DE USABILIDADE PARA CELULARES TOUCHSCREEN POR MEIO DE TESTES DE USABILIDADE
FLORIANÓPOLIS 2014
VALIDAÇÃO DE HEURÍSTICAS DE USABILIDADE PARA CELULARES TOUCHSCREEN POR MEIO DE TESTES DE USABILIDADE
Trabalho de Conclusão de Curso apresentado ao Departamento de Informática e Estatística da Universidade Federal de Santa Catarina para a obtenção do Grau de Bacharel em Sistemas de Informação.
Orientadora: Prof.Dr.rer.nat. Christiane Gresse von Wangenheim, PMP
Coorientador: Prof. Dr. Adriano Ferreti Borgatto
FLORIANÓPOLIS 2014
VALIDAÇÃO DE HEURÍSTICAS DE USABILIDADE PARA CELULARES TOUCHSCREEN POR MEIO DE TESTES DE USABILIDADE
Trabalho de Conclusão de Curso apresentado ao Departamento de Informática e Estatística da Universidade Federal de Santa Catarina para a obtenção do Grau de Bacharel em Sistemas de Informação.
Florianópolis, 2014
_____________________________________________ Profa. Christiane Gresse von Wangenheim, INE/UFSC
Professora Orientadora
_____________________________________________ Prof. Adriano Ferreti Borgatto INE/UFSC Professor Coorientador
_____________________________________________ Juliane Vargas Nunes Membro da Banca Examinadora
FACCIO, Rafael. Validação De Heurísticas De Usabilidade Para Celulares Touchscreen Por Meio De Testes De Usabilidade. 78 p. Trabalho de Conclusão
de Curso (Bacharel em Sistemas de Informação) – Departamento de Informática e Estatística. Universidade Federal de Santa Catarina, Florianópolis, 2014.
Atualmente celulares cada vez mais modernos e capazes estão fazendo parte de nossas vidas que nos apresentam novas formas de interação. Dentre eles, destacam-se os touchscreen smartphones, aparelhos com tela sensível ao toque e capacidade de processamento avançado. Na engenharia de usabilidade existem vários conjuntos de heurísticas de usabilidade voltados para sistemas desktop, mas, devido às diferenças de uso apresentadas pelos smartphones, faz-se necessário conjuntos de heurísticas de usabilidade focadas neles. Ou seja, para que estes dispositivos ofereçam a melhor experiência de uso de maneira eficiente e eficaz. Para isso, foi desenvolvido no GQS/INCoD/UFSC um conjunto de heurísticas de usabilidade e um checklist para medir a usabilidade de aplicativos em celulares touchscreen chamado MATcH. O presente trabalho tem como objetivo validar esse conjunto de heurísticas de usabilidade para celulares touchscreen por meio de um estudo empírico comparativo entre resultados obtidos na aplicação do MATcH com resultados obtidos por meio de testes de usabilidade, buscando uma maior confiabilidade no uso do MATcH. Foram realizadas duas iterações de testes e um total de 9 aplicativos foram testados através de tarefas pré-definidas por meio de testes presenciais e à distância (online). Após a análise dos resultados obtidos foi possível perceber uma inconsistência em quase 70% dos resultados comparados, percebendo uma propensão do MATcH em avaliar mais firmemente questões de usabilidade ligadas ao projeto e design da interface quando os testes de usabilidade têm uma propensão de avaliar a experiência geral do usuário. Com base nesta análise foi realizada a validação, e discutida a necessidade de um refinamento para aproximar os resultados do MATcH com o resultado dos testes de usabilidade de forma mais confiável.
Palavras-chave: Usabilidade. Celulares Touchscreen. Heurísticas de
FIGURA 1:METODOLOGIA ... 14
FIGURA 2:USO E CONTEXTO DA INTERAÇÃO HUMANO-COMPUTADOR ... 17
FIGURA 3:DEFINIÇÃO DO ESTUDO COMPARATIVO ... 32
FIGURA 4:PÁGINA DO QUESTIONÁRIO ONLINE ATRAVÉS DO LIMESURVEY ... 33
FIGURA 5:APLICATIVOS SELECIONADOS E DEFINIÇÃO DA ITERAÇÃO 1 ... 34
FIGURA 6:APLICATIVOS SELECIONADOS E DEFINIÇÃO DA ITERAÇÃO 2 ... 37
FIGURA 7: PARTICIPANTE RESPONDENDO O QUESTIONÁRIO PRESENCIALMENTE ... 38
FIGURA 8: PLANILHA EXCEL COM AS RESPOSTAS DOS QUESTIONÁRIOS UNIFICADAS .. 41
FIGURA 9: RESULTADOS OBTIDOS ... 43 FIGURA 10: GRÁFICO COMPARATIVO ENTRE OS RESULTADOS DO SUS E DO SURE. 48
TABELA 1:HEURÍSTICAS DE NIELSEN ... 19
TABELA 2: CONJUNTO UNIFICADO DE HEURÍSTICAS PARA CELULARES (SALAZAR, ET AL., 2012) ... 22
TABELA 3:ESCALA DE MEDIÇÃO DE USABILIDADE ... 23
TABELA 4:EXTRAÇÃO DE DADOS ... 26
TABELA 5:EXEMPLO DE ESCALA LIKERT DE RESPOSTA ... 29
TABELA 6: CRITÉRIOS DE ESCOLHA DE APLICATIVOS (OLIVEIRA, 2013) ... 34
TABELA 7: TAREFAS POR APLICATIVO NA ITERAÇÃO 1 ... 35
TABELA 8: APLICATIVOS PRÉ-SELECIONADOS PARA ITERAÇÃO 2 ... 36
TABELA 9: TAREFAS DEFINIDAS PARA OS APLICATIVOS DA 2ª ITERAÇÃO ... 37
TABELA 10: ESPECIFICAÇÕES DO IPHONE 4S ... 38
TABELA 11: ESPECIFICAÇÕES DO SAMSUNG GALAXY Y TV ... 39
TABELA 12: RESUMO DEMOGRÁFICO DOS PARTICIPANTES DA 2ª ITERAÇÃO ... 40
TABELA 13: DADOS UNIFICADOS DA ITERAÇÃO 1 E 2 ... 42
TABELA 14: MÉDIA DE NOTAS POR PLATAFORMA (ITERAÇÕES 1 E 2) ... 47
ANATEL – Agência Nacional de Telecomunicações TRI - Teoria de Resposta ao Item
IHC - Interação Humano-Computador
UFSC – Universidade Federal de Santa Catarina
CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior GQS – Grupo de Qualidade de Software
INCoD - Instituto Nacional de Convergência Digital SUS – System Usability Scale
SURE - Smartphone Usability questionnaiRE INE – Departamento de Informática e Estatística
1 INTRODUÇÃO ... 10 1.1 PROBLEMA ... 12 1.2 OBJETIVOS ... 13 1.3 MÉTODO DE PESQUISA ... 14 1.4 ESTRUTURA DO DOCUMENTO ... 16 2 FUNDAMENTAÇÃO TEÓRICA ... 17 2.1 ENGENHARIA DE USABILIDADE ... 17 2.2 HEURÍSTICAS DE USABILIDADE ... 18
2.2.1 Heurísticas para Celulares ... 21
2.2.1.1 MATcH – Measuring Usability of Touchscreen Phone Applications ... 22
3 ESTADO DA ARTE ... 24
3.1 DEFINIÇÃO ... 24
3.2 EXECUÇÃO ... 25
3.3 EXTRAÇÃO DE DADOS E ANÁLISE ... 26
4 VALIDAÇÃO DO CONJUNTO DE HEURÍSTICAS MATCH ... 31
4.1 DEFINIÇÃO ... 31
4.1.1 Primeira Iteração ... 34
4.1.2 Segunda Iteração ... 35
4.2 EXECUÇÃO ... 37
4.3 ANÁLISE DOS DADOS ... 40
4.3.1 Pergunta De Pesquisa ... 42
4.3.2 A Plataforma Influencia Na Avaliação? ... 47
4.3.3 O Tipo Do Questionário Influencia Na Avaliação? ... 48
4.3.4 O Tipo Do Aplicativo Influencia Na Avaliação? ... 49
6 CONCLUSÃO ... 54 REFERÊNCIAS ... 55 APENDICE A – TAREFAS POR APLICATIVO ... 60 APENDICE B - TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO67 ANEXO A – CHECKLIST MATCH ... 69 ANEXO B – SURE ... 72 ANEXO C – SURE RESUMIDO ... 75
1 INTRODUÇÃO
Celulares são dispositivos que rapidamente se integraram ao mundo em que vivemos e já fazem parte do modo de vida das pessoas sendo considerados aparelhos imprescindíveis para grande parte delas. Sua rápida aceitação chegou a um ponto em que existem tantas linhas de celulares quanto pessoas no mundo (UN, 2013), isto significa quase 7 bilhões de linhas ativadas. As vendas mundiais de dispositivos móveis atingiram 1,75 bilhões de unidades em 2012, e o quarto período desse mesmo ano viu um acréscimo de 38,3% (GARTNER, 2013) em relação ao mesmo período do ano passado. A previsão de aumento de unidades vendidas é de 50% até 2014 (LEE, 2011), comprovando a popularidade da tecnologia e justificando uma concentração de pesquisa nesta área, visando seu aprimoramento. No Brasil, a situação é promissora também, tendo registrado mais de 271,1 milhões linhas ativas e 9,92 milhões de novas linhas ativadas no ano de 2013, um crescimento de 3,35% em relação ao ano passado. Também é importante notar o crescimento de acessos à banda larga 3G (tecnologia introduzida por smartphones), um aumento de 75,85% de janeiro a dezembro de 2013 (ANATEL, 2014).
Os celulares surgiram em meados da década de 70, e na época não eram os aparelhos compactos e leves que conhecemos hoje. Eles foram bastante aprimorados nas suas funcionalidades e capacidades desde lá, partindo do conceito de um telefone móvel para legítimos computadores de bolso, com tecnologias como câmera, GPS e sensores diversos, para citar alguns. Dentre os vários modelos de celulares, os que viram uma maior ascensão e destaque nos últimos anos foram os chamados smartphones. Smartphones, ou “celulares inteligentes” em tradução livre, diferenciam-se de outros celulares pela sua capacidade de processamento mais avançada e alta conectividade. Usualmente, são acompanhados de um Sistema Operacional padronizado que oferece uma plataforma para desenvolvedores de aplicações. Considera-se que são dispositivos que estão em uma categoria intermediária entre computadores e os chamados feature phones, celulares mais simples, com menor suporte a aplicações integradas desenvolvidas por terceiros. Fisicamente, os smartphones diversificam entre si em relação ao número de botões, tamanho e formas de entrada de dados e comandos. Dentre essas variedades, a que mais se espera crescer, de acordo com uma pesquisa feita pela Strategy
Analytics (2008), são os touchscreen smartphones, com um total de 425 milhões de aparelhos vendidos até o fim de 2013. Touchscreen phones são celulares que possuem a tela sensível ao toque, dispensando o uso de teclados para interação com os elementos na tela, sendo esta feita através de toques diretamente sobre a representação gráfica dos elementos. Além de interação por toques, os touchscreen phones podem oferecer uma série de sensores diferentes, como de luz, proximidade, GPS e acelerômetros (WASSERMAN, 2010).
Outro fator a ser levado em consideração é o ambiente onde estes dispositivos são utilizados, sendo bastante variados, diferentemente de computadores pessoais. Um smartphone pode ser utilizado em qualquer ambiente que uma pessoa pode imaginar (por exemplo: em movimento, em um local com muito barulho, muita luz ou pouca luminosidade ou em casa calmamente). Estes perfis variados de usuário modificam muito a experiência que uma pessoa poderá ter com o aparelho, portanto, projetar aplicações com isto em mente pode vir a ser um fator de sucesso (SALAZAR, et al., 2012), já que segundo Preece (2005), é de grande importância que interfaces sejam eficientes e eficazes durante o uso oferecendo uma experiência agradável ao usuário, ou seja, interfaces devem possuir boa usabilidade. Segundo a ISO9241, usabilidade é a “medida na qual um produto pode ser usado por usuários específicos para alcançar objetivos específicos com eficácia, eficiência e satisfação em um contexto específico de uso”.
Como forma de mensurar e avaliar usabilidade, existem heurísticas de usabilidade que podem ser utilizadas na hora de projetar a interface ou após, para avaliá-la de forma padronizada. Segundo Nielsen (1994), heurísticas de usabilidade são definidas como um conjunto de regras gerais que descrevem propriedades comuns em interfaces usáveis derivado do conhecimento de aspectos psicológicos, computacionais e sociológicos dos domínios do problema. Dentro do conjunto, “Consistência e Padrões”, “Prevenção de erros” e “Feedback” são alguns exemplos. Apesar de criadas para interfaces desktop, estas heurísticas foram adaptadas a diferentes paradigmas (como tablets e TVs), existindo também conjuntos de heurísticas especificamente para celulares (Salazar et al., 2012) (Bertini et al., 2006). Uma forma de colocar em prática estas heurísticas é a avaliação heurística, que é um método de inspeção de interfaces realizado por pesquisadores especialistas em usabilidade e interação humano-computador, onde são diagnosticados problemas de forma sistematizada. Segundo Nielsen (1994), a
necessidade de um grupo pequeno de avaliadores e o uso de regras pré-definidas para encontrar problemas (heurísticas) é o que garante a praticidade e baixo custo das avaliações heurísticas.
Uma ferramenta para operacionalizar a avaliação heurística é o checklist, e sua elaboração é de grande importância para os resultados da avaliação. Segundo Tezza (2009), checklists bem elaborados devem produzir resultados mais uniformes e abrangentes, em termos de identificação de problemas de usabilidade. Em função disso, o checklist MATcH passou por um processo de validação de suas questões, apresentado por Witt (2013).
1.1 Problema
Foi desenvolvido no GQS/INCoD/UFSC um conjunto de heurísticas de usabilidade e um checklist para avaliar a usabilidade de sistemas em dispositivos touchscreen phones. Chamado de MATcH (Measuring Usability of Touchscreen Phone Applications), este é um conjunto de heurísticas organizadas com base em Nielsen e customizadas especificamente para os dispositivos móveis. Como instrumento de avaliação heurística, o checklist do MATCH é composto de uma série de itens que buscam identificar as características que representam efetivamente uma boa usabilidade em interfaces touchscreen para celulares.
O problema que surge é a necessidade destas heurísticas customizadas para smartphones em serem validadas quanto a sua confiabilidade e eficácia. A validação de heurísticas deve ocorrer para determinar seu potencial em detecção de erros. Se não validadas, os problemas por elas detectados podem não representar erros reais ou ignorar problemas existentes, não cumprindo o propósito das heurísticas de conduzir a um melhor desenvolvimento das interfaces.
Em Witt (2013), foi dado um primeiro passo para a validação deste conjunto de heurísticas, realizando um estudo empírico composto de várias avaliações heurísticas utilizando o checklist desenvolvido para este propósito. Este trabalho resultou na identificação da relevância de cada item do checklist utilizando a TRI – Teoria da Resposta ao Item (ANDRADE, 200) aplicando-o para avaliação de uma série de aplicativos. A validação das heurísticas foi feita através da validação destes itens; eliminando os itens que apresentavam problemas após a análise dos
resultados (itens com falta de consistência se comparados ao conjunto) e criando uma escala padronizada de grau de usabilidade.
Em Oliveira (2013), foi então definido um questionário a ser aplicado ao final de testes de usabilidade para celulares touchscreen e identificado que ele é adequado para avaliação da usabilidade de aplicativos para celulares touchscreen. Este questionário será utilizado para a captação dos resultados dos testes de usabilidade neste trabalho.
Dessa forma a pergunta de pesquisa a ser analisada no presente trabalho é: O conjunto de heurísticas e o checklist de usabilidade para dispositivos de celulares touchscreen (MATcH) é valido quando comparado com os resultados de testes de usabilidade?
1.2 Objetivos
Objetivo Geral:
O objetivo geral deste trabalho é validar as heurísticas e checklist de usabilidade MATcH customizada para celulares touchscreen. Para este fim é realizando um estudo empírico comparativo, onde são realizadas avaliações heurísticas utilizando o checklist desenvolvido e uma série de testes de usabilidade referente aos mesmo aplicativos para celulares touchscreen. Durante os testes de usabilidade, os dados relativos a percepção dos usuários sobre a usabilidade do aplicativo serão coletadas sistematicamente, a partir de um questionário pós-teste.
Objetivos Específicos:
Os objetivos específicos são:
O1. Analisar a teoria da área de usabilidade em termos de heurísticas de usabilidade focando dispositivos celulares touchscreen.
O2. Analisar o estado da arte em relação a avaliações de heurísticas de usabilidade em geral e para dispositivos celulares touchscreen.
O3. Comparar os resultados das avaliações heurísticas com MATcH com os resultados de uma série de testes de usabilidade de 9 aplicativos.
Limites:
O presente trabalho possui as seguintes limitações:
1. É focado na avaliação do MATcH enquanto checklist para medir a usabilidade de dispositivos celulares touchscreen.
2. A avaliação só é realizada em dispositivos celulares touchscreen que possuam sistema operacional iOS ou Android. De acordo com a International Data Corporation (IDC, 2014), estas duas plataformas representam juntas 95,7% do mercado de sistemas operacionais para smartphones.
1.3 Método de Pesquisa
A metodologia de desenvolvimento deste trabalho é dividida em três etapas, como mostra a figura 1:
Figura 1: Metodologia
Estudo de Caso
Iteração 1
Iteração 2
Análise e
comparação
Revisão do Estado da Arte
Avaliações heurísticas existentes para interfaces de celulares touchscreen
Revisão da Literatura
Área Interação Humano-Computador Área de testes de usabilidade em dispositivos móveis
Etapa 1 - Revisão da Literatura: Será levantado, a partir da literatura, a definição sobre conceitos pertinentes a área de interação humano-computador em geral e posteriormente com ênfase na área de heurísticas de usabilidade para dispositivos celulares touchscreen.
Atividade 1.1: Definir conceitos da área a área de IHC/Engenharia de usabilidade/Heurísticas de Usabilidade.
Atividade 1.2: Analisar a área de testes de usabilidade com dispositivos moveis.
Etapa 2 – Revisão do estado da arte: Analisar o estado da arte em relação à avaliação de heurísticas de usabilidade existentes para o design de interface para celulares touchscreen. Para esta etapa será utilizada a técnica de revisão sistemática de literatura (KITCHENHAM, 2007).
Atividade 2.1: Definir a revisão sistemática da literatura Atividade 2.2: Executar a revisão sistemática da literatura Atividade 2.3: Analisar e interpretar as informações extraídas Atividade 2.4: Documentar e discutir os resultados
Etapa 3 - Estudo de Caso: Nessa etapa será realizado o estudo empírico comparativo. Serão definidos o objetivo e o design do estudo. As avaliações dos aplicativos para celulares touchscreen para plataformas iOS ou Android serão realizadas em duas iterações utilizando de testes de usabilidade de forma remota e presencial.
Atividade 3.1: Definir o estudo
Atividade 3.2: Realizar as avalições heurísticas usando o MATcH Atividade 3.3: Executar a iteração 1 dos testes de usabilidade
Atividade 3.3.1: Executar os testes de usabilidade remota não-moderada Atividade 3.3.2: Executar os testes de usabilidade no laboratório
Atividade 3.4: Executar a iteração 2 dos testes de usabilidade
Atividade 3.4.1: Executar os testes de usabilidade remota não-moderada Atividade 3.4.2: Executar os testes de usabilidade no laboratório
Atividade 3.5: Analisar os resultados dos testes de usabilidade Atividade 3.6: Comparar resultados
1.4 Estrutura Do Documento
Este trabalho está estruturado em seis capítulos. No capítulo dois, o autor apresenta a fundamentação teórica, onde aborda os conceitos de sustentação do estudo. Conceitos de engenharia de usabilidade, heurísticas de usabilidade e heurísticas para celulares, bem como a apresentação do conjunto de heurísticas a ser validado neste estudo de caso.
No capítulo três, é apresentado um estudo do estado da arte, analisando o panorama atual de pesquisas elaboradas na mesma área deste trabalho a partir de uma revisão sistemática da literatura. Trabalhos sobre validação de heurísticas voltadas aos dispositivos móveis são estudados.
No capítulo quatro é realizada a validação de um conjunto de heurísticas para celulares touchscreen. São definidos os testes realizados e os resultados obtidos são analisados.
No capítulo cinco os dados analisados são então discutidos de forma mais geral, bem como são discutidas as ameaças à validade deste trabalho.
No capítulo seis são realizadas as conclusões deste estudo de caso comparativo e também aborda-se os possíveis trabalhos futuros nesta área de pesquisa.
2 FUNDAMENTAÇÃO TEÓRICA
Neste capítulo são apresentados conceitos e definições teóricas acerca de usabilidade e seus assuntos relacionados, como avaliações heurísticas, interfaces e interações humano-computador e abordagens para validação em dispositivos móveis.
2.1 Engenharia De Usabilidade
Ao iniciar o estudo de engenharia de usabilidade, podemos começar pela conceituação da interação humano-computador (IHC). Esta área da Ciência da Computação surgiu no início dos anos 80 e tem se expandido rapidamente até os dias de hoje, adotando um caráter multidisciplinar a medida que sua popularidade aumenta e sua importância no dia a dia é reconhecida (CARROL, 2009). A IHC foca num melhor desenvolvimento da interface utilizada para nos comunicarmos com as máquinas e computadores e, por consequência, aperfeiçoarmos as tarefas cotidianas através de tecnologias que se misturam ao ambiente analógico com o mínimo de fricção possível. Ou seja, visa o melhor desempenho das tarefas realizadas por seres humanos em máquinas e a estrutura que possibilita isso, bem como analisar a capacidade de aprendizado do ser humano das diferentes interfaces existentes até a sua devida especificação e implementação (ACM, 2009).
Figura 2: Uso e Contexto da Interação Humano-Computador
Segundo a ISO 9241-11, usabilidade é a “medida na qual um produto pode ser usado por usuários específicos para alcançar objetivos específicos com eficácia, eficiência e satisfação em um contexto específico de uso”. Esta se refere à relação que se estabelece entre usuário, tarefa, interface, equipamento e demais aspectos do ambiente no qual o usuário utiliza o sistema. Eficiência neste contexto está relacionada ao quão bem o produto faz o que é esperado dele; eficácia está relacionada ao modo como este produto melhora a realização das tarefas dos usuários e satisfação é uma medida de conforto e de atitude do usuário em relação ao uso deste produto (PREECE, 2005) (ISO 9241-11).
A Engenharia de Usabilidade é uma área da ciência que tem como objetivo apresentar técnicas que possam ser implementadas metodicamente para garantir um nível de qualidade de usabilidade da interface dos produtos. O conceito de qualidade de usabilidade de um produto ou interface é determinado por um processo de avaliação e atividades validadas (PÁDUA, 2011).
O termo “interface” começou a ser utilizado em computação como o ponto de interação entre o software e o hardware para o usuário realizar tarefas. Com o passar do tempo e a popularização da computação, o termo abrange agora aspectos emocionais e cognitivos do usuário enquanto ocorre esta interação com o sistema (ROCHA; BARANAUSKAS, 2003). Carvalho (2003) diz que o desenvolvimento destas interfaces de modo profissional é uma etapa complexa devido aos aspectos humanos (e bastante variáveis) das relações e por isso esta área de estudo pode definir a adoção de uma nova tecnologia e, portanto deve ser considerado com igual importância ao projetar novos produtos.
Preece (1994) propõe uma sequência de processos de engenharia de usabilidade que é composta, em ordem, de: definição dos objetivos de usabilidade utilizando métricas, especificar níveis de usabilidade a serem alcançados, analisar impactos de soluções de projeto, utilizar o feedback proveniente dos usuários durante o projeto e repetir o ciclo até alcançar os níveis planejados.
2.2 Heurísticas De Usabilidade
A usabilidade em seu conceito mais abrangente pode se referir à facilidade de uso do design aplicado a diferentes tipos de usuário e ambientes. Para melhor
qualificar usabilidade em um produto, podem ser implementados alguns parâmetros pelos desenvolvedores a fim de auxiliar no desenvolvimento e tornar o desenho da interface menos complexa e frustrante. Heurísticas são, segundo Nielsen (1994), regras/diretrizes para encontrar uma melhor maneira de resolver um problema de forma eficiente com um bom custo-benefício e resultados confiáveis. Elas descrevem propriedades comuns em interfaces. Estas propriedades são derivadas de estudos de aspectos psicológicos, computacionais e sociológicos do problema. Estas regras são utilizadas tanto para direcionar o design de interface quanto na avaliação da usabilidade. A seguir na tabela 1 estão descritas as 10 heurísticas de Nielsen.
Tabela 1: Heurísticas de Nielsen
Heurística Definição
Visibilidade de Status do Sistema Identificar o estado atual do sistema ao efetuar ações para que o usuário possa saber o que está acontecendo.
Relacionamento entre a interface do sistema e o mundo real
A interface precisa estar contextualizada com o domínio de comunicação que o usuário alvo possui
Liberdade e controle do usuário O usuário deve se sentir no comando podendo desfazer e cancelar ações indesejadas ou retornar facilmente a um estado anterior Consistência Indicar ações iguais de maneira igual e utilizar o mesmo tipo de
linguagem através de toda a interface para facilitar aprendizagem Prevenção de erros Ações definitivas (de deleção ou envio de dados) serem
acompanhadas por avisos claros e possibilidade de cancelamento Reconhecimento no lugar de
lembrança
Utilizar símbolos contextualizados e em lugares coerentes para que o usuário não precise lembrar o que cada área ou função do sistema executa
Flexibilidade e eficiência de uso O sistema precisa ser fácil para usuários leigos, mas flexível o bastante para se tornar ágil aos usuários avançados.
Estética e design minimalista Textos e design simples, diretos e de acordo com a necessidade apenas
Ajudar usuários a reconhecer, diagnosticar e resolver erros
As mensagens de erro devem ser claras quanto ao que ocorreu indicando uma saída ou solução construtiva
Ajuda e documentação Quando necessária, a documentação de ajuda deve ser encontrada facilmente, com linguagem simples e indicação clara dos passos para realizar as tarefas necessárias.
É importante reconhecer que as heurísticas de Nielsen não são o único conjunto de heurísticas possível. Dentre estes outros, podemos destacar também as 8 Regras de Design de Interface de Shneiderman (“Shneiderman’s 8 Golden Rules of Interface Design”) (SHNEIDERMAN, 1998). Shneiderman propôs este conjunto de heurísticas derivadas de sua experiência na Ciência da Computação e é aplicável a grande parte de sistemas com interações humano-computador. É possível notar várias semelhanças entre os conjuntos, como por exemplo as heurísticas de “Consistência”, “Feedback” e a importância no tratamento de erros.
Uma avaliação heurística, segundo Nielsen, é um método de avaliação sistemático a fim de encontrar problemas de usabilidade em designs de interface. A avaliação é feita por especialistas em usabilidade, que revisam a interface comparando-a com os princípios pré-definidos (heurísticas). O resultado desta avaliação são os problemas de usabilidade, não é do objetivo da avaliação heurística propor soluções. Avaliações heurísticas são baseadas em modelos, a fim de poder inferir um grau de usabilidade ao alinhar o modelo às heurísticas.
Os responsáveis pela avaliação podem ser um grupo pequeno de especialistas (de 3 a 5 avaliadores) que examinarão a interface e irão avaliá-la de acordo com as heurísticas definidas. Estas avaliações são relativamente de baixo custo e manutenção, não necessitando muito tempo para implementação. A eficácia de sua aplicação é comprovada não só no início do desenvolvimento, mas em qualquer estágio em que o projeto se encontra.
A avaliação de cada membro do grupo avaliador deve ser feita de forma individual e imparcial. Para auxílio, podem ser definidos checklists que compreendem os tópicos relevantes ao sistema; dessa forma, a análise se torna padronizada entre os avaliadores e melhor preparada para análises estatísticas (SALAZAR et al., 2012). É importante notar que, dependendo do caso, é possível juntar e desenvolver um conjunto focado ao propósito ou contexto da avaliação.
2.2.1 Heurísticas para Celulares
Quando pensamos na época em que foram desenvolvidas as heurísticas de Nielsen, é fácil imaginar o contexto em que o usuário se encontrava, já que a variedade e capacidade dos aparelhos era menor. Hoje, smartphones possuem uma série de aplicações feitas por terceiros que ampliam suas funcionalidades iniciais (como redes sociais, email, resultados esportivos, entre outros). Estes aplicativos são utilizados de forma bastante casual, por períodos de tempo curto (se comparados ao desktop) e em ambientes em constante movimento ou com distrações, sendo o uso do dispositivo realizado paralelamente. Os usuários estão normalmente engajados em outras atividades maiores, onde o celular é um dispositivo de ajuda ou consulta e estão mais sujeitos à interrupção de uso (SALAZAR et al., 2012).
É em busca de melhor atender esta variedade de características dos aplicativos de celulares que surge o interesse em customizar as heurísticas de usabilidade. Heurísticas específicas tendem a oferecer melhor suporte para a inspeção de interfaces touchscreen.
Dentre os conjuntos de heurísticas, em Salazar et al. (2013) foi analisada esta questão para definir quais deles possuem este enfoque em dispositivos móveis e, mais especificamente celulares touchscreen. A revisão sistemática encontrou artigos considerados relevantes ao tópico e analisou-os em comparação com o conjunto de heurísticas clássicas de Nielsen. O resultado encontrado foi que heurísticas como “design minimalista” e “diálogo e linguagens naturais ao usuário” continuaram presentes nestes conjuntos, enquanto “prevenção de erros” e “ajuda e documentação” praticamente não aparecem. Alguns trabalhos, como Salazar et al. (2013) e Bertini et al. (2006) ainda elaboram conjuntos com alguma adaptação e heurísticas de usabilidade novas, frisando a necessidade destes dispositivos em serem confortáveis e rápidos de usar (interação física e ergonomia) e de terem foco claro com apenas a informação que o usuário realmente procura ao utilizá-lo; a compatibilidade entre diferentes plataformas também é um ponto citado entre algumas destas pesquisas como uma nova heurística.
2.2.1.1 MATcH – Measuring Usability of Touchscreen Phone Applications
Foi desenvolvido no GQS/INCoD/UFSC um conjunto de heurísticas de usabilidade e um checklist para avaliar a usabilidade de sistemas em dispositivos touchscreen phones (Salazar, et al., 2012) (Nunes, et al., 2013). O MATcH (Measuring Usability of Touchscreen Phone Applications) é um conjunto de heurísticas adaptadas de Nielsen para os dispositivos móveis e decompostas em uma série de itens de medida que representem efetivamente uma boa usabilidade.
Tabela 2: Conjunto Unificado de Heurísticas para Celulares (Salazar, et al., 2012)
Conjunto Unificado de Heurísticas para Celulares
Tradicionais
Visibilidade e Status do Sistema
Compatibilidade entre o Sistema o Mundo Real Liberdade e Controle do Usuário
Consistência e Padrões Prevenção de Erros
Reconhecimento em vez de Lembrança Flexibilidade e Eficiência de Uso Estética e Design Minimalista
Ajudar os usuários a reconhecer, diagnosticar e recuperar de erros
Ajuda e documentação
Novas
Compatibilidade entre Diferentes Plataformas Pouca interação homem/dispositivo
Interação Física e Ergonomia Legibilidade e Layout
Ele foi operacionalizado através de um checklist baseado em problemas específicos para este ambiente de uso (Anexo A).
O conjunto de heurísticas e o checklist foram analisados por meio de um estudo empírico usando a técnica de estatística de TRI – Teoria de Resposta ao Item (WITT, 2013). A TRI é um conjunto de modelos matemáticos que procuram representar a probabilidade de um indivíduo dar uma certa resposta a um item como função dos parâmetros do item e da habilidade (ou habilidades) do respondente (ANDRADE, et al., 2000). A Teoria da Resposta ao Item também possibilita a criação de escalas a partir de um checklist que utiliza os conceitos de usabilidade (TEZZA, 2009). Essa validação foi realizada com base na aplicação do checklist em 247 aplicativos. As respostas ao checklist destas aplicações foram então analisados utilizando a Teoria da Resposta ao Item, a fim de identificar itens problemáticos. O checklist inicial continha 92 itens que, após análises de consistência do traço latente, foi finalizado com 48 itens para avaliação. A partir da relevância estatística destes itens comprovada pela TRI, e com base na análise apresentada em Witt (2013), as heurísticas MATcH podem ser também consideras válidas para medir o grau de usabilidade. Como resultado, também foi definida uma escala padronizada de medição de usabilidade. Esta pesquisa pode ser acessada via o website:
http://www.gqs.ufsc.br/MATcH-measuring-usability-of-touchscreen-phone-applications/.
Tabela 3: Escala de Medição de Usabilidade
Faixa Descrição
Até 20 pontos Usabilidade Muito Baixa
30 Usabilidade Baixa
40 Usabilidade Razoável
50 Usabilidade Alta
3 ESTADO DA ARTE
Este capítulo tem como objetivo apresentar o estado atual em que se encontram as pesquisas relacionadas a validações de conjuntos de heurísticas/checklists desenvolvidos para a avaliação heurística de dispositivos móveis touchscreen.
3.1 Definição
Com o objetivo de analisar o estado da arte sobre pesquisas relacionadas a validações de conjuntos de heurísticas/checklists desenvolvidos para a avaliação heurística de dispositivos móveis touchscreen. A questão principal a ser avaliada nesta seção é: Como são avaliados os conjuntos de heurísticas de usabilidade para dispositivos móveis?
Para responder esta questão, é realizada uma revisão sistemática da literatura, seguindo o procedimento proposto por Kitchenham (1994). O objetivo é buscar artigos e publicações descrevendo pesquisas que validam conjuntos de heurísticas e checklists desenvolvidos para a avaliação heurística de dispositivos móveis, mais especificamente dispositivos touchscreen.
Critérios de Inclusão/Exclusão:
O trabalho deve ser focado em analisar interfaces de dispositivos móveis touchscreen
O trabalho deve apresentar o uso de algum conjunto de heurística
O objetivo do trabalho deve ser avaliar a usabilidade da interface um dispositivo móvel
O trabalho deve apresentar relação com métodos de avaliação heurísticas
O trabalho deve apresentar a validação dos conjuntos de heurísticas nele propostos
A pesquisa foi feita utilizando o mecanismo de pesquisa acadêmica online Google Scholar e nas bases da IEEE. Para padronizar a busca foi utilizado o seguinte termo de busca:
“interface usability heuristics evaluation mobile OR smartphone OR handheld OR cellphones touch screen”.
Foram levados em consideração artigos em inglês e português publicados no período de 2008 até 2013. Devido ao caráter de rápida evolução na tecnologia envolvida em celulares e a popularização recente dos que possuem tela sensível ao toque, artigos anteriores à 2008 foram considerados desatualizados e não agregariam informações relevantes hoje em dia. Nos termos de busca, por causa do fato de dispositivos móveis possuírem diversos sinônimos na língua inglesa, foram incluídos na pesquisa palavras intercambiáveis para "mobile" (smartphone, handheld, cellphone), a fim de ampliar o número de resultados.
3.2 Execução
A busca foi realizada em setembro de 2013, e resultou em aproximadamente 3,780 resultados no Google Scholar, sendo que pesquisa na base de dados IEEExplore retornou 7 resultados aplicados os mesmos termos de inclusão e exclusão, porém aqui não refinando de acordo com o período por causa do número bastante reduzido de resultados.
Foram excluídas publicações que: não tratassem de dispositivos móveis touchscreen; não possuíssem o foco da pesquisa em avalição heurística; não citassem a forma de pesquisa com foco em usabilidade.
Após analisar os resultados do Google Scholar até a página 10 e os 7 resultados na IEEE, levando em consideração o título, resumo apresentado e aplicando-se os critérios de inclusão e exclusão, restaram 9 artigos considerados relevantes. Destes artigos, realizando uma leitura e análise aprofundada de cada um, restaram 4 artigos relevantes para discussão.
3.3 Extração de Dados e Análise
A tabela 4 apresenta os artigos relevantes encontrados na pesquisa.
Tabela 4: Extração de Dados
Referência Tipo de objeto avaliado
Heurísticas Design de pesquisa (experimento/estudo de caso) Avaliação heurística Teste de usabilidade Sistema/ software/app Técnica estatística para fazer análise (Jeongyun, H.; Dong-Han, H.; Sanghyun, P.; Chiwon, S.; Wan Chul, Y.; 2009)
Não informado (N. I.)
Combinado das heurísticas de Nielsen (1994), ISO/IEC 9241-11 (1998), e Hix and Hartson’s
principles (1993). Número total
não informado. Estudo de caso de um framework de avaliação heurística contemplando vários tipos de UI (interfaces de usuário) 8 avaliadores Utilizando um checklist com Likert-scale de 5 pontos Sistema Operacional de Celulares (não informado quais dispositivos) Não apresentada uma análise estatística (Ji, Y. G.; Park, J. H.; Lee, C.; Yun, M. H.; 2006) 3 Celulares tradicionais distintos (dispositivos pre-smartphone s) 21 heurísticas extraídas de diversas fontes (Constantine, 1994; Nielsen, 1994; Treu, 1994; Dix, Finlay, Abowd and Beale, 1998; Lauessen e Younessi, 1998; Preece, Rogers e Sharp, 2002;) Estudo de caso comparando resultados de avaliação heurística com testes de usabilidade 10 avaliadores (5 homens, 5 mulheres, usuarios com experiência no uso dos celulares) para realizar tarefas e graduar a experiência de uso Checklist com Likert-scale de 7 pontos Sistema pré-instalado nos dispositivos ANOVA (análise de variância)
(Inostroza, R.; Rusu, C.; Roncagliolo, S.; Jimenez, C.; Rusu, V., 2012) Blackberry Storm 2 (9550)
Definidas a partir de uma metodologia de 6 Passos (C. Rusu, et al, “A methodology to establish usability heuristics”) em conjunto com uma adaptação das Heurísticas de Nielsen. Resultou em 11 heurísticas (10 baseadas em Nielsen e adaptadas ao paradigma mobile/touchscreen, 1 resultante de análises das características dos dispositivos e problemas de usabilidade encontrados) Estudo de caso utilizando heurísticas tradicionais (Nielsen) comparando com heurísticas focadas em dispositivos móveis touchscreen utilizando um checklist. 4 avaliadores, 2 avaliando sob o conjunto tradicional de Nielsen, 2 sob o conjunto de 11 heurísticas adaptadas
Não realizado Blackberry Operating System (v. 5.0.0.1015) N.I. (Bertini, E.; Gabrielli, S.; Kimani, S.; 2006)
N. I. 8 heurísticas definidas a partir de uma adaptação das heurísticas de Nielsen (1994) em comparação com problemas comuns de usabilidade em dispositivos móveis Estudo de caso comparando resultados de avaliação heurística com testes de usabilidade 8 avaliadores, 4 utilizando as heurísticas de Nielsen e 4 utilizando o conjunto adaptado de 8 heurísticas O teste ocorreu com o uso das aplicações e o avaliador descrevendo as tarefas que estava realizando e identificando os problemas na escala SRS proposta por Nielsen Aplicativo de supermercado de PDAs e um aplicativo de e-mail de PDAs N. I.
Analisando estes artigos e com base nos resultados das pesquisas, fica evidente que o número de artigos que tratam e validam os conjuntos de heurísticas propostos para estes dispositivos é muito baixo e, muitas vezes, estão desatualizados com o padrão touchscreen dos dias atuais. Com base nos números divulgados por Gartner (2013), pela ANATEL (2014) e pela IDC (2014), é evidente a popularidade crescente de celulares.
De acordo com estes artigos, as interfaces são avaliadas por meio de avaliações heurísticas ou com base em testes de usabilidade. Normalmente envolvendo poucos participantes e em ambiente controlado (em laboratório). Pela quantidade baixa de artigos encontrados que descrevem algum tipo de avaliação heurística, elas não parecem estar sendo amplamente executadas, e quando feitos testes de usabilidade, a escala de participantes, aplicações e dispositivos é bastante reduzida. Por consequência, os resultados encontrados não demonstram números significativos de um ponto de vista estatístico, e portanto, podem não ser considerados conclusivos, de acordo com os próprios autores dos artigos analisados.
A partir dos artigos encontrados pode ser visto que este tipo de avaliação e geralmente é feito a) comparando os resultados da avaliação heurística realizada com conjuntos tradicionais e da avaliação com um conjunto específico para a pesquisa ou b) realizando também testes de usabilidade, para posteriormente comparar os resultados destes testes com os resultados das avaliações heurísticas.
As avaliações heurísticas foram aplicadas em sua grande maioria em apenas um dispositivo e focando em funcionalidades do sistema operacional destes (ao invés de aplicativos de terceiros). Ele foi conduzido por profissionais ligado à área de Usabilidade ou de Interação Humano-Computador, e que possuíam conhecimento prévio de como realizar uma avaliação deste tipo. Também foi amplamente utilizada uma escala de satisfação do tipo Likert, variando entre 5 e 7 pontos, dependendo do estudo. A escala Likert é útil para indicar o nível de concordância ou discordância dos participantes de testes (PADILHA, 2004). A tabela 5 demonstra um exemplo de como seria uma escala likert de 4 pontos.
Tabela 5: Exemplo de escala Likert de Resposta Escala Descrição 1 Discordo Totalmente 2 Discordo 3 Concordo 4 Concordo Totalmente
Os testes de usabilidade foram aplicados definindo primeiramente uma série de tarefas a serem executadas nos sistemas/aplicativos em grupos de até 10 pessoas, que já possuíam alguma familiaridade com dispositivos móveis. Após a realização das tarefas, cada participante respondeu a um questionário para medir sua satisfação. Estes participantes foram compensados pelo tempo dedicado ao experimento. Os resultados dos testes coletados pelo checklist foram comparados com os resultados obtidos pelos profissionais avaliadores normalmente encaixando as perguntas dos questionários às heurísticas da avaliação e assim obtendo médias de satisfação para cada aspecto das interfaces.
Das publicações selecionadas, apenas Inostroza et al. (2012) realizaram o teste em um dispositivo touchscreen (Blackberry Storm), e validaram comparando os resultados provenientes da análise através das heurísticas de Nielsen (1994) com um novo conjunto proposto com base no tipo de dispositivo em avaliação. Dois grupos distintos de avaliadores se utilizaram cada um de um dos conjuntos mas aplicados sob o mesmo dispositivo. Esta é uma abordagem que parece ser popular entre as observadas nos artigos, sendo que Bertini (2006) também se utilizou dela anos antes.
O resultado encontrado dentro destas publicações foi uma maior eficiência em identificar problemas de usabilidade através dos conjuntos adaptados do que com o conjunto tradicional.
Nas outras duas publicações, apesar de não apresentarem a comparação com conjuntos tradicionais, a criação do conjunto voltado aos dispositivos móveis também se deu a partir destas heurísticas já pré-estabelecidas (englobando inclusive outras além das de Nielsen).
Finalizada a pesquisa, observa-se que conjuntos de heurísticas voltadas para celulares touchscreen ainda é pouco explorado. Por isso, o presente trabalho procura expandir o estado atual desta área.
4 VALIDAÇÃO DO CONJUNTO DE HEURÍSTICAS MATCH
Neste capitulo é apresentada a definição dos testes de usabilidade realizados para atingir o objetivo deste trabalho. Por meio de um estudo de caso comparativo entre avaliações heurísticas utilizando MATcH e uma série de testes de usabilidade será feita a validação das heurísticas de usabilidade MATcH.
4.1 Definição
O objetivo da validação do conjunto de heurísticas MATcH é avaliar a confiabilidade e eficácia de uma avaliação heurística através do MATcH em comparação com o grau de usabilidade percebido por usuários através de testes de usabilidade de aplicativos móveis para celulares touchscreen.
Esta validação é feita através de um estudo de caso comparativo entre os resultados de avaliações heurísticas usando MATcH e os resultados de duas iterações de testes de usabilidade.
O questionário pós-teste de usabilidade utilizado nesta pesquisa foi elaborado e avaliado em Oliveira (2013) e chamado de SURE - Smartphone Usability Questionnaire1, composto de 37 itens. Este questionário foi aplicado em alguns
aplicativos pré-selecionados pelos pesquisadores. Isto ocorre para ser possível concentrar um maior número de usuários por aplicativo (obtendo quantidade de dados suficientes para análise), dada a enorme quantidade de aplicativos disponíveis no mercado. Deste modo, tanto os usuários quanto os pesquisadores avaliarão os mesmos aplicativos, facilitando comparações.
Os aplicativos selecionados estão distribuídos entre dois principais sistemas operacionais de celulares touchscreen no momento, Android e iOS. De acordo com
1 Primeiramente batizado de TULIP - Touchscreen Usabilidade Pós-teste, mas rebatizado posteriormente para SURE - Smartphone Usability Questionnaire.
o IDC (2014), o sistema operacional Android tem uma maior representatividade no mercado atualmente, e por isso foram selecionados mais deste sistema do que de iOS.
Em ambas iterações, o teste foi feito de maneira presencial e de maneira online. Foi definido um termo de consentimento livre e esclarecido (apêndice B) tanto para a aplicação no laboratório do Grupo de Qualidade de Software, da Universidade Federal de Santa Catarina e em salas de aula, bem como na aplicação à distância (por meio online em http://www.gqs.ufsc.br/teste) e apresentado aos participantes antes do início dos testes, que assinavam após a leitura completa do documento. Na figura 3, é possível visualizar o design do estudo, onde as flechas representam a comparação que será feita entre os resultados em ambas as iterações.
A pesquisa foi aprovada pelo Comitê de Ética em Pesquisas com Seres Humanos, parecer nº 19988413.6.0000.0121.
Figura 3: Definição do Estudo Comparativo
No teste de usabilidade presencial, o voluntario é convidado a participar do teste, onde são disponibilizados aparelhos no laboratório do GQS (podendo utilizar o próprio celular se assim preferir) e as folhas de teste. Os aplicativos são sorteados através de uma pilha de folhas de teste previamente embaralhadas, e que o próprio participante retirava. Antes de realizar as tarefas, o participante lê e assina o Termo de Consentimento Livre e Esclarecido. Então, o voluntário executava as tarefas
específicas presentes na sua folha e respondiam as questões (folhas de teste compostas dos Apêndices A e B e do Anexo B).
O teste de usabilidade online consiste no participante voluntariamente acessar o questionário disponibilizado pelo servidor do GQS. O questionário online (Figura 4) foi realizado utilizando a plataforma Limesurvey (https://www.limesurvey.org), ferramenta open source para realização de formulários. A escolha desta plataforma se deu por permitir realizar um sorteio aleatório dos aplicativos a serem testados, bem como randomização das questões dentro do próprio questionário, a fim de evitar respostas inválidas resultantes de fadiga por parte do voluntário.
Após passar a página introdutória da pesquisa, o participante é apresentado com perguntas demográficas e sua identificação (nome, email) é opcional. Nas páginas seguintes ocorrem a identificação do sistema operacional que o participante irá utilizar (no caso, o que ele tem disponível em mãos) e é feito o sorteio do aplicativo e reveladas as tarefas específicas a serem feitas (juntamente com um link para o download do aplicativo caso o participante ainda não possua ele instalado), e só então é apresentado ao participante o questionário pós-teste.
4.1.1 Primeira Iteração
A primeira atividade é definir os critérios de seleção de aplicativos para depois realizar a avaliação heurística de aplicativos. Os critérios estão descritos na tabela 6.
Tabela 6: Critérios de escolha de aplicativos (OLIVEIRA, 2013) 1. Aplicativos gratuitos;
2. Aplicativos com diversas recomendações nas páginas que disponibilizam; 3. Aplicativos com número elevado de download
4. Aplicativos que não necessitam de informações bancárias do Usuário
5. Um aplicativo por cada faixa de usabilidade com base numa avaliação heurística através do MATcH (um aplicativo com usabilidade baixa, razoável, alta e muito alta).
Para esta primeira iteração, foram aproveitados parte dos resultados das avaliações heurísticas realizadas em Witt (2013), limitando a seleção para apenas 5 aplicativos. Os selecionados encontram-se destacados nas caixas em cinza na figura 5.
Figura 5: Aplicativos Selecionados e Definição da Iteração 1 *aplicativos para iOS
Foram então definidas tarefas específicas para cada aplicativo, com o objetivo de padronizar a experiência de uso e obter resultados passíveis de comparação entre os participantes (Apêndice A). Estas tarefas estão explicitadas na tabela 7.
Tabela 7: Tarefas por Aplicativo na Iteração 1
Aplicativo Tarefas
Buscapé
1.Faça uma busca pelo livro "Não me faça pensar". 2.Filtre os resultados pelo menor preço.
3.Calcule a oferta para o frete com menor preço.
Globoesporte.com
1.Veja notícias sobre o time Cruzeiro 2.Veja notícias sobre basquete.
3.Veja a classificação do Campeonato Brasileiro 2013 e leia em voz alta o nome do quinto colocado.
Gmail
1. Escreva um novo e-mail
2. Abra o e-mail da caixa de entrada 3. Delete o e-mail
Qual é a resposta?
1.Inicie um jogo
2. Pule a primeira questão.
3.Continue respondendo até o final do jogo.
Weather Channel
1.Veja a previsão do tempo para amanhã para a cidade de São Paulo. 2.Compartilhe a previsão com gqsincod@gmail.com.
3.Leia em voz alta a previsão para a temperatura máxima.
4.1.2 Segunda Iteração
Para a segunda iteração os critérios de escolha de aplicativos foram os mesmo da primeira (vide tabela 6), mas com base nas experiências e conhecimentos obtidos na primeira iteração, optou-se por selecionar apenas aplicativos dentro de um mesmo tema “Saúde”, para o caso desta iteração.
Para a escolha dos aplicativos nesta iteração também é preciso seleciona-los com avaliações MATcH dentro de faixas de usabilidade diferentes. Foi feita então novamente uma busca por aplicativos que já possuíam avaliação em Witt (2013) dentro dos critérios definidos e encontrados sete pré-candidatos. Como os aplicativos não se encaixavam dentro de todos os critérios simultaneamente, a lista de candidatos foi completada incluindo aplicativos que se encaixassem em todos os critérios e em faixas de usabilidade não representadas pelos já pré-selecionados.
Foi necessário o autor deste trabalho realizar novas avaliações nos que não possuíam, através do questionário de avaliação MATcH disponível em
www.gqs.ufsc.br/MATcH, adicionando mais seis aplicativos à lista de pré-seleção.
Para estas avaliações heurísticas adicionais, três alunos bolsistas de iniciação científica do laboratório do GQS e o autor deste trabalho discutiram, selecionaram e testaram os novos aplicativos. A lista completa está na tabela 8.
Tabela 8: Aplicativos pré-selecionados para iteração 2
Aplicativo Plataforma
Appediatria Android
Bulas LinkSaude iOS
Cardiograph Android
Cruzi Android
Dieta e Saude Android
Eu Atleta Android
Medscape Android e iOS
Myway Diabetes Manager Android
Nike+ Running Android e iOS
Pressão Arterial Android
Resultados iOS
Runkeeper Android
Runtastic Android
Aplicando os critérios de seleção, foram então eliminados aplicativos em que era obrigatório o cadastro de informações, que não eram gratuitos e que se encaixavam em faixas de usabilidade diferentes. Resultando nos seguintes aplicativos selecionados para os testes conforme Figura 6.
Figura 6: Aplicativos Selecionados e Definição da Iteração 2 *aplicativo para iOS
Próximo passo foi a definição das tarefas para estes aplicativos, da mesma forma como foi realizado na primeira iteração. As tarefas estão representadas na tabela 9.
Tabela 9: Tarefas Definidas para os aplicativos da 2ª Iteração
Aplicativo Tarefas
Resultados
1. Acessar o exame através do protocolo fornecido 2. Acessar as imagens do exame realizado
3. Acessar através do histórico um exame do ano passado.
Cruzi
1. Buscar informações sobre a doença Febre Amarela e ler o Médico Especialista 2. Procurar pelo remédio "Paracetamol" e citar suas indicações.
3. Ler as doenças que a Especialidade Médica "Cardiologista" trata.
Cardiograph
1. Medir os batimentos cardíacos por 30 segundos e dizer a média indicada. 2. Olhar o histórico de medições e ler a última medição.
3. Apagar a última medição feita.
Runkeeper
1. Selecionar uma atividade do tipo caminhada
2. Selecionar uma "rotina de exercícios" como "meta de ritmo" e para um tempo de 20 minutos.
3. Dar início à atividade por 10 segundos e selecionar "parar" e depois "salvar".
4.2 Execução
A iteração 1 foi executada em setembro de 2013 aplicando-se o teste de usabilidade com o questionário SURE - Smartphone Usability Questionnaire (Oliveira, 2013) composto por 37 itens para avaliar a usabilidade dos aplicativos. Na primeira iteração, 305 pessoas participaram no total, 185 através do teste de
usabilidade online e 120 no teste de usabilidade presencial, aplicado no laboratório e em salas de aula cedidas por alguns professores da universidade.
Em maio de 2014 foi realizada à segunda iteração dos testes. Ao fim do período de testes, um total de 48 pessoas participaram, sendo 36 através no questionário online e 12 através dos questionários e aparelhos disponibilizados no laboratório do GQS.
Figura 7: Participante respondendo o questionário presencialmente
Os participantes que realizaram seus testes no laboratório do GQS utilizaram os aparelhos pré-selecionados iPhone 4S (Apple) e Galaxy Y TV (Samsung), especificados nas tabelas 10 e 11.
Tabela 10: Especificações do iPhone 4S
Tamanho da Tela 3.5 polegadas
Resolução da tela 640 x 960 pixels
Método touchscreen TFT capacitive touchscreen
Sistema operacional iOS 7
Peso 140 g
Tabela 11: Especificações do Samsung Galaxy Y TV
Tamanho da Tela 3.14 polegadas
Resolução da tela 240 x 320pixels
Método touchscreen TFT capacitive touchscreen
Sistema operacional Android 2.3
Peso 98 g
Fonte: http://www.samsung.com/br/consumer/cellular-phone/cellular-phone-tablets/smartphones/GT-S5367MAPZTO
Para participar online, os voluntários acessavam o teste através do link
http://survey.gqs.ufsc.br/index.php/641732/lang-pt-BR. Um dos aplicativos
selecionados para a segunda iteração (“Resultados”) foi desenvolvido pela UFSC e não estava presente nas lojas de aplicativos da plataforma iOS, portanto precisou ser removido do teste de usabilidade online e mantido apenas nos testes presenciais. Para guiar os participantes que poderiam responder possuir um celular com sistema iOS ou outro que não fosse Android, foi inserida uma função no Limesurvey que finalizava o questionário e o teste para estes usuários após responder a seção de perguntas demográficas do questionário.
Já os participantes que selecionavam “Android” como o sistema operacional de seus aparelhos eram então guiados para o sorteio de aplicativo. Na primeira iteração não ocorreu nenhuma diferença entre os testes presenciais e online.
Os testes de usabilidade presenciais foram realizados com pessoas ligadas à universidade (e comunidade acadêmica) e com uma população diversa nos questionários online, alcançado divulgando-o via listas de e-mail e redes sociais.
Pode-se observar na tabela 12 a distribuição demográfica entre os participantes da segunda iteração.
Tabela 12: Resumo demográfico dos participantes da 2ª Iteração Frequência De Uso Do Celular Quantidade
De Vez Em Quando 2
Diariamente 6
Várias Vezes Por Dia 40
Escolaridade Quantidade
Ensino Médio (2º Grau) Completo 3
Ensino Superior Completo 24
Ensino Superior Incompleto 17
Mestrado 4
Faixa Etária Quantidade
18 a 25 anos 30
26 a 45 anos 10
46 a 60 anos 8
4.3 Análise Dos Dados
Oliveira (2013) sugeriu para a parte de análise dos dados uma versão reduzida do SURE, com 11 itens, e outro instrumento de avaliação chamado SUS - System Usability Scale (Brooke, 1996), cuja totalidade de suas questões estão presentes dentro do SURE original de 37 itens. A seleção das 11 questões para o SURE resumido foi feita eliminando-se questões que apresentariam dificuldades para o usuário responder, questões muito similares entre si, entre outros critérios discutidos por Oliveira (2013). Os documentos SURE e SURE-resumido estão disponíveis nos Anexos B e C, e são utilizados para a análise dos dados desta pesquisa como indicadores extras.
As respostas das iterações foram agrupadas em uma planilha Excel (figura 8) contendo um número identificador do participante, o Sistema Operacional do celular, o aplicativo sorteado e as respostas preenchidas. Foram desconsiderados testes incompletos, ou seja, questionários com 5 ou mais respostas faltantes, de participantes que desistiram no andamento do preenchimento. Foram também
desconsideradas respostas aparentemente não válidas (p.ex. todas as perguntas respondidas com a mesma categoria na escala Likert).
Figura 8: Planilha Excel com as respostas dos questionários unificadas
Com o auxílio do Prof. Dr. Adriano F. Borgatto, as respostas foram avaliadas e agrupadas em 3 categorias para análise: notas derivadas de todos os itens do questionário (SURE completo), notas derivadas dos itens do SUS e do SURE resumido (11 itens), definição essa feita com base na análise estatística utilizando a Teoria de Resposta ao Item realizada na iteração 1 por Oliveira (2013), onde foi possível avaliar a qualidade dos itens e do instrumento em relação à usabilidade e classificar os itens respondentes em relação à sua usabilidade. Ao estabelecer as notas, busca-se descobrir na análise se estes resultados dos testes de usabilidade conferem com os resultados da avaliação heurística.
4.3.1 Pergunta De Pesquisa
O conjunto de heurísticas e o checklist de usabilidade para dispositivos de celulares touchscreen (MATcH) são válidos quando comparados com os resultados de testes de usabilidade?
Tabela 13: Dados unificados da iteração 1 e 2
Aplicativo SUS SURE 11 itens MATcH
Iteração 1 Buscapé 49,18 50,05 50,12 48,3 Globoesporte.com 51,06 52,01 52,02 57,3 Gmail 50,63 50,86 50,81 62 Qual é a resposta? 49,73 49,33 49,31 27,7 Weather Channel 48,48 48,54 47,89 37,8 Iteração 2 Cardiograph 49,96 49,76 50,25 37,6 Cruzi 51,92 53,47 52,63 53,9 Runkeeper 47,97 48,99 48,58 65,3 Resultados 60,53 61,81 60,33 48,9
Na tabela 13, podemos observar que tanto na iteração 1 quanto na iteração 2 os questionários pós-teste mantiveram uma média de avaliações bastante regular, indicando boa seleção de seus itens. Já se compararmos com a coluna do MATcH, há uma grande variação de aplicativo para aplicativo, estando bastante claro onde houve uma aproximação nos resultados.
Figura 9: Resultados Obtidos
Seguindo a ordem e dados da figura 9 e tabela 13, primeiramente analisando o aplicativo Buscapé, que obteve notas extremamente próximas, observa-se uma semelhança grande de resultados entre o SUS e o MATcH, com o SURE tendo avaliado o aplicativo levemente melhor, estando quase ou no limiar entre a faixa de usabilidade razoável e a alta. Questões como o aprendizado e a facilidade no manuseio do aplicativo obtiveram respostas favoráveis, já perguntas que indagavam o usuário sobre ter gostado de o utilizar não foram. Respostas negativas também acusaram o aplicativo de não fornecer informações suficientes para completar as tarefas. Com estas informações é possível traçar um paralelo entre os testes de usabilidade e a avaliação heurística e inferir que, apesar de possuir uma boa usabilidade, ele apresenta dificuldades em alguma tarefa menos frequente (possivelmente a de adicionar um produto aos favoritos), que pode ser decorrente de botões ou rótulos mal destacados ou de não possuir uma ordem de utilização lógica, características definidas pelo MATcH como sendo de aplicativos com notas superiores a 50 (com usabilidade alta).
No aplicativo Globoesporte.com, o MATcH avaliou-o com cerca de 5 pontos a mais do que o SURE2, e 6 pontos a mais do que o SUS. Isso pode ter ocorrido
devido ao tema do aplicativo ser “futebol” e que pode ter levado (como constatado por alguns verbalmente depois do teste) a uma baixa avaliação em perguntas como “Eu recomendaria este aplicativo...” ou “Eu gostei de usar este aplicativo”, que possuem um viés mais voltado ao gosto pessoal. Diferentemente, as questões levantadas pela avaliação heurística são menos voltadas à sensação de satisfação, e sim mais ligadas à apresentação visual do aplicativo.
O Gmail foi um aplicativo Android com boa avaliação por parte dos usuários (atingindo usabilidade alta pelos 3 modelos de questionário) mas ficando diferente da sua avaliação MATcH com usabilidade muito alta. Fatores que podem ter levado o Gmail a receber “usabilidade alta” nos testes de usabilidade com usuários pode ter sido sua popularidade e uso frequente por parte dos participantes, tendo assim maior familiaridade com o aplicativo e eliminando avaliações ruins quanto à dificuldade de uso, como demonstram as respostas para questões com esse viés. Porém, mesmo assim, não atingiu a mesma nota do MATcH. Durante alguns testes, participantes manifestaram problemas com a internet, e por se tratar de um serviço dependente de conexão com um servidor remoto, uma conexão ruim entre estas duas partes enfraquece e muito a experiência de uso, algo que em escala reduzida como a avaliação heurística é mais difícil de acontecer. Outro ponto a se levar em consideração e identificado ao realizar a avaliação heurística é a competente apresentação de seus símbolos e tipos, trazendo aspectos já bem estabelecidos no ambiente de e-mails (como a caixa de entrada, anexo, envio) e a sua boa adaptação à estética do sistema operacional (característica de aplicativos com usabilidade muito alta), talvez pelo fato do Gmail ter sido desenvolvido pela empresa Google, também responsável pelo Android, onde este aplicativo foi testado.
No caso do aplicativo “Qual é a Resposta?” os questionários do SUS e SURE/SURE resumido obtiveram notas muito próximas, classificando o aplicativo na faixa de usabilidade razoável, enquanto a avaliação heurística com o MATcH resultou em uma classificação de usabilidade muito baixa (2 faixas abaixo). Este fato
2 (Ocorrendo também no SURE resumido, sempre muito próximos, indicando boa distribuição das perguntas)
