UNIVERSIDADE FEDERAL DO CEARÁ CAMPUS DE QUIXADÁ
CURSO DE SISTEMA E INFORMAÇÃO
JACKSON DE ARAÚJO FREITAS
TRAZENDO O USUÁRIO PARA REALIZAR A AVALIAÇÃO
HEURÍSTICA: UM ESTUDO DE CASO
QUIXADÁ 2019
JACKSON DE ARAÚJO FREITAS
TRAZENDO O USUÁRIO PARA REALIZAR A AVALIAÇÃO
HEURÍSTICA: UM ESTUDO DE CASO
Trabalho de Conclusão de Curso submetido à Coordenação do Curso Bacharelado em Sistemas de Informação da Universidade Federal do Ceará como requisito parcial para obtenção do grau de Bacharel em Sistemas de Informação.
Área de concentração: Computação
Orientadora: Prof.ª Dra. Andréia Libório Sampaio
QUIXADÁ 2019
Dedico primeiramente a Deus, porque dEle, por Ele e para Ele são todas as coisas. À minha família, fonte de amor e alegria.
AGRADECIMENTOS
Agradecer me traz uma responsabilidade grande, pois posso ser injusto ao não lembrar de alguns que me acompanharam e me ajudaram em todo esse processo, então, desde já, peço desculpa se não citar todos que devidamente mereciam ter sido registrados aqui, sei que é uma falta grave, mas relatarei o que minha memória nesse momento não me permite esquecer.
Sou grato a Deus, porque sem Ele eu não teria chegado até aqui. Ele é meu guia, socorro presente na angústia, meu refúgio e fortaleza. A vida não seria plena sem a presença dEle.
A minha família, por ter acreditado em mim e me incentivado a não desistir em nenhum momento dessa trajetória tão espinhosa. Meus pais, Freitas e Fátima, vocês são os melhores pais do mundo. Meus irmãos, Robertson, Robson, Karine e Jaqueline, vocês não são apenas irmãos, são meus amigos e companheiros. Obrigado por me acompanharem em todo esse processo que bem sabeis, não foi nada fácil. A vida não faria sentido se não os tivesse como minha família.
A meu amigo Joabe Cavalcante que por inúmeras vezes me ajudou durante a trajetória na faculdade, sempre me incentivando e torcendo para que tudo desse certo, obrigado por tudo.
Agradeço a todos os professores que participaram de forma direta ou indireta na minha formação.
Agradeço a minha orientadora Andréia Libório que não mediu esforços para me ajudar, suas orientações foram de suma importância para que esse trabalho fosse concretizado. Você é um exemplo de profissional e pessoa.
Aos amigos, que se disponibilizaram e ajudaram nas dificuldades acadêmicas e pessoais.
A todos os meus parentes e amigos, que aqui não foram citados, mas que contribuíram de forma significativa para que esse sonho acontecesse.
“Quando todas as portas em nossa vida estão fechadas, Jesus sempre será a porta aberta. Se cremos nisto, não há impossível. Para afirmar que não há esperança é preciso antes fechar a porta a Deus.” (Anthony M. Coniaris)
RESUMO
A proposta desse trabalho foi a criação de um método de avaliação para apoiar usuários de sistemas computacionais a avaliarem a interação de sistemas, pois acreditamos que ninguém melhor que o próprio usuário do sistema para dizer o que não está bom e o que precisa ser melhorado, para isso utilizamos o design participativo como linha de atuação. Foi utilizado como referência a Avaliação Heurística de Nielsen (1994) para criação do método, no qual somente inspetores formados na área de computação e que já tenham conhecimentos em testes de usabilidade que podem realizar essa avaliação. Usamos o instrumento proposto por Lima (2014), que transformou as heurísticas em forma de perguntas, para facilitar o entendimento dos usuários que não são da área de computação. Foi utilizada também a pesquisa de Silva (2016), que propôs o uso da ferramenta UX-Check para os usuários apontarem a violação das heurísticas. Foi realizado um estudo de caso para avaliar se o método seria capaz de ser utilizado pelo usuário e se o ajudaria a identificar e demarcar problemas de interação. Com o estudo, percebemos que o método de avaliação é útil para usuários e pode apoiá-los na atividade de avaliação de sistemas computacionais.
ABSTRACT
The purpose of this paper was to create an evaluation method to support computer system users to evaluate system interaction, as we believe that no one better than the system user himself to say what is not good and what needs to be improved, To this we used participatory design as a line of thought. The Nielsen Heuristic Evaluation (1994) was used as a reference for the creation of the method, in which only computer inspectors who already have knowledge in usability tests that can perform this assessment. We use the instrument proposed by Lima (2014), which transformed the heuristics in the form of questions, to facilitate the understanding of non-computing users. It was also used the work by Silva (2016) that proposed the use of the UX-Check tool for users to point out the violation of heuristics. A case study was performed to evaluate if the method would be able to be used by the user and if it would help to identify and demarcate interaction problems. With the study we realized that the evaluation method is useful for users and can support them in the evaluation activity of computer systems.
LISTA DE ILUSTRAÇÕES
Figura 1 – Tela principal do sistema financeiro ... 26
Figura 2 – Opções de receitas ... 26
Figura 3 – Opções de despesas ... 27
Figura 4 – Opções de alunos ... 27
Figura 5 – Opções de funcionários ... 28
Figura 6 – Opções de usuários ... 28
Figura 7 – Opções minha conta ... 29
Figura 8 – Cadastro de aluno ... 33
Figura 9 – Cadastro de funcionário ... 33
Figura 10 – Cadastro de receita ... 34
Figura 11 – Cadastro de despesa ... 34
Figura 12 – Violação comum a todas as usuárias avaliadoras ... 43
Figura 13 – Tela com mensagem padrão ... 44
Figura 14 – Tela com mensagem em local diferente ... 44
LISTA DE QUADROS
Quadro 1 – Tradução das heurísticas, instrumento de avaliação proposto por Lima (2014) ... 12
Quadro 2 – Atividades do método de avaliação heurística ... 20
Quadro 3 – Proposta de melhoria para as heurísticas do instrumento de Lima (2014) e Silva (2016) ... 24
Quadro 4 – Atividades do método de avaliação heurística voltado para usuários ... 30
Quadro 5 – Roteiro do método ... 32
Quadro 6 – Tempo utilizado por cada participante para usar o método ... 41
SUMÁRIO
1 INTRODUÇÃO ... 10
2 TRABALHOS RELACIONADOS ... 12
2.1 Um instrumento para usuários avaliarem a interação de sistemas computacionais .. 12
2.2 Trazendo o usuário para realizar a Avaliação Heurística ... 13
2.3 Methods and tools: participatory heuristic evaluation ... 14
3 FUNDAMENTAÇÃO TEÓRICA ... 18
3.1 Avaliação Heurística ... 18
3.2 Design Participativo ... 22
4 PROCEDIMENTOS METODOLÓGICOS... 23
4.1 Melhorar o instrumento proposto por Lima (2014) com explicação das heurísticas para facilitar o entendimento dos usuários ... 23
4.2 Criar vídeos explicativos e instrumentos que facilitem o entendimento e o uso do método de avaliação para usuários ... 24
4.3 Realizar estudo de caso ... 25
4.4 Analisar dados coletados no estudo ... 29
5 MÉTODO PARA O USUÁRIO REALIZAR A AVALIAÇÃO ... 29
6 ESTUDO DE CASO ... 31
6.1 Teste piloto ... 31
6.2 Perfil dos participantes ... 35
6.3 Execução do estudo de caso ... 35
7 APRESENTAÇÃO DOS RESULTADOS ... 38
7.1 Entendimento do instrumento de avaliação ... 38
7.2 Entendimento do vídeo ... 40
7.3 Entendimento do método de avaliação ... 40
7.4 Violações encontradas ... 41
7.5 Reunião final ... 42
8 CONSIDERAÇÕES FINAIS E TRABALHOS FUTUROS ... 46
REFERÊNCIAS ... 48 APÊNDICE A ... 50 APÊNDICE B ... 51 APÊNDICE C ... 52 APÊNDICE D ... 53 APÊNDICE E ... 54 APÊNDICE F ... 64 APÊNDICE G ... 71 APÊNDICE H ... 81 APÊNDICE I ... 98
1 INTRODUÇÃO
A Interação Humano-Computador (IHC) é uma área da computação que estuda a interação das pessoas com os sistemas computacionais. Além de estudar design de interação, essa área preocupa-se em avaliar a interação, oferecendo um conjunto de métodos e técnicas para apoiar essa atividade.
A avaliação de IHC é fundamental em qualquer processo de desenvolvimento que busca um sistema interativo com alta qualidade de uso (BARBOSA; SILVA; 2010). As diferenças entre quem cria e quem usa devem ser considerada. É importante que a solução de IHC seja avaliada do ponto de vista dos usuários, preferencialmente com a participação deles durante a avaliação (PRATES, BARBOSA; 2003).
Na área de IHC, existem vários métodos para avaliar a interação de sistemas, dentre os quais esse estudo visa trabalhar com Avaliação Heurística (Nielsen e Molich, 1990), o qual é um método de inspeção que visa encontrar problemas de usabilidade de sistemas computacionais.
Jakob Nielsen, é um defensor dos usuários especializado em usabilidade da web e um dos diretores da empresa de consultoria Nielsen Norman Group (www.nngroup.com), da qual é co-fundador. Nielsen é autor e editor de outros oito livros e mais 75 artigos sobre engenharia de usabilidade, projeto de interface com o usuário e hipertexto. Nielsen é fundador do movimento “engenharia de usabilidade de desconto” em prol de formas rápidas e simples de aprimorar as interfaces com o usuário (NIELSEN, 2000).
A avaliação heurística é um método muito usado porque é relativamente simples, além disso, o método prevê que a avaliação seja feita por três a cinco avaliadores especialistas na área de IHC; o fato de não envolver a participação do usuário, faz com que os avaliadores possam ter melhor controle sobre o cronograma. Entretanto, como a avaliação impõe o desafio dos avaliadores terem de se colocar no lugar dos usuários, a ideia seria que o próprio usuário do sistema, que vai utilizar realmente no dia a dia, fizesse a avaliação. Além disso, alguns autores (SANDERS, 2002 e ARAUJO; FAZANI, 2014) apontam a importância de envolver o usuário no processo de produção de sistemas computacionais. A dificuldade é que esses usuários, em geral, não conhecem os procedimentos de avaliação, pois eles nunca fizeram tal avaliação e nem foram treinados para isso.
LIMA (2014) propôs aproximar a Avaliação Heurística dos usuários por meio de um instrumento de avaliação para usuários finais. Ele fez uma adaptação das heurísticas originais para uma linguagem de fácil interpretação, transformando as heurísticas em perguntas, com a
ideia de promover a reflexão sobre os problemas por parte dos usuários. O autor observou que os usuários conseguiram entender as perguntas, e de maneira geral, aceitaram bem a ideia desse novo modelo. Lima, porém, destacou a dificuldade dos usuários em apontar os problemas de usabilidade e de registrar esses problemas.
O trabalho teve continuidade com Silva (2016), que usou a ferramenta UX Check1 que serve para os usuários indicarem visualmente as violações das heurísticas na tela. Baseada nas 10 heurísticas de Nielsen, os trechos são salvos automaticamente em uma lista com as informações: heurística violada, nota de severidade e um campo para adicionar as sugestões de melhoria. Com essa ferramenta no final da análise o usuário pode gerar um documento no formato Word. No estudo de Silva (2016) também foram melhoradas algumas perguntas de Lima (2014) que não haviam sido entendidas. Como estudo de caso, a autora efetuou uma avaliação com cinco usuários, sendo que quatro desses eram da área de TI e apenas um não era da área de TI. Tal amostra não permitiu concluir se usuários que não são da área de tecnologia da informação conseguem fazer a avaliação. Como agravante, apesar de o usuário que não era da área de TI ter dito que entendeu todas as heurísticas, ele não apontou qualquer violação no estudo de caso, enquanto os especialistas haviam indicado várias violações.
Silva (2016) não explorou a última etapa do método de Avaliação Heurística que é a discussão entre os avaliadores sobre os problemas encontrados. Nesta etapa, eles deverão entrar em consenso sobre os problemas de usabilidade encontrados e suas gravidades.
O objetivo geral desse trabalho é aperfeiçoar como usuários de sistemas computacionais, que não sejam da área de tecnologia da informação, podem realizar avaliações de interação, a partir das propostas de Lima (2014) e Silva (2016). A ideia central é deixar as heurísticas de Nielsen de uma forma ainda mais simples e de fácil entendimento para pessoas que não conhecem as heurísticas, de tal forma que possam ler e entender o significado de cada uma para, dessa forma, avaliar o sistema e melhorar o seu trabalho sem a necessidade de alguém especializado na área. Não vamos partir de premissas para serem comprovadas, o objetivo é avaliar como os usuários finais realizam a avaliação, portanto trata-se de uma pesquisa qualitativa.
Mais especificamente, objetivamos:
(I) Rever as traduções das heurísticas realizadas nos trabalhos de Lima (2014) e Silva (2016) para que possam contemplar todo o conteúdo das heurísticas;
1
(II) Adaptar o método de Nielsen para facilitar o uso pelos usuários. Para isso desenvolvemos um vídeo explicativo para apresentação das heurísticas, explicando cada uma e o procedimento da inspeção. Além disso, prevemos a entrega de um instrumento contendo todas as heurísticas simplificadas para auxiliar os usuários durante a avaliação;
(III) Observar como os usuários reagem ao uso deste método aperfeiçoado, observando todas as etapas, inclusive a última etapa do método, que é a discussão entre os avaliadores (etapa que não foi analisada por Silva (2016)).
2 TRABALHOS RELACIONADOS
2.1 Um instrumento para usuários avaliarem a interação de sistemas computacionais Lima (2014) criou um instrumento de avaliação para auxiliar os usuários na avaliação dos sistemas computacionais. Ele defende que, por meio desse instrumento, os usuários, encontrariam com mais facilidade os problemas de interação. O instrumento foi construído baseado no método de Avaliação Heurística de Nielsen (1990) e foi traduzido para uma linguagem mais simples, que ficasse clara para os usuários.
O instrumento é mostrado no quadro 1. Lima (2014) transformou as regras das heurísticas de Nielsen (1994) em perguntas, para dessa forma trazer a reflexão dos usuários sobre os problemas de interação.
Quadro 1 - Tradução das Heurísticas, instrumento de avaliação proposto por Lima (2014).
Nº Heurística Tradução das Regras
1º Visibilidade do estado do sistema: o sistema deve sempre manter os usuários informados sobre o que está acontecendo através de feedback (resposta às ações do usuário) adequado e no tempo certo;
1º- O sistema fornece mensagens de retorno, mantendo você sempre informado de todas as ações feitas por ele, no tempo certo e de forma adequada?
2º Correspondência entre o sistema e o mundo real: o sistema deve utilizar palavras, expressões e conceitos que são familiares aos usuários, em vez de utilizar termos orientados ao sistema ou jargão dos desenvolvedores. O designer deve seguir as convenções do mundo real, fazendo com que a informação apareça em uma ordem natural e lógica, conforme esperado pelos usuários;
2º - As palavras, conceitos ou expressões utilizadas no sistema são familiares? Você consegue entender todos os nomes da tela? Exemplos: nome dos botões, nome nos menus.
3º Controle e liberdade do usuário: os usuários frequentemente realizam ações equivocadas no sistema e precisam de uma “saída de emergência” claramente marcada para sair do estado indesejado sem ter de percorrer um diálogo extenso. A interface deve permitir que os usuários desfaçam e refaça suas ações;
3º - Você consegue facilmente sair de uma parte do sistema que você acessou sem querer? Existe botão de voltar no próprio sistema?
4º Consistência e padronização: os usuários não devem ter de se perguntar se palavras, situações ou ações diferentes significam a mesma coisa. O designer deve seguir as convenções da plataforma ou do ambiente computacional;
4º - O sistema mostra alguma situação, palavra ou ação com duplo sentido. Exemplo, que você fica achando que está fazendo a mesma coisa novamente?
tornar os objetos, as ações e opções visíveis. O usuário não deve ter de se lembrar para que serve um elemento de interface cujo símbolo não é reconhecido diretamente; nem deve ter de se lembrar de informar de informação de uma parte da aplicação quando tiver passado para uma outra parte dela. As instruções de uso do sistema devem estar visíveis ou facilmente acessíveis sempre que necessário;
aparecem no sistema são todas familiares para você?
6º - As opções do sistema estão sempre visíveis? Exemplo: você consegue visualizar o menu, acessando qualquer parte do sistema?
6º Flexibilidade e eficiência de uso: aceleradores – imperceptíveis aos usuários novatos – podem tornar a interação do usuário mais rápido e eficiente, permitindo que o sistema consiga servir igualmente bem os usuários experientes e inexperientes. Exemplos de aceleradores são botões de comandos em barras de ferramentas ou teclas de atalho para acionar itens de menu ou botões de comando. Além disso, o designer pode oferecer mecanismos para os usuários customizarem ações frequentes;
7º - No sistema, há teclas de atalho que aceleram o uso do sistema? Observação: um comando que agilize uma opção no menu, ou no sistema em geral, a ser ativada sem precisar ir lá e clicar. Ex.: Deixar uma palavra no Word em negrito: seleciona a palavra e aperta Ctrl+N. 7º Projeto estético e minimalista: a interface não deve conter
informação que seja irrelevante ou raramente necessária. Cada unidade extra de informação em uma interface reduz sua visibilidade relativa, pois compete com as demais unidades de informação pela atenção do usuário;
8º - O sistema possui mensagens irrelevantes para o contexto que se está utilizando?
8º Prevenção de erros: melhor do que uma boa mensagem de erro é um projeto cuidadoso que evite que um problema ocorra, caso isso seja possível;
9º- Existe algo no sistema que pode ser melhorado para evitar que erros ocorram?
9º Ajude os usuários a reconhecerem, diagnosticarem e se recuperarem de erros: as mensagens de erro devem ser expressas em linguagem simples (sem códigos indecifráveis), indicar precisamente o problema e sugerir uma solução de forma construtiva;
10º - As mensagens de erros são de fácil entendimento para você? Elas ajudam a solucionar o problema?
10º Ajuda e documentação: embora seja melhor que um sistema possa ser utilizado sem documentação, é necessário oferecendo ajuda e documentação de alta qualidade. Tais informações devem ser facilmente encontradas, focadas na tarefa do usuário, enumerar passos concretos a serem realizados e não ser muito extensas.
11º - O sistema oferece ajuda para realizar determinada atividade desconhecida por você? Essa ajuda é fácil de encontrar?
Fonte: Lima (2014)
Esse estudo de Lima (2014) foi o início desta pesquisa. Ele fez a tradução das heurísticas de Nielsen (1994), porém não propôs uma avaliação. Neste trabalho iremos melhorar algumas perguntas feitas por Lima (2014) que não ficaram claras para os usuários segundo o próprio autor. O autor também identificou que os usuários estavam tendo dificuldades em apontarem os problemas de interação.
2.2 Trazendo o usuário para realizar Avaliação Heurística
O objetivo do trabalho de Silva (2016) era propor um método de avaliação para levar usuários a realizar a Avaliação Heurística, promovendo dessa forma uma cultura de participação, ou seja, uma abordagem na qual as pessoas mesmo que não tenham sido treinadas para desenvolver sistemas consigam participar de forma efetiva da sua construção, para dessa forma não ser apenas alguém que só conhece o domínio e passa informações sobre ele.
Silva (2016) fez um melhoramento em relação ao estudo de Lima (2014) modificando algumas heurísticas que não estavam claras para os usuários, deixando numa linguagem mais simples e de fácil entendimento.
Um dos seus objetivos foi usar uma ferramenta na qual os usuários pudessem apontar os erros, as violações das heurísticas. Silva (2016) usou a ferramenta UX Check para os usuários apontarem as violações.
O ponto principal era que além de especialistas, os usuários reais poderiam ajudar a avaliar sistemas, já que os mesmos é que irão manusear os sistemas.
Foi entregue um instrumento para todos os usuários explicando todas as heurísticas já melhoradas. Além do instrumento, foi usado uma apresentação de slides para explicá-las melhor aos usuários. Também foi observada toda a execução da avaliação. Silva (2016) foi bem-sucedida no desenvolvimento do seu trabalho, entretanto, não realizou a última etapa da Avaliação Heurística que é a reunião final entre os avaliadores para entrarem em um consenso sobre os problemas encontrados.
Outro ponto importante não efetuado por Silva (2016) foi não seguir a premissa de que essa avaliação seja feita por pessoas que não seja da área de TI. Seu estudo contou com cinco participantes, dos quais quatro deles eram da área de TI.
Neste trabalho iremos realizar a última etapa que é a reunião final entre o avaliadores, e colocar usuários que não são da área de TI e que usam o sistema no seu dia a dia para realizar a avaliação sugerida.
2.3 Methods and tools: Participatory Heuristic Evalution (Métodos e ferramentas: Avaliação Heurística Participativa)
A Avaliação Heurística Participativa (PHE) é baseada na Avaliação Heurística de (Nielsen e Mack 1994). Essa técnica estende-se de duas maneiras:
Acrescenta novas áreas de preocupação à lista de heurísticas usadas para orientar inspetores sob ele. As áreas da Avaliação Heurística de Nielsen são: Visibilidade do estado do sistema, Correspondência entre o sistema e o mundo real, reconhecimento em vez de memorização, Controle e liberdade do usuário, Consistência e padronização, Flexibilidade e eficiência de uso, Prevenção de erros, Ajude os usuários a reconhecerem, diagnosticarem e se recuperarem de erros, Ajuda e documentação e por fim Projeto estético e minimalista e nesse novo modelo foi acrescentado Habilidades, Interação agradável e respeitosa com o usuário, Trabalho de qualidade e privacidade.
A avaliação participativa adiciona usuários (especialistas no domínio do trabalho) à lista de inspetores.
Os criadores dessa avaliação (Muller et al., 1998) alegam que ela amplia o poder da Avaliação Heurística sem acrescentar muito esforço.
O procedimento para esta avaliação participativa é o mesmo usado na versão de especialistas, entretanto envolvendo os participantes como ‘especialistas do domínio de trabalho’, ao lado dos especialistas em usabilidade e deve-se explicar a eles o que é exigido. Os métodos de usabilidade descritos no respectivo estudo foram criados em termos dos seguintes atributos:
Modelo de objeto (ou materiais) – Os materiais usados para a Avaliação Heurística é um projeto ou sistema que serão inspecionados, e uma lista de usabilidades de problemas comuns que os inspetores devem procurar.
Modelo de processo – A técnica de Avaliação Heurística pode ser conduzida como uma exploração de projetos ou sistemas ou como um cenário guiado por tarefas que foram selecionadas como importantes. A equipe do produto explica aos avaliadores o objetivo do sistema e explicam as tarefas a serem executadas. Para realizar essa tarefa, o inspetor é encorajado a pensar em voz alta e a anotar todos os problemas de usabilidade que encontrar. Não há exigências de que os problemas sejam descritos em termos das heurísticas. As heurísticas são fornecidas como um auxílio para encontrar os problemas e não como uma estrutura necessária para relatar esses problemas.
Modelo de participação – Na abordagem de Nielsen, os inspetores são especialistas em um dos dois domínios: engenharia de software; usabilidade ou fatores humanos, nesse novo modelo além dos dois domínios existentes no de Nielsen foram acrescentados os especialistas em domínio do trabalho que são os usuários.
Resultados – Depois de todos efetuarem suas avaliações, a equipe se junta e combina uma lista de potenciais problemas de usabilidade que foram encontrados, removendo as duplicatas e desenvolvem os problemas por tópicos.
Posição no ciclo de vida do produto - É frequentemente usada para avaliações formativas de design de interação.
No trabalho em questão foram criadas duas extensões para as técnicas de Nielsen:
Inspeções participativas: revisando o modelo de participação – Essa primeira extensão está preocupada com o modelo de participação, quem está envolvido no trabalho. A motivação para isso é evitar o custo e a dificuldade de encontrar usuários reais, porém,
em determinadas circunstâncias os usuários podem estar perto da equipe do produto ou podem ser membros da equipe, podendo neste caso ser útil pedir aos usuários que se juntem a inspeção como peritos, seguindo os princípios da efetiva participação dos usuários nas decisões que afetam o seu trabalho.
Heurística orientada por processo: revisão do modelo de objeto – A segunda extensão está preocupada com as heurísticas que orientam a busca de problemas de usabilidade. Essa extensão está preocupada com o artefato computacional no contexto dos usuários.
As heurísticas de Nielsen são principalmente orientadas para o produto, com isso foi proposto adicionar heurísticas orientadas a processo para uma avaliação mais equilibrada.
Esse método de Avaliação Heurística participativa teve uma reformulação, pois os autores se preocupavam com a linguagem das heurísticas, pois as mesmas são adequadas para profissionais de software e usabilidade, e podem ser difícil para pessoas que não são da área. Então reformularam as heurísticas, passando-as para uma linguagem mais simples e clara para ser usada pelo grupo mais amplo de inspetores incluindo os usuários finais, as heurísticas reformuladas seguem abaixo em suas respectivas áreas:
Status do sistema
1 - ESTADO DO SISTEMA. O sistema mantém os usuários informados sobre o que está acontecendo através de comentários adequados dentro de um prazo razoável.
Controle e liberdade do usuário
2 - SEQUÊNCIA DE TAREFA. Os usuários podem selecionar e sequenciar tarefas (quando apropriado), em vez de o sistema assumir o controle das ações dos usuários. Os assistentes estão disponíveis, mas são opcionais e estão sob o controle do usuário.
3 - SAÍDA DE EMERGÊNCIA. Os usuários podem
o Encontrar facilmente "saídas de emergência" se escolherem as funções do sistema por engano (as saídas de emergência permitem que o usuário abandone o estado indesejado sem ter que passar por um diálogo prolongado).
o Tomar suas próprias decisões (com informações e comentários claros) sobre os custos de sair do trabalho atual.
o Acessar operações de desfazer e refazer.
4 - FLEXIBILIDADE E EFICIÊNCIA DE USO. Os aceleradores estão disponíveis para especialistas, mas não são vistos pelo novato. Os usuários podem adaptar ações freqüentes.
Existem meios alternativos de acesso e operação para usuários que diferem do usuário "médio" (por exemplo, em habilidades físicas ou cognitivas, cultura, idioma, etc.).
Consistência e Relevância
5 – CORRESPONDÊNCIA ENTRE O SISTEMA E O MUNDO REAL. O sistema fala o idioma dos usuários, com palavras, frases e conceitos familiares para o usuário, em vez de termos orientados para o sistema. As mensagens são baseadas no mundo real dos usuários, fazendo com que a informação apareça em uma ordem natural e lógica.
6 - CONSISTÊNCIA E NORMAS. Cada palavra, frase ou imagem no design é usada consistentemente, com um único significado. Cada objeto de interface ou operação do computador é sempre referido usando a mesma palavra, frase ou imagem consistente. Siga as convenções do sistema de entrega ou plataforma.
7 - RECONHECIMENTO MUITO RECONHECIDO. Objetos, ações e opções são visíveis. O usuário não precisa lembrar as informações de uma parte do diálogo para outra. As instruções para o uso do sistema são visíveis ou facilmente recuperáveis sempre que apropriado.
8 - DESIGN ESTÉTICO E MINIMALISTA. Os diálogos não contêm informações irrelevantes ou raramente necessárias (informações extras em uma caixa de diálogo competem com as unidades de informação relevantes e diminuem sua visibilidade relativa).
9 - AJUDA E DOCUMENTAÇÃO. O sistema é intuitivo e pode ser usado para as tarefas mais comuns sem documentação. Quando necessário, a documentação é fácil de pesquisar, suporta uma tarefa de usuário, lista etapas concretas a serem realizadas e é dimensionada adequadamente para a tarefa dos usuários. Os documentos grandes são complementados com vários meios de encontrar seus conteúdos (tabelas de conteúdo, índices, pesquisas, etc.).
Reconhecimento e recuperação de erros
10 - AJUDE USUÁRIOS RECONHECER, DIAGNOSTICAR E RECUPERAR DE ERROS. As mensagens de erro indicam com precisão o problema e sugerem de forma construtiva uma solução. Eles são expressos em linguagem simples (usuários) (sem códigos). Os usuários não são responsabilizados pelo erro.
11 - PREVENÇÃO DE ERROS. Mesmo melhor do que boas mensagens de erro é um design cuidadoso que impede que um problema ocorra em primeiro lugar. Os "erros" dos usuários são antecipados, e o sistema trata o "erro" como uma entrada válida ou uma entrada ambígua a ser esclarecida.
Tarefas e Suporte de Trabalho
12 - HABILIDADES. O sistema suporta, estende, complementa ou melhora as habilidades do usuário, conhecimentos básicos e conhecimentos especializados. O sistema não os substitui. Os assistentes suportam, estendem ou executam decisões tomadas pelos usuários.
13 - INTERAÇÃO AGRADÁVEL E RESPECTIVA COM O USUÁRIO. As interações do usuário com o sistema aumentam a qualidade de sua experiência. O usuário é tratado com respeito. O design reflete o papel profissional do usuário, identidade pessoal ou intenção. O design é esteticamente agradável - com um equilíbrio adequado de valor artístico e funcional. 14 - TRABALHO DE QUALIDADE. O sistema suporta o usuário ao entregar um trabalho de qualidade aos seus clientes (se apropriado). Os atributos do trabalho de qualidade incluem pontualidade, precisão, apelo estético e níveis adequados de completude.
15 - PRIVACIDADE. O sistema ajuda o usuário a proteger informações pessoais ou privadas - pertencentes ao usuário ou aos seus clientes.
Vale ressaltar que não foram realizados testes formais para avaliar o valor da nova redação.
A motivação para este estudo é exatamente a mesma que motiva nossa pesquisa, ou seja, o fato de que os usuários reais do sistema podem contribuir bastante para o desenvolvimento de um sistema que atenda facilmente as necessidades do dia a dia dos usuários.
Essa pesquisa é muito importante, pois ela apresenta características parecidas com as que focamos neste trabalho, uma vez que os autores modificaram as heurísticas para uma linguagem mais simples, onde os usuários finais (agora avaliadores) conseguem entender de forma mais clara o que cada heurística representa. Vale ressaltar que o procedimento da avaliação é o mesmo da Avaliação Heurística de Nielsen. A diferença do nosso trabalho em relação a esse é que partimos das heurísticas traduzidas por Lima e Silva e utilizaremos a ferramenta UXCheck para ajudar os avaliadores a apontarem na tela as violações das heurísticas.
3 FUNDAMENTAÇÃO TEÓRICA
3.1 Avaliação Heurística
O método de Avaliação Heurística foi proposto por Nielsen e Molich, no ano de 1990, criado com o propósito de encontrar problemas de usabilidade durante o processo de design
interativo. Foi proposto como uma alternativa de baixo custo e rápido, se comparado com métodos empíricos. (BARBOSA; SILVA, 2010)
Nielsen (1993) descreve um conjunto inicial de heurísticas a serem utilizadas em seu método de Avaliação Heurísticas descritas abaixo:
Visibilidade do estado do sistema - o sistema deve sempre manter os usuários informados sobre o que está acontecendo através de feedback (resposta às ações do usuário) adequado e no tempo certo;
Correspondência entre o sistema e o mundo real - o sistema deve utilizar palavras, expressões e conceitos que são familiares aos usuários, em vez de utilizar termos orientados ao sistema ou jargão dos desenvolvedores. O designer deve seguir as convenções do mundo real, fazendo com que a informação apareça em uma ordem natural e lógica, conforme esperado pelos usuários;
Controle e liberdade do usuário - os usuários frequentemente realizam ações equivocadas no sistema e precisam de uma “saída de emergência” claramente marcada para sair do estado indesejado sem ter de percorrer um diálogo extenso. A interface deve permitir que os usuários desfaçam e refaçam suas ações;
Consistência e padronização - os usuários não devem ter de se perguntar se palavras, situações ou ações diferentes significam a mesma coisa. O designer deve seguir as convenções da plataforma ou do ambiente computacional;
Reconhecimento em vez de memorização - o designer deve tornar os objetos, as ações e opções visíveis. O usuário não deve ter de lembrar-se para que serve um elemento de interface cujo símbolo não é reconhecido diretamente; nem deve ter de lembrar-se da informação de uma parte da aplicação quando tiver passado para uma outra parte dela. As instruções de uso do sistema devem estar visíveis ou facilmente acessíveis sempre que necessário;
Flexibilidade e eficiência de uso - aceleradores – imperceptíveis aos usuários novatos – podem tornar a interação do usuário mais rápido e eficiente, permitindo que o sistema consiga servir igualmente bem os usuários experientes e inexperientes. Exemplos de aceleradores são botões de comandos em barras de ferramentas ou teclas de atalho para acionar itens de menu ou botões de comando. Além disso, o designer pode oferecer mecanismos para os usuários customizarem ações frequentes;
Projeto estético e minimalista - a interface não deve conter informação que seja irrelevante ou raramente necessária. Cada unidade extra de informação em uma
interface reduz sua visibilidade relativa, pois compete com as demais unidades de informação pela atenção do usuário;
Prevenção de erros - melhor do que uma boa mensagem de erro é um projeto cuidadoso que evite que um problema ocorra, caso isso seja possível;
Ajude os usuários a reconhecerem, diagnosticarem e se recuperarem de erros - as mensagens de erro devem ser expressas em linguagem simples (sem códigos indecifráveis), indicar precisamente o problema e sugerir uma solução de forma construtiva;
Ajuda e documentação - embora seja melhor que um sistema possa ser utilizado sem documentação, é necessário oferecendo ajuda e documentação de alta qualidade. Tais informações devem ser facilmente encontradas, focadas na tarefa do usuário, enumerar passos concretos a serem realizados e não ser muito extensas.
Esse é um conjunto inicial que pode ser expandido para incluir novas diretrizes conforme os avaliadores julguem necessário. Nielsen (1993, apud SILVA 2016) recomenda que uma Avaliação Heurística envolva de três a cinco avaliadores. A figura 2 apresenta as atividades envolvidas em uma Avaliação Heurística.
Quadro 2 – Atividades do método de Avaliação Heurística Avaliação Heurística
Atividade Tarefas
Preparação Todos os avaliadores:
aprendem sobre a situação atual
selecionam as parte da interface que devem ser avaliadas
Coleta de dados e Interpretação
Cada avaliador, individualmente:
inspeciona a interface para identificar violações das heurísticas
Lista os problemas encontrados pela inspeção, indicando local, gravidade, justificativa e recomendação.
Consolidação dos
resultados e Relato dos resultados
Todos os avaliadores:
Revisam os problemas encontrados, julgando sua relevância, gravidade, justificativa e recomendação de solução.
geram relatório consolidado. Fonte: Barbosa; Silva (2010. p. 318)
Na atividade de preparação da avaliação, os avaliadores organizam a tela do sistema ou protótipo a ser avaliado e a lista de heurísticas ou diretrizes que devem ser consideradas. A próxima atividade é a coleta e interpretação dos dados, em que cada avaliador deve
inspecionar individualmente cada tela selecionada e cada um de seus elementos, com o objetivo de identificar se as diretrizes foram respeitadas ou violadas. Cada violação de diretriz é considerada um problema potencial de IHC (BARBOSA; SILVA, 2010).
Para cada problema encontrado, o avaliador deve anotar: qual diretriz foi violada, em qual local o problema foi encontrado, qual a gravidade (severidade) do problema, além de uma justificativa de porque aquilo é um problema. Também é importante anotar possíveis ideias de soluções alternativas que possam resolver os problemas encontrados (BARBOSA; SILVA, 2010).
Segundo Nielsen (1994, apud SILVA 2016), julgar a gravidade de um problema de usabilidade envolve três fatores:
A frequência com que ocorre o problema - é um problema comum ou raro?
O impacto do problema, se ocorrer - será fácil ou difícil para os usuários superarem o problema?
A persistência do problema - o problema ocorre apenas uma vez e será superado pelos usuários, ou atrapalhará os usuários repetidas vezes?
Para facilitar a compreensão e comparação do julgamento dos problemas encontrados Nielsen (1994) sugere uma escala de gravidade:
problema cosmético – não precisa ser consertado a menos que haja tempo no cronograma do projeto.
problema pequeno – o conserto deste problema pode receber baixa prioridade. problema grande – importante de ser consertado e deve receber alta prioridade. Problema catastrófico – é extremamente importante consertá-lo antes de se lançar o
produto. Se mantido, o problema provavelmente impedirá que o usuário realize suas tarefas e alcance seus objetivos.
Na atividade de consolidar os resultados, cada avaliador compartilha sua lista de problemas com os demais avaliadores, para que todos adquiram uma visão abrangente dos problemas encontrados na interface avaliada. Em seguida, eles realizam um novo julgamento, no qual cada avaliador pode atribuir um grau de severidade para cada problema. Caso um avaliador discorde que algum item seja de fato um problema, pode atribuir um grau de severidade zero. Considerando os novos julgamentos, os avaliadores conversam e entram em acordo sobre o grau de severidade final de cada problema e decidem quais problemas e sugestões de solução devem fazer parte do relatório consolidado (BARBOSA; SILVA, 2010).
Depois que a equipe de avaliadores adquire uma visão mais abrangente, algumas vezes é necessário unir problemas encontrados por diferentes avaliadores ou até pelo mesmo avaliador seja porque relatem exatamente o mesmo problema ou porque relatam casos particulares de um problema maior. (BARBOSA; SILVA, 2010).
Segundo Barbosa e Silva (2010), o relato dos resultados de uma Avaliação Heurística geralmente inclui:
Os objetivos da avaliação; O escopo da avaliação;
Uma breve descrição do método de Avaliação Heurística; O conjunto de diretrizes utilizado;
O número e o perfil dos avaliadores;
Lista de problemas encontrados, indicando, para cada um: o Local onde ocorre;
o Descrição do problema; o Diretriz(es) violada(s); o Severidade do problema; o Sugestão de solução.
Esse trabalho está fundamentado no método de Nielsen, ou seja, estamos utilizando os mesmos procedimentos. A principal diferença é que estamos utilizando as heurísticas em forma de regras, para isso será apresentado um vídeo explicativo para auxiliar o usuário a fazer a avaliação.
3.2 Design Participativo
O Design Participativo surgiu na Escandinávia, no bojo da reivindicação por maior participação nas tomadas de decisão acerca das condições de trabalho feita pelos sindicatos de trabalhadores da região. Surgiu com a introdução da informática no local de trabalho e da preocupação dos trabalhadores, pois com toda essa inovação o conhecimento dos trabalhadores poderiam se tornar obsoletos, e com isso gerando o desemprego.
Essa preocupação dos trabalhadores levou pesquisadores de computação a propor então o desenvolvimento de sistemas dentro do local de trabalho ao invés de importar os sistemas computacionais. Com isso os trabalhadores participariam do projeto desses sistemas, podendo assim evitar serem considerados obsoletos. Dessa forma deu-se inicio o conceito de design participativo (DP).
O Design Participativo pode ser considerado como uma prática ou metodologia de desenvolvimento de sistemas de informação que visa coletar, analisar e projetar um sistema juntamente com a participação de usuários, funcionários, clientes, desenvolvedores e demais interessados. Sendo assim, o DP tem como foco a participação de várias pessoas na equipe de desenvolvimento, enquanto outras metodologias restringem apenas aos profissionais especializados (DE ARAUJO; FAZANI 2014).
Considerando que o Design Participativo envolve pessoas que utilizam sistemas no dia a dia ou irão utilizar posteriormente, pode-se afirmar que o sistema pode ser mais aceito pelos usuários e consequentemente mais acessível e usável. O Design Participativo também abrange questões relacionadas à maneira de como os usuários pensam e agem, enfatiza a importância de cada participante no decorrer de todo o processo de desenvolvimento, e considera que o usuário do sistema sabe quais funções são úteis e quais são as prioridades para sua prática profissional.
Os princípios e práticas do DP podem ser aplicados tanto no contexto da Engenharia de Software para auxiliar os processos de desenvolvimento de sistemas de informação, quanto no contexto da Ciência da Informação para coleta e apresentação das informações (DE ARAUJO; FAZANI, 2014).
O DP tem relações diretas com outras áreas relacionadas como o design centrado no usuário, design de interação, design cooperativo, design de interface, arquitetura da informação etc. As principais diferenças é que nessas áreas levam-se em consideração os dados relacionados aos usuários, enfocando a utilização do produto pelo mesmo, entretanto ele não faz parte do processo de desenvolvimento do sistema (DE ARAUJO; FAZANI, 2014). Esse tema fundamenta nosso projeto, pois estamos querendo promover uma cultura de participação uma vez que objetivamos trazer usuários de sistemas computacionais para realizar a avaliação da interação, uma etapa importante para a engenharia de software.
4 PROCEDIMENTOS METODOLÓGICOS
4.1 Melhorar o instrumento proposto por Lima (2014) com explicação das Heurísticas para facilitar o entendimento dos usuários
Modificamos a tradução das heurísticas para melhor entendimento por parte dos usuários que não eram da área de TI e que fizeram a avaliação. Avaliamos se as heurísticas traduzidas por Lima (2014) e Silva (2016), estavam contemplando todo o conteúdo das heurísticas originais de Nielsen.
Silva (2016) apontou em seus resultados a necessidade de alterar algumas heurísticas presentes no instrumento proposto por Lima (2014), das quais ela já havia feito também algumas alterações em seu trabalho original, pois alguns usuários classificaram problemas em heurísticas não muito adequadas. Com o objetivo de proporcionar um instrumento de avaliação objetivo e claro ao usuário propusemos algumas alterações em algumas heurísticas. As Heurísticas melhoradas podem ser vistas no quadro abaixo:
Quadro 3 - Proposta de Melhoria para as Heurísticas do Instrumento de Lima (2014) e Silva (2016)
Tradução das regras Heurísticas – versão melhorada
Nº Heurística de Nilsen Tradução de SILVA(2016) Proposta de melhoria deste trabalho
1º Correspondência entre o
sistema e o mundo real As palavras, conceitos ou expressões utilizadas no sistema são familiares? Você consegue entender todos os nomes da tela? Exemplos: nome dos botões, nome nos menus.
As palavras, conceitos ou expressões utilizados no sistema são
familiares? Você
consegue entender todos os nomes que aparecem na tela? Exemplos: nome dos botões, nome nos menus.
6º Controle e Liberdade do usuário
Você consegue facilmente sair de uma parte do sistema que você acessou sem querer? Existe botão de voltar no próprio sistema?
Você consegue
facilmente retornar de uma parte do sistema que você acessou sem querer? Existe botão de voltar no próprio sistema?
7º Projeto estético e
minimalista O sistema possui mensagens irrelevantes para o contexto que se está utilizando?
O sistema possui mensagens irrelevantes e/ou redundantes para o contexto que se está utilizando? O sistema apresenta poluição visual?
Fonte: Elaborado pelo autor.
A versão final do instrumento de avaliação usado nessa pesquisa pode ser visualizada no modo em que foi entregue aos usuários no APÊNDICE D.
4.2 Criar vídeos explicativos e instrumentos que facilitem o entendimento e o uso do método de avaliação para usuários
Para se ter uma boa avaliação, é importante que o processo seja conhecido por quem irá realizar esse trabalho, para isso criamos uma apresentação contendo informações essenciais para os usuários que realizaram a avaliação.
Criamos um vídeo onde contém as explicações das dez heurísticas de Nielsen, explicando detalhadamente o que significa cada uma e como identifica-las no momento da avaliação com exemplos, o passo a passo de todo o método e como usar a ferramenta UX-Check para gerar o relatório. O vídeo encontra-se disponível no endereço https://youtu.be/zS7d8-hqBYY.
Elaboramos um documento para auxiliar no processo de identificação dos problemas de usabilidade durante a avaliação. A ideia é que o usuário-avaliador tenha em mãos a lista de heurísticas e suas devidas explicações, de maneira que o ajude a lembrar das heurísticas. O documento completo pode ser visualizado no Apêndice D.
4.3 Realizar estudo de caso;
Realizamos um estudo de caso para observarmos a experiências dos usuários-avaliadores realizando a avaliação heurística. Podemos verificar: (i) se o vídeo e a planilha estavam bem elaborados para apoiar os usuários durante a avaliação; e (ii) avaliamos se o método de Nielsen estava adequado para ser utilizado por usuários-avaliadores. Para isso, fizemos um estudo de caráter exploratório, no qual convidamos usuários para avaliar um sistema, utilizando as heurísticas e o método desse trabalho.
É importante ressaltar que Silva (2016) não avaliou a etapa onde os avaliadores se reúnem para discutir sobre os problemas encontrados, previsto no método de Nielsen. Neste trabalho, observamos essa etapa do método.
Neste estudo de caso escolhemos um sistema financeiro de uma escola de ensino primário particular para ser avaliado pelos usuários-avaliadores, a motivação para a escolha do sistema foi pelo fato de eu ter participado do processo de criação do mesmo, e seria interessante observar os resultados do ponto de vistas dos usuários. Ele será descrito a seguir.
O sistema avaliado foi o sistema financeiro da Escola Sonho Colorido, um sistema criado para dar suporte às decisões finais dos gestores da escola. Antigamente, antes da inclusão do sistema, todas as informações eram anotadas em pedaços de papeis e arquivadas, e no final do mês eram feitas as contas, correndo o risco de ocorrer erros de cálculos e com isso ter que refazer tudo novamente, até porque independente de achar que teria errado ou não, essa conta era feita mais de uma vez para saber se o resultado estava correto, além do risco de perder algum papel, molhar, etc.
O sistema é de uso simples, somente com informações essenciais para os gestores da escola.
Seguem abaixo algumas telas do sistema:
A Figura 1 mostra a tela principal do sistema, nela pode ser visto o balanço mensal da escola escolhendo o mês e o ano.
Figura 1 – Tela principal do sistema financeiro
Fonte: elaborado pelo autor.
A Figura 2 mostra as opções que o sistema oferece para colocar suas receitas, que são através das matrículas, mensalidades, fardas, toner, livros, algum extra que entra no mês, e por fim um balanço geral de todas as receitas.
Figura 2 – Opções de receitas
A Figura 3 mostra as opções que o sistema oferece para colocar suas despesas, que são através dos pagamentos dos funcionários da escola, água, luz, cartão, extra, e por fim o despesa total, que mostra o balanço das despesas do mês.
Figura 3 – Opções de despesa
Fonte: elaborado pelo autor.
A Figura 4 mostra as opções que o sistema oferece para alunos, cadastrar alunos, e exibir alunos, nessa opção pode-se consultar por nome, mostrar todos os alunos ativos da escola, pode-se pesquisar por sexo. Dentro dessa função, pode-se alterar algumas informações relativas aos alunos ou excluir o aluno.
Figura 4 – Opções de alunos
A Figura 5 mostra as opções que o sistema oferece para funcionários, cadastrar funcionários, e exibir funcionários, nessa opção pode-se consultar por nome e por cargos, dentro dessa função pode-se alterar algumas informações relativas aos funcionários ou excluir o funcionário.
Figura 5 – Opções de funcionário
Fonte: elaborado pelo autor.
Fonte: elaborado pelo autor.
A Figura 6 mostra as opções que o sistema oferece para usuários do sistema, cadastrar usuários, e exibir usuários, nessa opção o sistema mostra todos os usuários existentes no sistema, dentro dessa função pode-se alterar algumas informações relativa aos usuários ou excluir o usuário.
Figura 6 – Opções de usuário
A Figura 7 mostra as opções que o sistema oferece para alterar perfil e senha dos usuários do sistema.
Figura 7 – Opções minha conta
Fonte: elaborada pelo autor.
4.4 Analisar dados coletados no estudo.
Nesta etapa realizamos uma análise qualitativa dos registros da observação do uso do método de Nielsen por usuários-avaliadores, observando o uso dos instrumentos e a aplicação do método.
5.0 MÉTODO PARA O USUÁRIO REALIZAR A AVALIAÇÃO
Nessa seção iremos detalhar todas as etapas a serem seguidas na avaliação. A ideia principal é seguir as mesmas etapas do Método de Avaliação Heurística de Nielsen, as únicas diferenças são:
A equipe de avaliadores não é composta por avaliadores profissionais, e sim, por usuários do próprio sistema, já que acreditamos que o usuário seria interessante para relatar problemas contidos no sistema.
Será passado um vídeo explicativo sobre o método de avaliação heurística, detalhando cada heurística com exemplos, ensinando o passo a passo de cada etapa e por fim, como usar a ferramenta UX Check, detalhando como se faz o preenchimento e por fim o download do documento.
Utiliza a UX CHECK como ferramenta de Apoio, onde a mesma irá auxiliar a equipe a apontar o local do sistema onde uma ou mais heurísticas estão sendo violadas. Com a ferramenta UX CHECK acreditamos que os usuários continuarão obtendo êxito, como foi escrito no trabalho de Silva (2016).
Retiramos uma etapa inicial prevista por Nielsen onde o avaliador precisa reconhecer a situação atual. Quando o avaliador do sistema não é o próprio usuário ele precisa se familiarizar com o sistema, conhecer suas funcionalidades e os diversos contextos de aplicação. Tudo isso deve ser feito antes de iniciar a inspeção. No trabalho como é o próprio usuário que vai avaliar, essa etapa pode ser dispensada, uma vez que ele já conhece bem o sistema.
Retiramos também o processo de instalação da ferramenta UX-Check, já que a versão original vem em inglês, ou seja, a ferramenta já vai está instalada e toda atualizada de acordo com as mudanças citadas nesse trabalho.
Quadro 4 - Atividades do método de Avaliação Heurística aplicado por usuários Avaliação Heurística voltada para usuários
Atividade Tarefas
Preparação Todos os avaliadores:
Recebem instrução sobre o método, através de um vídeo explicativo
Recebem uma cópia em papel do instrumento de avaliação
Leem o instrumento de avaliação
Leem o termo de consentimento
Recebem as tarefas a serem feitas
Coleta de dados e interpretação Cada avaliador individualmente:
Inspeciona a interface (tela) para identificar violações das heurísticas
Lista os problemas encontrados pela inspeção, indicando local, gravidade, justificativa e recomendação
Os avaliadores devem usar a
ferramenta UX CHECK para registrar as ocorrências encontradas na
avaliação
Consolidação dos resultados e relato dos resultados
Todos os avaliadores:
Revisam os problemas encontrados, julgando por sua relevância, gravidade, justificativa e recomendação de solução
Geram um relatório utilizando o Plug-in UX CHECK
Fonte: Elaborado pelo autor
6.0 ESTUDO DE CASO
Neste estudo, utilizamos uma proposta de pesquisa exploratória, ou seja, não partimos de premissas para serem comprovadas, nosso objetivo é avaliar como os usuários finais realizam a avaliação heurística, portanto, esta é uma pesquisa qualitativa, pois o nosso interesse é a captura detalhada do uso do método.
Observamos a aplicação do método enquanto os usuários, individualmente realizavam a avaliação heurística, vale ressaltar que realizamos a última etapa do método que é a reunião final entre os avaliadores, onde foi discutido todas as violações encontradas, e feito um documento único pelos avaliadores.
Fizemos este estudo com uma equipe de 3 participantes. É importante ressaltar que Nielsen propõe que a Avaliação Heurística deve ser realizada com pelo menos 3 avaliadores. Tivemos por objetivo: explorar o uso do método por estes usuários, analisando se os usuários tiveram dificuldades, se os usuários puderam realizar a Avaliação Heurística utilizando o método; e analisar se os usuários utilizam o método para comunicar e apontar problemas de interface ou de interação no sistema avaliado.
O sistema avaliado nesse estudo foi o sistema financeiro da Escola Sonho Colorido descrito na seção 4.3.
6.1 Teste piloto
O teste piloto foi realizado com uma usuária de 44 anos. Antes de a usuária convidada executar os passos, foi apresentado o vídeo explicativo do conceito de Avaliação Heurística e de como funciona a ferramenta UX CHECK. Ao final do vídeo, foi perguntado se havia alguma dúvida quanto ao entendimento do método e o uso da ferramenta do UX-Check explicado no vídeo. A usuária relatou ter entendido todos os passos, e que o vídeo estava bastante claro sobre o que fazer na execução do método, porém a usuária ao executar a avaliação teve algumas dúvidas na hora de salvar o documento, pois segundo ela não lembrava todo o procedimento explicado no vídeo, e com isso foi observado realmente que o usuário por não ter conhecimento aprofundado no método precisava de um auxílio, com isso durante o experimento, o vídeo ficou disponível para ser consultado a qualquer momento pela usuária. Após a apresentação ser
feita, foi apresentado ao usuário o termo de consentimento, que pode ser visualizado no APÊNDICE A. O sistema utilizado para o teste foi o sistema financeiro da Escola Sonho Colorido, sistema esse desenvolvido por dois alunos da UFC – Campus Quixadá.
A usuária usou bastante o documento impresso, que continha todas as heurísticas com as perguntas, para lembrar o que cada heurística significa, e para lhe apoiar nas violações encontradas.
A interação do usuário com o sistema durante a execução dos cenários foi registrada pelo aplicativo OBS Studio2 para uma melhor análise de dados.
O roteiro seguido pela usuária foi o seguinte: Quadro 5 - Roteiro do método
Avaliação Heurística voltada para usuários
Atividade Tarefas
Preparação Todos os avaliadores:
Recebem instrução sobre o método, através de um vídeo explicativo
Recebem uma cópia em papel do instrumento de avaliação
Leem o termo de consentimento
Leem o instrumento de avaliação
Coleta de dados e interpretação Cada avaliador individualmente:
Inspeciona a interface (tela) para identificar violações das heurísticas
Lista os problemas encontrados pela inspeção, indicando local, gravidade, justificativa e recomendação
Os avaliadores devem usar a
ferramenta UX CHECK para registrar as ocorrências encontradas na
avaliação
Consolidação dos resultados e relato dos resultados
Todos os avaliadores:
Revisam os problemas encontrados, julgando por sua relevância,
gravidade, justificativa e recomendação de solução
Geram um relatório utilizando o Plug-in UX CHECK
Fonte: Elaborado pelo autor
A usuária era conhecedora do sistema e levou um total de 21 minutos para realizar todos os passos e encontrou 6 violações. Entre eles foi feita a execução de quatro
funcionalidades do sistema que foram: cadastro e exclusão de alunos, funcionários, receitas e despesas, além de algumas consultas relativas a esses cadastros feitos. Depois dessas atividades foi feita a inspeção dessas quatro funcionalidades utilizando a ferramenta UX CHECK juntamente com o Instrumento que continha as heurísticas.
Seguem abaixo as telas que foram usadas pela usuária para realizar a avaliação. A Figura 8 mostra a tela de cadastro de alunos, com informações básicas. Figura 8 – Cadastro de aluno
Fonte: elaborado pelo autor.
A Figura 9 mostra a tela de cadastro de funcionários, com informações básicas. Figura 9 – Cadastro de funcionário
Fonte: elaborado pelo autor.
A Figura 10 mostra a tela de cadastro de mensalidade, que é uma das opções de receitas da escola.
Figura 10 – Cadastro de receita
Fonte: elaborado pelo autor.
A Figura 11 mostra a tela de cadastro de luz, que é uma das opções de despesas da escola.
Figura 11 – Cadastro de despesa
No teste piloto vimos que era necessário alterar o roteiro com as seguintes observações: Realizar um questionário pré teste, para conhecer o nível de conhecimento
do usuário com sistemas computacionais.
Fazer uma entrevista no final do método, a fim de coletar informações sobre a execução do método, sobre as perguntas contidas no documento e sobre o vídeo.
Precisamos dizer aos usuários que eles podem consultar o vídeo explicativo a qualquer momento;
Precisamos dizer qual o escopo a ser avaliado. Nesse piloto vimos que não estava explicito quais eram as funcionalidades a serem avaliadas.
A versão melhorada do roteiro pode ser visualizada no APÊNDICE I. As Heurísticas impressas podem ser vistas no APÊNDICE D. O vídeo encontra-se disponível no endereço https://youtu.be/zS7d8-hqBYY.
6.2 Perfil dos participantes
Para preservar o anonimato, os participantes foram chamados de P1, para participante 1, P2 para participante 2 e P3, para participante 3.
Nenhum dos participantes tem conhecimentos elevados na área de computação, a formação de cada participante é em áreas distintas do estudo em questão. A participante 1 é formada em Psicologia, a mesma atua como psicóloga na escola e ajuda na parte do controle financeiro. A participante 2 é formada em História, e trabalha na parte financeira da escola. A participante 3 é formada em História e atua como professora de História e Geografia na própria escola. Nenhum dos participantes conhecia nenhum dos conceitos apresentados e mostraram-se preocupados por não conhecerem bem o método e atrapalhar o trabalho em questão, porém foi explicado que a ideia do trabalho é essa, trazer usuários que não sejam da área de computação para avaliar os sistemas que eles mesmos usam para executar suas tarefas no dia a dia.
6.3 Execução do Estudo de Caso
O estudo foi realizado com cada um dos participantes em dias diferentes, ele foi estruturado da seguinte forma: primeiramente apresentamos o questionário pré teste para
avaliar o conhecimento do participante com sistemas computacionais, logo em seguida foi apresentado o termo de consentimento, explicando que os dados coletados serviriam apenas para fins acadêmicos e que seria preservado o anonimato dos participantes. Posteriormente apresentamos o vídeo onde foi mostrado o funcionamento do método e como utilizar a ferramenta UX-Check para preenchimento das violações encontradas. Ao final da execução, foi feita uma entrevista contendo perguntas sobre o uso do método e sobre o entendimento das perguntas contidas no documento, referente a cada heurística e sobre o vídeo.
A seguir segue a narrativa da execução do método por cada participante da equipe.
Participante 1 (P1)
A participante 1, psicóloga, não tem nenhum conhecimento em IHC e em conteúdos específicos da área de computação. A participante se sentiu importante diante da situação de avaliar o sistema que ela mesma usa no dia a dia, podemos perceber isso na fala da usuária “Me sinto muito importante em poder avaliar esse sistema que uso diariamente”. No início estava preocupada pois, podia atrapalhar o trabalho em desenvolvimento por não conhecer o método e fazer algo errado.
A participante disse que tem curso de informática básica e utiliza sistemas para fins pessoais e profissionais, por cerca de 10 anos. Disse também que utiliza os sistemas word, Power Point e sistemas na internet, e que é usuária do sistema avaliado há 3 anos.
No desenvolvimento do método a participante não demonstrou nenhuma dúvida na utilização do método e no uso da ferramenta UX-Check. Durante o desenvolvimento, foi percebido que no preenchimento da segunda violação encontrada, a participante esqueceu de colocar o grau de severidade, logo depois percebeu que não havia feito isso, ela entrou na parte do relatório, deletou as informações e preencheu novamente, colocando agora o grau de gravidade da heurística.
Ao final da execução do método, foi observado que a usuária não teve dificuldade em salvar a avaliação utilizando os recursos disponibilizados pela ferramenta UX-Check. Em seguida foi realizado o questionário acerca da opinião dela sobre o uso do método, sobre o entendimento das perguntas contidas no documento e sobre o vídeo.
A usuária levou 37 minutos para realizar todos os passos do método (sem contar com a apresentação do vídeo e entrevista) e apontou 10 violações que poderão ser visualizadas no APÊNDICE E.
Participante 2 (P2)
A participante 2, é graduada no curso de História, e da mesma forma da participante 1, não tem nenhum conhecimento em IHC e em conteúdos específicos da área de computação. A participante disse que nunca ouviu falar sobre esse tipo de avaliação, e que apesar de não conhecer o método iria participar do processo, e que seria um novo aprendizado para ela.
A usuária disse ter experiência com sistemas computacionais, pois tem curso básico de informática, além de usar sistemas há algum tempo na escola onde trabalha, a mesma trabalha em uma escola do município há 10 anos, e faz todo o planejamento e controle das atividades usando um sistema da escola. A Usuária usa esse sistema avaliado há 2 anos e meio.
No desenvolvimento do método a participante não demonstrou nenhuma dúvida na utilização do método e no uso da ferramenta UX-Check, segundo ela o vídeo estava bem intuitivo, e que o uso da folha com as heurísticas ajudam durante o processo, podemos perceber isso na fala da mesma “O vídeo ajuda bastante no aprendizado, para quem chegou aqui sem saber o que significa teste de usabilidade, ao assistir o vídeo já consegue ter um conhecimento bem amplo de como efetuar a avaliação, e ter a folha das regras do lado ajuda bastante, pois ficaria difícil em lembrar de todas as regras que passaram no vídeo”.
Ao final da execução do método, foi observado que a usuária não teve nenhuma dificuldade em salvar a avaliação utilizando os recursos disponibilizados pela ferramenta UX-Check. Em seguida foi realizado questionário acerca da opinião dela sobre o uso do método, sobre o entendimento das perguntas contidas no documento e sobre o vídeo.
A usuária levou 1 hora e 09 minutos para realizar todos os passos do método, pois a mesma fazia com bastante calma e atenção a todos os detalhes (sem contar com a apresentação do vídeo e entrevista) e apontou 7 violações que poderão ser visualizadas no APÊNDICE F.
Participante 3 (P3)
A participante 3, é também graduada no curso de História, e não tem nenhum conhecimento em IHC e em conteúdos específicos da área de computação. A participante era
