Apoiando o Ensino de Qualidade de Software
Um Serious Game para o Ensino de Usabilidade
Bruna Ferreira, Luis Rivero, Adriana Lopes, Anna Beatriz Marques e Tayana Conte Grupo de Usabilidade e Engenharia de Software
Instituto de Computação Universidade Federal do Amazonas Manaus - Brasil
{bmf, luisrivero, adriana, anna.beatriz, tayana}@icomp.ufam.edu.br
Abstract Usability inspection is a key activity for ensuring software development with quality. One of the most applied inspection techniques for evaluating the usability of software artifacts is the Heuristic Evaluation (HE). However, the performance of an inspector (number of identified defects and time spent during the inspection) highly depends on the ropriate for experienced inspectors. In that context, it is necessary to invest in teaching the HE technique, so novice inspectors can achieve better results. In order to facilitate the learning process of the developed UsabiliCity, an educational game which uses analogies to explain how the heuristics can help detect and solve specific usability problems. Besides introducing the game, this paper shows its evaluation process through an experiment. In that experiment, 37 students tried the game while observers identified improvement learning to verify if the game can assist them in better learning experience. The results showed that overall, students found that the analogies made it easier to understand the heuristics and that the game was found educational and entertaining.
Resumo A inspeção de usabilidade é uma atividade fundamental para garantir o desenvolvimento de um software de qualidade. Uma das técnicas de inspeção de usabilidade mais aplicadas para avaliar a usabilidade de artefatos de software é a Avaliação Heurística (AH). No entanto, o desempenho dos inspetores (número de defeitos identificados e tempo gasto na inspeção) depende da sua expertise, tornando a técnica mais indicada para inspetores experientes. Desta forma, torna-se importante investir no ensino da técnica AH para aumentar o desempenho dos inspetores novatos. Com o intuito de facilitar o processo de aprendizagem das heurísticas da técnica AH por este tipo de inspetores, foi desenvolvido o jogo educacional UsabiliCity que mostra, através de analogias, como as heurísticas podem ajudar a detectar e resolver problemas específicos de usabilidade. Além de introduzir o jogo, este artigo mostra a sua avaliação através de um experimento. Neste contexto, 37 alunos testaram o jogo, enquanto observadores identificaram oportunidades de melhoria. Foi medida a percepção dos alunos sobre o aprendizado para verificar se o jogo ajuda a entender melhor as heurísticas. Os resultados mostraram que, de um modo geral, as analogias facilitaram o entendimento das heurísticas e que o jogo contribuiu para o processo de aprendizagem.
Keywords Usability Evaluation; Software Quality; Serious Games; Heuristic Evaluation, Usability Inspection Methods
I. INTRODUÇÃO
Usabilidade é um dos fatores estratégicos de qualidade de software, cuja importância tem aumentado no desenvolvimento de aplicações interativas [7]. De acordo com os critérios de qualidade de software, a norma ISO/IEC9126 define usabilidade como um conjunto de atributos relacionados com o esforço necessário para o uso de um sistema interativo e relacionado com a avaliação individual de tal uso por um conjunto específico de usuários [3].
A avaliação de usabilidade é uma atividade fundamental em qualquer processo de desenvolvimento que busque produzir um sistema interativo com alta qualidade de uso [3]. Ela permite que um avaliador faça um julgamento sobre a qualidade de uso do software desenvolvido (ou seus artefatos) e identifique problemas que possam prejudicar a experiência de uso [3]. Inspeção de usabilidade é um tipo de avaliação de usabilidade onde um inspetor examina a interface verificando se esta respeita padrões de usabilidade [5]. A vantagem de utilizar inspeções no lugar de outros tipos de avaliações de usabilidade (como teste com usuários) é que as inspeções possuem baixo custo e alto benefício [5], diminuindo os custos da identificação de problemas de usabilidade.
Uma das técnicas de inspeção de usabilidade mais adotadas para avaliar a usabilidade de softwares [12] é a Avaliação Heurística (AH), proposta por Nielsen [14]. A AH utiliza um conjunto de heurísticas que são diretrizes que orientam o inspetor a encontrar problemas de usabilidade na interface. No entanto, apesar de permitir identificar um grande número de problemas de usabilidade em pouco tempo, a experiência do inspetor influencia no resultado da inspeção [12].
Para melhorar o desempenho do inspetor ao aplicar a técnica AH, é necessário que o mesmo entenda os atributos de usabilidade avaliados pelas heurísticas. No entanto, apesar da importância do ensino de técnicas de inspeção de usabilidade para a identificação de problemas que afetam a qualidade de software, estas técnicas raramente são ensinadas como um elemento indispensável no processo de desenvolvimento de software nos cursos de computação [4]. É indispensável que o profissional de computação entenda os conceitos de usabilidade para conseguir projetar e desenvolver sistemas com maior qualidade de uso, diferenciando os seus produtos perante o mercado e aumentando sua aceitação [10].
Uma forma de estimular o aprendizado de conceitos relacionados com a computação e outras áreas (história, geografia, matemática, literatura etc.) é através do uso de Serious Games (SGs), que são jogos com outras finalidades além do entretenimento [19]. SGs utilizam entretenimento para promover treinamentos, educação, saúde e políticas públicas [19]. Na educação, o uso de jogos pode tornar o processo de ensino-aprendizagem mais atrativo e proveitoso [10], permitindo reforçar conceitos através da prática [14]. A utilização de jogos aumenta o envolvimento emocional de um estudante, ocasionando variações de estímulos e ajudando-o a reter novos conhecimentos [11].
Com o intuito de melhorar o entendimento das regras de usabilidade descritas pela técnica AH, neste artigo é proposto o uso de um Serious Game chamado UsabiliCity. O jogo utiliza analogias para reforçar os conceitos das heurísticas da AH. Desta forma, os inspetores novatos podem entender melhor que tipos de problemas podem ser identificados e solucionados. E assim obter melhores resultados na realização de inspeção de usabilidade aplicando a técnica AH. Além disso, para obter indícios da viabilidade do uso do jogo UsabiliCity em um ambiente acadêmico, foi realizada uma avaliação experimental inicial. Nesta avaliação, o jogo foi testado por alunos de um curso de Ciência da Computação, para verificar o grau de aprendizado das heurísticas após a sua aplicação.
O restante deste trabalho está organizado da seguinte forma: Na seção II são mostrados conceitos relacionados à Inspeção de usabilidade, a técnica Avaliação Heurística e a Jogos para Ensino de Qualidade de Software. Na seção III, é apresentado o jogo UsabiliCity e como este utiliza analogias para facilitar o processo de aprendizado das heurísticas da AH. Na seção IV, é descrito o processo de avaliação experimental do jogo e seus resultados. Por fim, são mostradas as considerações finais e trabalhos futuros decorrentes desta pesquisa.
II. BACKGROUND E TRABALHOS RELACIONADOS
A. Inspeção de Usabilidade
Métodos de Avaliação de Usabilidade são procedimentos compostos por um conjunto definido de atividades que são utilizadas para avaliar a usabilidade de um sistema. Os métodos de avaliação podem ser divididos em duas categorias [5]: teste com usuários e inspeções. Um teste com usuários é uma avaliação centrada no usuário, na qual métodos experimentais, observacionais e técnicas baseadas em perguntas podem ser usados para avaliar a usabilidade do sistema. O teste com usuários captura dados de uso de usuários reais enquanto estes fazem uso do produto para completar um conjunto definido de atividades. A análise dos resultados oferece informações que podem ser usadas para detectar problemas de usabilidade e assim melhorar o modelo de interação do sistema. Inspeções, por outro lado, foram propostas como uma alternativa com baixo custo e alto benefício em comparação com os testes de usabilidade. Neste contexto, inspeções são avaliações em que inspetores verificam a conformidade dos artefatos de software com
atributos de usabilidade para prever se ocorrerá ou não um problema de interação.
Ao executar uma avaliação de usabilidade, as duas abordagens possuem vantagens e desvantagens. O teste com usuários é mais eficaz na identificação de problemas de usabilidade que afetam usuários finais [12]. No entanto, segundo Matera et al. [13], ele possui alto custo, pois requer muitos recursos para cobrir os diferentes perfis de usuário. Além disso, para aplicar um teste com usuários, muitas vezes é necessário o uso de laboratórios específicos de usabilidade. Métodos de inspeção de usabilidade, por outro lado, podem ser usados nas primeiras etapas do processo de desenvolvimento. Adicionalmente, esses métodos requerem menos recursos e consequentemente, podem diminuir os custos de encontrar problemas de usabilidade [12]. Entre os métodos de inspeção de usabilidade está a avaliação heurística.
B. Avaliação Heurística
A avaliação heurística é um método de avaliação de usabilidade criado por Nielsen [15], para apoiar a identificação de problemas de usabilidade durante um processo de design interativo. Este método orienta os avaliadores a inspecionarem sistematicamente a interface, em busca de problemas que prejudiquem a qualidade do software em termos de usabilidade [5]. Para isso, a avaliação heurística utiliza como base um conjunto de diretrizes de usabilidade que guiam os inspetores durante o processo de avaliação. A TABELA I
apresenta a listagem completa das heurísticas propostas por Nielsen [15] e suas descrições.
Durante o processo de inspeção cada avaliador percorre inicialmente a interface inspecionando os diferentes componentes de interface em busca de problemas. Para cada problema identificado, o avaliador deve anotar qual heurística foi violada, em que local o problema foi encontrado, a gravidade do problema e uma justificativa de por que aquilo é um problema. O local em que o problema foi encontrado indica quais partes da interface devem ser modificadas [12]. Depois que todas as inspeções individuais são concluídas, os avaliadores se reúnem para consolidar os resultados. Em seguida eles realizam um novo julgamento, onde decidem quais problemas de usabilidade devem ser corrigidos e sugestões de soluções.
C. Jogos no Ensino de Qualidade de Software
Apesar da importância da Usabilidade no desenvolvimento de softwares de qualidade, técnicas de avaliação de usabilidade raramente são ensinadas como um elemento indispensável do processo de desenvolvimento de software nos cursos de computação [4]. Como consequência, profissionais da indústria de desenvolvimento de software precisam dedicar mais tempo durante seu cotidiano profissional para o aprendizado de técnicas de avaliação de usabilidade [4].
A forma tradicional de ensino excessivamente centrada no professor faz com que falte aos estudantes oportunidade para aplicação prática dos conceitos [4]. Além disso, os métodos tradicionais de ensino com base em livros texto e aulas expositivas têm se mostrado insuficientes [6]. O uso de jogos
para treinar, aprender e executar atividades reais de desenvolvimento de software em ambientes realísticos pode melhorar o desempenho dos alunos, pois possibilita a vivência de experiências de aprendizagem que não são fornecidas de
forma teórica [14]. Dentre os jogos existente para o apoio do ensino de conceitos relacionados à qualidade de software podemos citar o UsabilityGame [18], o Inspsoft [11] e o InspectorX [16].
TABELAIRELAÇÃO ENTRE HEURÍSTICAS [15] E ANALOGIAS COM PROBLEMAS MOSTRADOS NA CIDADE
Heurística Descrição da Heurística Analogia Aplicada no Jogo
Visibilidade do status do sistema
O sistema precisa manter os usuários informados sobre o que está acontecendo, fornecendo um feedback adequado dentro de um tempo razoável.
Locais da cidade não possuem nome, desta forma os habitantes não sabem onde estão.
Concordância do sistema com o mundo real
O sistema precisa falar a linguagem do usuário, com palavras, frases e conceitos familiares ao usuário, ao invés de termos orientados ao sistema. Seguir convenções do mundo real, fazendo com que a informação apareça numa ordem natural e lógica.
Os símbolos e palavras que são mostrados nas placas da cidade não fazem sentido.
Controle e liberdade do usuário
Os usuários frequentemente escolhem por engano funções do sistema e precisam ter claras saídas de emergência para
sair do estado indesejado sem ter que percorrer um extenso Há muitas ruas sem saída, o que dificulta a circulação
dos veículos.
Consistência e padrões
Os usuários não precisam adivinhar que diferentes palavras, situações ou ações significam a mesma coisa. Seguir convenções de plataforma computacional.
Há sinais de trânsito diferentes (fora do padrão) em vários locais da cidade, deixando os Users confusos.
Prevenção de erros É melhor que o sistema possua um design cuidadoso o qual previna o erro antes dele acontecer.
Quando há obras na cidade, nunca são colocados avisos para evitar acidentes.
Reconhecer ao invés de lembrar
O sistema deve tornar objetos, ações e opções visíveis. O usuário não deve ter que lembrar informação de uma para outra parte do diálogo. Instruções para uso do sistema devem estar visíveis e facilmente recuperáveis quando necessário.
As prateleiras do supermercado e das lojas não possuem nomes indicando o que é vendido em cada seção da loja, desta forma, toda vez que o habitante da cidade volta ao local tem que lembrar onde se localiza o que ele deseja comprar.
Flexibilidade e eficiência de uso
Os usuários novatos se tornam peritos com o uso. O sistema deve prover aceleradores de formar a aumentar a velocidade da interação. O sistema deve permitir aos usuários experientes "cortar caminho" em ações frequentes.
Na cidade é preciso fazer caminhos muito longos para chegar a um local, a cidade não possui atalhos.
Estética e design minimalista
Os diálogos não devem conter informação irrelevante ou raramente necessária. Qualquer unidade de informação extra no diálogo irá competir com unidades relevantes de informação e diminuir sua visibilidade relativa.
Na cidade há nomes de locais muito detalhados sem necessidade.
Ajudar os usuários a reconhecer, diagnosticar e corrigir erros
As mensagens de erro devem ser expressas em linguagem clara (sem códigos) indicando precisamente o problema e construtivamente sugerindo uma solução.
Quando ocorre um problema (como um incêndio), não há um bom serviço de bombeiros disponível para ajudar na recuperação dos prédios.
Ajuda e documentação
É necessário prover ajuda e documentação embora seja melhor um sistema que possa ser usado sem documentação. Essas informações devem ser fáceis de encontrar, focalizadas na tarefa do usuário e não muito extensas.
Não há um serviço de ajuda para o User saber onde pode obter determinado documento ou serviço.
O UsabilityGame [18] é um jogo simulador que aborda aspectos do ciclo de vida de usabilidade. O jogo tem como cenário uma empresa de desenvolvimento de software fictícia que, após enfrentar problemas devido à falta de usabilidade de seus produtos, está contratando engenheiros de usabilidade. Assim, o jogador (aluno) ao ser contratado assume o papel de engenheiro de usabilidade e deve buscar um bom desempenho em cada uma das fases do jogo, que possuem relação com as fases do ciclo de vida proposto.
InspSoft [11] é um jogo que tem por objetivo proporcionar o aprendizado ao processo de inspeção de software, papéis dos participantes em uma inspeção e na atividade de detecção de defeitos através de um ambiente lúdico, com a finalidade de entreter os jogadores através de seu enredo e dos personagens, simulando uma inspeção de software em uma empresa. Assim, é possível aprender sobre os papéis de cada participante no processo de inspeção e saber os tipos de defeitos existentes.
O jogo InspectorX [16] foi construído com o objetivo de desenvolver a percepção do jogador na identificação e
classificação de defeitos em artefatos de software, por meio do condicionamento da observação dos padrões apresentados. Cada questão do jogo é composta de um ou mais trechos de artefatos de software (documentos de requisitos ou código fonte). Cada trecho contém um ou mais defeitos que devem ser corretamente identificados e classificados pelo jogador, de forma a acumular pontos. Visando permitir um aumento gradual na complexidade das tarefas, obedecendo à teoria do esforço cognitivo, o jogo varia gradualmente o nível de dificuldade [16].
Apesar do grande uso de jogos educacionais na área de computação, o único jogo para ensino de qualidade de software em termos de usabilidade encontrado nesta pesquisa foi o UsabilityGame. Além de ser o único jogo de usabilidade identificado pelos autores deste trabalho, este jogo não foi avaliado experimentalmente. Os outros dois jogos Inspsoft e InspectorX também são utilizados para o ensino de inspeção de software, mas não possuem foco em inspeção de usabilidade. Sendo assim, existe a necessidade de propor novos jogos para apoiar ensino de usabilidade, visto que os jogos são uma forma de tornar o ensino mais atraente e divertido. Para minimizar estes problemas, está sendo proposto o jogo UsabiliCity, que será descrito a seguir.
III. USABILICITY
UsabiliCity é um Serious Game, desenvolvido para Web, que tem por objetivo apoiar o entendimento do aluno sobre as heurísticas propostas por Nielsen [15] para inspeção de usabilidade. No jogo, problemas típicos de usabilidade que podem ocorrer em um sistema são exemplificados por meio de analogias com problemas em uma cidade, tentando tornar os problemas descritos pelas heurísticas mais familiares aos inspetores novatos. Através do uso de analogias com situações do cotidiano, o jogo tenta ajudar o aluno a entender melhor quais são os problemas que uma determinada heurística pode ajudar a identificar para melhorar a usabilidade da interface de um software.
A interface do jogo UsabiliCity foi definida com base em ideias da primeira autora deste artigo de forma a estimular o aprendizado e torná-lo divertido para os alunos. A Fig. 1 mostra como a história do jogo é apresentada ao aluno. A criação de uma história busca envolver o aluno com o jogo, de forma a tornar o aprendizado mais divertido. Na história, o aluno tem o papel de um inspetor (representado por um menino com uma lupa) que deve ajudar a identificar quem pode solucionar alguns problemas da cidade. A cidade, chamada de UsabiliCity, é um lugar com muitos problemas na sua estrutura que dificultam a realização das tarefas diárias dos seus moradores (os Users). Desta forma, UsabiliCity é governada e organizada pelas dez heurísticas de Nielsen [15].
O objetivo do jogo é descobrir quais heurísticas podem ajudar a encontrar os problemas descritos para reorganizar a cidade e torná-la um lugar melhor para os Users. No contexto de desenvolvimento de software, a cidade seria o sistema em si, os problemas na estrutura da cidade seriam os problemas de usabilidade que ocorrem nos sistemas. Os habitantes da cidade representam os usuários do sistema, que têm suas atividades dificultadas devido aos problemas de usabilidade existentes na
interface do sistema. As dez governantes da cidade, representam as diretrizes (heurísticas) utilizadas durante o processo de inspeção com a técnica de Avaliação Heurística. O uso de analogias tem por objetivo familiarizar o inspetor novato com as heurísticas, de forma que ele tenha um melhor entendimento das heurísticas e assim possa obter melhores resultados ao realizar uma inspeção de usabilidade utilizando a Avaliação Heurística. A TABELAI apresenta as analogias que foram criadas para cada uma das heurísticas de Nielsen [15].
Fig. 1. Tela de contextualização do jogo UsabiliCity.
A Fig. 2 apresenta a tela do jogo que mostra a cidade, onde o jogador deverá selecionar qual fase irá jogar. No início do jogo, apenas a fase inicial está habilitada (uma fase está habilitada quando o número da fase está em vermelho). Conforme o jogador for concluindo as fases, ele terá acesso às próximas fases do jogo, totalizando cinco fases. Caso o jogador queira, ele poderá revisitar as fases que já concluiu.
Fig. 2. Tela de seleção de fase do jogo.
Ao acessar uma fase, o jogo apresenta uma tela como a da Fig. 3. Nesta figura, o Elemento 1 indica: (a) o número da fase, e (b) o título da fase em termos de problemas/propriedades típicos de usabilidade. Já o Elemento 2 da Fig. 3 apresenta a descrição dos problemas presentes na cidade que devem ser resolvidos na fase do jogo. Em cada fase são descritos dois problemas distintos. Para cada um dos problemas, o jogador deve selecionar uma heurística que será a responsável pela sua solução. Finalmente, na Fig. 3 Elemento 3 são apresentadas as dez heurísticas para seleção pelo jogador. Para chamar a atenção do jogador, as heurísticas são representadas em forma de personagem. Durante o jogo, o
jogador deve selecionar as duas heurísticas adequadas que ajudam a identificar os problemas descritos na fase corrente (ver Fig. 3 - Elemento 2).
A Fig. 4 apresenta o processo de escolha das heurísticas através do qual o aluno pode fixar melhor que tipo de problemas de usabilidade cada heurística pode ajudar a resolver. Nesse sentido, o aluno pode checar a descrição da heurística como mostra a Fig. 4 (Parte A).
Ao passar o mouse sobre as heurísticas, é apresentado um balão informando que tipo de problemas a heurística ajuda a
encontrar na interface. Quando o aluno tiver certeza das heurísticas que podem ajudar a resolver o problema na UsabiliCity, este pode selecioná-las clicando nelas (ver Fig. 4 Parte B). O aluno pode selecionar apenas duas das dez heurísticas disponíveis em cada fase. Se o aluno quiser modificar sua resposta, ele pode reiniciar a fase. Finalmente, quando o aluno tiver certeza da sua escolha, pode validar sua Fig. 3). Caso o jogador escolha as heurísticas corretas, este poderá passar para a próxima fase.
Fig. 3. Tela de uma das fases do jogo UsabiliCity.
Fig. 4. Processo de Seleção da Heurísticas do Jogo.
A Fig. 5 mostra as diferentes telas que podem ser apresentadas ao jogador dependendo do seu desempenho em cada fase. A Fig. 5 (Elemento A) apresenta a tela de sucesso, ou seja, o jogador conseguiu identificar todas as heurísticas da fase corretamente. Já a Fig. 5 (Elemento B) apresenta a tela de fracasso, quando o jogador errou uma ou duas heurísticas na fase. Nesse caso, o jogador ainda pode verificar as respostas da fase, o que leva o jogo a apresentar a tela da Fig. 5 (Elemento C). Nesta tela são indicados os motivos pelos quais uma determinada heurística foi escolhida para solucionar um problema. Desta forma, o aluno pode entender melhor para que tipo de problemas uma determinada heurística é mais adequada.
Fig. 5. Telas de sucesso, fracasso e respostas das fases.
IV. AVALIAÇÃODOJOGOUSABILICITY
A efetividade dos jogos propostos como ferramenta de apoio ao processo de ensino e aprendizagem deve ser avaliada para garantir que os mesmos tenham um efeito positivo no aprendizado do jogador [21]. Desta forma, torna-se necessário avaliar o jogo UsabiliCity como ferramenta de aprendizagem, verificando se o mesmo tem um efeito positivo na aprendizagem dos conceitos das heurísticas. Nesta seção é descrito o processo de avaliação do jogo e seus resultados.
A. Materiais e Procedimentos
Para avaliação do aprendizado com o jogo UsabiliCity, foi utilizado o modelo proposto por Savi et al. [17] que permite avaliar jogos educacionais. Este modelo fornece um questionário que considera: (a) os programas de treinamento de Kirkpatrick [9], (b) as estratégias motivacionais do modelo ARCS (Atenção, Relevância, Confiança e Satisfação) [8], (c) a experiência do usuário que mede o engajamento do jogador ao utilizar o jogo, e (d) a taxonomia de objetivos educacionais de Bloom [2].
O questionário fornecido por Savi et al. [17] é dividido em duas etapas. Na primeira etapa, o participante deve indicar sua opinião em relação a itens de avaliação que estão divididos em três categorias Motivação, Experiência do Usuário e Aprendizagem. Para indicar sua opinião, o participante avalia os itens do questionário de cada categoria em uma escala de cinco itens: ( 2) discordância forte, (-1) discordância, (0) nem concorda nem discorda, (+1) concordância e (+2) concordância forte. Na segunda etapa do questionário, o participante faz uma autoavaliação em relação aos objetivos de aprendizagem. Para isso, o participante atribui uma nota obtido antes e depois do jogo. Os itens avaliados nesta parte do questionário são: (a) Lembrar o que é; (b) Compreender como funciona; e (c) Aplicar na prática. A Fig. 6 apresenta um exemplo da segunda etapa do questionário aplicado após o uso do jogo Usabilicity com o intuito de avaliar o aprendizado em relação às heurísticas da AH.
Fig. 6. Parte do questionário para autoavaliação em relação aos objetivos de aprendizagem.
Finalmente, foi acrescentada uma terceira etapa ao
ao acrescentar estas questões foi permitir um melhor entendimento das respostas dos participantes em relação às categorias do modelo.
O modelo proposto por Savi et al. [17] fornece uma planilha configurada para análise dos itens de avaliação respondidos pelos participantes. Vale ressaltar, que este modelo já foi utilizado na avaliação de vários outros jogos educacionais na área de Computação [11][20][21].
A avaliação do jogo foi realizada através de um estudo de observação cujos participantes foram 37 alunos do 5º período do curso de Ciência da Computação da Universidade Centro Universitário do Norte (UNINORTE). Antes da avaliação do jogo, todos os alunos assistiram aulas sobre inspeção de usabilidade utilizando a técnica Avaliação Heurística [15] e assinaram um termo de consentimento, onde concordavam em participar do estudo. Para apoio ao processo da avaliação experimental, foram selecionados 11 monitores: 9 monitores agiram como observadores e 2 verificaram a completude das respostas aos questionários.
A avaliação ocorreu em duas etapas: (a) Utilização do jogo; e (b) Preenchimento do questionário. Durante a utilização do jogo, cada um dos monitores que agiram como observadores acompanhavam um aluno. Cada monitor tinha
um computador com o jogo Usabilicity instalado e o apresentava ao aluno, convidando-o a jogar. Enquanto o aluno jogava, o monitor tomava notas sobre o tempo de interação do aluno com o jogo, as dificuldades encontradas e as reações do aluno em relação ao jogo.
O tempo médio de utilização do jogo pelos participantes foi de 10,91 minutos, sendo o maior tempo identificado igual a 27 minutos, indicando que é viável a utilização do jogo durante uma aula normal, que geralmente tem duração de 2 horas. Na TABELA II é feito um resumo das principais observações feitas pelos monitores enquanto os jogadores utilizavam o jogo.
TABELAIIRESULTADOS DAS OBSERVAÇÕES FEITAS PELOS MONITORES
ID Observações dos Monitores
01 Não ficou claro para os alunos como selecionar as respostas (indicar as heurísticas) nas fases.
02 Os alunos não percebiam que deviam ser escolhidas duas heurísticas por fase.
03 Para alguns alunos a fonte não era agradável.
04 Não era possível desmarcar uma heurística após ter sido selecionada, o aluno precisava reiniciar a fase.
05 A seleção da heurística com a cor vermelha assustou os alunos, estes pensavam que tinham cometido um erro.
06 Um aluno se divertiu ao ver boneco chorar quando perdia a fase. 07 Os alunos gostaram dos balões com informações sobre a heurística. 08 Alguns alunos acharam que a tela continha muita informação.
B. Resultados da Avaliação
Para a interpretação das respostas dos participantes na primeira parte do questionário de avaliação do modelo proposto por Savi et al. [17], foi utilizada a planilha que o mesmo modelo disponibiliza para apoiar a análise das categorias: Motivação, Experiência do Usuário e Aprendizagem. Nesse contexto, foram gerados gráficos das frequências das notas atribuídas pelos participantes para os
itens de avaliação de cada categoria. Desta forma, considera-se concordância em um determinado item considera-se as notas +1 e +2 forem mais frequentes; e discordância se notas -1 e -2 apresentarem maior frequência.
Para avaliação da segunda parte do questionário, relacionada ao aprendizado que o aluno julga ter obtido antes e depois do jogo, foi calculada uma média para cada conceito explorado. No caso do jogo UsabiliCity, os conceitos explorados foram as heurísticas de Nielsen [15] para resolver problemas de usabilidade. Após o cálculo das médias, foram gerados gráficos do aprendizado percebido pelos alunos antes e depois da utilização do jogo para cada heurística.
A terceira parte do questionário, relativa às perguntas respondidas livremente, sobre pontos fortes, pontos fracos e sugestões de melhorias para jogo, foram utilizadas para complementar as respostas obtidas nas outras partes do questionário. A seguir, são relatados os resultados relativos a cada categoria e à percepção do aprendizado dos alunos antes e depois do jogo.
1) Análise de Resultados da Categoria de Motivação
Na categoria de motivação, foram avaliadas as dimensões de confiança, relevância e atenção. O gráfico da Fig. 7, mostra as afirmativas relacionadas a cada uma das dimensões e as porcentagens relativas a cada afirmativa. Sobre a dimensão de Confiança, 95% dos participantes afirmam sentir confiança sobre o aprendizado obtido ao passar pelas etapas do jogo. Entre os alunos, 82% concordam que o jogo foi fácil de entender e começar a jogar, como mostra o comentário
Do que você gostou no jogo? Da interação e facilidade ao jogar, também a atenção que o sistema oferece para o usuário, mostrando que ao praticar o game, ele aprende de uma forma mais atraente.
Participante 5
Na dimensão Relevância houve afirmação de 91% dos participantes sobre o conteúdo relacionado com outros conhecimentos que já possuíam, 91% dos participantes avaliam o jogo adequado com a maneira de aprenderem e 95% afirmam que o conteúdo do jogo é relevante para seus interesses, sendo esta última afirmativa reforçada pelo comentário descrito abaixo:
É interessante para minha formação, pois trata de conhecimentos que uso na faculdade na matéria de IHC que estou estudando atualmente. Participante 15
Sobre a dimensão da Atenção, 67% dos participantes afirmam que a variação do jogo ajudou a mantê-los atentos. No item que avalia se o participante achou algo interessante no início do jogo que capture sua atenção, houve concordância entre 51% dos participantes Em relação ao design do jogo, 64% consideram o design atraente. Os comentários descritos a seguir reforçam os resultados obtidos:
Gostei do jogo, pois ele me fez dar mais atenção a ele, pois deixou um mistério, me fez querer descobrir as respostas Participante 26
As perguntas são de acordo com o dia a dia, desperta o interesse pessoal. Participante 27
2) Análise de Resultados da Categoria de Experiência do Usuário
Na categoria sobre Experiência do Usuário são avaliadas quatro dimensões: Competência, Diversão, Desafio e Imersão. A Fig. 8 apresenta o gráfico dos resultados obtidos para a categoria de Experiência do Usuário em relação às perguntas de cada uma das dimensões. Desta forma, sobre a avaliação da dimensão de Competência, 88% dos participantes tiveram sentimentos positivos de eficiência no jogo e 69% afirmam
que atingiram os objetivos do jogo por meio de suas habilidades.
Na dimensão de Diversão, 93% dos participantes afirmam que gostariam de utilizar o jogo novamente, sendo que 2 participantes não responderam a esta afirmativa. E 88% dos participantes recomendam o jogo para seus colegas. O comentário a seguir reforça o resultado obtido para a primeira afirmativa desta dimensão:
Só tem uma versão, já estou esperando as próximas.
Participante 5
Para o item que avalia se os participantes ficaram desapontados com a interrupção do fim do jogo, houve uma concordância com apenas 48% dos participantes. A baixa concordância quanto a este item pode ser justificada por alguns itens do jogo que não agradaram aos alunos. Além disso, como o estudo foi realizado em uma turma noturna, alguns alunos já estavam cansados e com desejo de ir para casa. Dentro dos itens que afetaram a avaliação dos participantes podem ser citados: falta de áudio, animações ou pontuação no jogo, conforme relatado no comentário descrito abaixo:
Deveria ter algo mais dinâmico, que deixasse a tela com mais movimento. Participante 31
No entanto, apesar dos problemas encontrados, 79% dos alunos afirmam que se divertiram com o jogo, sendo que um aluno não respondeu a esta afirmativa. O comentário abaixo reforça os indícios obtidos:
Linguagem fácil e intuitiva, gráficos parecidos com nintendo wii, isso causou certo estímulo. Foi legal jogar e aprender. Participante 8
Para a dimensão do Desafio 67% concordam que o jogo não fica monótono ao oferecer novos obstáculos ou variação e 66% afirmam que as tarefas do jogo são adequadamente desafiadoras. Os itens da dimensão Desafio tiveram baixa concordância devido ao fato de que, quando o aluno erra a fase, é mostrada a resposta. Vários alunos afirmaram que isto acaba tirando a vontade de continuar jogando, pois após a mensagem, já se sabe a resposta, conforme ilustra o comentário abaixo:
Eu tiraria a mensagem que informa qual heurística deveria ser usada ao errar. Isso acaba tirando a vontade de continuar jogando. Participante 1
No entanto, outros alunos gostaram, pois se sentiram estimulados a continuar jogando, como indica o comentário a seguir:
Gostei porque ele deixa o usuário evoluir durante o jogo, mesmo errando, ele mostra a resposta e deixa passar de fase
- Participante 4
Para a última dimensão avaliada na categoria, a Imersão, o item que avalia se o participante se sentiu mais no ambiente do jogo do que no mundo real, houve confirmação de 48%. Além disso, 60% dos alunos não perceberam o tempo passar enquanto jogavam e 61% afirmam que esqueceram as preocupações enquanto estavam jogando. Novamente, a falta de áudio, animações e pontuação afetou a opinião dos participantes, de acordo com os seguintes comentários:
Poderia citar mais situações do mundo real e colocar fundo musical para atrair mais os usuários - Participante 13
Colocaria algumas animações - Participante 17
Faria o jogo por pontuação de acertos. Acima de 50% a cidade não seria destruída Participante 21
3) Análise de Resultados da Categoria de Aprendizagem
O gráfico dos resultados da categoria de Aprendizagem é apresentado na Fig. 9. Houve concordância de 86% dos participantes sobre o item que avalia se o jogo traz contribuições para a vida profissional. Para o item que avalia se os participantes consideram o jogo eficiente em comparação com outras atividades da disciplina, houve 92% de concordância e 91% dos participantes afirmam que o jogo trouxe contribuições na aprendizagem sendo que 7 alunos não assinalaram resposta a esta última afirmativa.
Os comentários relatados por alguns participantes reforçam os porcentuais obtidos:
Gostei do conteúdo dado através do jogo, reforça o aprendizado no assunto - Participante 13
Gostei da correção dos erros, ajudando a relembrar os assuntos ensinados em sala de aula - Participante 18
Ajudou a melhorar os meus conhecimentos
Participante 24
Fig. 9. Gráfico de Avaliação da categoria Aprendizagem.
Outra forma utilizada para avaliar a aprendizagem, foi através da autoavaliação do aluno em relação ao seu aprendizado. Os conceitos avaliados no jogo foram em relação às dez Heurísticas de Nielsen [15]. Em relação à aprendizagem do conceito das Heurísticas, foram avaliados três objetivos, antes e depois de utilizar o jogo: (a) Lembrar o que é, (b) Compreender como funciona e (c) Aplicar na Prática. A Fig. 10 apresenta o gráfico com as médias de autoavaliação dos alunos em relação aos objetivos de aprendizagem, antes e depois do jogo, onde se observa um aumento do nível de conhecimento em todos os objetivos de aprendizagem do jogo para todas as heurísticas da AH. Este resultado é positivo, pois indica que o jogo oferece oportunidade para os alunos colocarem em prática os assuntos estudados durante as aulas teóricas e contribui para o aprendizado da Avaliação Heurística.
Fig. 10. Gráfico das medidas de autoavaliação sobre os objetivos de aprendizagem.
V. CONSIDERAÇÕES FINAIS E TRABALHOS FUTUROS
Este trabalho apresentou o jogo UsabiliCity para apoio ao ensino das heurísticas da Avaliação Heurística e sua avaliação
experimental. Para avaliação do jogo foi utilizado o Modelo de Savi et al. [17]. Em relação a este modelo, através dos resultados fornecidos, foi possível obter as opiniões dos usuários sobre o aprendizado, motivação e experiência do usuário.
Apesar dos indícios sobre a utilidade do jogo para o ensino das Heurísticas de Nielsen [15] a inspetores novatos, foram identificadas oportunidades de melhorias na interface do jogo para facilitar o seu uso. Dentre as possíveis melhorias, pretende-se incorporar áudio e animações, de forma a melhorar a experiência do usuário e tornar o jogo mais atrativo e dinâmico. Além disso, pretende-se melhorar o design de interação do jogo, principalmente com relação à forma em que as heurísticas são escolhidas em cada fase, e a forma de ver a resposta das fases. Adicionalmente, conforme sugerido pelos participantes, será feito um estudo sobre que elementos de ludicidade podem ser incorporados ao jogo para torná-lo mais atraente como: pontuação, perfil de jogador, entre outros. Também serão revisadas as analogias feitas para as heurísticas de forma a alinhá-las corretamente no contexto da cidade UsabiliCity e serão adicionadas mais fases ao jogo, descrevendo mais problemas, para que inspetores novatos possam praticar mais e ter maior aprendizado dos problemas que as heurísticas da técnica Avaliação Heurística podem ajudar a identificar nas interfaces de software.
Uma limitação deste trabalho é que o jogo foi avaliado segundo o Nível 1 (Reação), do modelo de quatro níveis para avaliação de aprendizagem proposto por Kirkpatrick [9]. É necessário continuar a avaliação do jogo nos outros níveis (aprendizado, comportamento e resultados) para garantir que o efeito do mesmo seja positivo em todos os níveis de aprendizado do aluno. Consequentemente, pretende-se realizar uma nova avaliação para verificar se o jogo proporciona aumento nas competências do inspetor novato, permitindo um melhor desempenho na aplicação da técnica da Avaliação Heurística. Além disso, pretende-se utilizar outros métodos de avaliação de jogos educacionais (como o proposto por An et al. [1]) para verificar a viabilidade do uso do UsabiliCity em sala de aula. Espera-se desta forma, contribuir para o ensino de Qualidade de Software em termos de usabilidade em cursos de computação no Brasil.
AGRADECIMENTOS
Os autores agradecem a todos os participantes do estudo, aos monitores que colaboraram durante a execução do estudo. Além disso, os autores agradecem aos revisores deste artigo no Fórum de Educação em Engenharia de Software pelas sugestões propostas para a melhoria do jogo UsabiliCity. Finalmente, os autores agradecem o apoio financeiro do CNPq e da Fundação de Amparo à Pesquisa do Estado do Amazonas (FAPEAM) através do Projeto ProTI Pesquisa sob o processo n. 062.00578/2014.
REFERÊNCIAS
[1] An, D., da Silva, C. , Ribeiro, D., da Rocha, P., Maltinti, C., Nunes, V., Fávero, R.: Digita-um Jogo Educativo de Apoio ao Processo de
Alfabetização Infantil. Anais do Simpósio Brasileiro de Informática na Educação, 2013.
[2] Anderson, L., Krathwohl, D., Airasian, P., Cruikshank, K., Mayer, R., Pintrich, P., Raths, J., Wittrock, M.: A Taxonomy for Learning, Teaching, and Assessing: a Revision of Bloom's Taxonomy of Educational Objectives. Longman, NewYork, pp. 336, 2001.
[3] Barbosa, S., Silva B.: Interação Humano-Computador, Rio de Janeiro: Elsevier, 2010.
[4] Benitti, F., Sommariva, L.: Investigando o ensino de IHC no contexto da computação: o que e como é ensinado?. In: Workshop sobre Ensino de IHC, 2012.
[5] Conte, T., Vaz, V., Zanetti, D., Santos, G., Rocha, A., Travassos, G.: Aplicação do Modelo de Aceitação de Tecnologia para uma Técnica de Inspeção de Usabilidade. Simpósio Brasileiro de Qualidade de Software, pp. 367-374, 2010.
[6] Desurvire, H., Faster, C.: Are Usability Inspection Methods as Effective as Empirical Testing?. In: Nielsen, Jakob. Usability Inspection Methods Computer. John Wiley & Sons, New York, NY, 1994.
[7] Juristo, N., Moreno, A., Sanchez-Segura, M.: Analyzing the impact of usability on software design. Journal of Systems and Software, Volume 80, Issue 9, 2007.
[8] Keller, J.: Development and Use of the ARCS Model of motivational Design. Journal of Instructional Development, Volume 10, Issue 3, pp. 2 10, 1987.
[9] Kirkpatrick, D.: Evaluating Training Programs - The Four Levels. Berrett-Koehler Publishers, pp. 289, 1994.
[10]Kochanski, D.: Um framework para apoiar a construção de experimentos na avaliação empírica de jogos educacionais. Dissertação apresentada à Universidade do Vale do Itajaí como requisito para a obtenção do título de Mestre em computação. São José, Brasil, 2009.
[11]Lopes, A., Marques, A., Conte, T.: Avaliação do Jogo InspSoft: Um Jogo para o Ensino de Inspeção de Software. In: XII Simpósio Brasileiro de Qualidade de Software, 2013.
[12]Maciel, C., Nogueira, J., Ciuffo, L., Garcia, A.: Avaliação heurística de sítios na web. Anais do 9º Congresso Regional de Informática e Telecomunicações - SUCESU-MT. Cuiabá : PAK Multimídia, 2004. [13]Matera, M., Rizzo, F., Carughi, G. T.: Web Usability: Principles and
Evaluation Methods. Mendes, E., Mosley, N. (eds), Web Engineering, 2006.
[14]Monsalve, E., Werneck, V., Leite, J.: SimulES-W: Um Jogo para o Ensino de Engenharia de Software. Anais do FEES 2010/ CBSoft 2010. SBC, 2010. v.1. pp. 17 26, 2010.
[15]Nielsen, J.: Usability engineering. Morgan Kaufmann Pub, 1994. [16]Pötter, H., Schots, M.: InspectorX: Um Jogo para o Aprendizado em
Inspeção de Software. IV Fórum de Educação em Engenharia de Software (FEES'11), São Paulo, 2011
[17]Savi, R., Wangenheim, C., Borgatto, A.: Um Modelo de Avaliação de Jogos Educacionais na Engenharia de Software. Anais do XXV Simpósio Brasileiro de Engenharia de Software (SBES 2011), São Paulo, 2011. [18]Sommariva, L., Benitti, F., Vavassori, D.: UsabilityGame: jogo simulador
para apoio ao ensino de usabilidade. In: Proceedings of the 10th Brazilian Symposium on on Human Factors in Computing Systems and the 5th Latin American Conference on Human-Computer Interaction. Brazilian Computer Society, pp. 61-65, 2011.
[19]Vargas, J., García-Mundo, L., Genero, M., Piattini, M.: A Systematic Mapping Study on Serious Game Quality, 2011.
[20]Wangenheim, C., Savi, R., Borgatto, A.: SCRUMIA An Educational Game for Teaching SCRUM in Computing Courses. Journal of Systems and Software, Volume 86, Issue 10, 2013.
[21]Wangenheim, C., Savi, R., Borgatto, A.: DELIVER! An Educational Game for Teaching Earned Value Management in Computing Courses. Information and Software Technology, Volume 54, Issue 3, March 2012.
