5 AVALIAÇÃO
Neste capítulo será apresentado como o jogo Terra dos Requisitos foi avaliado, apresentando a descrição do experimento, a maneira como o experimento foi executado, e o resultado de sua aplicação. Foi utilizada uma avaliação qualitativa, onde foram avaliados determinados aspectos do jogo, bem como uma análise dos resultados obtidos pelos alunos e do comportamento do grupo. A avaliação foi baseada no modelo de avaliação proposto por Savi (2011). Os dados foram adquiridos a partir de um questionário aplicado com os alunos que participaram da avaliação, com o objetivo de ter uma visão mais detalhada por parte deles.
Figura 24. Modelo de avaliação de jogos educacionais Fonte: Savi (2011)
O primeiro círculo representa a variável latente reação (reação dos alunos ao jogo educacional [...]. Mas o modelo de kirkpatrick deixa em aberto os 122 parâmetros que devem ser avaliados nas situações de ensino e aprendizagem, então, para apoiar a medição da reação, foram incluídos nesta estrutura: (i) o modelo ARCS para avaliação do nível de motivação (o jogo consegue motivar os alunos a utilizarem o recurso como material de aprendizagem?), (ii) componentes de experiência dos usuários (UX) em jogos para avaliação da experiência de utilização do jogo (p.ex. o jogo é divertido?), e (iii) princípios da taxonomia de Bloom para avaliar se o jogo gera uma percepção de utilidade educacional entre seus usuários (ou seja, se os alunos têm a percepção de que aprendem com o jogo) e aspectos do modelo de avaliação de Moody e Sindre (2003) focados na aprendizagem de
curto e longo prazo. Estes elementos são variáveis latentes consideradas subcomponentes do constructo reação ao jogo educacional.
Cada um dos três subcomponentes é composto por algumas dimensões. O subcomponente motivação é composto pelas 4 dimensões do modelo ARCS: atenção, relevância, confiança e satisfação. O subcomponente experiência do usuário em jogos é composto por 6 dimensões: imersão, desafio, competência, divertimento, controle e interação social. O subcomponente aprendizagem é composta por 5 dimensões (os 3 primeiros níveis da taxonomia de Bloom): conhecimento, compreensão e aplicação; e mais duas dimensões com as variáveis “aprendizagem de curto termo” e “aprendizagem de longo termo”, com base no modelo de avaliação de Moody e Sindre (2003).
Considera-se que com esse modelo a qualidade do jogo como material educacional será determinado pela reação do aluno ao jogar o jogo, a experiência de jogar e ao ganho de aprendizagem percebido. Essa qualidade será medida por meio de itens de um questionário que foi adotado pelo trabalho (SAVI, 20011). Os Itens do questionário para avaliação do subcomponente motivação (ARCS) são:
• 1- O design do jogo é atraente.
• 2- Houve algo interessante no início do jogo que capturou minha atenção.
• 3- A variação (forma, conteúdo ou de atividades) ajudou a me manter atento ao jogo.
• 4- O conteúdo do jogo é relevante para os meus interesses.
• 5- O funcionamento deste jogo está adequado ao meu jeito de aprender.
• 6- O conteúdo do jogo está conectado com outros conhecimentos que eu já possuía.
• 7- Foi fácil entender o jogo e começar a utilizá-lo como material de estudo.
• 8- Ao passar pelas etapas do jogo senti confiança de que estava aprendendo.
• 9- Estou satisfeito porque sei que terei oportunidades de utilizar na prática coisas que aprendi com o jogo.
• 10- É por causa do meu esforço pessoal que consigo avançar no jogo.
Como o questionário foi aplicado em um jogo não computacional, algumas adaptações foram feitas, como a retirada de duas afirmações do questionário: Os controles para realizar ações no jogo responderam bem e é fácil aprender a usar a interface e controles do jogo. A seguir itens do questionário para avaliação do subcomponente experiência do usuário (UX):
• 11- Temporariamente esqueci as minhas preocupações do dia-a-dia, fiquei totalmente concentrado no jogo.
• 12- Eu não percebi o tempo passar enquanto jogava, quando vi o jogo acabou.
• 13- Me senti mais no ambiente do jogo do que no mundo real, esquecendo do que estava ao meu redor.
• 14- Pude interagir com outras pessoas durante o jogo.
• 15- Me diverti junto com outras pessoas.
• 16- O jogo promove momentos de cooperação e/ou competição entre as pessoas que participam.
• 17- Este jogo é adequadamente desafiador para mim, as tarefas não são muito fáceis nem muito difíceis.
• 18- O jogo evolui num ritmo adequado e não fica monótono – oferece novos obstáculos, situações ou variações de atividades.
• 19- Me diverti com o jogo.
• 20- Quando interrompido, fiquei desapontado que o jogo tinha acabado.
• 21- Eu recomendaria este jogo para meus colegas.
• 22- Gostaria de utilizar este jogo novamente.
• 23- Consegui atingir os objetivos do jogo por meio das minhas habilidades.
• 24- Tive sentimentos positivos de eficiência no desenrolar do jogo.
Itens do questionário para avaliação do subcomponente aprendizagem:
• 25- O jogo contribuiu para a minha aprendizagem na Disciplina.
• 26- O jogo foi eficiente para minha aprendizagem, em comparação com outras atividades da disciplina.
• 27- A experiência com o jogo vai contribuir para meu desempenho na vida profissional.
O formato de medição que foi utilizado no questionário de avaliação foi baseado em itens Likert. Na escala Likert, quem está respondendo as questões, diz seu grau de concordância ou discordância sobre algo, indicando um ponto numa escala que possui cinco gradações (as mais comuns: concordo muito, concordo, neutro/indiferente, discordo, discordo muito) (AGUIAR;
CAMPOS; CORREIA, 2011). Cada item do questionário é uma afirmação relacionada ao uso do jogo Terra dos Requisitos e para os alunos indicarem se concordam ou discordam da afirmação, e também informando o grau de discordância ou concordância em uma escala com valores entre -2 até +2, como mostra a Figura 25 a seguir.
Figura 25. Formato de resposta para o questionário de avaliação do jogo Floresta dos Requisitos O jogo Terra dos Requisitos adotou o modelo do processo de avaliação, conforme Wohlin (2000 apud Savi, 2011, p.1319). O processo têm cinco etapas: a primeira etapa é a definição e nela a avaliação é expressa em termos dos problemas e objetivos. A segunda etapa é de planejamento vem, onde o plano da avaliação é determinado, a instrumentação é considerada e a validade é avaliada. A terceira etapa é a operação da avaliação, que consiste em colocar o planejamento em ação, e nesse momento os dados são coletados para na quarta etapa eles serem analisados e avaliados na fase de análise e interpretação. Na última etapa, os resultados são estruturados para registro e comunicação durante a fase da apresentação e empacotamento.