Modelo de Savi (2011)

O modelo conceitual de Savi (2011) estabelece uma estrutura para a avaliação da qualidade de jogos educacionais (digitais, tabuleiro, cartas ou dinâmicas).

O modelo concebido teve como objetivo desenvolver uma estrutura para a avaliação da qualidade de jogos educacionais que possibilitasse pouca interrupção nas aulas e que fosse de simples aplicação. Segundo o autor, a maioria dos jogos educacionais passa por avaliações superficiais, que revelam pouco sobre a prática pedagógica, ou são avaliados por meio de pré-teste e pós-teste que se concentram apenas nos benefícios da aprendizagem, não considerando outros aspectos dos jogos, como por exemplo, diversão, prazer e desafio.

O modelo de avaliação de jogos educacionais é constituído por quatro elementos: modelo teórico, questionário, processo de avaliação e planilha Excel.

De acordo com Savi (2009), a estrutura do modelo teórico (ver quadro 7) possui quatro características:

a) avaliações baseadas na percepção dos alunos – Nível 1 do modelo de avaliação de treinamentos de Kirkpatrick (1994); b) avaliação do nível de motivação dos jogos – Modelo

motivacional ARCS, desenvolvido por Keller (1987);

c) avaliação da experiência do usuário com os jogos – Modelos para avaliação da experiência do usuário em jogos (SWEETSER; WYETH, 2005; POELS; KORT; IJSSELSTEIJN, 2007; GÁMEZ, 2009; TAKATALO et al., 2010);

d) avaliação da aprendizagem proporcionada com os jogos – Princípios da taxonomia de Bloom (1956) e Modelo de Moody e Sindre (2003).

O questionário foi desenvolvido com base no modelo teórico, conforme os itens das questões no quadro 7. O modelo foca na avaliação da percepção via reação dos alunos, conforme apresenta Kirkpatrick (1994, 1996). Segundo Savi (2011), avaliar a reação dos alunos conforme a abordagem de Kirkpatrick (1996) é o mesmo que medir os sentimentos dos participantes em relação a se gostaram da ação instrucional.

O questionário contém 27 questões, podendo ter 29 questões, caso seja aplicado aos jogos educativos digitais, objeto de estudo desta tese, com escala de medição em Likert. Cada item do questionário corresponde a uma afirmação relacionada ao uso de um jogo educacional. Os jogadores indicam se concordam ou discordam da afirmação e também informam o grau de discordância ou concordância em uma escala com valores de -2 até +2.

Quadro 7 - Estrutura do modelo de avaliação de jogos educacionais

Nº Item de questão Dimensão Variáveis/

Construtos 1 O design do jogo é atraente. Atenção Motivação

(ARCS) 2 Houve algo interessante no início

do jogo que capturou minha atenção.

Atenção Motivação (ARCS) 3 A variação (forma, conteúdo ou

de atividades) ajudou a me manter atento ao jogo.

Atenção Motivação (ARCS) 4 O conteúdo do jogo é relevante

para os meus interesses. Relevância Motivação (ARCS) 5 O funcionamento deste jogo está

adequado ao meu jeito de aprender.

Relevância Motivação (ARCS) 6 O conteúdo do jogo está

conectado com outros

conhecimentos que eu já possuía.

Relevância Motivação (ARCS) 7 Foi fácil entender o jogo e

começar a utilizá-lo como material de estudo.

Confiança Motivação (ARCS) 8 Ao passar pelas etapas do jogo

senti confiança de que estava aprendendo.

Confiança Motivação (ARCS)

76

9 Estou satisfeito porque sei que terei oportunidades de utilizar na prática coisas que aprendi com o jogo.

Satisfação Motivação (ARCS) 10 É por causa do meu esforço

pessoal que consigo avançar no jogo.

Satisfação Motivação (ARCS) 11 Temporariamente esqueci as

minhas preocupações do dia a dia, fiquei totalmente concentrado no jogo.

Imersão Experiência do usuário em jogos 12 Eu não percebi o tempo passar

enquanto jogava, quando vi, o jogo acabou.

Imersão Experiência do usuário em jogos 13 Me senti mais no ambiente do

jogo do que no mundo real, esquecendo do que estava ao meu redor.

Imersão Experiência do usuário em jogos 14 Pude interagir com outras

pessoas durante o jogo.

Interação social Experiência do usuário em jogos 15 Me diverti junto com outras

pessoas. Interação social Experiência do usuário em jogos 16 O jogo promove momentos de

cooperação e/ou competição entre as pessoas que participam.

Interação social Experiência do usuário em jogos 17 Este jogo é adequadamente

desafiador para mim, as tarefas não são muito fáceis nem muito difíceis.

Desafio Experiência do usuário em jogos 18 O jogo evolui num ritmo

adequado e não fica monótono – oferece novos obstáculos, situações ou variações de atividades.

Desafio Experiência do usuário em jogos

19 Me diverti com o jogo. Divertimento Experiência do usuário em jogos 20 Quando interrompido, fiquei

desapontado que o jogo tinha acabado.

Divertimento Experiência do usuário em jogos 21 Eu recomendaria este jogo para

meus colegas. Divertimento Experiência do usuário em jogos 22 Gostaria de utilizar este jogo

novamente.

Divertimento Experiência do usuário em jogos

23 Consegui atingir os objetivos do jogo por meio das minhas habilidades.

Competência Experiência do usuário em jogos 24 Tive sentimentos positivos de

eficiência no desenrolar do jogo.

Competência Experiência do usuário em jogos 25 Os controles para realizar ações

no jogo responderam bem. Controle Experiência do usuário em jogos

26 É fácil aprender a usar a interface

(telas) e controles do jogo. Controle Experiência do usuário em jogos 27 Quanto você acha que o jogo

contribuiu para sua

aprendizagem na disciplina?

Aprendizagem de curto termo

Aprendizagem 28 Quanto eficiente o jogo foi para

sua aprendizagem, comparando- o com outras atividades da disciplina?

Aprendizagem

de curto termo Aprendizagem 29 Você acha que a experiência com

o jogo vai contribuir para seu desempenho na vida

profissional?

Aprendizagem

de longo termo Aprendizagem

Fonte: Adaptado de Savi (2011, p. 121).

A reação dos alunos, principal variável de análise do modelo de Savi (2011), é composta por três outras variáveis ou construtos, com algumas dimensões (construto motivação, construto experiência do usuário e construto aprendizagem):

a) o construto motivação – composto por quatro dimensões do modelo ARCS (atenção, relevância, confiança e satisfação) Keller (1987);

b) o construto experiência do usuário – composto por seis dimensões: imersão, desafio, competência, divertimento, controle e interação social (SWEETSER; WYETH, 2005; POELS; KORT; IJSSELSTEIJN, 2007; GÁMEZ, 2009; TAKATALO et al., 2010);

c) o construto aprendizagem – que é composto por cinco dimensões: os três primeiros níveis da taxonomia de Bloom (1956): conhecimento, compreensão e aplicação; e mais duas dimensões, com as variáveis aprendizagem de curto termo e aprendizagem de longo termo (MOODY; SINDRE, 2003).

78

O modelo teórico, portanto, é formado pelo constructo reação, seus três subcomponentes e respectivas 15 dimensões (SAVI, 2011).

Para orientar o processo de avaliação de jogos educacionais, Savi (2011) propôs uma diretriz, conforme apresenta Wohlin (2000), com seis etapas: definição, planejamento, operação, análise e interpretação, apresentação e empacotamento e conclusão. A definição visa estabelecer o que será medido. Para o planejamento da avaliação, é apresentado pelo o autor um modelo com o plano da avaliação, cronograma e envolvidos. A operação é executar a avaliação em si e tudo aquilo que a cerca. Para a interpretação, é utilizada uma planilha eletrônica, que serve para coletar e preparar os dados para as análises. As outras etapas visam a conclusão do processo, com a documentação e apresentação do relatório da avaliação do jogo.

O modelo de avaliação de Savi (2011) foi aplicado em dois estudos de caso, compostos por duas turmas do curso de sistemas de informação do departamento de Informática e Estatística da Universidade Federal de Santa Catarina (UFSC). No total, 70 alunos participaram dos jogos; no entanto, a participação efetiva em cada jogo foi de pouco menos de 50% de cada turma, pois a presença era voluntária (SAVI, 2011).

Cada turma utilizou três jogos educacionais da área de gerenciamento de projetos de software. Além da descrição dos jogos, Savi (2011) apresenta os objetivos educacionais para cada jogo utilizado, sendo estes:

a) Deliver – aborda a técnica de valor agregado. O objetivo da aprendizagem é de reforçar os conceitos e praticas da técnica de valor agregado, contemplando os níveis lembrar, compreender e aplicar, da taxonomia revisada de Bloom (ANDERSON et al., 2001).

b) Scrumia – aplicação de gerenciamento de projetos utilizando SCRUM. O objetivo da aprendizagem é reforçar os conceitos e ensinar competências necessárias para a aplicação de gerenciamento de projetos utilizando SCRUM. O jogo contempla os níveis lembrar, compreender e aplicar, de acordo com a taxionomia revisada de Bloom (ANDERSON et al., 2001).

c) PM Master – jogo de perguntas e respostas sobre gerenciamento de projetos. O objetivo da aprendizagem é reforçar e fixar conceitos sobre grupos de processo e áreas de conhecimento de gerenciamento de projetos. Contempla os

níveis lembrar, compreender e aplicar, para os grupos de processo de gestão de projetos (iniciação, planejamento etc.), e as áreas de conhecimento de gestão de projetos (escopo, tempo etc.). Todavia, o autor não deixa claro sobre qual versão da taxionomia de Bloom pertencem os níveis descritos para este jogo. Provavelmente, assim como os outros dois jogos, seja da taxionomia revisada de Bloom (ANDERSON et al., 2001).

O modelo foi testado com jogos não digitais, muito embora, segundo o autor, possa também ser aplicável para os jogos educativos digitais. Outra questão a ser considerada sobre a aplicação é o fato de o autor ter utilizado em seu modelo a taxionomia original de Bloom (1956), porém, nos descritivos dos jogos utilizados, eles estão relacionados aos objetivos educacionais da taxionomia revisada de Bloom (ANDERSON et al., 2001).