JOGOS EDUCACIONAIS (GERAL)
Até o momento, vimos neste capítulo revisões sistemáticas abordando formas de avaliação de jogos focados na Engenharia de
Software. Para aumentar um pouco a abrangência da presente pesquisa, ampliou-se a investigação para estudos sobre avaliação de jogos em geral, contemplado revisões sistemáticas que não se limitaram a uma área do conhecimento específico.
Randel et al. (1992) realizaram uma revisão de artigos que comparam a eficiência instrucional dos jogos educacionais e simuladores (eletrônicos ou não) em relação a aulas tradicionais. O estudo examinou 7 revisões da literatura publicadas entre 1966 e 1984 e artigos em bases de dados científicas publicados entre 1984 e 1991. Foram considerados 67 estudos num período de 28 anos. Os autores excluíram artigos que não utilizaram alguma medição empírica. Randel et al. (1992) comentam que poucos estudos anteriores foram feitos, e muito do trabalho sobre a avaliação de jogos estava sendo descritivo, baseado em julgamento dos pesquisadores e que apresentavam apenas breves narrativas sobre o uso dos jogos.
Esta revisão de Randel e seus colegas organiza os resultados de acordo com disciplinas: verifica a eficácia em ciências sociais, matemática, artes, física, biologia e lógica. Também foca na retenção dos assuntos ao longo do tempo e no nível de interesse dos usuários. É uma revisão bastante direcionada para o desempenho e aponta alguns estudos sobre jogos que demonstraram maior eficácia na educação, no entanto não há um detalhamento explicando como esses resultados foram obtidos e quais métodos foram utilizados para as investigações.
Embora traga poucas informações em relação a forma como os jogos foram avaliados, os autores fazem algumas considerações importantes sobre os métodos de pesquisa para avaliação de jogos educacionais (RANDEL et al., 1992), listadas a seguir.
• Muitos autores identificaram variáveis que podem afetar os
resultados dos estudos que medem a eficiência dos jogos: personalidade, estilo cognitivo de aprendizagem, sexo dos jogadores, variáveis de grupo, habilidade acadêmica e habilidade com jogos. Os pesquisadores de jogos educacionais precisam ficar atentos em relação a essas questões.
• A forma de medição usada para demonstrar o efeito dos jogos deve
ser escolhida com cuidado. Se o teste de medição aplicado aos alunos não estiver compatível com os assuntos que o jogo ensina, resultados negativos vão ocorrer.
• Outro problema é o uso do mesmo instrumento para o pré-teste e
pode ocorrer um desvio no resultado porque o estudante pode ter tido dicas daquilo que precisa ser lembrado durante o uso do jogo.
• A amostragem é outra questão importante na avaliação de jogos.
Muitas vezes não é possível contar com uma amostragem aleatória de estudantes e os pesquisadores ficam limitados a usar turmas inteiras para fazer comparações, no entanto, essas turmas podem ser misturadas no pré-teste para uma avaliação melhor.
• Deve-se considerar a possibilidade do professor e seu método de
ensino causarem influência nos resultados dos testes. Se houver turmas ou estudantes suficientes, os efeitos de diferentes professores podem ser avaliados experimentalmente.
• O debriefing é uma variável que pode afetar os resultados do
aprendizado com jogos, já que as discussões podem ampliar os conhecimentos dos alunos. Assim, fica difícil distinguir se a aprendizagem é decorrente do jogo em si ou do debriefing. Se houver debriefing em pesquisas, é necessário que seus condutores descrevam nos artigos como ela aconteceu.
• As avaliações devem fornecer tempo de familiarização para o
estudo ter efeitos verdadeiros quando os jogos são complexos.
• Alguns estudos alegam que os jogos melhoram a aprendizagem
porque a turma que usou jogos, em comparação com o grupo de controle, apresentou melhor desempenho. No entanto, se o grupo de controle não tiver um tempo de aulas equivalente a quantidade de horas que a outra turma praticou com jogos, o resultado poderá ser influenciado pelo tempo extra de instrução obtido pela turma que utilizou jogos.
• O desenho de pesquisas experimentais sobre jogos precisa de mais
atenção para reduzir os problemas com a interferência dos professores, efeito Hawthorne, instrumentos de testes, seleção de variáveis, e diferença de tempo de estudo entre turmas de controle. Os artigos de pesquisa precisam incluir mais detalhes sobre o desenho dos experimentos para que os resultados sejam avaliados sem questionamentos.
KE (2008) traz uma das revisões mais abrangentes sobre o uso de jogos educacionais como ferramentas de aprendizagem. O autor começou seu estudo com uma análise de seis revisões da literatura sobre jogos educacionais e simuladores (RANDEL et al., 1992; DEMPSEY et al.,1994; EMES, 1997; WOLFE, 1997; HAYS, 2005; VOGEL et al.,
2006b). Como resultado dessa análise, Ke (2008) destacou seis pontos, listados a seguir.
• A base de literatura é esparsa. Apesar de muitos artigos
discutirem o uso educacional dos jogos, a maior parte dos artigos é baseada na opinião dos autores sobre o potencial instrucional dos jogos ou propostas de como os jogos deveriam ser desenvolvidos para uso educacional. Poucos artigos documentam dados empíricos a respeito da eficiência dos jogos instrucionais (ver HAYS, 2005; DEMPSEY, et al. 1994).
• Resultados dos estudos empíricos divulgados são conflitantes.
Parece que poucas conclusões podem ser obtidas dos estudos e não existem evidências de que os jogos podem ser eficientes em todas as situações de aprendizagem (ver RANDEL et al., 1992; DEMPSEY et al., 1994; VOGEL et al., 2006b).
• A pesquisa empírica sobre jogos educacionais é fragmentada.
Estudos anteriores focaram-se em diferentes grupos de fatores e variáveis ao avaliar os efeitos dos jogos (ver DEMPSEY et al., 1994).
• Muitas avaliações de jogos são apenas narrações ou descrições
(ver DEMPSEY et al., 1994).
• Há uma necessidade por mais estudos longitudinais (ver EMES,
1997).
• Uma análise dos estudos existentes em relação ao tema
abordado pelos jogos revela que determinados campos do conhecimento são mais adaptáveis aos jogos, como matemática, física e artes (ver RANDEL et al., 1992; HAYS, 2005).
Ke faz algumas críticas em relação as revisões existentes. Comenta que algumas são baseadas apenas e estudos quantitativos (VAN SICKLE, 1986; RANDEL et al., 1992; WOLFE, 1997), e que excluíram estudos qualitativos, a maioria não demonstra claramente as regras de decisão utilizadas para sintetizar os resultados de vários estudos, mostrando uma falta de rigor analítico e objetividade, e em algumas casos há a inclusão de artigos de baixa qualidade ou relatórios não empíricos que podem interferir na análise do resultado final.
Depois do estudo inicial com as revisões da literatura, Ke (2008) conduziu uma pesquisa em bases de dados científica e selecionou 89 artigos para serem analisados. A maioria desses artigos teve como propósito estudar a eficácia dos jogos como recursos educacionais. Esta
revisão conduzida por Ke não teve como um de seus objetivos principais detalhar os métodos que foram utilizados nos estudos selecionados para a revisão, e não apresenta informações sistematizadas a este respeito. No entanto, o autor aponta que entre os artigos que avaliaram a eficácia dos jogos, 69% utilizaram um delineamento quantitativo experimental, quase-experimental, correlacional-causal, ou descritivo. Destacou alguns exemplos, como os artigos de, Vogel et al. (2006a), e Johnson (1993). Cerca de 15% empregaram delineamento de métodos
combinados, como o artigo deBarab et al. (2007), que avaliou os efeitos
de jogos online multi-jogadores massivos (Massive Multiplayer Online
Game) em 28 turmas do quarto ano com pré-teste e pós-teste
quantitativo e observação de campo; e outros 15% foram estudos
etnográficos qualitativos ou estudos de caso, como no artigo de Piper et al. (2006), que reportou efeitos positivos de um jogo eletrônico colaborativo de mesa (tabletop computer game) para o desenvolvimento de habilidades sociais por meio de uma descrição bastante densa.
O autor observa ainda que menos de 50% das avaliações dos jogos são longitudinais e a maioria durou menos de duas horas. Isso vai ao encontro do que também aponta Emes (1997), que indicou que mais estudos longitudinais são necessários para a avaliação da eficiência dos jogos. Somente 10 estudos entre os 89 examinados por Ke examinam a variável “características dos alunos”, mostrando que a relação entre o uso dos jogos e as características dos jogadores está sendo pouco investigada (DEMPSEY, 1994; KE, 2008).
A respeito da eficiência dos jogos, foi apurado na pesquisa de Ke (2008) que 34 entre os 65 artigos apontaram efeitos significativamente positivos dos jogos, 17 indicaram resultados mistos, onde os jogos facilitaram certos tipo de conteúdos e outros não, 12 indicaram que não houve diferença entre jogos e aulas convencionais, e um estudo indicou que a aula convencional foi mais eficiente que o jogo.