Durante o processo de avaliação, alguns avaliadores do conjunto AHJED apresentaram dúvidas quanto ao significado do quantificador “ 1- Problema estético”, mostrando dificuldade em atribuir esse quantificador a heurísticas que não são da dimensão de interface. Por esse motivo se decidiu alterar o quantificador “ 1- Problema estético”, do conjunto AHJED, para “1 –Problema não prioritário”.
8.4.Avaliação do jogo Recruta Social utilizando o conjunto AHJED
Com o objetivo de identificar a contribuição do conjunto AHJED durante o desenvolvimento de um jogo, foi realizada a avaliação de um JED em processo de construção.
O jogo utilizado para essa etapa da avaliação d AHJED foi o Recruta Social. Esse jogo está sendo desenvolvido por graduandos do curso de Ciência da Computação da Universidade Federal da Paraíba. O jogo Recruta Social está desenvolvido para a plataforma mobile e tem como objetivo instrucional conscientizar o jogador quanto a importância da reciclagem e demais atividades que trazem benefícios para a sociedade em geral. Para isso, o jogo possibilita um universo de aventura com vários objetivos que devem ser concluídos para que o jogador possa evoluir no jogo.
A avaliação foi realizada por 3 alunos com experiência em testes de sistemas web. Os avaliadores são alunos do último período do curso de Ciência da Computação do Centro
49
Universitário de João Pessoa – Unipê. Os avaliadores receberam o executável do jogo para ser instalado em seus smartphones e também o link para que tivessem acesso ao conjunto AHJED. Os avaliadores jogaram o jogo por tempo indeterminado e realizaram a avalição no momento e local onde acharam o mais adequado. O conjunto AHJED não foi apresentado anteriormente aos avaliadores, de modo que fosse possível coletar possíveis dúvidas e/ou dicas de melhoria.
A Figura 7 ilustra os resultados obtidos da avaliação do jogo Recruta Social, através do conjunto AHJED. É possível concluir que, de maneira geral, não foi identificado algum problema crítico ou problema catástrofe por parte dos avaliadores. Os pontos de maior criticidade foram os de Elementos educacionais e Inteligência artificial. As heurísticas com maiores notas de criticidade foram: JG 3 - Os usuários são capazes de salvar os jogos em diferentes estados ao longo do jogo; IA 2 - A Inteligência Artificial do jogo é equilibrada com a habilidade do jogador. (Por exemplo, o jogo não exige do jogador uma habilidade que ele ainda não possua); ED 3 - Os elementos do jogo são criados de forma a contemplar diferentes níveis de aprendizagem, por exemplo, iniciante, intermediário e avançado e ED 8 - Permite personalização das jogadas por parte do instrutor. (Por exemplo, o instrutor que está utilizando o jogo para apoiar a aprendizagem, é capaz de customizar ou criar novos desafios e obstáculos).
50
Após a avaliação do jogo Recruta social os avaliadores foram entrevistados para que pudessem dar feedbacks sobre o entendimento das heurísticas, sobre a experiência da realização da avaliação utilizando o conjunto AHJED e também sobre as impressões gerais quanto ao jogo. Os avaliadores não relataram qualquer dúvida sobre o entendimento das heurísticas, afirmando, unanimemente, que o conjunto é claro e autoexplicativo. Os avaliadores também afirmaram que o conjunto AHJED aborda aspectos importantes para a concepção de um bom jogo. Um ponto negativo relatado pelos avaliadores foi o tamanho do conjunto, onde dois relataram que o conjunto AHJED é extenso.
51
9. CONCLUSÕES E TRABALHOS FUTUROS
Os Jogos Educacionais Digitais (JEDs) têm sido amplamente utilizado como ferramentas de apoio ao ensino-aprendizagem proporcionando práticas educacionais atrativas. Porém, a inserção dos JEDs no meio educacional parte de suposições quanto a sua qualidade, sem que haja uma avaliação formal que possa servir de métrica para o real benefício dessa inserção. Portanto é necessário que os JEDs sejam avaliados antes de serem utilizado como ferramenta de apoio ao processo educacional. Essa avaliação pode ser realizada tanto por especialistas de jogos quanto por professores que queiram utilizar JEDs nas disciplinas que ministra aulas. Então é interessante que haja ferramentas que possam avaliar a qualidade do JED e que possa ser utilizada por especialistas e não especialistas da área de jogos.
Nesse trabalho foi possível observar que existem diversas técnicas de avaliação de software, incluindo JEDs, dentre elas a Avaliação Heurística tem se destacado por proporcionar benefícios, tais como: Avaliação rápida, baixo custo financeiro, eficiência, pode ser utilizada em qualquer fase do desenvolvimento do software. No entanto as propostas de heurísticas para avaliação de JEDs apresentam algumas limitações, tais como: descrição técnica ou subjetivas para não especialistas da área de jogos, direcionadas apenas para especialistas de domínio, não avaliam ou avaliam superficialmente aspectos importantes como: a inteligência artificial, história do jogo e agente educacional.
Sendo assim o conjunto AHJED foi criado proposto com o intuito de oferecer uma ferramenta de avaliação de avaliação de JED que possa apresentar melhorias quanto às limitações citadas anteriormente. Para isso foi necessário utilizar heurísticas propostas por Mohamed e Jaafar (2012), Valle et al. (2013), Desurvire (2004), Korhonen e Koivisto (2006) e Shoukry et al. (2014), assim como adicionar explicações e exemplos em cada uma das heurísticas, para que essas heurísticas ficassem mais claras e de fácil entendimento.
Para validar as melhorias propostas no conjunto AHJED desenvolvido neste trabalho, se realizou três experimentos que foram: comparação com conjunto HEDEG, avaliando do jogo Code Combat, comparação com a opinião dos usuários da Google Play Games, avaliando os jogos Matemática vs Dinossauro e Racing, comparação com a ferramenta MEEGA avaliando o jogo Math Land. Como resultado desses experimentos foi possível perceber que o conjunto AHJED se mostrou de mais fácil entendimento por parte de não
52
especialistas e especialistas. Também se pode concluir que o AHJED apresenta resultados coerentes com os resultados da Google Play Games e também coerente com os resultados do MEEGA. Assim como foi possível observar que o conjunto AHJED é capaz de identificar pontos de melhorias durante a fase de desenvolvimento do software.
Encontrar especialistas de domínio foi uma das maiores dificuldades na validação desse trabalho. Esse fator pode ter sido uma ameaça a validação desse estudo. Contudo, as ferramentas utilizadas para a validação desse estudo foram apresentadas de forma imparcial, de modo não influenciar a opinião dos avaliadores. Outro ponto de melhoria da avaliação foi o fato de não ter sido realizada uma coleta maior de informação sobre os perfis dos avaliadores, pois dessa forma seria possível cruzar essas informações e extrair quais perfis se identificam mais com a utilização da técnica de avaliação heurística para avaliar JEDs.
53
REFERÊNCIAS
ANDREOLI, R. et al. A Framework to Design, Develop, and Evaluate Immersive and Collaborative Serious Games in Cultural Heritage. Journal on Computing and Cultural Heritage. New York. V. 11, n. 1, p. 1 – 22, 2016.
Backlund, P.; Hendrix, M. Educational Games – Are They Worth The Effort?. Games and
Virtual Worlds for Serious Applications (VS-GAMES), 2013 5th International Conference. 2013.
Battistella, P. E.; Petri, G.; Gresse Von Wangenheim, C.; Von Wangenheim, A. e Martina, J. E. Sortia 2.0: Um jogo de ordenação para o ensino de Estrutura de Dados. XII – Simpósio Brasileiro de Sistemas de Informação, Florianópolis/SC, 2016.
Boughzala, I., Bououd, I., Michel, H. Characterization and Evaluation of Serious Games: A perspective of their use in higher education. Hawaii International Conference on System Sciences. 2013.
Brink, K. V. D; Jager, R. S; Tost, S. PEDACTICE: Educational Multimedia in School. An Evaluation Study. The University of Edinburgh, Moray House School of Education, Centre for Educational Sociology, September. 1999.
Clanton, C. An interpreted demonstration of computer game design. CHI 98 summary: Human Factors in Computing Systems. 1998.
Crawford, C. The Art of Computer Game Design. 1982.
Cuperschmid, A. R. M; Hildebrand, H. R. Avaliação Heurística de Jogabilidade Counter-Strike: Global Offensive. SBC – Proceedings of SBGames 2013.
Desurvire, H. Caplan, M. Toth, J. A. Using Heuristics to Evaluate the Playability of Games. Conference on Human Factors in Computing Systems (CHI). Viena. 2004.
Diah, N. M., Ismail, M., Ahmad, S. Usability testing for educational computer game using observation method. International Conference on Information Retrieval & Knowledge Management (CAMP). p, 157-161. 2010.
Diaz, P., Sicilia, M. A. Evaluation of Hypermidia Educational Systems: Criteria and Imperfect Measures. International Conference on Computers in Education. 2002.
Dondlinger, M. J. Educational Video Game Design: A Review of the Literature. Journal of Applied Educational Technology, Spring/Summer, v. 4, n. 1. 2007.
Eagle, M. J., Barnes, T. A learning objective focused methodology for the design and evaluation of game-based tutors. Proceedings of the 43rd ACM technical symposium on Computer Science Education. p, 99-104. 2012.
Eagle, M. Level Up: A Frame work for the Design and Evaluation of Educational Games. International Conference on the Foundations of Digital Games, Orlando, FL, USA, April 26-30, 2009.
54
Federoff, M.A. (2002). Heuristics and Usability Guidelines for the Creation and Evaluation of Fun in Video Games. MS Thesis, Department of Telecommunications, Indiana University, Bloomington, Indiana, USA, 2002.
Garzotto, F. Investigating the Educational Effectiveness of Multiplayer Online Games for Children. Proceedings of the 6th international conference on Interaction design and children. p, 29-36. 2007.
Gibson, B., Bell, T. Evaluating of Games for Teaching Computer Science.Workshop in Primary and Secondary Computing Education. Novembro. Aarhus, Dinamarca. 2013. Gresse Von Wangenheim, C.; Savi, R.; Borgatto, A. F. Deliver! An Educational Game for
Teaching Earned Value Management in Computing Courses. Information and Software Technology, 54(3), March. 2012.
Grubel, M.J. e Bez, M.R. (2006). Jogos Educativos. Rev. Novas Tecnologias Educ., 4, 1-7.
Hannu Korhonen, Janne Paavilainen, Hannamari Saarenpää. Expert Review Method in Game Evaluations – Comparison of Two Playability Heuristic Sets. Tampere, FINLAND. 2009. Hays, R. T. The effectiveness of instructional games: A literature review and discussion.
DTIC. 2005.
Henricks, T. S. Caillois’s Man, Play, and Games An Appreciation and Evaluation. American Journal of PLAY. 2010.
Hicks, D., Eagle, M., Rowe, E., Asbell-Clarke, J., Edwards, T., Barnes, T. Using game analytics to evaluate puzzle design and level progression in a serious game. Proceedings of the Sixth International Conference on Learning Analytics & Knowledge Pages 440-448. 2016.
Horn, B., Hoover, A. K., Barnes, J., Folajimi, Y., Smith, G., Harteveld, C. Opening the Black Box of Play: Strategy Analysis of an Educational Game. Annual Symposium on Computer-Human Interaction in Play Pages 142-153. 2016.
Huang, Q., Wang, W. Design and Implementation of an Intelligent System for Electronic Game’s Educational Evaluation. 2nd International Workshop on Database Technology and Applications. 2010.
J. Nielsen, Heuristic evaluation. New York: John Wiley & Sons, 1994.
Jong, M., Van, D. G. Thea. Characterizing web heuristics. Technical communication Thea. Characterizing web heuristics. Technical communication, v. 47, n. 3, p. 311-326, 2000. Jesse Schell, The Art of Game Design: A Book of Lenses, A. K. Peters, Ltd., Natick, MA,
2014.
Korhonen, H., Koivisto, E. M. I. Playability heuristics for mobile games. Proceedings of the 8th conference on Human-computer interaction with mobile devices and services, Helsinki, Finland, 2006.
55
Liao, Y. H., Shen C. Y; Heuristic Evaluation of Digital Game based Learning A Case Study. Fourth IEEE International Conference On Digital Game And Intelligent Toy Enhanced Learning. 2012.
Lima, G. R. L., Salgado, A. L., F, A. P. Evaluation of the user experience and intrinsic motivation with educational and mainstream digital games. Proceedings of the Latin American Conference on Human Computer Interaction. 2015.
Malone, T. W. Heuristics for Designing Enjoyable User Interfaces: Lessons from Computer Games. Conference on Human Factors in Computing Systems. Pp, 63-68. 1982.
Marzarano, A., Notti, A. M. Educational Assessment. International Conference on Intelligent Networking and Collaborative Systems. 2014.
Medeiros, T. J., da Silva, T. R., & da Silva Aranha, E. H. Ensino de programação utilizando jogos digitais: uma revisão sistemática da literatura. RENOTE, 11(3), 2013.
Mello, V. Perani, L. Gameplay x playability: defining concepts, tracing differences. XI SBGames. Brasília. 2012.
Mohamed, H., Ibrahim, H., Jaafar, A. Methodology to Evaluate Interface of Educational Computer Game. International Conference on Pattern Analysis and Intelligent Robotics. p, 28-29. Putrajaya, Malaysia. 2011.
Mohamed, H., Jaafar, A. AHP_HeGES: Tools to Evaluate Usability of Educational Computer Game (UsaECG). International Conference on User Science and Engineering. 2011.
Mohamed, H.; Jaafar, A. Conceptual Framework for a Heuristics Based Methodology for Interface Evaluation of Educational Games. International Conference on Computer Technology and Development. 2009.
Mohamed, H.; Jaafar, A. Development and Potential Analysis of Heuristic Evaluation for Educational Computer Game (PHEG). Computer Sciences and Convergence Information Technology (ICCIT). International Conference. 2010
Mohamed, H.; Jaafar, A. Heuristics Evaluation in Computer. Games. International Conference on Information Retrieval & Knowledge Management (CAMP). p, 188-193. 2010.
Mohamed, H.; Jaafar, A. Playability Heuristics Evaluation (PHE) Approach for Malaysian Educational Games. International Symposium on Information Technology. 2008.
Mohamed, H.; Yusoff, R., Jaafar, A. Quantitive analysis in a heuristic evaluation for Usability of Educational Computer Game (UsaECG). International Conference on Information Retrieval & Knowledge Management. 2012.
Moreno-Ger, P. et al., Educational game design for online education, Computers in Human Behavior (2008), doi:10.1016/j.chb.2008.03.012.
MOTOLA, Ronaldo et al . Architecture for animation of affective behaviors in pedagogical agents. J. Braz. Comp. Soc., Campinas , v. 15, n. 4, p. 3-13, Dec. 2009
56
Nacke, L.E., Drachen, A., Goebel, S. Methods for Evaluating Gameplay Experience in a Serious Gaming Context. International Journal of Computer Science in Sport, vol. 9 no. 2. Darmstadt. Germany. 2010.
Papaloukas, S., Xenos, M. Usability and education of games through combined assessment methods. Proceedings of the 1st international conference on Pervasive Technologies Related to Assistive Environments, Athens, Greece, July 15-19, DOI=http://doi.acm.org/ 10.1145/1389586.1389670. 2008.
Petri, G. C., Wangenheim, G. V. How games for computing education are evaluated? A systematic literature review. Computers & Education. 2017.
Petri, G., Wangenheim, G. V., Borgatto, G. A. F. A Large-scale Evaluation of a Model for the Evaluation of Educational Games. INCoD/GQS. 2016.
Pietruchinski, M. H.; Neto, J. C.; MALUCELLI, A.; REINEHR, S. Os jogos educativos no contexto do SBIE: uma revisão sistemática de Literatura. Anais do XXII SBIE - XVII WIE. Aracaju, 21 a 25 nov.2011.
Pinelle, D., Wong, N., Stach, T., Gutwin, C. Usability Heuristics for Networked Multiplayer Games. international conference on Supporting group work. pp, 169-178. 2009.
Ponnada, A., Kannan A. Evaluation of Mobile Games using Playability Heuristics. ICACCI’12, August 3-5. Chennai, T Nadu, India. 2012.
Prensky, M. Digital game-based learning. New York: McGraw-Hill. Computers in Entertainment, v. 1, n. 1, Oct. 2003.
Prensky, M. Digital natives, digital immigrants Part 1. On the horizon, vol. 9, no. 5, pp. 1–6, 2001.
Rafael, S., Wangenheim, C. G. V., Borgatto, A. F. A Model for the Evaluation of Educational Games for teaching Software Engineering. 25th Brazilian Symposium on Software Engineering. 2011.
Rodio, F., Bastien J. M. C. Heuristics for Video Games Evaluation: How Players Rate Their Relevance for Different Game Genres According to Their Experience. IHM'13, November 13–15. Bordeaux, France. 2013.
Rollings, A., & Adams, E. In: Andrew Rollings and Ernest Adams on game design: GamePlay. 1.ed. Estado Unidos da América, 2003.
Rughinis, R. Serious games as input versus modulation: different evaluations of utility. Proceedings of the 26th Annual BCS Interaction Specialist Group Conference on People and Computers. p, 175-184. 2012.
Salen, K., Zimmerman, E. Rules of play: Game design fundamentals. MIT press, 2003. Savi, R., Wangenheim, C. G. Von., Borgatto, A. F., A Model for the Evaluation of
Educational Games for teaching Software Engineering. 25th Brazilian Symposium on Software Engineering. p, 193 – 204. 2011.
57
Schultz, C. P. Bryant, R. Langdell, T. Game Testing All In One. United States of America: Thomson. 487 p. 2005.
Shoukry, L.; C, Sturm.; Galal-Edeen, G. H. Pre-MEGa: A Proposed Framework for the Design and Evaluation of Preschoolers’ Mobile Educational Games. Innovations and Advances in Computing, Informatics, Systems Sciences, Networking and Engineering Vol. 313. Electrical Engineering, pp. 385-390. 2014.
Siang, A. C. Rao, R. K. Theories of Learning: A Computer Game Perspective. Proceedings of the IEEE Fifth International Symposium on Multimedia Software Engineering. 2003. Song, S., Lee, J. Key. Key factors of heuristic evaluation for game design: Towards
massively multi-player online role-playing game. Int. J. Human-Computer Studies. Pp, 709-723. DOI:10.1016/j.ijhcs.2007.01.001. 2007.
Suhonen, K., Vaataja, H. Assessing the Applicability of Modular Playability Heuristics for Evaluating Health-Enhancing Games. International Academic MindTrek Conference: Envisioning Future Media Environments. p, 147-150. 2010.
Sweetser, P., Johnson, D., Wyeth, P. GameFlow Heuristics for Designing and Evaluating Real-Time Strategy Games. IE '12. Auckland, NZ, New Zealand. 2012.
Szwoch, M. Evaluation of affective intervention process in development of affect-aware educational video games. Federated Conference on Computer Science and Information Systems (FedCSIS). 2016.
TC Reeves, JR Okey - Constructivist learning environments: Constructivist learning environments: Case studies in instructional design, 1996.
Thomas, Jerry R. e Nelson, Jack K. (1996) Research methods in physical activity. 3.ed. Champaign : Human Kinetics.
Ulrich, F., Helms, N. H. CREATING EVALUATION PROFILES FOR GAMES DESIGNED TO BE FUN: An Interpretive Framework for Serious Game Mechanics. Journal Simulation and Gaming archive. V, 48. p, 695-714. 2017.
Valle, P. H. D., Vilela, R. F., Júnior, P. A. P., Inocêncio, A. C. G. HEDEG - Heurísticas para Avaliação de Jogos Educacionais Digitais. XVIII Conferência Internacional sobre Informática na Educação. 9–11 Dezembro. Porto Alegre. Rio Grande do Sul. Brasil. 2013. Whitton N, “The place of game-based learning in an age of austerity” Electronic Journal of e-Learning Volume 10 Issue 2, 2012, (pp249 - 256), available online at www.ejel.org. 2012.
Yeni, S., Cagiltay, K. A heuristic evaluation to support the instructional and enjoyment
aspects of a math game. Program, Vol. 51 Issue: 4, pp.406-423,
https://doi.org/10.1108/PROG-07-2016-0050. 2017.
Yılmaz, B. Durdu, P. O., Heuristic Evaluation of a mobile hand-writing learning application. 9th International Conference on Application of Information and Communication Technologies (AICT). 2015.
59
APÊNDICE I
Para a realização dessa pesquisa foi utilizado um mapeamento sistemático (MS) da literatura. Segundo Petersen et al. (2008), Este tipo de metodologia provê uma visão geral da área , identificando e classificando o tipo de pesquisa e os resultados. E Dias el al. (2013) afirma que o MS fornece um procedimento sistemático e objetivo para identificar a natureza e extensão de estudos empíricos que estão disponíveis a fim de responder questões de pesquisa.
A avaliação de um jogo não é uma tarefa trivial, e em se tratando de um jogo educacional essa atividade se torna ainda menos trivial. Portanto, algumas iniciativas foram tomadas buscando definir um método ou processo de avaliação de jogos educacionais digitais. Este trabalho fornece um processo definido que é dividido em três fases: 1 – Definição da pesquisa, 2 – Coleta do estudo e 3 – síntese do resultado.
Processo de Mapeamento Sistemático.
Na primeira fase foi elaborado um protocolo, buscando definir e nortear a pesquisa. Nesse documento foram definidos aspectos importantes da pesquisa, tais como: Objetivo da pesquisa, questões a serem respondidas, chaves e engenhos de busca. Na segunda fase foi realizada a busca por estudos primários, sendo essa busca baseada nos critérios de inclusão e exclusão pré-definidos no protocolo. Na terceira fase, os estudos selecionados foram mapeados através de um esquema de seleção, buscando assim, responder as questões de pesquisa deste trabalho.
Uma revisão utilizando mapeamento sistemático requer um conjunto de fato para diminuir o viés da pesquisa [Dias et al. 2013]. Portanto, buscando guiar o pesquisador e minimizar os
60
riscos, foi criado um protocolo do mapeamento. Onde esse protocolo contém as questões a serem respondidas, os critérios de inclusão e exclusão, definições das chaves e dos engenhos de busca e o processo de extração dos dados.
O objetivo deste trabalho é entender, identificar e caracterizar as principais técnicas utilizadas para a avaliação de jogos digitais educacionais. Desse modo, foram elaboradas algumas questões específicas relacionadas a esse tipo de avaliação.
● Q1. Quais são as técnicas existentes para avaliação de jogos educacionais? Objetivo: identificar os tipos de propostas relacionadas a avaliação de jogos educacionais
digitais.
● Q2. Em qual estágio do desenvolvimento do jogo essa técnica é utilizada? Objetivo: identificar em quais etapas do processo do desenvolvimento de um jogo
educacional digital as técnicas são utilizadas.
● Q3. Para qual público são direcionadas essas técnicas?
Objetivo: as técnicas podem ser direcionadas para públicos diferentes, por exemplo, podem ser direcionadas para especialistas em jogos, especialistas em educação, jogadores e/ou professores.
● Q4. Como é expresso o resultado final da avaliação?
Objetivo: são várias as maneiras de se mostrar os resultados obtidos através de uma avaliação. Por exemplo, pode ser uma média, um gráfico, uma nota e etc.
● Q5. Quais dimensões dos jogos educacionais digitais são avaliadas?
Objetivo: Quais dimensões são levadas em consideração na proposta de avaliação. Por exemplo: Objetivos, interface, teorias educacionais que embasam o jogo e etc. Para a realização da coleta dos dados deste trabalho, primeiramente foi elaborada uma estratégia de busca. Esta estratégia buscou definir quais seriam os engenhos de busca utilizados para a realização deste trabalho, e também definir quais seriam os critérios de inclusão e exclusão de seleção destes.
As palavras-chave utilizadas para a construção da string de busca foram baseadas nos termos mais frequentes nas questões de pesquisa. Desse modo, os termos mais frequentes nas questões são: Jogos educacionais e avaliação. Portanto a string de busca resultante foi: • Avaliação: “evaluation”;
• Jogos eduacionais: “Educational game”.
A busca utilizando a string à cima foram realizadas em três bibliotecas digitais: IEEE Explorer, ACM Digital Library e Scopus. Essas bibliotecas foram escolhidas por apresentar uma alta qualidade nos trabalhos indexados, aumentando assim, a qualidade e a
61
confiabilidade deste estudo. A pesquisa foi realizada no período de 18 a 25 de Setembro de 2015. Desse modo, apenas trabalhos que foram indexados até esse período, foram considerados neste estudo.
Após a definição da string e das bibliotecas digitais a serem utilizadas, foi iniciado a busca. Essa busca foi dividida em três partes, onde a primeira consistiu em inserir a string de