Autoavaliação da Experiência no Jogo

A autoavaliação a cada duas semanas já era prática nessas disciplinas em semestres anteriores. Os alunos descreviam seu desempenho e as dificuldades sentidas e os professores usavam essa informação para prover suporte individualizado aos alunos. Nós adicionámos mais uma pergunta à autoavaliação para que os alunos comentassem sobre a sua experiência com o jogo.

Ainda que durante o semestre os alunos tivessem submetido cinco autoavaliações, nós usamos somente as primeiras duas devido à aderência dos alunos ao jogo (Figura 4.30). As datas limites para submeter as avaliações estão representadas por linhas vermelhas verticais. Após a segunda linha, os acessos ao jogo decresceram radicalmente. A primeira avaliação foi submetida por 68 alunos e a segunda por 63, sendo que 60 deles submeteram ambas as avaliações.

Nós analisámos o desempenho destes estudantes conforme descreveram na autoavaliação e dividimos em dois grupos: (1) indo bem, que foram aqueles que declararam não terem problemas com as aulas e acreditarem que estavam compreendendo o assunto; (2) com dificuldades, que foram aqueles que declararam estarem a ter problemas com a disciplina. Em seguida, agrupamos a experiência de jogo também conforme descrita na autoavaliação, em quatro categorias: (1) avaliação positiva, que foram aqueles que declararam que o jogo era interessante e poderia ser útil para a sua aprendizagem; (2) dificuldades no jogo, que foram aqueles que listaram dificuldades em finalizar as missões; (3) não jogaram, os que não preencheram o campo de comentário ou que afirmaram não terem jogado; (4)

avaliação negativa, que foram aqueles que explanaram não acreditar que o jogo pudesse auxiliá-los na aprendizagem de programação. A Tabela 4.9 apresenta o cruzamento dessas categorias. Apesar das quantidades totais entre as avaliações terem o mesmo valor, acontece que alguns alunos que avaliaram que estavam indo bem na primeira avaliação mudaram de opinião na segunda, e vice-versa. Na segunda avaliação menos alunos tiveram avaliações positivas ou negativas, porém mais alunos não jogaram, o que pode ser constatado na Figura 4.30.

Tabela 4.9 – Autoavaliação

Avaliação Positiva

Dificuldades

no Jogo ^{Não Jogaram}

Avaliação Negativa ^Total Avaliação 1 Indo bem 7 (11,7) 4 (6,7) 10 (16,7) 2 (3,3) 23 (38,3) Com dificuldades 9 (15,0) 4 (6,7) 20 (33,3) 4 (6,7) 37 (61,7) Total 16 (26,7) 8 (13,3) 30 (50,0) 6 (10,0) 60 (100,0) Avaliação 2 Indo bem 7 (11,7) 2 (3,3) 14 (23,3) 0 (0,0) 23 (38,3) Com dificuldade 3 (5,0) 6 (10,0) 26 (43,3) 2 (3,3) 37 (61,7) Total 10 (16,7) 8 (13,3) 40 (66,6) 2 (3,3) 60 (100,0)

Nos comentários da avaliação positiva, alguns estudantes responderam que o jogo era viciante devido à conquista de pontos e porque podiam comparar o avatar deles com o dos outros nas listas de classificação. Outro estudante comentou “Agora consigo pensar melhor sobre os exercícios e fazer diagramas no caderno que me ajudam a resolver os problemas mais facilmente”.

Categorizamos em três grupos as respostas de quem teve dificuldades para jogar: (1) pressão do tempo, agrupando alguns alunos que afirmaram ter tido dificuldades para se concentrarem ao longo do tempo enquanto raciocinavam para resolver os problemas; (2) compreensão da descrição das missões, inclui os comentários sobre a dificuldade em extrair a informação da explicação; (3) suporte

116 Capítulo 4 - Processo de Investigação insuficiente, inclui situações em que os alunos dizem ter tido situações no jogo em que não receberam ajuda suficiente para vencer as dificuldades.

Os alunos que responderam que não jogaram (ou pararam de jogar) declararam que não perceberam relação entre o jogo e as aulas, gostariam de resolver por código em vez de blocos, a qualidade gráfica precisa melhorar e “(…) eu achei que era um pouco repetitivo após algumas fases e me senti cansado”. Adicionalmente, os alunos sugeriram que (1) os objetivos das missões fossem sempre visíveis, (2) receber recompensas quando realizasse objetivos extras, (3) mais itens desbloqueáveis e (4) opções de avatar.

4.6.2.3.3 Diversão Percecionada

Nós planeámos para que o jogo inquirisse os alunos quanto à diversão, usando o questionário da escala EGameFlow (Apêndice E), em cinco momentos, após a 12ª, 18ª, 28ª, 38ª e 44ª missão. A Figura 4.31 apresenta a quantidade total de missões finalizadas por cada aluno. Somente cinco estudantes concluíram 18 ou mais missões. Por essa razão, resolvemos considerar avaliar somente o primeiro inquérito (n=22).

Figura 4.31 – Estudantes e missões cumpridas no Ciclo 2

O questionário contém duas partes: (1) 27 questões com cinco níveis de concordância na escala Likert (1-não concordo totalmente e 5-concordo totalmente) e (2) duas questões abertas permitindo que os estudantes comentassem o que mais e o que menos tinham gostado no jogo. Analisamos e codificamos o conteúdo dessas questões usando a técnica da Grounded Theory (Corbin & Strauss, 2015). A Figura 4.32 apresenta o resultado da codificação dessas respostas. Quanto aos aspetos positivos:

 Instrução: 11 alunos gostaram de poder comandar uma personagem através da programação. Eles consideraram que usar um jogo para aprender pode ser uma boa prática para ultrapassar as barreiras iniciais da aprendizagem de programação;

 Desafios: 6 consideraram interessante a sequência das missões, a dificuldade crescente e os problemas que o jogo instigava a serem resolvidos;

 Usabilidade: 4 alunos acharam o jogo simples de ser usado;

 Suporte: um aluno evidenciou o suporte que demos durante o jogo fornecendo dicas e motivando a continuar.

Quanto aos aspetos negativos:

 Pressão do Tempo: 4 alunos queixaram-se sobre o tempo ser muito curto, ou pediram para acrescentar recursos que aumentassem a produtividade na criação da solução;

 Usabilidade: 4 alunos reclamaram da falta de simplicidade de uso no jogo. Na altura não era possível consultar e interagir com missões já concluídas, sugestão feita naquele momento;

 Descrição da Missão: 3 alunos destacaram a necessidade de melhorar a explicação das missões;

 Audiovisual: 3 alunos sugeriram melhorar a interface gráfica e a música;

 Desafios: 2 alunos não viram utilidade em algumas missões e afirmaram que outras eram muito difíceis;

 Codificação: 2 alunos gostariam de ver relação do jogo com codificação, seja simplesmente mostrando a conversão dos blocos em código, ou produzindo com codificação;

 Feedback: 2 alunos sentiram dificuldades e o jogo não conseguiu dar o suporte necessário para que eles vencessem os problemas;

118 Capítulo 4 - Processo de Investigação

Figura 4.32 – Opiniões sobre o jogo (a) positivas e (b) negativas

A Tabela 4.10 apresenta o resultado da escala EGameFlow, comparando com os resultados do primeiro ciclo. Nesse ciclo, os dois piores itens avaliados foram a imersão e autonomia, inclusive ambos com maior desvio padrão, demonstrando que existiu uma grande discrepância entre a opinião dos alunos. Quanto ao item autonomia, ao analisarmos as autoavaliações e as respostas das questões abertas, foi possível concluir que a pressão do tempo frustrou os alunos ao ponto de sentirem a falta de controlo no jogo. Outros pontos que interferiram nesse fator dizem respeito a possibilidade de codificar em vez de usar blocos, e à usabilidade, especialmente no que respeita à falta de algumas opções como desfazer e refazer as últimas ações. Em relação à imersão, os alunos pediram mais opções para configuração do avatar e melhorias na qualidade gráfica da interface e sons no jogo. Jogos sérios analisados (Fu et al., 2009) também apresentaram o item imersão como aquele com menor valor entre as categorias. Isso pode-nos conduzir a acreditar que quando o aluno não consegue resolver os problemas ou responder a uma questão pode romper com a imersão no jogo. Apesar de que não é possível comparar os resultados dos dois ciclos, pois o período, a disponibilidade e a necessidade de jogar foram distintas, pode-se notar que o valor total é ligeiramente maior que a turma de ME e menor que a turma de ES.

Tabela 4.10 – Primeira medição da escala EGameFlow no Ciclo 2

Ciclo ^Concentra ção

Clareza dos objetivos

Suporte Desafio Autonomia Imersão Total

2-UC 3.9 (±0.62) 4.1 (±0.62) 4.0 (±0.69) 4.1 (±0.67) 3.7 (±0.82) 3.5 (±0.90) 3.9 (±0.62) 1-ME 3,8 (±0,50) 4,0 (±0,46) 4,1 (±0,54) 3,9 (±0,70) 3,4 (±0,95) 3,8 (±0,77) 3,8 (±0,59) 1-ES 4,1 (±0,46) 4,4 (±0,58) 4,3 (±0,57) 4,3 (±0,61) 4,2 (±0,63) 3,6 (±0,56) 4,1 (±0,48)