Aprendizagem e Diversão Percecionados

Figura 4.62 – Uso do assistente de pseudocódigo no Ciclo 3

O assistente foi usado 63 vezes nas missões concluídas por todos os alunos. A média entre a tentativa que o aluno disparou o recurso do assistente e a tentativa em que finalizou a missão foi de 6,7 (± 5,8) tentativas demonstrando que existe uma disparidade muito grande nessa amostra. A mediana foi de 3 tentativas. Isso não nos permite afirmar que o assistente tenha auxiliado o aluno na solução imediatamente. Porém, acreditamos que sem essa ajuda, esses alunos teriam desistido de jogar.

4.7.2.3.5 Aprendizagem e Diversão Percecionados

A aprendizagem percecionada é um conjunto de crenças e sentimentos em relação a aprendizagem ocorrida (Caspi & Blau, 2008) e reflete o senso do estudante que algum novo conhecimento foi adquirido e alguma nova compreensão foi alcançada, mesmo que esse conhecimento e compreensão subjetivos estiverem em contraste com o desempenho acadêmico (Caspi & Blau, 2011). A aprendizagem percecionada representa o grau de confiança que o aluno tem em relação ao seu domínio de um dado conhecimento.

Para verificar o sentimento dos alunos quanto à sua aprendizagem foi usado um inquérito (Apêndice G), aplicado após a 15ª missão, tendo sido recolhidas 28 respostas. O inquérito tinha 10 questões com cinco níveis de concordância na escala

164 Capítulo 4 - Processo de Investigação

Likert (1-não concordo totalmente e 5-concordo totalmente). A Figura 4.63 apresenta os resultados. Vamos considerar as escalas menores ou igual a 3 como aquelas em que os alunos estão insatisfeitos e acima disso estão satisfeitos. Os itens Q1-Q4 questionavam sobre o conteúdo aprendido: raciocínio lógico (Q1), variáveis (Q2), condicionais (Q3), e decomposição (Q4), tendo sido obtidas respostas que indicam satisfação de mais de 80% dos alunos. As questões Q5, Q6 e Q8 relacionavam a aprendizagem do jogo com os assuntos abordados nas aulas, a questão Q7 dizia respeito à depuração e a Q9 era sobre a sensação de ter evoluído de forma geral com o jogo. Todos esses itens também tiveram satisfação próxima ou acima de 80%. A dificuldade das missões não foi considerada compatível com o conhecimento (Q10) por cerca de 40% dos alunos. Isso significa que, apesar de terem um alto grau de confiança na sua aprendizagem, vários dos alunos acharam o jogo difícil.

Figura 4.63 – Avaliação da aprendizagem percecionada no meio do ciclo 3

Junto do inquérito para avaliar a aprendizagem percecionada também foi aplicado outro (Apêndice H) para verificar o sentimento de diversão até aquele momento. O inquérito tinha 12 questões com cinco níveis de concordância na escala Likert e uma questão de resposta aberta. A Figura 4.64 apresenta os resultados obtidos. Quase 30% dos alunos não concordaram com o contexto do jogo ocorrer numa esplanada (Q11). O item Q12 pergunta se a qualidade gráfica os desmotivou a jogar. Mais de 80% dos alunos concordou com essa afirmação, o que foi uma surpresa, pois tínhamos melhorado a parte gráfica do jogo. Entretanto, como em torno de 67% dos alunos afirmou jogar pelo menos uma vez por semana, acreditamos que

eles tenham feito essa comparação com base em jogos comerciais com gráficos sofisticados. Outra hipótese seria a própria interpretação errônea da pergunta, uma vez que foi feita pela negativa (“Eu fiquei desmotivado com a qualidade gráfica do jogo”) enquanto as restantes foram colocadas pela positiva. Algumas questões obtiveram mais de 30% de respostas indicando algum nível de insatisfação: a influência da música sobre seu ritmo de trabalho (Q13), o suporte do jogo foi suficiente para resolver as missões (Q15), e a dificuldade entre as missões era adequada (Q16). A partir dessas respostas podemos observar que muitos alunos tiveram um sentimento de dificuldade para resolver as missões. As questões 17 a 19 visavam identificar o que mais lhes motivava no jogo. O item mais bem avaliado foi estar nas melhores posições na tabela de classificação (Q18), seguido de abrir seu próprio negócio (Q19) e por último personalizar o seu avatar (Q17).

Figura 4.64 – Avaliação da diversão percecionada no meio do ciclo 3

A questão 21 pedia para os alunos darem sugestões para melhorar o jogo. Foram dadas treze sugestões: sete delas para melhorar o suporte dado pelo jogo com mais dicas e explicações e apresentar uma solução possível válida após a conclusão da missão; três sugestões para mais opções de configuração para o avatar; duas para rever o nível de dificuldade entre as missões; e uma sugestão para aumentar a quantidade de tentativas por estrela. A partir dessas sugestões podemos determinar que os alunos estavam a sentir dificuldades no jogo, pois 10 das 13 sugestões foram no sentido de facilitar ou ajudar na solução das missões, o que corrobora a Q10 do

166 Capítulo 4 - Processo de Investigação

inquérito da aprendizagem percecionada onde 40% dos alunos afirmou que o seu conhecimento de programação não era compatível com a dificuldade no jogo.

No intuito de averiguarmos em que dimensão a evolução da versão atual do jogo representava uma melhoria quando comparada com a versão anterior, executamos testes de amostras independentes Mann-Whitney, entre as respostas ao inquérito neste ciclo, com as coletadas no final do ciclo anterior. Enquanto no 3º ciclo todos os alunos tinham a mesma quantidade de missões concluídas (n=15) quando responderam ao inquérito, as respostas do ciclo anterior foram obtidas no final, com diferenças de experiência de jogo entre os alunos. O item Q3 foi eliminado da comparação, pois ele verificava a aprendizagem de condicionais, que no ciclo anterior aconteceu somente com dois alunos. A Tabela 4.27 apresenta os resultados do teste. As linhas em fundo acinzentado representam as questões que obtiveram um nível de significância menor que 0,05, rejeitando a hipótese nula de igualdade entre as amostras, e nesses casos a última coluna apresenta a amostra com maior média. Novamente a questão 12 nos surpreendeu, demonstrando que no ciclo anterior houve maior satisfação com a qualidade gráfica do jogo do que nesse ciclo. Nas demais questões, sempre o ciclo atual teve os melhores resultados. Os alunos encontraram mais evidências de relação entre o jogo e a disciplina (08), acharam o contexto da esplanada mais atraente (11), que a música ditou mais o ritmo de trabalho deles (13), e se sentiam mais motivados em estar mais bem posicionados na tabela de classificação (18) e abrir seu próprio negócio (19) do que os alunos do ciclo anterior.

Tabela 4.27 – Comparação da diversão e aprendizagem entre os ciclos 2 e 3 Questão p Ciclo 2 (n) Amostra que excedeu 01 0,942 12 - 02 0,896 12 - 04 0,738 12 - 05 0,146 12 - 06 0,850 12 - 07 0,247 12 - 08 0,001 44 3 09 0,569 10 - 10 0,738 44 - 11 0,004 48 3 12 0,000 48 2 13 0,032 44 3 14 0,522 42 - 15 0,222 42 - 16 0,287 42 - 17 0,117 44 - 18 0,034 44 3 19 0,005 44 3 20 0,375 42 - 21 0,598 42 -

Aplicamos o instrumento EGameFlow após a 20ª missão. Criamos uma versão reduzida apenas com as 10 questões mais relevantes para aquele momento e mais duas questões abertas sobre o que MAIS e o que MENOS agradaram no jogo (Apêndice I). Calculamos a média dessas questões e executamos o teste de Mann-Whitney em relação ao ciclo anterior. Naquele ciclo foram 22 respostas (n=22) e neste foram 29 respostas (n=29). A Tabela 4.28 apresenta as médias de ambos os ciclos nas 6 dimensões limitadas entre as 10 questões. Foram encontradas diferenças estatisticamente significativas (p<0,05) na dimensão suporte e na média total, podendo indicar a necessidade de melhorias para o próximo ciclo. Para um melhor entendimento, realizamos uma análise individual das questões (Tabela 4.29). A única questão com diferença significativa é “F2-Eu recebi suporte imediato sobre minhas ações”. Como já foi constatado no inquérito anterior (na 15ª missão), os alunos sentiram a necessidade de maior suporte durante o jogo. Ainda, em relação ao suporte nesse momento da avaliação, na questão “F1-Eu recebi suporte sobre o meu progresso durante o jogo”, apesar de não haver uma diferença estatisticamente significativa, a sua média foi inferior se comparada ao ciclo anterior. Somando a isso, o que mais foi mencionado na questão aberta sobre o que menos agradou diz respeito ao suporte. Todas essas respostas podem nos indicar a necessidade de investimento para melhorar o suporte.

Tabela 4.28 – Comparação do EGameFlow entre os ciclos 2 e 3

Ciclo ^Concentra ção

Clareza dos objetivos

Suporte Desafio Autonomia Imersão Total

2 ^4,05 (±0,849) 4,23 (±0,685) 3,84 (±0,834) 3,68 (±1,129) 3,55 (±1,057) 3,45 (±1,066) 3,82 (±0,957) 3 ^3,75 (±1,070) 3,83 (±0,759) 3,10 (±1,307) 3,48 (±1,090) 3,62 (±1,049) 3,62 (±1,226) 3,56 (±1,146) p 0,143 0,063 0,005* 0,504 0,718 0,344 0,031*

168 Capítulo 4 - Processo de Investigação Tabela 4.29 – Comparação dos itens do EGameFlow entre os ciclos 2 e 3

Questão Ciclo 2 Ciclo 3 p

C3 4,41 (±0,666) 4,00 (±1,069) 0,176 C7 3,73 (±0,883) 3,41 (±1,119) 0,443 C8 4,00 (±0,873) 3,83 (±0,966) 0,608 G1 4,23 (±0,685) 3,83 (±0,759) 0,063 F1 3,82 (±0,907) 3,17 (±1,284) 0,078 F2 3,86 (±0,774) 3,03 (±1,349) 0,028* H3 3,68 (±1,129) 3,48 (±1,090) 0,504 A7 3,55 (±1,057) 3,62 (±1,049) 0,718 I1 3,64 (±0,953) 3,41 (±1,162) 0,754 I7 3,27 (±1,162) 3,83 (±0,966) 0,081

Em relação ao que mais agradou os alunos, a maioria mencionou sobre o desenvolvimento do raciocínio lógico e a aprendizagem de programação usando jogos. Novamente, podemos verificar que a abordagem de jogos para o aprendizado é uma novidade bem-vinda para os alunos, como uma forma de praticarem o desenvolvimento de resolução problemas, que é uma das habilidades elementares que se espera adquirir uma disciplina introdutória de programação.

4.7.2.3.6 Inquérito Final

Após o final da experiência foi aplicado o último inquérito. O inquérito completo contém 39 questões (Apêndice J) originárias dos inquéritos de aprendizagem e diversão percecionados, EGameFlow reduzido e algumas questões novas. Os alunos foram agrupados utilizando os mesmos procedimentos do ciclo anterior, existindo um conjunto de questões para cada grupo. A diferença entre as questões está basicamente nas perguntas sobre o conteúdo aprendido, por exemplo, “Eu aprendi com o jogo a usar ciclos” ou “Eu aprendi com o jogo a usar condicionais”. Além de questões com cinco níveis de concordância na escala Likert, também existiam questões de resposta aberta. A Tabela 4.30 lista as características de cada grupo: o tamanho da amostra e quantos desses responderam, os assuntos que praticaram no jogo conforme as missões jogadas, e a quantidade de questões para cada grupo. O Apêndice J apresenta a relação dessas questões para cada grupo.

Tabela 4.30 – Grupos no inquérito final do Ciclo 3

Grupo Amostra Respondeu Assuntos jogados Quantidade

de questões

1 9 8 Fase 9 completa 37

2 6 6 Condicionais completo 38

3 8 5 Introdução dos condicionais completo 36

4 7 2 Iniciando nos condicionais 34

5 6 2 Jogavam variáveis 29

6 8 4 Não entrou no jogo 2

Para comparar a avaliação entre os grupos, executámos o teste não-paramétrico de amostras independentes de Kruskal Wallis. Ainda, calculámos a média dos itens para identificar aqueles que exigirão mais atenção para o próximo ciclo. A Tabela 4.31 apresenta o resultado desses cálculos. Três itens tiveram diferenças estatisticamente significativas (p<0,05) entre os grupos. O G3 apresentou menor sensação de controlo (Q15) entre os cinco grupos, e G1 a maior sensação. O G3 foi aquele que sentiu maior sensação de passagem do tempo durante o jogo (Q19) e G5 foi o que menos teve essa sensação de imersão. G1 estava mais preocupado em ganhar pontos para personalizar o avatar (Q23) e o G3 era o menos preocupado com isso. Os demais itens não tiveram diferenças estatisticamente significativas entre os grupos. Ao avaliarmos os itens com médias menores que três, pudemos concluir que os alunos demonstraram não estarem entusiasmados para jogarem (Q18), que a música não ditava o ritmo de trabalho (Q22) e que não tinham tanto interesse em relação à personalização do avatar (Q23). A questão 21 referia-se à desmotivação que a qualidade gráfica poderia interferir. Ao contrário do inquérito anterior, onde a maioria havia respondido que concordavam que estavam desmotivados, nesse inquérito final a média de 2,65 indica que estão satisfeitos com a qualidade gráfica do jogo. Quatro itens estavam acima da média 4,00. Os alunos concordaram que a maior parte do tempo gasto no jogo era concentrado com tarefas de aprendizagem (Q01), que entenderam o que os blocos faziam (Q16), que aperfeiçoaram seu conhecimento quanto ao raciocínio lógico (Q25), aprenderam a usar condicionais (Q27) e perceberam grande relação do jogo com os assuntos na disciplina (Q33). Vale destacar que a questão 39 perguntava aos alunos se eles recomendavam que o jogo fosse usado no semestre seguinte, o que resultou na média 3,87.

170 Capítulo 4 - Processo de Investigação Tabela 4.31 – Análise do inquérito final no Ciclo 3

Questão Média p Menor Maior

01 4,04 (±0,825) 0,052 02 3,04 (±1,186) 0,665 03 3,43 (±1,037) 0,620 04 3,61 (±1,033) 0,428 05 3,65 (±0,935) 0,330 06 3,74 (±1,096) 0,662 07 3,43 (±0,896) 0,500 08 3,09 (±1,125) 0,300 09 3,09 (±1,164) 0,149 10 3,35 (±0,982) 0,720 11 3,13 (±1,014) 0,456 12 3,70 (±0,876) 0,092 13 3,09 (±1,203) 0,269 14 3,35 (±1,027) 0,846 15 3,13 (±0,968) 0,029* G3: 2,00 (±0,707) G1: 3,63 (±0,518) 16 4,09 (±0,733) 0,410 17 3,17 (±1,154) 0,072 18 2,87 (±1,254) 0,312 19 3,57 (±1,343) 0,038* G5: 1,50 (±0,707) G3: 4,60 (±0,894) 20 3,30 (±1,428) 0,496 21 2,65 (±1,229) 0,511 22 2,61 (±1,340) 0,234 23 2,87 (±1,456) 0,024* G3: 1,40 (±0,548) G1:3,88 (±1,126) 24 3,93 (±1,141) 0,135 25 4,10 (±0,768) 0,435 26 3,95 (±0,740) 0,224 27 4,05 (±0,621) 0,911 28 3,86 (±1,167) 0,070 29 3,67 (±0,966) 0,490 30 3,71 (±0,902) 0,528 31 3,86 (±0,793) 0,163 32 3,70 (±0,822) 0,706 33 4,17 (±0,650) 0,620 34 3,68 (±0,946) 0,109 38 3,87 (±1,325) 0,529

A questão 35 perguntava aos cinco grupos “Qual foi a tua maior dificuldade enquanto jogavas?”. Houve 23 respostas. A resposta mais citada foi “compreender os erros e criar a solução” com 12 ocorrências. Outras respostas referiam-se à compreensão dos enunciados, prazo para cumprir as conquistas e a incoerência com a dificuldade entre as missões.

A questão 36 perguntava a todos os grupos “Sugira algum recurso que mais te atrairia se tivesse no jogo.”. Houve 27 respostas, onde 9 delas pediram mais suporte, como apontar com mais clareza os erros, ter mais dicas no jogo e mostrar a solução das missões após concluí-las. Outras sugestões foram “chat entre jogadores e um sistema offline”, “Poder escolher o nome do personagem (…)”, “Copiar e colar blocos das fases anteriores”, e “(…) e digitarmos os códigos”.

A questão 37 perguntava aos grupos 2, 3, 4 e 5 “Qual foi o principal motivo que te fez parar de jogar?”. Houve 15 respostas, onde a resposta mais evidente (n=8) foi conciliar o tempo gasto com o jogo e com as outras obrigações das aulas.

A questão 39 era exclusiva para o grupo 6: “Qual foi o principal motivo de não jogares?”. Com 4 respostas, onde 3 responderam por falta de interesse e outro por falta de tempo.

Avaliámos as diferenças entre a aprendizagem percecionada quando estavam a meio do jogo (pelo inquérito anterior) e ao final da experiência. Ambos os questionários foram respondidos por 21 alunos. Foi executado um teste não-paramétrico Wilcoxon de amostras emparelhadas para verificar se existem diferenças entre os dois momentos. Existem duas questões com diferenças estatisticamente significativas (p<0,05): “Q5-Eu aprendi coisas novas com o jogo que foram úteis na disciplina” (p=0,033) negativa, ou seja, na primeira avaliação houve mais concordância com esse item do que na avaliação final; e “Q10-A dificuldade dos desafios estava compatível com o meu conhecimento em programação” (p=0,038) também negativa, demonstrando que os alunos concordaram que o jogo era demasiado difícil para o seu conhecimento.

Também avaliámos a diversão percecionada entre o meio e ao final da experiência usando o teste Wilcoxon. Existiram três questões com diferenças estatisticamente significativas (p<0,05) negativas: “Q12-Eu fiquei desmotivado com a qualidade gráfica do jogo” (p=0,001; “Q20- Eu compreendi as mensagens de erro que o jogo me mostrava” (p=0,007) e “Q21- Eu entendi quais eram os objetivos que não consegui cumprir que o jogo me mostrava” (p=0,021). Em relação a Q12 a diferença significativa demonstrava que eles estavam mais desmotivados a meio do que ao final, e podemos considerar que as mudanças na qualidade gráfica satisfizeram os alunos. Em relação as outras duas questões vão de encontro ao que já definimos anteriormente, sobre a dificuldade do jogo.

4.7.2.3.7 Resumo dos Resultados

Os objetivos desse ciclo foram:

(1) Mensurar o prazer dos alunos com o jogo

Mais alunos jogaram proporcionalmente mais missões se comparado com o ciclo anterior. Na avaliação intermediária a dimensão do suporte foi significativamente inferior à avaliação no ciclo anterior. Como os alunos jogaram mais, sentiram maior dificuldade e precisaram de suporte adicional. Isso foi confirmado na avaliação final, onde os alunos enfatizaram ainda mais que o jogo era difícil. Em termos de elementos de diversão, eles estavam muito motivados em relação a abrirem o seu próprio

172 Capítulo 4 - Processo de Investigação

negócio, ou seja, acumular pontos para desbloquear novas áreas no cenário. Essa turma não demonstrou tanto interesse em personalizar o avatar como a turma anterior. Houve apenas uma sugestão para usar codificação, o que demonstra que os alunos agora com mais tempo para raciocinarem não sentem tanto a necessidade de produtividade na montagem da solução.

(2) Identificar lacunas para melhorar a sua diversão

É evidente que os alunos acharam o jogo difícil. Várias sugestões de melhorar o suporte, as dicas e a ajuda vão de encontro a um sistema inteligente que perceba as dificuldades dos jogadores e possa assisti-los dentro do contexto em que estejam. As dicas são apresentadas quando o aluno fica inerte no jogo, e a partir de verificação simples (por exemplo, a existência ou não de certos blocos na solução) é apresentada uma mensagem sugerindo que o aluno examine seu código para a possibilidade de fazer a alteração, ou inserção, de blocos específicos conforme o resultado da verificação simples. Como o enfoque dessa investigação não é aplicação de sistemas inteligentes, devemos fazer para o próximo ciclo a revisão no projeto instrucional para introduzir missões que possam responder melhor às dificuldades dos alunos. Em relação aos aspetos de elementos de jogo para motivarem a diversão, os resultados dos inquéritos demonstraram que não precisamos mais investir nessa direção.

(3) Verificar se os desafios na sequência das missões oferecem o sentimento de fluxo

Existe uma alternância entre missões fáceis e difíceis criando essa variação entre os momentos de sentimento de controlo e tensão. Além disso, com a proposta de sequenciamento das fases, permitiu-se que os alunos continuassem a jogar mesmo não conseguindo concluir uma determinada missão. Inclusive aconteceram situações em que os alunos concluíram fases mais difíceis antes das mais fáceis, por exemplo, as fases 6 e 7. As quatro missões mais difíceis estavam nas primeiras quatro fases, principalmente na segunda fase que era pré-requisito para abrir outras duas. Aproximadamente 16% dos alunos desistiram já na segunda fase. O desafio está muito alto logo no começo. O assistente de pseudocódigo manteve alguns alunos jogando, uma vez que a média entre a primeira missão que ele foi usado e a última missão concluída pelos 19 alunos que o usaram foi em torno de 30 missões, ou seja, ele não foi usado por poucos alunos várias vezes, mas em situações de necessidade.

(4) Identificar se o jogo contribuiu para a aprendizagem do aluno

Baseando-se na aprendizagem percecionada, os alunos tinham um alto grau de confiança (em torno de 80%) de que estavam aprendendo com o jogo ao meio da experiência. Essa confiança diminuiu um pouco quando avaliado ao final da experiência. Os alunos jogaram durante muitas horas se comparado com o ciclo anterior, até porque eram motivados em conquistar ponto extra para as provas. Entretanto é preciso usar um instrumento de avaliação da disciplina para comparar o desempenho do aluno no jogo e na disciplina.

A forma de integração com as aulas ainda precisa ser melhorada, visto que os alunos responderam no inquérito final que o jogo representa uma sobrecarga de trabalho, pois eles ainda precisavam resolver concomitantemente exercícios de programação. Isso pode ser comprovado pela adesão de alunos no jogo: nas primeiras semanas, onde existem menos trabalhos e exercícios em sala, a maioria dos alunos resolveu as missões.