Pré-teste Pós-teste
Figura 28 – Gráfico de respostas por teste do primeiro experimento
Ainda na Figura28observa-se uma diminuição de 57,1% na quantidade de respostas deixadas em branco de 14 para 6. Aos alunos foi recomendado que deixassem as respostas das questões em branco caso não tivessem certeza da resposta. Dessa maneira, conclui-se que os alunos tiveram maior confiança em responder as questões do pós-teste.
O gráfico boxplot na Figura29mostra a concentração de 50% dos valores dos acertos, representados pela extremidade inferior (1oquartil, ou percentil de 25%) e superior (3oquartil, ou percentil de 75%) da caixa, a mediana das notas (barra central da caixa), a maior e a menor nota (barras verticais com intimidades) e, caso existam, os outliers (representadas por pontos no gráfico).
Nesta Figura29observa-se que a concentração das notas no pré-teste ficou entre 7 e 9 acertos com a mediana em 8; no pós-teste houve uma melhora do resultado, a concentração ficou entre 8 e 12 acertos, com a mediana em 11. Analisando esse resultado temos uma concentração de acertos maior no pós-teste, além de uma mediana maior, evidenciando que os alunos tiveram uma melhora significativa no conhecimento.
Na Figura30, pode ser observada uma melhora nos resultados do pré-teste para o pós- teste na quantidade de acertos por assuntos. Isso pode ser verificado nas questões de motivação, aspectos estruturais, aspectos funcionais, impacto no desempenho e políticas de substituição, as quais tiveram melhora nos resultados. Destas, destacam-se as questões sobre aspectos estruturais
7.3. Avaliação quantitativa 101
Figura 29 – Boxplot de acertos por testes do primeiro experimento
de memória virtual (2 questões por testes) e políticas de substituição (3 questões por testes) que tiveram uma melhora de 47,1% e 40,9%, respectivamente.
14 9 15 11 13 8 16 17 18 14 22 6 0 5 10 15 20 25 30
Motivação Estrutura de MV Funcionalidade de MV Desempenho de MV Políticas de
Substituição TLB Q ua nt id ad e de a ce rt os Assunto Acertos por assunto
Pré-teste Pós-teste
Figura 30 – Gráficos de acertos por assunto do primeiro experimento
Ainda na Figura30, observa-se uma queda do pré-teste para o pós-teste na quantidade de acertos referente à TLB. Alguns fatores que podem explicar o ocorrido são o nível de dificuldade do pós-teste, dificuldade de entendimento do pós-teste, dificuldades pontuais ou falta de uma ênfase maior com o uso do REA nesses assuntos. No entanto, o experimento realizado não nos permite apontar com exatidão o principal causador desta queda pontual. Tal aspecto foi melhor investigado no próximo experimento.
O segundo experimento contou com a participação de 11 alunos que tiveram contato recente com o assunto de memória virtual. O pré-teste e pós-teste contêm 10 questões cada, relacionadas aos assuntos de políticas de substituição e TLB. Os assuntos abordados possuem
um conteúdo extenso que poderia ser melhor explorado com o auxílio do REA Amnesia, dando um foco maior no assunto de TLB, devido aos resultados não favoráveis obtidos no primeiro experimento. Além disso, houve algumas modificações nos planos de aula, melhorando a apresentação do assunto TLB.
Para este segundo experimento, somente 7 alunos participaram da aula com auxílio do REA Amnesia, pois a participação da aula com o REA foi voluntária. Isso nos permitiu realizar uma análise de dois cenários. O cenário 1 contou com 7 alunos que utilizaram o REA Amnesia; o cenário 2 contou com 4 alunos que não tiveram nenhuma aula (sobre o conteúdo memória virtual) entre os testes. A Figura 31 mostra a quantidade de questões respondidas de forma correta, errada e deixadas em branco para o segundo experimento nos dois cenários. Lembrando que foi recomendado aos alunos que deixassem as respostas em branco caso não tivessem certeza da resposta.
Figura 31 – Gráficos de respostas do segundo experimento
Podemos observar na Figura31que a quantidade de acertos no pré-teste dos alunos do cenário 1 é de 45,7%, no pós-teste houve uma melhora de 21,4% na quantidade de questões certas, e consequentemente, uma diminuição de 8,5% na quantidades de questões erradas do pré-teste (37,1%) para o pós-teste (28,6%). Além disso, ocorreu uma maior confiança no momento de responder as questões, pois somente 4,3% das questões do pós-teste foram deixadas em branco, contra 17,1% deixadas no pré-teste.
O cenário 2 apresentou um quadro inverso, em que a quantidade de questões certas no pré-teste foi de 50%, tendo uma queda no pós-teste de metade na quantidade questões certas ficando em 25%. Além disso, a quantidade de questões erradas foi de 72,5% no pós-teste, apresentado uma queda desempenho dos alunos. Seria muito interessante ministrar uma aula para esses alunos com ou sem o REA Amnesia, com o intuito de auxiliar a absorção do conteúdo de memória virtual.
7.3. Avaliação quantitativa 103 Na Figura32podemos ver a distribuição dos resultados dos testes no gráfico boxplox do Cenário 1 e 2, com os resultados do pré-teste e pós-teste. No Cenário 1 podemos observar que a concentração das notas ficou entre 3 e 6 acertos com mediana em 4; já no pós-teste, a concentração ficou entre 6 e 7 acertos e com mediana em 7, ou seja, os alunos obtiveram uma melhora nos resultados do pós-teste com auxílio do REA Amnesia
Figura 32 – Boxplot de acertos dos dois cenários do segundo experimento
Ainda na Figura32podemos ver que a menor e a maior nota do cenário 1 no pré-teste foram 1 e 8 respectivamente; no pós-teste podemos ver dois outliers, representando dois alunos que obtiveram a menor nota (4) e a nota máxima (10) respectivamente. Com os resultados foi constatado que 6 de 7 alunos ficaram com nota acima da média, mostrando assim uma melhora significativa nos resultados com auxílio do REA Amnesia.
No pré-teste do Cenário 2 a concentração das notas estava em 4 e 6 com mediana em 6, ou seja, as notas do pré-teste do cenário 2 estavam melhores do que as notas do pré-teste no cenário 1. No pós-teste a nota do cenário 2 ficou extremamente baixa entre 1 e 3 com mediana em 2 e somente com 1 aluno (nota 6) acima da média. Esse resultado mostra, que os alunos que não tiveram sequer uma aula teórica sobre o conteúdo de memória virtual, tiveram uma queda no desempenho.
Na Figura 33 são apresentados os resultados de acertos por assuntos. No cenário 1 podemos ver que houve uma melhora nos resultados das questões certas em relação aos assuntos abordados (políticas de substituição e TLB), essa melhora é mais evidente no resultado do assunto TLB, onde houve uma melhora de 37% na quantidade de questões certas do pré-teste para o pós-teste.
A melhora significativa no resultado do assunto TLB, é devido ao foco empregado na apresentação desse assunto neste experimento. Como no primeiro experimento tivemos um resultado desfavorável no assunto TLB (Figura30), este experimento mostrou que um reforço no
54,3% 37,1% 60,0% 40,0% 60,0% 74,3% 25,0% 25,0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Politica de Substituição TLB Politica de Substituição TLB
Cenário 1 Cenário 2 % de