Pós-teste

Com o intuito de verificar a influência do método, aplicamos um pós-teste com as mesmas questões utilizadas no início da pesquisa. O pós-teste foi realizado ao fim de todas as etapas do CEK, assim, partimos da premissa de que se compararmos os resultados do pré-teste e pós- teste poderemos testar a hipótese deste trabalho.

Pelo Gráfico 3 - Quantitativo das respostas no pós-teste é possível perceber o grande número de acertos marcados com certeza pelos alunos. Isso indica, como também mostra o gráfico, que o índice de erros e dúvidas diminuiu. Ainda assim percebemos que em algumas questões observa-se um índice menor de acertos, como as questões de número 11, 15 e 7. Percebemos também que alguns alunos ainda responderam questões erradamente, mas acreditando estarem corretos, demonstrando a persistências de algumas concepções alternativas

A tabela abaixo mostra mais detalhadamente a quantidade de respostas dada pelos alunos na categoria acertou com certeza:

Alunos A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 A11 A12 Média Geral

Pré-Teste 5 4 6 4 3 3 7 1 1 3 3 2 3,5

Pós-Teste 13 10 15 6 9 11 13 9 8 10 9 8 10,1

Quadro 7 - Quantitativo de respostas da categoria Acertou com Certeza por aluno.

O histograma da distribuição de acertos marcados com certeza permite uma visualização gráfica do índice de acertos no pré-teste e no pós-teste.

Gráfico 4 - Histograma da distribuição da quantidade de Acertos com Certeza no Pré-Teste e Pós-Teste.

Percebemos através dos histogramas (Gráfico 4) e da tabela (Quadro 7) que houve um deslocamento positivo da média geral no pós-teste em relação ao pré-teste. A distribuição

também se tornou mais homogênea no pós-teste onde 50% dos alunos tiveram acertos em torno da média e a grande maioria acertou mais da metade da prova.

Mesmo observando que houve um aumento na média de 3,5 no pré-teste para 10,1 no pós- teste, precisamos de um critério que indique que realmente esse aumento foi devido à sequência didática ou se deve apenas ao acaso. Para isso foi realizado um teste estatístico que indicará se as duas médias possuem uma diferença estatisticamente significativa ou não. Como nossa amostra possui menos de 30 elementos (n<30) e os dados são analisados aos pares, iremos utilizar o Teste t-Student para duas amostras pareadas que nos indicará um intervalo de confiança onde podemos testar nossas hipóteses.

Para iniciarmos a análise teremos que primeiramente definir as hipóteses do nosso teste: Hipótese Nula H0: Não há diferença significativa entre as médias.

Hipótese Alternativa H1: Há uma diferença significativa entre as médias e indicam que houve uma melhora nos índices de acertos no pós-teste.

Como a definição das hipóteses sugere um sentido, ou seja, que X1(média no pré-teste) < X2 (média no pós-teste), teremos que aplicar um teste t para duas amostras pareadas monocaudal à esquerda.

Para auxiliar no processo de analise utilizamos o pacote estatístico XLSTAT 2010 esse pacote se integra ao Microsoft Excel 2007 possibilitando uma série de testes estatísticos, de organização e analise de dados. Escolhemos como 5% o nível de significância do teste, ou seja, existem 5% de chance de se rejeitar a hipótese H0 sendo esta verdadeira, esse nível de significância é bem aceito nas pesquisas da área de ciências humanas.

A tabela abaixo ilustra os dados gerados através do XLSTAT 2010.

Tabela 1- Dados gerados pelo XLSTAT 2010.

Teste t para duas amostras pareadas / Teste unilateral à esquerda:

Diferença -6,583 t (Valor observado) -12,800 t (Valor crítico) 1,796 GL 11 p-valor (unilateral) < 0,0001 Alfa 0,05

Os parâmetros gerados pelo XLSTAT 2010 podem ser vistos na tabela acima (Tabela 1). O parâmetro Diferença representa a diferença entre as médias alcanças no pré-teste e no pós- teste definida por X1 – X2, onde X1 é a média obtida no pré-teste e X2 é a média obtida no pós-teste. O fato deste parâmetro ser negativo indica que a média no pós-teste foi maior que no pré-teste. O parâmetro t(Valor observado) corresponde ao valor de t calculado através do software Estatístico. O t(Valor crítico) corresponde ao valor de t encontrado na tabela da distribuição t-Student correspondente ao grau de liberdade 11 (definido como GL= n-1) e nível de significância de 5%. O parâmetro p-valor indica a probabilidade de se encontrar uma amostra que se encontre na hipótese nula, ou seja, enquanto menor o p-value mais difícil de aceitar a hipótese nula. O parâmetro alfa indica o nível de significância adotado.

A partir dos dados podemos afirmar que, como o p-valor calculado é menor que o nível de significância alfa=0,05, deve-se rejeitar a hipótese nula H0 em favor da hipótese alternativa H1 e o risco de rejeitar a hipótese nula H0 quando ela é verdadeira é menor do que 0,01%. Outra forma de se chegar a mesma conclusão é analisando o valor de t(Valor observado). Como o teste foi unilateral à esquerda, então:

Se , então aceitaríamos a hipótese H0.

Se , então rejeitaríamos a hipótese H0 em favor da hipótese H1.

Como no nosso caso , então com um nível de significância de 5% rejeitamos a hipótese H0 em favor da hipótese H1.

Sendo assim encontramos como resultado que a um nível de significância de 5% que a sequência didática contribuiu positivamente para o aumento dos índices de acertos no pós- teste.

Outro fator que iremos analisar é a categoria Errou com Certeza, pois, como foi dito anteriormente, é através dessa categoria que podemos inferir as concepções alternativas que os alunos possuem.

Gráfico 5 - Diferença entre o Pré-teste e o Pós-teste na categoria Erros com Certeza (por aluno)

Observando os gráficos acima (Gráfico 5) percebemos que a quantidade de respostas da categoria Erro com Certeza diminuiu em relação ao pré-teste. No entanto, apesar da influência positiva na quantidade acertos entre o pré-teste e o pós-teste, alguns alunos permaneceram com alguns indícios de concepções alternativas.

Mesmo com a persistência das concepções espontâneas, iremos analisar estatisticamente se houve uma diminuição significativa das respostas pertencentes à categoria dos erros com certeza entre o pré-teste e o pós-teste.

Nossas hipóteses nesse caso são:

Hipótese nula H0: Não há diferença significativa entre as médias.

Hipótese alternativa H1: Hipótese Alternativa H1: Há uma diferença significativa entre as médias e indicam que houve uma diminuição significativa das respostas errou com certeza no pós-teste.

Mais uma vez utilizando o XLSTAT 2010, obtemos a seguinte tabela:

Tabela 2 - Dados gerados pelo XLSTAT 2010

Teste t para duas amostras pareadas / Teste unilateral à direita:

Diferença 2,083

t (Valor observado) 3,654

GL 11

p-valor (unilateral) 0,002

Alfa 0,05

A partir dos dados da Tabela 2 podemos afirmar que como o p-valor calculado é menor que o nível de significância alfa=0,05, deve-se rejeitar a hipótese nula H0 em favor da hipótese alternativa H1 e o risco de rejeitar a hipótese nula H0 quando ela é verdadeira é menor do que 0,2%. Outra forma de se chegar a mesma conclusão é analisando o valor de t(Valor observado). Como o teste foi unilateral à direita, então:

Se , então aceitaríamos a hipótese H0.

Se , então rejeitaríamos a hipótese H0 em favor da hipótese H1.

Como no nosso caso , então com um nível de significância de 5% rejeitamos a hipótese H0 em favor da hipótese H1.

Sendo assim encontramos como resultado que a um nível de significância de 5% a sequência didática contribuiu para que houvesse uma diminuição na quantidade de respostas da categoria errou com certeza, inferindo assim uma diminuição das concepções alternativas apresentadas pelos alunos.

Após a analise do pré-teste e pós-teste para todos os participantes da pesquisa, iremos na próxima seção analisar individualmente os instrumentos de pesquisa utilizados em cada etapa da sequência didática.