Procedimento de análise dos dados

5.2.4.1 Conhecimento factual e conceitual dos alunos

O conjunto de declarações do pré-teste e do pós-teste avaliou o conhecimento factual dos alunos. Julgar cada assertiva corretamente exigiu informações apresentadas em uma única área de conhecimento (descritas na seção 5.2.3.2). Para atribuição da nota, foi verificada a qualidade do julgamento dado pelo aluno. Por exemplo, a afirmação Fogos de artifício apresentam cor

devido à presença de corantes em sua composição está incorreta. Se o aluno marcasse

isso. Se ele marcou “discordo plenamente” ele recebeu +2 pontos e se ele marcou discordo parcialmente ele recebeu +1 ponto. Nesse caso, o aluno teria algum tipo de incerteza em seu conhecimento factual que o impediu de declarar com confiança a incorreção nessa assertiva. Essa dúvida faz com que ele deixe de ganhar a pontuação máxima atribuída a essa afirmação.

De modo análogo, se na afirmação correta, Elétrons podem absorver energia quantizada, o aluno assinalou “discordo” (parcialmente ou totalmente) ele foi penalizado por esse julgamento, sendo atribuído um valor negativo a essa afirmação. Se ele assinalou “discordo totalmente” ele foi penalizado em -2 pontos, enquanto para o “discordo parcialmente” o valor foi de -1 ponto. A alternativa “não sei ou não quero responder” não foi contabilizada para a nota total do questionário (i.e., foi atribuído um valor zero). A soma dos valores de todos os julgamentos feitos pelo aluno gerou a sua nota no pré e pós-teste, variando na escala original de -15 a +15, transformados em uma escala de nota de 0 a 10.

A pergunta dissertativa Qual é a diferença entre os fogos de artifício de cor laranja e

verde? avaliou o conhecimento conceitual dos alunos. Responder a esta pergunta corretamente

exigiu uma combinação de informações apresentadas em todas as quatro áreas do conhecimento presentes no MC (descritas na seção 5.2.3.2).

As respostas dos alunos foram classificadas em categorias e subcategorias (Tabela 7), revelando um nível progressivo de compreensão sobre o fenômeno dos fogos de artifício, desde as respostas em branco, os erros conceituais, passando pelas respostas mais ingênuas (e.g., por causa da composição dos fogos) até as respostas mais complexas e elaboradas (e.g., por conta da emissão de luz correspondente às radiações no espectro visível). Segundo Wang & Barrow, (2013), quando os alunos migram de um alto nível de conhecimento no tema para um baixo nível de conhecimento, a qualidade do poder explicativo fornecido em suas respostas entra em declínio. Por isso, espera-se que o sistema de categorização adotado para classificação das respostas seja capaz de revelar o nível de entendimento conceitual dos alunos sobre o tema em questão.

Dois pesquisadores independentes classificaram as respostas com uma análise de concordância entre avaliadores, Cohen de Kappa de 0,69 (acordo substancial) para o pré-teste e 0,63 (acordo substancial) para o pós-teste (Landis & Koch, 1977). Conflitos identificados na classificação foram resolvidos antes de se reportar aos resultados obtidos.

Tabela 7. Estudo I - categorias e subcategorias definidas e exemplificadas para análise das respostas dos alunos à

questão dissertativa do pré-teste e do pós-teste.

Categoria Subcategoria Código O aluno declara que a causa das cores nos fogos de artifício se deve:

Exemplo

Ausente Em branco EB Resposta em branco. -

Não sei NS Não sabe a resposta. “Não tenho a mínima

ideia” Erros

Conceituais

EC A algum fenômeno que não condiz com o

conhecimento científico ou referente a uma declaração confusa.

“Fogos de artifício é o mesmo que combustão de átomos químicos”

Composição Química

Composição CQ À composição química ou a substância presente nos fogos.

“A substância química que os compõe” Elemento

químico

EQ Ao elemento químico presente nos fogos ou em sua composição.

“A diferença está no uso de diferentes tipos de elementos químicos” Transição eletrônica Nível de energia NE Aos níveis/subníveis de energia ou a diferença entre eles quando absorvem calor.

“Os níveis de energia em que cada elétron estão antes e depois da queima” Absorção/

emissão de luz

EL À absorção de energia e/ou emissão de luz, energia ou cor. Pode ou não haver menção sobre elétrons e energia quantizada.

“Depende da energia quantizada liberada”

Espectro eletromagnético

EE A algum fenômeno que envolva excitação eletrônica, luz emitida e sua correspondência ao espectro eletromagnético, podendo ou não mencionar o visível.

Ao fenômeno da luminescência e/ou incandescência.

“A energia emitida sob a forma de luz visível é diferente, assim a frequência e o

comprimento de onda no espectro luminoso correspondem a uma cor diferente”

Fonte: a autora.

5.2.4.2 Ganho de conhecimento factual e medidas de esforço mental

O ganho de conhecimento factual também foi determinado para cada grupo experimental dado pela diferença entre a nota no pós-teste e pré-teste. A média e o desvio-padrão do esforço

mental percebido pelos alunos em cada tarefa também foram calculados e comparados entre os grupos.

5.2.4.3 Eficiência da instrução

Uma análise adicional foi conduzida combinando a média do desempenho (D) dos alunos considerando o ganho de conhecimento factual e a média do esforço mental (EM) para compreender o conteúdo do MC, ambos transformados na escala normalizada Z.21 _{Paas e van}

Mirrenböer (1993) definem essa abordagem como Eficiência da Instrução (E), sendo calculada conforme a Equação 1 a seguir:

𝐸 = 𝐷 − 𝐸𝑀𝑀𝐶

√2 (Equação 1)

Esta abordagem assume uma hipotética condição de base em que cada unidade de esforço mental investido (EM) resulte em uma unidade de desempenho (D). Como pode ser observado a partir da fórmula, o valor de E pode ser positivo ou negativo dependendo da combinação entre D e EM. Se o desempenho for maior do que o esperado, com base nas medidas de esforço mental (i.e., D > EM), o valor de E será positivo, o que significa que a condição de instrução avaliada tem uma eficiência relativamente alta. Por outro lado, se o esforço mental investido na tarefa for inferior ao esperado, considerando as medidas de desempenho (i.e., D < EM), o valor de E será negativo, o que significa que a condição de instrução tem uma eficiência relativamente baixa. Os valores de E podem ser visualmente espalhados em torno de uma diagonal quadrada (i.e., √2 ), levando em consideração as médias dos valores de D e EM como pontos cartesianos (x e y) em um gráfico 1 x 1.

21 _{Para obter os valores de desempenho e esforço mental em escala Z (ou Z-score), procede-se a}

normalização dos dados, ou seja, cada valor da amostra é subtraído da média da população e dividido pelo desvio- padrão da população. Com isso é obtido um valor normalizado em função do comportamento da população, variando de -1 a +1.

5.2.4.4 Análises quantitativas (estatísticas) e qualitativas (categorias)

Primeiramente, as médias e desvios-padrão foram obtidos para cada grupo experimental considerando as variáveis dependentes em análise. Em seguida, conduziu-se a ANOVA de fator único com repetição de fator, seguida de testes-t independentes, com auxílio do programa SPSS 22.0 (IBM, EUA) e nível de significância 0,05. Foi analisado o impacto da adição de dicas gráficas no desempenho dos alunos no pós-teste (conhecimento factual), no ganho de conhecimento factual, nas medidas de esforço mental e de eficiência da instrução.

Em seguida, uma análise qualitativa foi realizada a partir da classificação às respostas dos alunos à pergunta dissertativa (conhecimento conceitual), tendo sido analisados: (1) os principais erros e dificuldades conceituais dos alunos identificados no pré-teste (conhecimento prévio) e (2) se o nível de compreensão sobre o fenômeno dos fogos de artifício diminuiu, se manteve ou aumentou após o período de estudo com os diferentes tipos de MCs. Uma abordagem similar foi adotada por Benarroch (2000). As respostas de alguns alunos (identificados pela letra A e seu número sequencial dado pela ordem alfabética) são fornecidas para exemplificar os padrões encontrados, mantendo-se o anonimato dos participantes conforme orientações éticas para pesquisas com seres humanos.