Itens

Nesta seção, abordaremos respostas à questão de pesquisa principal, sobre as possíveis vantagens de questões sem contexto sobre questões contextualizadas. Para isso, além de observar o desempenho geral em ambas versões através da média de acertos, determinamos o valor de chi-quadrado (p-valor) e realizamos o Teste Exato de Fisher (TEF) para os dados obtidos.

Tabela 15 Índices de acertos gerais, teste chi-quadrado e Teste Exato de Fisher

ITEM IA CTX IA DIR p-valor TEF

1 2009 I14 0,31 0,35 0,30 0,31 2 2009 I17 0,06 0,07 0,63 0,74 3 2010 I52 0,66 0,73 0,04 0,05 4 2010 I47 0,17 0,16 0,66 0,67 5 2009 I38 0,32 0,31 0,75 0,80 6 2010 I59 0,57 0,63 0,14 0,15 8 2012 I72 0,48 0,46 0,66 0,69 9 2009 I39 0,22 0,24 0,46 0,51 10 2010 I70 0,14 0,12 0,47 0,49 11 2012 I88 0,22 0,24 0,62 0,64

A Tabela 15 apresenta o desempenho de todos os respondentes, o valor do chi-quadrado (p-valor) e o valor obtido pelo Teste Exato de Fisher (TEF) para todas as questões do Simulado. O p-valor e o TEF, em sua essência, analisam as mesmas características, sendo a principal delas, a verificação de uma possível diferença estatisticamente significativa entre as amostras analisadas. Ou seja, as questões se diferenciarão, frente formas contextualizada e descontextualizada quando esses índices apresentam p-valor < 0,05 ou TEF < 0,05 (destaque em negrito).

Com base nos valores obtidos (Tabela 15), apenas a questão três se mostrou estatisticamente diferente perante as duas versões, e sua versão descontextualizada obteve um desempenho superior quando comparada com sua versão contextualizada. Porém, antes de discuti-la, informaremos as distâncias de Cohen (dC) das demais questões, pois esse valor indica, comparativamente, qual

Tabela 16 Distância de Cohen entre questões contextualizadas e diretas do Simulado12

ITEM CONTEXTUALIZADA (CTX) DIRETA (DIR)

Distância de Cohen N IA N IA dC 1 2009 I14 318 0,31 317 0,35 -0,08 2 2009 I17 317 0,06 318 0,07 -0,04 3 2010 I52 318 0,66 317 0,73 -0,16 4 2010 I47 317 0,17 318 0,16 0,04 5 2009 I38 318 0,32 317 0,31 0,03 6 2010 I59 317 0,57 318 0,63 -0,12 8 2012 I72 318 0,48 317 0,46 0,03 9 2009 I39 317 0,22 318 0,24 -0,06 10 2010 I70 317 0,14 318 0,12 0,06 11 2012 I88 318 0,22 317 0,24 -0,04

A Tabela 16 compara as questões aplicadas no Simulado. A última coluna informa as distâncias de Cohen referentes as médias obtidas nas questões CTX em relação às médias das questões DIR, ou seja, para valores de distâncias de Cohen positivos, a média foi superior nas questões contextualizadas e quando negativos, o desempenho foi superior nas questões descontextualizadas. Segundo Cohen (1988), valores de dC ≤ 0,10 não são estatisticamente significativos, o que se aplica na maioria

das distâncias calculadas, ou seja, com exceção das questões três e seis, todas as demais questões não apresentarem diferença significativa diante de seus dois formatos.

As questões três e seis, cujas distâncias estão entre 0,10 e 0,35, consideradas de pequena diferença estatística, foram as que apresentaram maior diferença do ponto de vista da distância de Cohen, e consequentemente, em suas médias.

3 - (ENEM 2010 ADAPTADO) Um forno de micro-ondas mais eficiente é aquele que, para amostras de diferentes substâncias,

a) fornece a maior quantidade de energia às amostras. b) cede energia à amostra de maior massa em mais

tempo.

c) fornece a maior quantidade de energia em menos tempo.

d) cede energia à amostra de menor calor específico mais lentamente.

e) fornece menor quantidade de energia às amostras em menos tempo.

Quadro 1 Item 52 do ENEM de 2010 (prova azul) e sua respectiva questão direta utilizada no Simulado.

Este item pertence ao Objeto do Conhecimento denominado “Energia, trabalho e potência” e compara diferentes tipos de fornos micro-ondas, questionando em qual situação eles apresentariam melhor eficiência. Em seu formato original, cerca de 66% dos respondentes acertaram a questão, enquanto que 73% responderam corretamente quando foi proposta sem contexto.

A distância de Cohen para essa questão foi de -0,16, isso indica que seus formatos apresentaram diferenças estatisticamente pequenas, com desempenho melhor na versão descontextualizada.

A explicação para a diferença pode residir no fato de que, em seu enunciado original, o item apresentou dados como “aquecimento de 10º” e “cinco fornos de marcas distintas”, irrelevantes para encontrar a resposta correta, mas que podem ter conduzido a caminhos diferentes de resolução.

Mendonça et al. (2013) procuraram diagnosticar as dificuldades de alguns alunos do terceiro ano do Ensino Médio de uma escola pública frente alguns itens do ENEM de 1998 e também verificaram que quando são apresentados dados quantitativos no enunciado, o desempenho dos respondentes é aquém do esperado. Não se trata, necessariamente, do principal fator para o baixo rendimento, mas pode contribuir para tal, principalmente quando esses dados não são relevantes para determinar a resposta correta. Além disso os conceitos e conhecimentos abordados em tais problemas devem estar inseridos no processo de ensino e aprendizagem dos

alunos, fazendo parte do contexto social e cultural dos mesmos (MENDONÇA ET AL., 2013). Desse modo, o bom desempenho neste item, tanto quando aplicado no ENEM quanto no Simulado, pode ser justificado pelo utensílio em questão (forno micro- ondas) fazer parte do cotidiano dos estudantes.

É provável que o enunciado, como foi proposto originalmente, tenha desviado a atenção do aluno para analisar situações mais específicas, de diferentes substâncias, visto que o estudo de calorimetria especifica o fenômeno de trocas de calor entre diferentes substâncias. Porém, os respondentes não se atentaram à eficiência do forno micro-ondas. Todas as alternativas comparam, qualitativamente, a quantidade de calor fornecida em função do tempo, e essa relação indica diretamente o conceito de potência:

Pot = Q ∆t

Sendo Pot a potência da máquina; Q a quantidade de calor fornecida às amostras e Δt o tempo necessário para absorver a quantidade de calor Q. Portanto, o enunciado questionou acerca da eficiência do forno micro-ondas, mas exigiu argumentos em função da potência do eletroeletrônico. A alternativa correta, “fornecer a maior quantidade de energia em menos tempo”, indicou diretamente o aumento da potência, pois a quantidade de energia é proporcional à potência e o intervalo de tempo de exposição durante essa troca é inversamente proporcional a ela.

Por outro lado, o conceito de potência é governado por uma lei física que permite diferenciar a potência entre máquinas segundo a quantidade de energia que elas são capazes de fornecer a um sistema em relação ao tempo de funcionamento e que, segundo os PNC+, pertence ao tema estruturador denominado “Calor, ambiente e usos de energia” que exige no Ensino Médio:

... será indispensável identificar fontes de energia térmica e percursos do calor, investigando propriedades de substâncias e processo de transformação de energia. A irreversibilidade dos processos térmicos será indispensável para que se compreendam tanto o sentido do fluxo de calor como a “crise de energia”, assim como limites em sua utilização. Nessa perspectiva, menos ênfase deve ser dada, por exemplo, às escalas termométricas, e mais atenção aos aspectos propriamente termodinâmicos, envolvendo o funcionamento de máquinas térmicas, o próprio conceito de calor e modelos explicativos sobre seu trânsito na matéria, seja no aspecto macroscópico ou microscópico.(BRASIL, 2002, p. 73).

Hernandes e Martins (2013) categorizaram as competências verificadas na área de Ciências da Natureza do ENEM nas edições de 2009 a 2011. O item em análise pertence a uma categoria que visa avaliar/interpretar situações ligadas ao funcionamento de aparelhos/equipamentos/aparatos tecnológicos, que geralmente fazem parte do cotidiano nas pessoas, denominada “Funcionamento de aparelhos/aparatos tecnológicos”. Nela também se enquadram questões que exigem que o respondente compare eficiências entre diferentes tipos de aparelhos (HERNANDES; MARTINS, 2013). Esse grupo de questões sinaliza a importância da Física das coisas, principalmente de equipamentos comuns no cotidiano das pessoas, procurando discutir onde/como a Física atua em seu funcionamento e quais as consequências da ligação entre a teoria e a prática.

Segundo Peixoto e Linhares (2011), o item trata da compreensão de fenômenos e busca verificar a Competência 6 da Matriz de Referência do ENEM, “apropriar-se de conhecimentos da física para, em situações problema, interpretar, avaliar ou planejar intervenções científico-tecnológicas” segundo a Habilidade 21, “utilizar leis físicas e (ou) químicas para interpretar processos naturais ou tecnológicos inseridos no contexto da termodinâmica e(ou) do eletromagnetismo”. Portanto, o item analisado vai de encontro às competências e habilidades propostas pela Matriz de Referência do exame, visto que analisar e interpretar o conceito de potência de aparelhos tecnológicos, como o micro-ondas, requer o conhecimento de leis físicas a respeito das condições de propagação de calor e, no caso, sua taxa de transferência (potência).

Cabe observar, contudo, que o conceito de potência em si apresentou desempenho melhor quando verificado de modo objetivo (descontextualizado), ou seja, o enunciado original presente no item não inseriu o candidato em uma situação problema que exigisse conhecimentos científicos sobre o funcionamento do equipamento, pois as especificações do contexto referentes às amostras e ao objetivo de teste (“...planejou-se um aquecimento de 10ºC...”) foram irrelevantes para a resolução do problema e, ademais, distraíram os respondentes.

Portanto, apesar de inserido corretamente em um dos temas estruturadores do ENEM e avaliar competências e habilidades de sua Matriz, o item 52 de 2010 (prova azul) apresentou uma contextualização que não favoreceu o comando da proposta.

A questão seis do Simulado também apresentou distância de Cohen embora baixa, suficiente para ser analisada mais detalhadamente.

6 - (ENEM 2010 ADAPTADO) Em áreas urbanas, devido à atuação conjunta do efeito estufa e das "ilhas de calor" (formadas pela retenção do calor por asfalto e concreto), espera-se que o consumo de energia elétrica

a) diminua devido à utilização de caldeiras por indústrias metalúrgicas.

b) aumente devido ao bloqueio da luz do Sol pelos gases estufa.

c) diminua devido à não necessidade de aquecer a água utilizada nas indústrias.

d) aumente devido à necessidade de maior refrigeração de indústrias e residências. e) diminua devido à grande quantidade de

radiação térmica utilizada.

Quadro 2 Item 59 do ENEM de 2010 (prova azul) e sua respectiva questão direta utilizada no Simulado.

Este item pertence ao Objeto do Conhecimento denominado “O calor e os fenômenos térmicos” e está contextualizada em um fenômeno conhecido como “ilhas de calor”. Apresentou a segunda maior distância de Cohen, - 0,12, indicando que existe diferença entre as duas formas, embora pequena. Na versão CTX, idêntica ao item 59 do ENEM de 2010 (prova azul), atingiu 57% de acertos no Simulado, contra 63% de acerto na sua versão DIR, enquanto que no próprio ENEM, esse item apresentou um índice de acertos de 55%.

A reformulação deste item não se deu pela simples exclusão do primeiro parágrafo do enunciado, pois, julgou-se necessário definir de modo mais objetivo e resumido, mesmo que brevemente, o que são “ilhas de calor” (“...formadas pela retenção do calor por asfalto e concreto...”), enquanto que o enunciado original, além de mencionar que a retenção de calor é ocasionada pelo solo asfaltado das áreas urbanas, apresenta as causas do efeito estufa, como a emissão de gases provenientes da queima de combustível fóssil no transporte e na indústria.

O índice de acertos em sua versão descontextualizada, superior à contextualizada, pode estar relacionado à menção ao CO2 e aos principais

contribuintes para sua liberação, causando o efeito estufa. Tais informações podem ter desviado a atenção dos estudantes do comando que busca verificar as consequências das “ilhas de calor” no consumo de energia na cidade.

Tabela 17 Frequência das alternativas da questão 6 do Simulado GERAL SIMULADO

Q6 A B C D E

CTX 5% 13% 12% 57% 12%

DIR 5% 7% 9% 63% 16%

A retirada do enunciado alterou as frequências das respostas, de modo que as alternativas B (...aumente devido ao bloqueio da luz do Sol pelos gases estufa) e C (...diminua devido à não necessidade de aquecer a água utilizada nas indústrias) sofreram uma queda em suas frequências, enquanto que o gabarito, D, (...aumente devido à necessidade de maior refrigeração de indústrias e residências) e a alternativa E (...diminua devido à grande quantidade de radiação térmica utilizada) foram mais assinalados na versão descontextualizada. Isso indica, indiretamente, que parte dos respondentes das alternativas B e C “migraram” para D e E com a retirada do contexto do item.

No contexto original aparecem palavras que também são encontradas nas alternativas B e C, tais como “efeito estufa” e “indústrias”, respectivamente, o que pode ter induzido os respondentes a essas escolhas, julgando que essa ligação poderia indicar a resposta correta. Na versão descontextualizada, além de haver aumento dos índices da alternativa correta D, também houve aumento na alternativa E, pois, nessa opção, o termo “radiação térmica” pode ter induzido os respondentes, visto que no enunciado DIR, a única informação fornecida é que “ilhas de calor” são formadas pela retenção de calor no asfalto e concreto, ou seja, parte dos respondentes estabeleceram uma conexão entre a radiação térmica e a retenção de calor.

Segundo Peixoto e Linhares (2011), o item pertence à Competência 3 da Matriz de Referência do ENEM, “associar intervenções que resultam em degradação ou conservação ambiental a processos produtivos e sociais e a instrumentos ou ações científico-tecnológicos” seguido da Habilidade 12, “avaliar impactos em ambientes naturais decorrentes de atividades sociais ou econômicas, considerando interesses contraditórios”.

Na categorização de Hernandes e Martins (2013), o item em análise se insere na categoria “previsão de impactos ambientais e econômicos de intervenções humanas”, que compartilha de questões que analisam e interpretam situações de impacto ambiental e climático em consequência das intervenções humanas, como a implantação de usinas hidrelétricas ou a industrialização de cidades. Essa categoria sinaliza a relevância de interpretar as consequências dos avanços tecnológicos do ponto de vista de produção de energia, industrialização e, no caso do item 59, a concentração da população em zonas urbanas que, a longo prazo, degradam o meio ambiente (HERNANDES; MARTINS, 2013).

Verificamos que a competência 3 está em harmonia com os PCN+, pois o concluinte da Educação Básica deve ser capaz de:

Promover situações que contribuam para a melhoria das condições de vida da cidade onde vive ou da preservação responsável do ambiente, conhecendo as estruturas de abastecimento de água e eletricidade de sua comunidade e dos problemas delas decorrentes, sabendo posicionar-se, argumentar e emitir juízos de valor (BRASIL, 2002, p.68).

Sendo assim, o ENEM buscou verificar, neste item, em sincronia com os PCN+, se os candidatos conhecem as causas do aumento do consumo de energia elétrica nas cidades urbanas e, para isso, contextualizou o ambiente em que são originadas as “ilhas de calor”, mas segundo os dados obtidos, a descrição utilizada não favoreceu parte dos candidatos.

Critica-se aqui o fato do ensino tradicional preocupar-se mais com análises quantitativas acerca dos impactos ambientais do que com suas interpretações qualitativas (PEIXOTO; LINHARES, 2011). Portanto, além de estimular os estudantes a calcularem eficiências energéticas, taxas de transmissão de calor, propriedades térmicas dos materiais etc., os documentos oficiais e o ENEM enfatizam a discussão e a cobrança de temas que envolvem impactos ambientais provenientes dos avanços na área da produção de energia sob um olhar conceitual e interdisciplinar.

Muito se discute sobre a extensão dos enunciados dos itens do ENEM, de leitura cansativa e enfadonha, e que não se adequam ao tempo de prova (LIMA, 2011). Em contrapartida, os documentos oficiais exigem que sejam usados contextos a fim de aproximar os estudantes do assunto em questão e auxiliá-los na resolução do problema proposto, porém, isso não foi verificado para os itens discutidos, que tiveram seus índices de acertos aumentados na ausência dos contextos originais.

Assim, para esses casos (itens 3 e 6) o contexto utilizado não favoreceu a resolução do problema, afetando o rendimento de alguns respondentes. Mesmo que suas diferenças sejam de pequena significância, é necessário atentar para utilização da contextualização em exames de larga escala, pois, na literatura, há estudos que relacionam conteúdo conceitual e o contexto de forma efetiva, e sugerem que os conceitos podem auxiliar na compreensão dos contextos abordados (FERNANDES; MARQUES, 2012). De modo que, mesmo que apresente enunciados informativos, esses itens não são essencialmente contextualizados, pois, segundo Machado (2005), a retirada do contexto, deveria fazer com que o item perdesse seu sentido substancial, o que não ocorreu.

É interessante verificar que as duas questões (três e seis) que se destacaram na análise de seus contextos foram as únicas que apresentaram percentuais de acertos superiores a 50%. Outra semelhança entre os itens utilizados é que remetem a áreas da Física que se comunicam, mesmo pertencendo a Objetos do Conhecimento distintos. Ambos trabalham com o conceito de eficiência energética, tema frequente em provas do ENEM.