A prova de Ciências da Natureza do ENEM em 2014 e 2015 foi composta por 45 itens, divididos entre as disciplinas de Física, Química e Biologia. Não existe indicação acerca da distribuição desses itens entre as três áreas de conhecimento, ou mesmo quantos itens apresentariam características interdisciplinares.
Como esta pesquisa se preocupou com o desempenho dos estudantes nos itens de Física, tornou-se necessária a identificação destes itens. Para isso, a metodologia escolhida para a identificação é a classificação por pares (BORG e
GALL, 1989; GONÇALVES JR e BARROSO, 2014; MARCOM e KLEINKE, 2014; OLIVEIRA et al, 2013).
A classificação por pares desta pesquisa buscou a identificação dos itens de Física por um grupo de especialistas da disciplina - professores de Física, pertencentes ao grupo de pesquisa ao qual o autor deste trabalho também faz parte, trabalhando individual e independentemente, para em seguida comparar os resultados obtidos por cada um buscando os itens que foram identificados por cada um deles.
Para efeitos de comparação, toma-se a razão entre o número de vezes que o item foi escolhido e o total de pares trabalhando na classificação, gerando um valor numérico entre zero e um. Deste modo, se o item não foi identificado por nenhum dos especialistas como sendo uma questão de Física, tem uma razão igual a zero, e se todos os especialistas identificaram um item como sendo de Física, essa razão tem valor igual a um. Caso essa razão esteja acima de 0,7 considera-se que a concordância é alta, permitindo confiabilidade na classificação (BORG e GALL, 1989).
Com os itens de Física identificados, foi realizada uma análise de cada um deles no que diz respeito às resoluções dos mesmos, bem como um estudo dos possíveis caminhos de resolução que os candidatos poderiam tomar que os levasse a encontrar uma resposta errada (também chamada de distrator no ambiente psicométrico) apresentada pela alternativa. Essa análise também foi feita através de pares, que buscaram identificar e entender, para todos os itens de Física, quais os caminhos que podem conduzir aos distratores.
É essencial para um trabalho de natureza quali-quantitativa incluir o tratamento estatístico dos dados de análise. Como cada pergunta apresenta apenas
uma alternativa correta e as demais estão erradas, é simples verificar o desempenho dos estudantes em cada item, isto é, qual a porcentagem dos candidatos que acerta cada item. É também possível verificar qual alternativa os candidatos escolheram como resposta para cada um dos itens, a partir dos microdados6 fornecidos pelo INEP. Com base nestas mesmas informações, para se verificar a influência do índice socioeconômico no desempenho dos estudantes nos itens de Física identificados, foi criado um banco de dados que, além de conter apenas a população a ser estudada (grupo dos candidatos que, no ano do exame, eram concluintes do Ensino Médio) agrupou as informações socioeconômicas dos candidatos - a partir do questionário socioeconômico preenchido por eles e as respostas escolhidas por eles para cada questão. Para a realização da leitura dos microdados fornecidos e trata- los para criar o banco de dados foi utilizado o software SAS 9.2.
Estudos como o de Kleinke e Gebara (2008) analisaram como fatores socioculturais influíram no desempenho nos itens de Física da primeira fase do vestibular da Unicamp. Olhar para o desempenho em provas auxilia na interpretação das respostas dos candidatos, bem como no entendimento da variação das respostas fornecidas pelos candidatos da prova (BORGATO e ANDRADE, 2012).
3.2 Do Índice Socioeconômico
Alves et al (2014) propõe que “o nível socioeconômico é um construto teórico que aloca os indivíduos em classes ou estratos sociais”. No entanto, as definições deste construto na literatura não são únicas, de modo que não há unanimidade acerca de quais considerações e detalhes devem ser cuidados para a
6
Disponível em: http://portal.inep.gov.br/web/guest/microdados. Acesso em 20.03.2018
utilização deste construto. Por consequência, a utilização de um outro índice que traga informações relativas ao nível socioeconômico de um determinado grupo a ser estudado depende do pesquisador, que deve fundamentar suas escolhas a partir de justificativas teóricas, mas também pelo determinante da disponibilidade de dados e informações.
É comum que, qualquer que seja o construto em questão, dimensões de ocupação, rendimento e nível educacional das famílias estejam incluídas na formação de uma classificação socioeconômica (ALVES et al, 2014).
Com o objetivo de identificar a influência socioeconômica no desempenho, é fundamental uma ferramenta que consiga classificar quantitativamente as diferentes condições socioeconômicas dos candidatos. Para tal, utilizou-se como critério o indicador socioeconômico da Associação Brasileira de Empresas de Pesquisa (ABEP) (ABEP, 2012). Esse índice avalia o poder de consumo das diferentes classes econômicas a partir de alguns indicadores tais como o grau de instrução do/a chefe da família, o número de televisões, rádios, geladeiras, banheiros e automóveis no domicílio, entre outros. Esses itens recebem uma pontuação variada, sendo associados a um índice final.
O questionário socioeconômico do ENEM apresenta indicadores similares aos utilizados pela ABEP, o que permite gerar um índice de status socioeconômico. Foram escolhidos itens do questionário que se adequassem aos indicadores da ABEP, e de acordo com essa metodologia, pesos foram atribuídos às possíveis respostas para as perguntas do questionário. Essas respostas então geraram uma escala que varia de 0 a 42 pontos, onde o crescimento da pontuação indica um aumento do índice socioeconômico. As perguntas escolhidas bem como a distribuição dos pesos das respostas estão apresentadas na Tabela 1.
A justificativa da adoção deste modelo para a criação de uma escala de índice socioeconômico se deu pelo fato de ser uma metodologia direta, que permite de maneira simples a classificação, sem que fosse necessária maior interpretação de características latentes aos candidatos, como seria o caso de tentar classifica-los através de outros métodos, como a metodologia da análise fatorial para análise de questionários, como no trabalho de Nascimento et al (2018).
Além desses fatores, o critério utilizado pela ABEP se constitui de perguntas e informações que a maioria das pessoas consegue fornecer com facilidade, de tal modo que as informações fornecidas pelos candidatos do ENEM são mais próximas da realidade, o que é, naturalmente, fundamental para as pesquisas educacionais (ALVES; SOARES, 2009).
Como apontam Nascimento et al (2017), a busca por fatores que tragam influência no desempenho dos alunos no exame não é tarefa simples, nem direta. De fato, os fatores que influenciam o desempenho escolar de um aluno - seja durante seu percurso escolar ou em um momento de avaliação (escolar ou de larga escala) - não são poucos, e também não são independentes entre si. Eles estão interligados, e influenciam todos, em maior ou menor escala, no desempenho.
A adoção do modelo citado neste trabalho se dá porque, a partir das questões do questionário socioeconômico, e do modelo adotado, temos condições de observar um panorama relativamente amplo do conjunto de alunos estudado. Desta forma, não olhamos apenas para um fator específico, como a renda ou a escolaridade da mãe, mas várias outras características dos alunos, que permitiram uma análise mais profunda, e a formulação de hipóteses que relacionem essas características entre si, de modo que forneçam justificativa para o desempenho,
tendo em vista a teoria de Bourdieu, que também coloca que os fatores que influenciam o desempenho são multifacetados e inter-relacionados.
As análises foram feitas com o conjunto de alunos que, ao prestarem o exame nos anos de 2014 e 2015 estavam matriculados no último ano do Ensino Médio (um milhão. trezentos e setenta e cinco mil e vinte e oito, para 2014; e um milhão, quatrocentos e três mil, quatrocentos e quarenta e nove, para 2015) responderam ao questionário socioeconômico do exame, e que compareceram a todas as quatro provas do exame.
Tabela 1. Perguntas e pesos para quantificação do índice socioeconômico dos candidatos.
Item Pergunta Alternativa Resposta Peso
Q001
Até que série seu pai, ou o homem responsável por você,
estudou?
A Nunca estudou. 0
B
Não completou a 4ª série/5º ano do Ensino
Fundamental.
0
C
Completou a 4ª série/5º ano, mas não completou a
8ª série/9º ano do Ensino Fundamental.
1
D
Completou a 8ª série/9º ano do Ensino Fundamental, mas não
completou o Ensino Médio.
2
E
Completou o Ensino Médio, mas não completou a Faculdade.
4
F
Completou a Faculdade, mas não completou a
Pós-graduação. 8 G Completou a Pós- graduação. 8 H Não sei. 0 Q002
Até que série sua mãe, ou a mulher responsável por você,
estudou?
A Nunca estudou. 0
B
Não completou a 4ª série/5º ano do Ensino
Fundamental.
C
Completou a 4ª série/5º ano, mas não completou a
8ª série/9º ano do Ensino Fundamental.
1
D
Completou a 8ª série/9º ano do Ensino Fundamental, mas não
completou o Ensino Médio.
2
E
Completou o Ensino Médio, mas não completou a Faculdade.
4
F
Completou a Faculdade, mas não completou a
Pós-graduação. 8 G Completou a Pós- graduação. 8 H Não sei. 0 Q007 Em sua residência trabalha empregado(a) doméstico(a)? A Não. 0
B Sim, um ou dois dias por
semana. 1
C Sim, três ou quatro dias
por semana. 2
D Sim, pelo menos cinco
dias por semana. 3
Q008 Na sua residência tem banheiro? A Não. 0 B Sim, um. 4 C Sim, dois. 5 D Sim, três. 6
E Sim, quatro ou mais. 6
Q010 Na sua residência tem carro? A Não. 0 B Sim, um. 4 C Sim, dois. 7 D Sim, três. 9
E Sim, quatro ou mais. 9
Q012 Na sua residência tem geladeira? A Não. 0 B Sim, uma. 3 C Sim, duas. 4 D Sim, três. 5
E Sim, quatro ou mais. 5
Q019 Na sua residência tem televisão em
A Não. 0
cores? C Sim, duas. 2
D Sim, três. 3
E Sim, quatro ou mais. 3
Q024 Na sua residência tem computador? A Não. 0 B Sim, um. 2 C Sim, dois. 3 D Sim, três. 4
E Sim, quatro ou mais. 4
Q025 Na sua residência tem acesso à Internet? A Não. 0 B Sim. 4