Em sua dissertação de mestrado, Stadler (2017) fez um mapeamento de trabalhos que relacionam, entre outros aspectos, avaliações em larga escala ao ensino-aprendizagem. Como padrão das pesquisas trabalhadas, ela aponta para a convergência da preocupação dos professores para com os resultados de tais avaliações, bem como com a qualidade do ensino e do êxito dos seus alunos nas suas respectivas trajetórias escolares. Além disso, uma observação preocupante é de que além da pressão sofrida pelos docentes em relação aos exames de larga escala, a autora diz que “ficou evidente o despreparo e desamparo dos professores alfabetizadores quanto às informações e conhecimentos sobre os objetivos e funções das avaliações externas, bem como suas buscas por bons resultados da escola e dos alunos. Esses fatores induzem à responsabilização, por parte do governo, sobre os professores, quanto aos resultados alcançados.” (STADLER, 2017. p. 33).
As informações relativas aos resultados dos exames de larga escala aplicados dependem de quem realiza e de quem aplica o exame, variando forma e tipo da informação divulgada como resultado. Essas devolutivas dos resultados podem dificultar a leitura e a interpretação por parte dos professores e demais
agentes escolares, que precisam dominar diversos estilos de apresentação das informações para interpretar os resultados das provas que lhes forem pertinentes, bem como apresentar domínio em teorias educacionais que consigam embasar a associação entre os resultados e os alunos de modo geral.
No caso do ENEM, estudado neste trabalho, os dados são divulgados e publicados oficialmente pelo INEP, disponibilizados para download em seu site para qualquer um que tenha acesso à internet. No entanto, essas informações são apresentadas na forma de microdados, isto é, arquivos de computador no formato de planilhas com milhões de linhas e centenas de colunas de informação. Nesses arquivos, cada linha representa um candidato que realizou o exame, e as diversas colunas descrevem os dados relativos àquele aluno; desde qual a escola onde estudou, se ela é particular ou pública, qual a escolaridade de seus pais, acrescidas de uma série de respostas ao questionário socioeconômico, além de permitir o acesso às alternativas escolhidas para cada item da prova.
Esse tipo de divulgação permite que os dados sejam tratados e analisados de acordo com diferentes perspectivas, olhando para resultados referentes à diferentes grupos de controle, como por exemplo alunos concluintes no ano em que prestaram o exame (grupo analisado por este trabalho), ou por escola, município, entre outros.
Mesmo com essa disponibilização dos resultados, Stadler aponta para o fato de que:
“(...) pesquisas já realizadas, (...) revelam que há muita dificuldade de acesso, interpretação e utilização dos referidos dados no âmbito das redes de ensino e das escolas que as integram, ou seja, por parte dos gestores educacionais, equipes pedagógicas e professores. O que se tem constatado é que não basta que os resultados sejam publicados e disponibilizados
publicamente, mas como eles são interpretados e utilizados na organização das escolas e nas práticas pedagógicas dos professores.” (Stadler, 2017. p. 107)
A divulgação dos resultados dos exames sem que exista cuidado no tratamento dos dados ou na contextualização dos resultados, põe em risco o entendimento e a interpretação destes resultados por agentes escolares e mesmo pela sociedade em geral. É comum encontrar notícias veiculadas pela imprensa, ou mesmo propagandas de escolas privadas que trazem os resultados dos exames de forma a ranquear as escolas frente a um exame de larga escala, como é o caso do ENEM. Mesmo que os dados sejam tratados, e as devolutivas sejam feitas por órgãos oficiais ou aqueles que aplicaram a prova, falta um preparo e conhecimento dos fundamentos teóricos utilizados para a elaboração das devolutivas, bem como as potencialidades de utilização destes documentos pelos professores no ensino e na aprendizagem dos alunos.
O INEP criou, em 2017, uma plataforma online onde disponibiliza devolutivas pedagógicas para os exames de larga escala, chamado Plataforma Devolutivas Pedagógicas1. O objetivo da iniciativa é, de acordo com o INEP1, promover melhora no desempenho dos estudantes da educação básica, explicitar para a comunidade escolar (professores e gestores) quais as habilidades verificadas pelo SAEB (Sistema Nacional de Avaliação da Educação Básica), e, além de proporcionar a apropriação, pela comunidade escolar, dos resultados das avaliações em larga escala, que essa apropriação colabore para o desenvolvimento das atividades de ensino.
1
Acessível através do endereço eletrônico: http://devolutivas.inep.gov.br/
No entanto, a plataforma traz, até 2018, apenas devolutivas pedagógicas da Prova Brasil2, um exame de larga escala que tem como função o diagnóstico da educação básica, diferentemente do ENEM. Essa devolutiva da prova Brasil traz o item analisado, um comentário pedagógico sobre o item, uma análise das alternativas do item, bem como gráficos de desempenho elaborados através da Teoria da Resposta ao Item (TRI).
Outro exame de larga escala com função e objetivo diagnóstico da educação é a prova do Saresp (Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo). É elaborada e aplicada pelo estado de São Paulo desde 1996 nas disciplinas de Língua Portuguesa e Matemática para turmas de 5º, 7º e 9º anos do Ensino Fundamental, bem como para turmas do 3º ano do Ensino Médio, e também apresenta em uma plataforma oficial3 uma devolutiva acerca dos resultados da prova, com comentários pedagógicos para cada item. Nessa plataforma é possível encontrar um “Relatório Pedagógico”4
, que traz dados gerais da prova, seus resultados, e análises e comentários pedagógicos sobre os itens da prova e as escalas de proficiência utilizadas para as análises. Um exemplo de item comentado deste relatório está apresentado no anexo VI.
Não apenas exames de larga escala de caráter avaliativo e diagnóstico podem fornecer devolutivas pedagógicas. Em relação à prova do vestibular da
2
Exemplo de uma devolutiva de item da Prova Brasil está apresentada no Anexo V
3
Acessível através do endereço eletrônico: http://saresp.fde.sp.gov.br/2015/
4
Acessível através do endereço eletrônico:
http://file.fde.sp.gov.br/saresp/saresp2015/Arquivos/MT_2015_online.p df
Unicamp, elaborada pela COMVEST (Comissão Permanente para os Vestibulares), também é disponibilizada5 uma devolutiva que traz, além do item da prova, a resposta esperada para a questão, um gráfico de desempenho dos candidatos e um comentário acerca do item.
Devolutivas pedagógicas podem ter papel determinante na reflexão acerca da prática docente. Navarro et al (2018) apontam que, reconhecer que uma devolutiva se relaciona muito diretamente à aprendizagem que se busca promover aos estudantes é, não apenas uma das tarefas que menos requer esforço em relação a fornecer feedbacks, mas uma das mais importantes. Dentre outras tarefas, citam também a identificação de uma devolutiva com maior potencialidade de desenvolver a aprendizagem trabalhada ao promover a metacognição em um estudante perante uma tarefa realizada, discriminar entre distintas intervenções, que permitem promover habilidades complexas (como inferir em um texto) a partir de uma devolutiva, e dar feedbacks em relação à aprendizagem do aluno indagando-o sobre seu raciocínio, recorrendo ao conhecimento disciplinar (NAVARRO et al., 2018). Em outras palavras, as devolutivas pedagógicas e o ato de utilizá-las demandam tarefas mais ou menos trabalhosas e complexas, e devem ser usadas para promover a aprendizagem focando em dar ferramentas para que o aluno e/ou o professor reflitam acerca de seus pontos fracos previamente identificados.
Ainda se tratando de exames de larga escala, um estudo de 2015 aponta que as provas ENLACE (Evaluación Nacional de Logros Académicos en Centros Escolares) e EXCALE (Examen para la Calidad y el Logro Educativo) do México -
5
Acessível através do endereço eletrônico:
http://www.comvest.unicamp.br/vest_anteriores/2018/download/coment adas/F1_fisica.pdf
exames com função de avaliar o sistema educacional mexicano - não se alinham de forma consistente com as suas propostas de uso, e não se priorizam os objetivos dos exames nas devoluções de informações produzidas a partir de seus resultados (MARTÍNEZ RIZO, 2015).
Ravela (2015) relata que o uso de devolutivas na América Latina costuma ser limitado, e se dá pela priorização de devolutivas de caráter psicométrico e estatístico, de modo que as avaliações seriam usadas apenas para produção dos dados. Ainda diz que esses documentos atendem quase que exclusivamente o propósito de prestação de contas, carecendo de estratégias sistemáticas de difusão que valorizem o impacto pedagógico do uso dos resultados dos exames.
Tinajero e Estrada (2018) elencam que, para os usos dos resultados serem efetivos na melhora da aprendizagem, estes resultados devem favorecer a criação de devolutivas formativas e orientadoras dos resultados, desenhar rotas metodológicas que favoreçam o uso diferenciado das devolutivas, aproximar as avaliações externas às realizadas em aula e utilizar concretamente os resultados de modo a promover análises sobre as práticas pedagógicas. Dessa maneira, os docentes ficam habilitados a gerar transformações educativas, traçando rotas cognitivas que se enquadrem com a aprendizagem buscada a partir da identificação das características de uma turma através dos exames. E concluem dizendo que nas devolutivas deve estar incorporada o tratamento da informação dos resultados de modo que permita aos usuários dos documentos o trânsito entre perspectivas quantitativas e qualitativas, deste modo, com devolutivas pedagógicas formativas, os professores podem aproveitar de maneira legítima a informação advinda dos exames de larga escala.
A inexistência de uma devolutiva pedagógica oficial relativa ao ENEM nos levou a propormos uma devolutiva a partir de análises próprias, elaborada pelos autores deste trabalho. Após a conclusão das nossas devolutivas do ENEM, as mesmas foram apresentadas a professores da educação básica para investigar a relação dos professores de Física entrevistados com esse tipo de documento, e quais seriam suas potencialidades de utilização em sala de aula.
3 METODOLOGIA
Este capítulo designa-se à apresentação das metodologias utilizadas nas etapas desta pesquisa, a saber: as etapas de identificação dos itens trabalhados na pesquisa; um modelo para o índice socioeconômico associado ao candidato; a análise dos itens e de suas alternativas; procedimentos metodológicos para elaboração dos roteiros estruturados para as entrevistas; a condução das mesmas e a análise das respostas dadas pelos entrevistados.
Percebe-se, das análises citadas acima, que a pesquisa apresentou uma abordagem quali-quantitativa. Enquanto a abordagem quantitativa se dá na aferição do desempenho dos estudantes nos itens de Física das provas de 2014 e 2015 a partir dos microdados do ENEM e da classificação desse grupo de alunos em índice socioeconômico, a análise qualitativa da pesquisa está em todas as demais etapas: da identificação dos itens (questões) de Física, da análise das alternativas dos itens, e da formulação do roteiro da entrevista, bem como sua aplicação e a interpretação das respostas dadas pelos entrevistados.