Os exames que se propõem a avaliar sistemas educacionais não se concentram apenas na medição exercida pelos testes em si, mas estão atrelados também ao recolhimento de informações contextuais sobre seus participantes. Dessa maneira, os organizadores das provas entendem que há uma necessidade de se traçar o perfil de seu público alvo, por meio de questionários, e relacionar esses elementos ao desempenho dos alunos.
Professores e diretores de escolas também preenchem formulários próprios acerca de sua formação e estrutura das instituições de ensino em que atuam. As respostas são organizadas, contabilizadas e vinculadas ao resultado dos estudantes nos testes cognitivos. Estes, por sua vez, são compostos por itens classificados de acordo com a Teoria de Resposta ao Item (TRI), que não considera apenas o acerto, mas o grau de dificuldade de pergunta. Sobre a TRI, e seu uso no Enem, o MEC indica que2:
A TRI pressupõe que um candidato com um certo nível de proficiência tende a acertar os itens de nível de dificuldade menor que o de sua proficiência e errar aqueles com nível de dificuldade maior. Ou seja, o padrão de resposta do participante é considerado no cálculo do desempenho.
2 Ministério da Educação e Cultura, em sua página oficial com texto de 22 de dezembro de 2011, http://portal. mec.gov.br/index.php?option=com_content&view=article&id=17319, consultado em 15 de março de 2014.
O desempenho nesses itens é configurado por meio de uma escala de proficiência, que, no caso do Pisa, varia em 8 níveis crescentes de acordo com o rendimento dos estudantes. É por meio desses escores que análises comparativas são feitas entre alunos brasileiros e estrangeiros, entre a pontuação atingida por determinado país e a média de pontos atingida pelas nações que fazem parte da OCDE. É desse modo também que os resultados do Pisa se tornam públicos e ganham destaque nos meios de comunicação. Muitas vezes, é a única etapa do Programa internacional de avaliação com a qual grande parte da população tem contato, uma vez que as demais não são divulgadas amplamente, a exemplo da matriz de referência, que só é dada ao conhecimento público após a ocorrência da prova a que se associa.
Há em toda essa problemática um ponto importante a ser destacado: a ideia de que um exame pode garantir que sejam produzidos dados ditos confiáveis para a educação dos países em que é aplicado. De fato, a produção de percentuais, categorias de proficiência, gráficos e planilhas trazem à baila números que acabam por justificar intervenções do Estado, no sentido de melhorar os indicadores educacionais. Sob essa ótica, entende-se que o Pisa, de modo mais estrito, e as provas em larga escala, de modo mais amplo, colaboram para a formação de estatísticas norteadoras de políticas públicas para essa área.
A respeito das estatísticas, Michel Foucault (2008) apresenta essa prática como uma tecnologia para governar e manter a soberania dos Estados Nacionais. Em outras palavras, a estatística configura a ciência de Estado, um saber necessário cujo objetivo é informar a respeito de grandes corpos populacionais sobre os quais o governante deve exercer seu poder.
O autor aborda também a necessidade de se administrar e guardar, às vezes em regime de segredo, as informações coletadas, como estratégia de defesa dos governos. Nem todos os dados devem ser revelados, de modo que as instâncias governamentais devem selecionar e codificar os números e categorias que se tornam públicos (FOUCAULT, 2008, p.367). Ou seja, faz parte da ação de governar, de certa forma, impedir o acesso transparente a todas as estatísticas, de modo a deter, assim, o
conhecimento sobre o outro. Para o autor, essa relação entre o poder e o saber passa necessariamente por práticas de verdade:
(...) nessa ordem da prática da verdade, o problema do público, quer dizer, que a razão de Estado deve intervir sobre a consciência das pessoas, não simplesmente para lhes impor um certo número de crenças verdadeiras ou falsas, como quando os soberanos queriam fazer crer em sua legitimidade ou na ilegitimidade (…), mas de maneira que a opinião delas seja modificada e, com a opinião delas, a maneira delas agirem, seu comportamento como sujeitos econômicos, seu comportamento como sujeitos políticos. (FOUCAULT, 2008, p.367)
Isso quer dizer que, no caso da estatística, as representações numéricas passam a legitimar as ações do Estado, produzindo determinada leitura realidade, de modo a construir uma “verdade” sobre ela. Nesta prática, é possível determinar o que é verdadeiro ou falso, exprimir que categorias são válidas para a leitura dos dados e o que se enquadra ou se exclui nesses estratos. A construção das estatísticas constrói também “verdades” acerca dos elementos avaliados.
Desse modo, entendendo o significativo papel das estatísticas e de suas análises, elencaremos alguns pontos que marcam como as provas em larga escala instrumentalizam o Estado em suas políticas.
Em primeiro lugar, pela própria natureza da prova, que pretende ser aplicada a grandes grupos, no sentido de se fazer uma análise do sistema educacional como um todo e não do desenvolvimento da aprendizagem do aluno enquanto indivíduo. Voltando-se a um conjunto, o exame transforma-se em pesquisa de base estatística, conforme relata o relatório brasileiro referente a uma das edições do exame Pisa:
A OCDE, Organização para Cooperação e Desenvolvimento Econômico, é uma organização global que visa ajudar os governos-membros a desenvolverem melhores políticas nas áreas econômicas e sociais. As questões tratadas pelos países- membros refletem as principais preocupações atuais de seus líderes e cidadãos, entre elas a busca do enriquecimento do capital humano das nações por meio da educação e do aprimoramento constante dos sistemas de ensino. O programa de educação da OCDE vem trabalhando nos últimos dez anos para melhorar
os indicadores internacionais de desempenho educacional. Para tanto, a OCDE decidiu investir diretamente na melhoria das medidas de resultados, organizando pesquisas internacionalmente comparáveis, enfocando especialmente medidas de habilidades e competências necessárias à vida moderna. O Pisa insere-se dentro deste propósito. (INEP, 2002, p.08)
Ademais, há o fato de exames em larga escala quantificarem aspectos da educação que dizem respeito ao âmbito qualitativo, isto é, por desenvolverem índices comparáveis e de fácil leitura por aqueles que desconhecem a estatística e o contexto educacional brasileiro. Os índices, portanto, rotulam escolas, alunos e sistemas por meio de um único instrumento avaliativo, aplicado a diferentes regiões do Brasil e do mundo. Além disso, mediante esses escores, estimula-se a concorrência entre os partícipes e estipulam- se metas que devem ser atingidas por gestores escolares. No caso do Pisa, o modelo de referência é o desempenho de países economicamente desenvolvidos. Já nos exames nacionais, esferas municipais e estaduais determinam o gradiente de evolução de cada nível de escolaridade.
Ao problematizar essa questão, Vianna (2003, p.53-54) indica que o SAEB pode ter sua validade questionada em dois aspectos. O primeiro tange à validade de conteúdo, referindo-se ao fato de a mesma prova ser aplicada em todo o território nacional, sem que com isso sejam consideradas as especificidades locais e as disparidades entre estados e municípios. O segundo aspecto trata da validade consequencial, reportando-se à possibilidade de não terem sido produzidas melhorias concretas nos sistemas educacionais a partir do sistema de classificação de resultados dos testes.
Outra razão que faz com que os exames em larga escala orientem políticas educacionais está no fato de instituições, através dessas provas, criarem categorias para agrupar os indivíduos, as quais muitas vezes podem ser instáveis e variáveis. Esse intento de classificação dos grupos sociais em aptos ou inaptos, proficientes ou não, por exemplo, mobiliza a sociedade em prol da mudança ou da manutenção deste título, o qual é atribuído a partir do cotejo entre os participantes.
Nesse sentido, autores como Lindblad e Popkewitz (2001) indicam que as categorias fabricadas pelos discursos e estatísticas da educação são representações de “verdades” e não verdades em si. Isso porque podem sofrer alterações com relação ao que designam e acomodações por conta de novos estudos ou interesses.
Recorrer a categorias de tipos de classes humanas é uma estratégia de administração social que transmite uma esperança de que as classes de pessoas e seu comportamento possam caber em leis práticas que permitam a administração social das classes humanas usando, por exemplo, leis para mudar as condições presentes (...) e predizer o que se seguirá. (LINDBLAD; POPKEWITZ, 2001, p.129)
Tais categorias nascem sob a chancela de entes governamentais. No caso do Pisa, uma organização voltada à promoção das relações econômicas, a OCDE, autentica a criação de níveis de proficiência na educação e (des)qualifica sistemas educacionais de diferentes países, criando um sistema de verdades segundo o qual as nações devem enquadrar-se. Tal medida ignora, muitas vezes, o trabalho de especialistas e diversos profissionais e pesquisadores da área que lidam com as adversidades e particularidades das regiões onde atuam para a realização de seu trabalho.
Por fim, outro ponto fundamental para a correlação entre políticas públicas e exames de larga escala diz respeito aos saberes produzidos a partir de seus modelos de avaliação. À proporção em que as provas são aplicadas com mais frequência, passam a ser formulados paradigmas de questões, padrões de resposta, listas das chamadas competências e habilidades que os alunos devem desenvolver ao longo de determinado ano de escolaridade. São mudanças provocadas pelas provas nas práticas de sala de aula em diversas instituições. Esse fator indica que no lugar da avaliação ocorrer ao final de um processo educacional, ela determina as etapas do próprio processo. Por isso, é necessário refletir acerca das mudanças curriculares que podem ocorrer a partir da implementação de exames em larga escala.
Para isso, mencionamos uma vez mais o exemplo do Pisa. Em 2015, houve a divulgação de que, nas edições seguintes do programa, seriam incluídos conhecimentos de língua estrangeira e computação na avaliação. Segundo declaração do porta-voz
do grupo Pearson3 – uma das empresas do consórcio responsável por elaborar os itens do exame – esses saberes constituiriam mais um eixo de avaliação do Pisa, intitulado “competências globais”. A língua estrangeira associada a esse eixo era o inglês, configurando “uma resposta às demandas impostas pela globalização da educação e do mercado de trabalho.”4
A afirmação dos organizadores da prova recai sobre os currículos escolares, pois acaba por instituir uma única língua estrangeira como legítima no exame, tendo a produção de mão de obra por única justificativa possível para seu aprendizado. Ainda sobre os currículos escolares, a mesma reportagem revela:
No momento, a Pearson está trabalhando com grupos de especialistas para analisar os currículos escolares de todos os países participantes, inclusive do Brasil. “Precisamos garantir que os parâmetros avaliados estarão presentes em todas as escolas do mundo”, explica Jong. Além de consultar pessoas ligadas à educação, a Pearson também fará contato com empregadores para consultar quais competências são desejadas para quem vai ingressar no mercado de trabalho. “O objetivo do PISA é descobrir o que os estudantes vivenciam no ensino médio antes de ingressar no mercado de trabalho.”
Em 2018, ano em que a avaliação de língua estrangeira entrou em vigor, o Brasil optou por não participar da avaliação no dito eixo “competências globais”, em que o idioma inglês estava incluído, mantendo a aplicação das provas de leitura, ciências e matemática. Não há no último relatório do Inep de 2019 alguma justificativa específica para a não adesão à prova de língua estrangeira. Nada impediria, no entanto, que uma vez que o país revalidasse sua participação em edições futuras, aceitasse também a aplicação de uma avaliação externa de língua inglesa, usando a prova estrangeira para orientar alterações no ensino de línguas das escolas, as quais já vêm sendo observadas,
3 Declaração dada por John Jong em 2015 à revista Veja. Disponível em https://veja.abril.com.br/educacao/ pisa-vai-medir-nocoes-de-ingles-e-tecnologia-dos-estudantes-ao-redor-do-mundo/, consultada em 20 de abril de 2020.
4 Declaração dada à revista Veja em janeiro de 2015. Disponível em https://veja.abril.com.br/educacao/pisa-vai- medir-nocoes-de-ingles-e-tecnologia-dos-estudantes-ao-redor-do-mundo/, consultada em 20 de abril de 2020.
por exemplo, com a revogação em 2017 da lei 11.161, que tornava obrigatória a oferta de língua espanhola nas escolas.
Observa-se, diante dos fatos mencionados, que a lógica de se aplicar uma avaliação com base em um currículo que foi discutido, formulado e trabalhado previamente pode ser subvertida. É possível observar essa inversão quando escolas ou sistemas educacionais cogitam mudanças em conteúdos ou disciplinas para adequação às demandas de um determinado exame, como o Enem, por exemplo, e não às demandas da comunidade em que se inserem.
CONSIDERAÇÕES FINAIS
Neste trabalho, de modo não exaustivo, buscou-se lançar um olhar crítico às chamadas avaliações em larga escala, de modo que essa prática não seja normalizada por docentes, alunos e demais entes da comunidade escolar.
Para tal, é preciso compreender que a educação brasileira está exposta a avaliações externas sob a justificativa de coleta de dados para a produção de ações concretas pelos governos. Retomando as menções a Foucault (2008), pode-se concluir que conhecer os sistemas educacionais é uma forma de exercer poder sobre eles, seja na figura do Estado e suas intervenções, seja na figura de organizações transnacionais, como a OCDE, e sua influência na educação de países.
O que se tentou fazer aqui foi lançar luz a alguns aspectos que transformam uma prova – instrumento recorrente das salas de aula – em um aparato de governo, que conforma e produz saberes. Para tal, observamos que a produção de estatísticas e índices ditos comparáveis, assim como a produção de categorias humanas, as quais rotulam grupos e instituições de ensino, além da mobilização de saberes curriculares para atender às exigências dos avaliadores, podem configurar o pensamento e as condutas dos responsáveis pela educação no Brasil, sob a forma de políticas públicas para essa área.
REFERÊNCIAS
BARRIGA, A.D.. “Evaluación curricular y evaluación de programas con fines de acreditación. Cercanías y desencuentros.” 2005. Artigo disponível em www.riic.unam.mx/01/02_Biblio/doc/Evaluacion_ CurricularyAcreditacion.doc, 03/08/2014
FERREIRA, D.L. A Organização para a Cooperação e Desenvolvimento Econômico (OCDE) e a Política de Formação Docente no Brasil. Tese de doutorado em Educação, UFPA, 2011.
FOUCAULT, M. Segurança, Território e População (1978-1979). São Paulo: Martins Fontes, 2008. ___________. Nascimento da Biopolítica. São Paulo: Martins Fontes, 2008 (b).
INEP. Programa Internacional de Avaliação de alunos (Pisa): Resultados Nacionais – Pisa 2000. Brasília: Inep/MEC, 2002.
___________. Relatório Brasil no Pisa 2018 – versão preliminar. Brasília: Inep/MEC, 2019.
LINDBALD, S. ; POPKEWITZ, T. “Estatísticas educacionais como um sistema de razão. Relações entre governo, educação, inclusão e exclusão sociais.” In: Educação e Sociedade, ano XII, n.75, agosto de 2001. LUCKESI, C. “Avaliação da aprendizagem institucional e de larga escala.” 2013. Disponível em luckesi. blog.terra.br, 02/08/2014.
PERBONI, Fabio. Avaliações Externas e em Larga Escala nas Redes de Educação Básica dos Estados Brasileiros . Tese de doutorado em Educação, Unesp, 2016.
VIANNA, H.M. “Avaliações Nacionais em Larga Escala.” In: Estudos em avaliação educacional, n.27, jan-jun, 2003.
WIEBUSCH, E. M. “Avaliação em larga escala: Uma possibilidade para a melhoria da aprendizagem.” Anais da IX ANPED SUL, 2012.