Discussão sobre a metodologia de cálculo das metas do IDEB

Um primeiro ponto a ser considerado é o de que, conforme apontam vários estudos que têm como base avaliações educacionais de larga escala, os índices variam na razão direta do nível socioeconômico. No modelo estatístico desenvolvido para o trabalho de mestrado (RISCAL, 2016; RISCAL e LUIZ, 2016) foi, de fato, encontrada uma relação direta entre o IDEB de 2013 das Séries Finais e o nível socioeconômico das escolas (e que foi, também, detectada posteriormente por Matos e Rodrigues (2016) em seu próprio exercício de modelagem). Esse achado também é verdadeiro em relação ao IDEB das Séries Finais de 2015 (conforme será demonstrado mais adiante na seção referente aos procedimentos metodológicos). Por outro lado, conforme exposto na introdução do presente trabalho, encontramos uma correlação altamente significante entre o IDH dos estados e municípios e a sua meta do IDEB das Séries Finais. Se ambas as variáveis (o valor do IDEB para as Séries Finais e a meta que deve ser atingida) estão correlacionados com o nível socioeconômico das escolas, e se os estados e municípios não estão conseguindo cumprir seus objetivos, significa que há um descompasso entre as metas e o desempenho das escolas, ou seja, ambas não estão variando na mesma razão em relação aos níveis socioeconômicos. De fato, se examinarmos de forma comparativa a correlação entre o nível socioeconômico das escolas e os valores do IDEB das Séries Iniciais e finais em 2015 e suas respectivas metas, através do coeficiente de correlação por postos de Spearman52, teremos o seguinte panorama, descrito na tabela 8:

Tabela 8 - Valores do coeficiente de correlação por postos de Spearman entre o nível socioeconômico das escolas, o valor do IDEB 2015 e as metas

do IDEB 2015

Séries Iniciais Séries Finais

Correlação entre o nível socioeconômico

e os valores do IDEB 2015 0,637 0,475

Significância p < 1% p < 1%

Correlação entre o nível socioeconômico

e as metas do IDEB 2015 0,700 0,606

Significância p < 1% p < 1%

Fonte: Elaboração do autor sobre os dados do INEP

52 _{Estamos cometendo, aqui, um pequeno abuso ao considerar a variável Nível Socioeconômico como uma}

escala cujos pontos são igualmente espaçados. Não há, entretanto, prejuízo em se assumir esta hipótese, uma vez que é aplicada de forma homogênea, tendo em vista que nossa intenção é apenas a de verificar se há diferenças quando comparamos essas correlações entre os valores do IDEB e suas metas. Tomamos o cuidado de aplicar um método não-paramétrico, que independe do formato das distribuições de probabilidade envolvidas. Ao leitor interessado em mais detalhes sobre o coeficiente de correlação por postos de Spearman, recomendamos a leitura de Siegel (1970, p. 228-240), que é possivelmente o texto mais conhecido sobre este tema em língua portuguesa.

Embora todas as correlações sejam estatisticamente significantes, notamos que, nas Séries Finais, o valor do coeficiente de correlação referente ao valor do IDEB é menor do que o referente às metas. A interpretação desse resultado é a de que a correlação entre o nível socioeconômico e a meta é mais forte do que entre o nível socioeconômico e o valor do IDEB das Séries Finais. Isso ocorre porque o critério de cálculo das metas do IDEB leva em consideração apenas os valores iniciais (IDEB de 2005) e as metas estipuladas pelo INEP a longo e muito longo prazos, ajustando-se uma curva logística para representar a variação dos dados no ínterim. O parâmetro que diferencia os diferentes âmbitos (redes de ensino, UFs e municípios) é o esforço y, que é considerado constante ao longo do tempo, e que depende apenas de dois fatores: as metas finais estabelecidas pelo INEP e o valor do IDEB em 2005.

Além disso, o cálculo das metas não leva em consideração nenhum dos indicadores educacionais levantados anualmente pelo INEP. Em relação a isso, há duas possibilidades:

 o valor do IDEB representa todos eles, como se quaisquer características (mensuráveis ou não) dos sistemas de educação já estivessem ―embutidas‖ dentro de um índice que se propõe a medir a qualidade da educação como um todo, ou

 são irrelevantes para o IDEB

Dado o esforço realizado pelo INEP para disponibilizar anualmente esses indicadores, supõe-se que a primeira hipótese seja a mais plausível. O problema com essa suposição é que, como quaisquer evoluções ou involuções dos indicadores educacionais deixaram de ser consideradas no cálculo das metas, ainda que haja uma melhoria dos indicadores educacionais com potencial de impactar positivamente o IDEB, não existe nenhuma garantia de que essa melhoria se refletirá no cumprimento das metas, pois os indicadores não fazem parte do índice. A documentação metodológica sobre o IDEB também não aponta para quaisquer estudos sobre a correlação com esses indicadores.

Há, ainda, um caráter claramente autoritário na metodologia de cálculo das metas, uma vez que são estabelecidas ―de cima para baixo‖, com uma leitura nacional, portanto centralizada, que é estendida a todos os âmbitos sem considerar diferenças entre as UFs e entre as redes de ensino: supõe-se que todas elas atingirão 9,9 pontos em 2096 (Séries Iniciais) ou 2107 (Séries Finais) e aplica-se o método de cálculo indistintamente. Como vimos em b), as metas foram definidas à revelia dos indicadores educacionais, assim, as características das UFs e das diferentes redes de ensino não fazem parte dessa metodologia. A única variável que considera alguma diferenciação entre os âmbitos da educação é o esforço individual , que representa uma taxa de crescimento esperado imposta pelo modelo, e que não admite nenhum tipo de revisão. Esse parâmetro desconsidera quaisquer outros fatores

além do ponto inicial e o horizonte de cumprimento das metas, que é o mesmo para todo o país e todas as redes, uma vez que a metodologia procura assegurar a convergência dos sistemas de ensino e estabelece que, no limite, haverá uma homogeneização forçada.

Talvez a consequência mais inquietante da forma como a metodologia de cálculo das metas foi elaborada é a de que, como sua composição não leva em conta nenhum outro aspecto a não ser o IDEB 2005 e as metas fixadas pelo INEP, os gestores de ensino podem se sentir incentivados a assumir uma visão pragmática do problema e direcionar esforços e recursos para elevar o índice em si, e não na melhora do sistema. A objetivação da escola por um único índice pode potencialmente relegar a um plano secundário o seu papel político, que consiste em proporcionar a formação de sujeitos e pessoas autônomas.

Outra consequência é apontada pelo economista Ernesto Martins Faria, em artigo publicado no blog de Simon Schwartzman:

(...) algumas premissas da função logística adotada na construção delas são inválidas. O modelo considera que todos os municípios devem, em 2096, atingir um Ideb de 9,9. No entanto, um Ideb 9,9 não é possível de ser atingido, pois, para isso, quase todos os alunos teriam que ser aprovados, e os alunos avaliados teriam que tirar a pontuação máxima na Prova Brasil. Esse valor é tão inatingível que a escola com o maior Ideb no país possuí um índice de 8,6. Esse horizonte não factível gerou metas muito ambiciosas para redes e escolas que tiveram resultados muito bons em 2005. A rede estadual do município de Trajano de Morais, por exemplo, tinha uma meta de 8,7 em 2011 e tem uma meta de 9,0 em 2021. Por esse problema, todas as redes que obtiveram um Ideb de pelo menos 6,5 em 2005 nos anos iniciais não cumpriram as metas de 2011. (FARIA, 2013)

Duvida-se que, mesmo entre países da OCDE, seja possível se atingir objetivos tão otimistas. Por sinal, não há nenhum parâmetro para se julgar o que seria um bom ou mau desempenho:

(...) não houve um estudo sobre qual é o patamar de Ideb que qualquer escola é capaz de obter em curto prazo. Não há um consenso sobre qual é o patamar que indica qualidade, se é um Ideb de 6, de 6,5, de 7, ou outro valor, por exemplo. Também não foi estabelecido qual valor é factível de ser obtido por qualquer escola ou rede do país. Sem esse consenso, redes e escolas com baixo desempenho em 2005 cumpriram facilmente as metas das avaliações posteriores. Com isso, o governo legitimou como positivo o trabalho de algumas escolas e redes em que o nível de aprendizado dos alunos se mostrou muito baixo. Reportagem de Ana Aranha, vencedora do Prêmio Ayrton Senna de Jornalismo, mostra uma escola que, apesar de um resultado ínfimo no Ideb e na Prova Brasil, bateu em 2007 as metas de 2011. (FARIA, 2013)

Por exemplo, se tomarmos os índices referentes às Séries Finais e compararmos o desempenho do Ceará com o de São Paulo, vemos que as metas de São Paulo são muito agressivas. Por outro lado, o Ceará já em 2007 cumpriu as suas metas e as vem cumprindo sistematicamente, mesmo com índices inferiores aos de São Paulo, que pela terceira tomada consecutiva não consegue cumprir suas metas. Havendo forte correlação entre o IDEB 2005 e

o nível socioeconômico (e também com o IDH), o valor inicial da série ditou metas bem menos agressivas ao Ceará do que a São Paulo. É claro que a rede de ensino público do Ceará merece todo o reconhecimento que tem recebido em função de sua formidável taxa de crescimento do IDEB, porém é preciso reconhecer, também, que o cumprimento sistemático de suas metas se deve, em parte, a que estas são muito mais modestas que as de outras UFs que apresentam indicadores educacionais comparáveis (aliás, voltaremos a este tema na Seção 3).

Sendo o esforço individual considerado constante dentro de seu âmbito ao longo do tempo, e não havendo qualquer possibilidade de atualização, quem teve bom desempenho no IDEB 2005 será penalizado com metas mais agressivas, e quem não teve bom desempenho será beneficiado com metas menos exigentes. Assim, os gestores de escolas ou de redes que tiveram bom desempenho no IDEB em 2005 acabam sendo colocados em uma verdadeira ―camisa de força‖, uma vez que não necessariamente irão conseguir manter o mesmo ritmo ao longo do tempo. Outro ponto levantado por Faria (2013), aliás, e que é bastante óbvio, é o de que o ponto inicial da série se encontra muito distanciado no passado e, dado que a cada oito anos há uma quase completa renovação dos alunos matriculados no ensino fundamental, então para indicadores educacionais, o resultado em um passado mais distante tem pouca influência no presente (o desempenho dos alunos em 2005 pouco influencia o desempenho dos alunos em 2013, por exemplo). O avanço poderia acontecer por políticas estruturais que tivessem sido feitas, mas teríamos que ter algum dado que apoiasse a olhar isso.

Casos de cumprimento da meta de 2021 ou de não cumprimento da meta de 2007 ou de 2009 já não são tão raros, e apontam como as metas são pouco factíveis e estão cada vez mais frágeis quanto mais nos distanciamos de 2005. (FARIA, 2013)

Podemos acrescentar a esse comentário outro efeito temporal, pois à medida que o tempo passa e as gerações (e os governos) se sucedem, algumas das premissas em que se baseia a modelagem teórica do comportamento humano podem deixar de ser válidas em função de inúmeros aspectos sociais, culturais, econômicos, tecnológicos e políticos. Esses fatores podem causar uma completa ruptura com a configuração inicial do IDEB (a tomada de 2005), à qual as metas se encontram aguilhoadas pelo modelo logístico. Talvez seja um pouco ingênuo pensar que no extenso período de tempo considerado para a elaboração das metas nos diversos âmbitos não haverá mudanças, capazes de invalidar as premissas sobre as quais o planejamento se assenta.

Mas o que dá autoridade às metas não é o MEC, o INEP ou entidades que fazem parte do Compromisso Todos pela Educação. É o discurso estatístico.

Esse discurso é habilmente construído por uma leitura da educação dentro de um contexto globalizado, onde os compromissos do Brasil junto a entidades supranacionais

(Banco Mundial, OCDE, UNESCO, dentre outros) levam à necessidade de equiparação de seus índices educacionais com os dos países da OCDE, tendo, nesse sentido, o PISA um duplo papel, de elemento equalizador que permite uma comparabilidade entre os países, e de organizador, ao fornecer um ―ranking‖ dos ―melhores e piores países‖, que acaba sendo um indicador poderoso sobre a expectativa de retorno para investidores internacionais. Por outro lado, esse discurso goza da sacralidade conferida pela metodologia estatística, aplicada por especialistas de um instituto de pesquisas governamental de elevada credibilidade.

Na ausência de um diálogo sólido sobre o significado do IDEB com a sociedade, esta o tem aceito como a própria definição de qualidade de ensino no Brasil (e que seria o ―real‖, dentro da nossa discussão conceitual sobre o dado como construção), interpretação reforçada pelos meios de comunicação que, como vimos, fixam-se muito mais no ―ranking‖ de UFs e municípios do que à análise sobre a forma como o sistema de avaliação opera. Caracteristicamente, o valor do IDEB e o cumprimento das suas metas são frequentemente utilizados como parâmetros para se apontar as ―melhores práticas‖ e os ―modelos a serem seguidos‖, uma postura que pode levar ao esvaziamento da discussão crítica sobre o papel das avaliações em larga escala e estimular uma visão pragmática de administração da educação voltada aos resultados que, de resto, já vem ocorrendo.

O que podemos concluir é que o sistema de metas estipulado pelo INEP não necessariamente possui aderência com os desafios enfrentados pelas redes públicas de ensino e não considera as suas particularidades, mas sim, constitui-se em um exercício teórico e conceitual. Trata-se de uma tentativa de modelar a realidade para que se ajuste à teoria, cumprindo assim o objetivo das avaliações mencionado por Rothen e Santana (2018, p. 7): ―ao mesmo tempo em que exige a adequação da realidade a ideias e comportamentos previamente definidos, cria uma nova realidade‖. E, valendo-se de uma metodologia insuspeita e amplamente documentada na literatura, aplicada sobre uma massa de dados que supostamente constitui a realidade, o sistema de cálculo de metas encontra-se protegido pelo manto de sacralidade do discurso estatístico, sendo então aceito como justa expectativa de resultados atingidos pelos sistemas de ensino, que arcarão com a responsabilidade de justificar seu desempenho ante o beneplácito ou a censura pública.