Metodologia do Ideb

A preocupação do Inep quanto às possíveis interferências das escolas e secretarias nos resultados do Ideb levaram os especialistas a repreender possíveis “desvios” (como os professores que na sala de aula vigiam os estudantes no momento da prova na avaliação da aprendizagem). Assim, a fórmula geral para o cálculo do Índice, desenvolvida pelo Inep, é consequência de uma série de ponderações; ela busca por exatidão e cuidados com os eventuais “problemas de honestidade das escolas”, e não pela demanda da construção de indicadores mais amplos, necessários diante da complexidade da educação, ou mesmo com o debate acerca dos limites da própria metodologia dos testes (como analisamos anteriormente).

De acordo com o Inep (2012), o Ideb “[...] agrega ao enfoque pedagógico dos resultados das avaliações em larga escala do Inep a possibilidade de resultados sintéticos, facilmente assimiláveis, e que permitem traçar metas de qualidade

educacional para os sistemas” 38_{. Assim, o Inep assume a autoria do desenvolvimento}

dos parâmetros técnicos que permitem a comparação entre a qualidade do ensino no Brasil e dos países da OCDE39, em um movimento relacionado às políticas educacionais promovidas pelo MEC.

Foi com base na Técnica de Compatibilização40 – que consiste em identificar notas da escala do Saeb que correspondam a um determinado desempenho no Pisa, e vice-versa – entre a proficiência definida no Pisa e no Saeb que se definiu a meta nacional de um Ideb igual a 6,0 (anos iniciais do Ensino Fundamental) e 5.5 (anos finais do Ensino Fundamental) até 2021.

A partir dessa meta nacional, foram calculadas as metas intermediárias para cada escola, município e estado. Para tal cálculo foram considerados como ponto de partida os resultados das avaliações de 2005 – com a aplicação da Prova Brasil se permitiu a diferenciação do resultado por escola e municípios – e se definiu o esforço necessário em cada esfera para alcançar o resultado em nível nacional, conforme a Tabela 6.

Tabela 6. Ideb – Resultados e metas. Projeção para o Brasil – Anos Iniciais do Ensino Fundamental

Fonte: Ideb (2012).

(*) Os resultados marcados em azul referem-se ao Ideb cujas metas foram atingidas.

38 _{Disponível em: <http://portalideb.inep.gov.br/>. Acesso em: 16 abr. 2012.}

39 _{A Organização para a Cooperação e o Desenvolvimento Econômico (OCDE) é uma organização}

intergovernamental voltada para a intervenção no campo da política econômica, mas vem, desde a década de 1950, intervindo na esfera educativa (CARVALHO, 2009). Para esse autor, o que parece estar em causa é o “[...] governo da educação como fator gerador de vantagens na competição global e a capacidade dos sistemas educativos produzirem uma forma de trabalho ‘flexível’, capaz de responder eficazmente às necessidades do mercado de trabalho. E é com base nessa visão que a OCDE se propõe – com o Pisa – a diagnosticar e promover o desenvolvimento de competência dos escolares, pensando na sua ‘plena inserção’ nesse espaço social imaginado. As ferramentas criadas pela OCDE focam no ‘monitoramento da qualidade, na identificação de boas práticas e políticas para ‘ajudar a decisão política’” (Ibidem, p.1015-1016).

40 _{Ver duas notas técnicas do INEP sobre o cálculo e a técnica de compatibilização disponíveis em:}

<http://download.inep.gov.br/educacao_basica/portal_Ideb/o_que_sao_as_metas/Nota_Tecnica_n3_comp atibilizacao_PISA_SAEB.pdf>;<http://download.inep.gov.br/download/Ideb/Nota_Tecnica_n2_metas_int ermediarias_Ideb.pdf>. Acesso em: 2 set. 2012.

Tabela 7. Ideb – Resultados e metas. Projeção para o Brasil – Anos Finais do Ensino Fundamental

Fonte: Ideb (2012).

(*) Os resultados marcados em azul referem-se ao Ideb cujas metas foram atingidas.

Essa lógica de estabelecer índices específicos para as diferentes regiões e escolas no Brasil acompanha as orientações definidas na Declaração Mundial de Educação para Todos (JOMTIEN, 1990) quando, diante da defesa da Educação Básica para todos e considerando a desigualdade alarmante entre os países, encontram-se como solução os objetivos intermediários que “[...] podem ser formulados como metas específicas dentro dos planos nacionais e estaduais de desenvolvimento da educação” (Ibidem, p.9). Acrescenta-se, ainda, que as metas:

(i) indicam, em relação aos critérios de avaliação, ganhos e resultados esperados em um determinado lapso de tempo; (ii) definem as categorias prioritárias (por exemplo, os pobre, os portadores de deficiências); e (iii) são formuladas de modo a permitir comprovação e medida dos avanços registrados. [...] Metas observáveis e mensuráveis contribuem para a avaliação objetiva dos progressos (JOMTIEN, 1990, p.9).

Esses princípios aparecem na lógica educacional brasileira, especialmente com o Ideb, quando suas metas específicas (intermediárias) foram fixadas no programa Compromisso Todos pela Educação (2007), no qual cada grupo tem valores distintos a atingir o que demandam esforços diferentes e resultado na mesma lógica amplamente desigual, mas disfarçada pelas médias nacionais – as diferenças de início justificam a diferença na chegada, algo próprio da lógica liberal. Na Tabela 8 observamos esses valores intermediários do Ideb e a demanda de crescimento por estado.

Tabela 8. Metas intermediárias do Ideb (4º ano) por estados brasileiros e demanda de crescimento (em %) Estado 2005 2007 2009 2011 2013 2007 2009 2011 2013 2015 2017 2019 2021 Cresc. 2005 x 2021 Cresc. 2005 x 2013 Cresc. 2013 x 2021 Paraná 5 5,2 5,2 5,2 6,2 5 5,4 5,7 6 6,2 6,5 6,7 6,9 38,0% 24,0% 11,3% Minas Gerais 4,9 4,9 5,8 6 6,2 5 5,3 5,7 5,9 6,2 6,4 6,6 6,8 38,8% 26,5% 9,7% São Paulo 4,5 4,7 5,4 5,4 5,7 4,6 4,9 5,3 5,5 5,8 6,1 6,3 6,6 46,7% 26,7% 15,8% Distrito Federal 4,4 4,8 5,4 5,4 5,6 4,5 4,8 5,2 5,5 5,8 6 6,3 6,5 47,7% 27,3% 16,1% Santa Catarina 4,3 4,7 5 5,7 5,7 4,4 4,7 5,1 5,4 5,6 5,9 6,2 6,4 48,8% 32,6% 12,3% Rio Grande do Sul 4,2 4,5 4,8 5,1 5,5 4,2 4,6 5 5,3 5,5 5,8 6,1 6,3 50,0% 31,0% 14,5% Goiás 3,9 4,3 4,9 5,3 6 4 4,3 4,7 5 5,3 5,6 5,8 6,1 56,4% 53,8% 1,7% Espírito Santo 3,7 4,1 5 5 5,3 3,8 4,1 4,5 4,8 5,1 5,4 5,7 5,9 59,5% 43,2% 11,3% Rio de Janeiro 3,7 3,8 4 4,3 4,7 3,8 4,1 4,5 4,8 5,1 5,4 5,7 5,9 59,5% 27,0% 25,5% Rondônia 3,6 4 4,4 4,7 5,4 3,6 4 4,4 4,7 5 5,2 5,5 5,8 61,1% 50,0% 7,4% Mato Grosso 3,6 4,4 4,9 5,1 5,1 3,6 4 4,4 4,7 4,9 5,2 5,5 5,8 61,1% 41,7% 13,7% Roraima 3,5 3,5 4,2 4,5 4,8 3,6 3,9 4,3 4,6 4,9 5,2 5,5 5,7 62,9% 37,1% 18,8% Tocantins 3,6 4,2 4,5 4,9 5,1 3,7 4 4,5 4,7 5 5,3 5,6 5,9 63,9% 41,7% 15,7% Amazonas 3,3 3,9 4,5 4,8 5,1 3,3 3,7 4,1 4,4 4,7 5 5,2 5,5 66,7% 54,5% 7,8% Acre 3,3 3,8 4,5 4,7 5,2 3,4 3,7 4,2 4,4 4,7 5 5,3 5,6 69,7% 57,6% 7,7% Amapá 3,1 3 3,6 3,9 3,8 3,1 3,5 3,9 4,2 4,4 4,7 5 5,3 71,0% 22,6% 39,5% Mato Grosso do Sul 3,2 4 4,4 4,9 5,1 3,3 3,6 4 4,3 4,6 4,9 5,2 5,5 71,9% 59,4% 7,8% Ceará 3,2 3,5 4,2 4,4 5 3,2 3,6 4 4,3 4,6 4,9 5,2 5,5 71,9% 56,3% 10,0% Maranhão 3,2 3,3 4 4 4,2 3,3 3,6 4 4,3 4,6 4,9 5,2 5,5 71,9% 31,3% 31,0% Pernambuco 3,1 3,5 3,9 4,2 4,3 3,2 3,5 3,9 4,2 4,5 4,8 5,1 5,4 74,2% 38,7% 25,6% Paraíba 3 3,5 3,7 4 4,2 3,1 3,4 3,8 4,1 4,4 4,7 5 5,3 76,7% 40,0% 26,2% Sergipe 3 3,4 3,7 3,9 4,1 3,1 3,4 3,8 4,1 4,4 4,7 5 5,3 76,7% 36,7% 29,3% Alagoas 2,9 3,3 3,3 3,4 3,7 2,9 3,3 3,7 4 4,3 4,6 4,9 5,2 79,3% 27,6% 40,5% Pará 2,8 2,8 3,7 4 3,6 2,8 3,2 3,6 3,8 4,1 4,4 4,7 5,1 82,1% 28,6% 41,7% Piauí 2,6 3,2 3,8 4,1 4,5 2,6 2,9 3,3 3,6 3,9 4,2 4,5 4,8 84,6% 73,1% 6,7% Rio Grande do Norte 2,6 3 3,5 3,7 3,9 2,6 2,9 3,3 3,6 3,9 4,2 4,5 4,8 84,6% 50,0% 23,1% Bahia 2,6 2,6 3,2 3,8 4 2,7 3 3,4 3,7 4 4,3 4,6 4,9 88,5% 53,8% 22,5%

Fonte: Elaboração da autora, a partir dos dados do Ideb/Inep (2005; 2007; 2009; 2011; 2013). Como destaca a tabela, os entes federados têm metas muito distintas para 2021, e as expectativas e os esforços são diferentes: em azul, são mostrados os índices já obtidos; nas colunas brancas, a projeção de metas; e nas últimas colunas, destacamos a porcentagem necessária de crescimento para que cada estado atenda às expectativas estabelecidas.

Nas extremidades da realidade brasileira aparece o Paraná, com uma demanda de desenvolvimento de 38% para alcançar a média estimada para aquele; já para a Bahia, será necessário um crescimento de 88,5%. Ainda que com demandas significativamente distintas de desenvolvimento da educação, as metas, ou seja, as expectativas projetadas para 2021 são diferentes: de 6,9 e 4,9 pontos, respectivamente, para Paraná e Bahia41. Tanto o esforço quanto o resultado serão distintos, sobretudo se as condições sociais, econômicas e estruturais que envolvem a dinâmica educacional

41 _{Esse problema, de certa forma, é indicado, admitido e levado ao confronto com a aprovação do PNE}

(Lei n. 13.005/2014) ao estabelecer, na meta 7.9, o escopo de: “Orientar as políticas das redes e sistemas de ensino, de forma a buscar atingir as metas do Ideb, diminuindo a diferença entre as escolas com os menores índices e a média nacional, garantindo equidade da aprendizagem e reduzindo pela metade, até o último ano de vigência deste PNE, as diferenças entre as médias dos índices dos Estados, inclusive do Distrito Federal, e dos Municípios” (PNE, 2014).

não forem amplamente enfrentadas pelo Estado, haja vista as diferenças entre as regiões e os municípios brasileiros (ARELARO, 2005).

O Ideb é calculado por meio dos dados obtidos no Censo Escolar (taxa média de aprovação dos estudantes na etapa de ensino – do 1º ao 5º ano do Ensino Fundamental; do 6º ao 9º ano do Ensino Fundamental; e do 1º ao 3º ano do Ensino Médio), multiplicados pelas médias de desempenho no Saeb (para Ideb dos estados e do país) e na Prova Brasil (para Ideb de escolas e municípios). Os testes são aplicados no 5º e 9º anos do Ensino Fundamental e no 3º ano do Ensino Médio, nas áreas de Matemática e Língua Portuguesa, de acordo com a fórmula42_:

IDEBji = Nji Pji; 0 N j 10 ; 0 P j 1 e 0 IDEBj 10 Sendo que:

i = ano do exame (SAEB e Prova Brasil) e do Censo Escolar;

N ji= média da proficiência em Língua Portuguesa e Matemática dos alunos da unidade j, obtida em determinada edição do exame;

P ji = indicador de rendimento baseado na taxa de aprovação da etapa de ensino dos alunos da unidade j.

Portanto, para obter a média preconizada pelo Ideb, é necessário o cálculo de Nji

(média de proficiência em cada uma das matérias) e de Pji (taxa de aprovação dos alunos

da unidade avaliada). Segundo a nota técnica n. 1 do Inep43, a média de proficiência padronizada dos estudantes da unidade j, Nji, é obtida a partir das proficiências médias

em Língua Portuguesa e Matemática dos alunos submetidos a determinada edição do exame realizado ao final da etapa educacional considerada (Prova Brasil ou Saeb). Essa proficiência média é padronizada para estar entre zero e dez, de modo

que é obtida de acordo com a fórmula abaixo:

Nji∞ = Sji∞ – Sinf∞ x10 NjiTotal = Nlpji + Nmatji

S∞sup – S∞inf 2

Onde:

∞ = disciplina (Matemática ou Língua Portuguesa);

Sji = proficiência média, não padronizada, dos alunos da unidade j, obtida no ano i;

Sinf = limite inferior da média de proficiência;

Ssup = limite superior da média de proficiência;

NjiTotal = média geral (Matemática e Língua Portuguesa)

Nas escolas ou redes que tiverem Sj < Sinf,a proficiência média será fixada em

Sinf, assim como em Sj > Ssup, na qualo desempenho será fixado em Ssup.Quanto à taxa

42 _{Informações disponíveis na nota técnica n. 1. Disponível em:}

<http://www.inep.gov.br/dawnload/idEducação

Básica/nota_tecnica_n1_concepcaoideducacaobasica.pdf>. Acesso em: 12 abr. 2012.

43 _{Disponível em:}

<http://download.inep.gov.br/educacao_basica/portal_Ideb/o_que_e_o_Ideb/Nota_Tecnica_n1_concepca oIdeb.pdf>. Acesso em: 15 abr. 2012.

média de aprovação, Pji, caso o tempo necessário para a conclusão da etapa escolar (sem

repetências) seja normalizado em um, P é o inverso do tempo médio de duração para a conclusão da etapa (T), isto é, Pji= 1/Tji; logo, teremos que Ideb = Nji/Tji, ou seja, o

indicador se torna a pontuação no exame padronizado ajustada pela razão entre o tempo necessário para a conclusão da etapa e o tempo de duração efetivamente despendido para concluí-la.

Segundo as considerações de Fernandes (2007a), nesse cálculo não basta apenas ter bons resultados do rendimento nos testes do Inep; é necessário garantir bons índices de aprovação, considerando a “taxa de troca”, como analisamos anteriormente. De acordo com a formulação do Ideb, um aumento de 1% na taxa média de aprovação pode ser compensado pela redução de 1% na proficiência média dos concluintes.

Nesse entremeio, a taxa de aprovação assume foco de atenção especial, como aponta a nota técnica (2007):

Como o Ideb é resultado do produto entre o desempenho e do rendimento escolar (ou o inverso do tempo médio de conclusão de uma série) então ele pode ser interpretado da seguinte maneira: para uma escola A cuja média padronizada da Prova Brasil, 4ª série, é 5,0 e o tempo médio de conclusão de cada série é de 2 anos, a rede/ escola terá o Ideb igual a 5,0 multiplicado por ½, ou seja, Ideb = 2,5. Já uma escola B com média padronizada da Prova Brasil, 4ª série, igual a 5,0 e tempo médio para conclusão igual a 1 ano, terá Ideb = 5,0 (INP/IDEB, 2007, p.1).

Para o cálculo das médias intermediárias, Fernandes (2007a) aponta que é necessário considerar duas premissas. Na primeira, para projetar as trajetórias esperadas para o Ideb ao longo do tempo, é preciso observar que tais trajetórias têm o comportamento de uma função logística em que, para um dado “esforço”, obtém-se ao longo do tempo uma redução gradativa no ritmo e na amplitude do crescimento do indicador; enquanto isso, na segunda premissa técnica, para o Brasil alcançar a meta de seis pontos no tempo definido, a contribuição em esforço de cada rede de ensino e escola deve partir de metas individuais diferenciadas, como observamos nas projeções da Tabela 8.

Na visão do então presidente do Inep, os esforços de cada rede devem contribuir para a redução das desigualdades em termos de qualidade educacional. Contudo, em nosso ponto de vista, a meta nacional a ser alcançada por meio de médias dos resultados dos estados camufla a diferença histórica entre os municípios no Brasil – apenas com a

média que foi possível ao Inep/MEC estabelecer a meta nacional definida no tempo estipulado.

Ao longo desse percurso, ainda que questionemos e coloquemos à crítica a legitimidade dos resultados dos índices, esses números destacam um aspecto comum: temos escolas públicas com realidades distintas, o que não se deve à incapacidade de aprender das crianças, como os liberais insistem ao responsabilizar os indivíduos quanto aos resultados obtidos; ao contrário, representa um sistema que reproduz as lógicas da desigualdade presentes na sociedade capitalista e no interior da escola pública.

Pensamos que essa formulação do Ideb traz muitos limites técnicos que estão relacionados às orientações teórico-conceituais da avaliação. Um índice definido pelo fluxo e por testes de proficiência não representa a qualidade da educação, mas apenas um dado parcelar de uma realidade complexa formada por muitas variáveis. Nesse sentido, o Ideb ao longo do trabalho é analisado e questionado quanto à sua metodologia, à validade técnica e ao sentido político e pedagógico.