O BRASIL NO PISA:
A BASE E O TOPO
Boletim IDados da Educação nº 2016-02
O BRASIL NO PISA:
A BASE E O TOPO
Boletim IDados da Educação
Maio 2016
fessores
O Boletim IDados é uma iniciativa do IDados, que integra o Instituto Alfa e Beto e se dedica à análise de dados e evidências sobre a educação brasileira, tendo como objetivo informar e lançar questões para debate entre os diversos públicos responsáveis e/ou compro-metidos com a melhoria da Educação.
Neste Boletim apresentamos uma reanálise dos dados do Pisa, o Programme for In-ternational Student Assessment (Pisa) - Programa Internacional de Avaliação de Estudantes - que é desenvolvido e coordenado pela OCDE (Organização para Cooperação e Desenvol-vimento Econômico). Tradicionalmente, são divulgados e debatidos os dados referentes ao desempenho médio dos estudantes. Esta reanálise destaca duas informações que ainda não foram objeto de análise: o que acontece com os extremos, os melhores e piores alunos.
As notas dos 5% melhores alunos do Brasil em Matemática se comparam com a mé-dia do conjunto de países da OCDE. Além de baixo em termos absolutos e relativos, o desem-penho de nossas elites encontra-se estagnado. Dada a comprovada importância das elites intelectuais para o desenvolvimento econômico de um país, esse fato deveria constituir um sinal vermelho para os responsáveis pela formulação e implementação de políticas econômi-cas do país.
O resultado dos 5% piores alunos tem melhorado significativamente e contribuído para aumentar a média. Esse resultado se explica sobretudo pelo aumento da participação na Pré-escola. Mas como a universalização da mesma já está praticamente concluída, ela dei-xará de influir no crescimento das notas nos próximos anos.
Este Boletim IDados de Educação está dividido em oito partes. Em cada uma das sete primeiras partes explicamos um aspecto do desempenho dos brasileiros no Pisa e sugerimos itens para reflexão. A oitava parte apresenta algumas questões sugeridas pelo texto, com o objetivo de suscitar debate na comunidade empresarial e acadêmica, na mídia e na socieda-de em geral.
Para conferir todas as edições do Boletim IDados da Educação, acesse: www.alfaebeto. org/idados
RESUMO EXECUTIVO
1. Como está o Brasil em relação ao resto do mundo?O Brasil é o 8º pior país na Prova de Matemática de 2012, embora seus resultados tenham melhorado significativamente entre 2000 e 2012. Essa melho-ria já apresenta sinais de arrefecimento.
2. Como é o desempenho dos alunos brasileiros nos diferentes níveis da escala?
O desempenho dos alunos mais fracos - os que tiram até 400 pontos no PISA - melhorou entre 2000 e 2012. Mas o desempenho dos demais alu-nos encontra-se praticamente estagnado em níveis muito baixos em relação à média dos países da OCDE.
3. Como é o desempenho absoluto e relativo das elites?
Se considerarmos como elite intelectual os 5% melhores, esse desempenho está estagnado desde 2003, e situa-se próximo da média dos países da OCDE. Ou seja: os melhores alunos brasileiros sabem tanto quanto um aluno de nível médio nos países da OCDE.
4. Como é o desempenho dos alunos mais fracos?
A quantidade de brasileiros nos níveis mais baixos de desempenho caiu 7 pontos percentuais entre 2003 e 2012. Uma possível explicação para essa melhoria é a mudança nos itens da prova: foram incluídos itens que permitem que os alunos mais fracos respondam algumas perguntas e, assim,
melhorem seu desempenho. Mas a esmagadora maioria dos brasileiros situa-se abaixo do Nível 1, considerado como nível mínimo aceitável no Pisa.
5. A pré-escola faz diferença no desempenho dos alunos?
Os dados sugerem um efeito positivo da Pré-escola: quanto maior o número de alunos matri-culados em Pré-escolas, 10 anos antes da Prova, me-lhor o desempenho. Essa meme-lhora, como vimos, está restrita aos alunos de menor nível de desempenho.
6. Há relação entre os resultados da Prova Brasil e do Pisa?
Sim, melhorias na Prova Brasil correspondem a melhorias no Pisa. Em ambos os casos, no período analisado, as melhorias foram positivas, pequenas e restritas aos níveis inferiores da distribuição.
7. Quais as perspectivas de melhoria do Brasil no Pisa?
A projeção linear a partir dos resultados de 2009-2012 sugere que o Brasil alcançaria a atual média da OCDE somente no ano de 2060. Se houvesse uma melhoria de 3% nas médias a cada 3 anos, essa meta poderia ser alcançada em 2036 desde que os demais países da OCDE não melhorassem seu desempenho.
SIL NO PIS
A:
1. COMO ESTÁ O BRASIL EM RELAÇÃO AO RESTO DO
MUNDO?
A Figura 1.1 mostra a nota média dos brasileiros em Matemática, no Pisa no ano de 2012.
•
A média do Brasil foi 391. Esta média é significativamente inferior às médias de todos os países (473) e dos países da OCDE (494).Fonte: OCDE. Elaboração: IDados - Instituto Alfa e Beto
FIGURA 1.1 - NOTA MÉDIA EM MATEMÁTICA NO PISA 2012 - TODOS OS PAÍSES
Nota: Os países da OCDE são os considerados países ricos. Os demais países que participam do Pisa, como o Brasil, não são países da OCDE. O site do Pisa indica quais países pertencem a qual grupo.
A Figura 1.2 mostra o desempenho dos alunos brasileiros em Matemática entre 2000 e 2012.
•
Há um crescimento na média dos alunos brasileiros neste período, mas o ritmo do crescimento é decrescente.•
Também houve melhoria relativa na média: a distância entre a média do Brasil e a do conjunto de países passou de 136 para 82 pontos entre 2000 e 2012. Em relação aos países da OCDE estamos com 103 pontos a menos6
O BRA
SIL NO PIS
A:
FIGURA 1.2 – COMPARAÇÃO DA EVOLUÇÃO DA NOTA MÉDIA EM MATEMÁTICA – PISA 2000-2012.
SIL NO PIS
A:
A Figura 1.3 mostra a evolução dos 7 países que estavam com média inferior a 400 pontos no ano 2000.
FIGURA 1.3 - EVOLUÇÃO DA NOTA MÉDIA EM MATEMÁTICA DOS PAÍSES COM NOTA INFERIOR A 400 PONTOS NO ANO 2000
Fonte: OCDE. Elaboração: IDados - Instituto Alfa e Beto
•
Praticamente todos esses países melhoraram no período.•
Os países com pior desempenho no ano 2000 – Brasil, Indonésia e Peru – melhoraram um pouco mais do que os outros quatro países, e com isso as distâncias entre eles se reduziram.•
Ao longo desses 12 anos, países como o Brasil e o Peru se aproximaram de onde esta-vam Chile e México no ano 2000.8
O BRA
SIL NO PIS
A:
Em síntese:
•
O Brasil continua entre os piores colocados no Pisa.•
Houve melhoria nos resultados nos últimos anos.SIL NO PIS
A:
2. COMO É O DESEMPENHO DOS ALUNOS BRASILEIROS
NOS DIFERENTES NÍVEIS DA ESCALA?
A Figura 2.1 apresenta a evolução da média dos alunos brasileiros entre 2000 e 2012, por percentis. Por exemplo, P-05 significa o ponto de corte do grupo dos 5% piores alunos, ou seja, os 5% piores alunos têm nota abaixo do ponto P-05. P-95 significa o ponto de corte do Percentil 95, ou seja, apenas os 5% melhores alunos têm nota melhor do que P-95. P-50 refere-se aos alunos que se encontram no ponto mediano: metade dos alunos tem nota acima de P-50 e a outra metade tem nota abaixo desse valor.
FIGURA 2.1 - BRASIL: EVOLUÇÃO DA NOTA EM MATEMÁTICA POR PERCENTIS.
10
O BRA
SIL NO PIS
A:
•
Quanto mais baixo o nível do percentil, maior a melhoria entre 2000 e 2012. Em outras palavras: os piores alunos melhoraram mais do que os melhores. Essa é a razão pela qual a média do Brasil no Pisa melhorou.•
A taxa de melhoria é decrescente, com nível marcadamente reduzido entre 2009 e 2012.•
Os níveis P-90 e P-95 encontram-se estagnados, ou seja, os melhores alunos brasileiros não têm melhorado o seu desempenho.SIL NO PIS
A:
3. COMO É O DESEMPENHO ABSOLUTO E RELATIVO
DAS ELITES?
A Figura 3.1 compara o desempenho das elites brasileiras com a média e as elites dos países da OCDE.
FIGURA 3.1 - COMPARAÇÃO DA DISTRIBUIÇÃO DAS NOTAS MÉDIAS EM MATEMÁTICA NO PISA EM 2000 E 2012.
•
No ano 2000, o ponto de corte do grupo P-95 - os 5% melhores alunos do Brasil – estava praticamente empatado com a média dos países da OCDE. Ou seja, os melho-res alunos do Brasil apmelho-resentaram um desempenho escolar semelhante ao da média dos alunos dos países da OCDE.12
O BRA
SIL NO PIS
A:
•
Em 2012 o desempenho dos 5% melhores havia melhorado um pouco, mas ainda se encontra muito próximo da média dos países da OCDE.•
O desempenho do P-95 dos países da OCDE em 2012 estava quase 100 pontos acima do grupo de elite do Brasil. Essa diferença é quase igual à diferença entre a média do Brasil e a média dos países da OCDE. Ou seja:•
Em média, nossos alunos estão 100 pontos abaixo da média dos países da OCDE.•
Em média, nossas elites estão 100 pontos abaixo da média das elites dos países da OCDE.A Figura 3.2 mostra o comportamento da média do grupo P-95 (grupo de elite) dos 9 piores países nesse indicador.
FIGURA 3.2 - COMPARAÇÃO DA EVOLUÇÃO DA NOTA MÉDIA EM MATEMÁTICA DOS PAÍSES COM NOTAS MAIS BAIXAS NO PERCENTIL 95 NO PERÍODO DE 2000 A 2012.
SIL NO PIS
A:
•
O Brasil teve uma melhora em 2003 e estagnou desde então.•
Poucos países, como Peru e Tunísia, tiveram aumento recente e significativo nesse indicador.14
O BRA
SIL NO PIS
A:
4. COMO É O DESEMPENHO DOS ALUNOS MAIS
FRACOS?
A Figura 4.1 mostra o desempenho do P-05, o grupo dos 5% piores alunos, no Brasil e em todos os países.
FIGURA 4.1 – COMPARAÇÃO DA DISTRIBUIÇÃO DAS NOTAS EM MATEMÁTICA NO PERCENTIL 5 – 2000 E 2012
•
A diferença entre as distribuições indica que há cada vez menos alunos nos níveis mais baixos da prova. Por exemplo, podemos observar que a quantidade de alunos com notas entre 300 e 400 pontos aumentou significativamente em 2012, em com-paração com o ano 2000.•
Em consequência, a nota do grupo P-05 no Brasil também aumentou de menos de 200 para pouco menos de 300 pontos, um aumento de quase 100 pontos.SIL NO PIS
A:
FIGURA 4.2 - EVOLUÇÃO DA PORCENTAGEM DE ALUNOS NO NÍVEL 1 OU ABAIXO NOS PAÍSES COM NOTA INFERIOR A 400 PONTOS NO ANO 2000 .
•
Os dados do Pisa não permitem identificar a causa, apenas permitem observar que, no caso do Brasil, são os alunos mais fracos que melhoram um pouco. Uma das expli-cações mais plausíveis para este fato seria a introdução de itens mais fáceis na prova. Esses itens permitiram discriminar os alunos que sabiam rudimentos da matemática, rudimentos esses que não haviam sido identificados no teste do ano 2000.A Figura 4.2 oferece informações mais detalhadas sobre a evolução dos alunos situados no nível 1 ou abaixo em todos os países que tiveram média inferior a 400 pontos na prova do Pisa do ano 2000.
16
O BRA
SIL NO PIS
A:
•
O nível 1 refere-se a alunos que logram até 420 pontos, considerado como o nível mínimo de desempenho. A OCDE criou a expressão Nível 1 e abaixo para incluir todos os alunos com desempenho nesse nível ou abaixo dele.•
75% dos brasileiros estavam nos níveis mais baixos em 2003 – apenas acima da Indonésia.•
Essa porcentagem caiu para 68% em 2012, colocando o Brasil próximo à Argentina.•
Isso significa que, em 9 anos, o Brasil conseguiu reduzir em 7 pontos percentuais o tamanho do grupo dos alunos nos dois níveis mais baixos do Pisa - o Nível 1 e abaixo dele.SIL NO PIS
A:
5. A PRÉ-ESCOLA FAZ DIFERENÇA NO DESEMPENHO
DOS ALUNOS?
A Figura 5.1 mostra a relação entre a nota média do Brasil no Pisa e a taxa de matrícula na Pré-escola 10 anos antes da aplicação da prova.
FIGURA 5.1 - BRASIL: PORCENTAGEM DE MATRÍCULA NA PRÉ-ESCOLA 10 ANOS ANTES E NOTA MÉDIA EM MATEMÁTICA
Fonte: OCDE. Elaboração: IDados - Instituto Alfa e Beto
•
Os anos indicados na figura referem-se aos anos de realização da prova do Pisa. O grupo de alunos que fez o Pisa em 2003, por exemplo, é parte de uma coorte em que quase 50% dos alunos estavam matriculados na Pré-escola dez anos antes, em 1993.•
O aumento nas notas de Matemática é correlacionado com a participação da popula-ção na Pré-escola, que teve um aumento de aproximadamente 25 pontos percentuais entre 1990 e 2002.•
Entre 2009 e 2012 começa uma leve inflexão mostrada pelos pontos da Figura 5.1 correspondentes a esses dois anos. Os pontos dos anos anteriores sugerem umaproje-18
O BRA
SIL NO PIS
A:
6. HÁ RELAÇÃO ENTRE OS RESULTADOS DA PROVA
BRASIL E DO PISA?
FIGURA 6.1 - BRASIL: NOTA MÉDIA EM MATEMÁTICA NO PISA VS. NOTA MÉDIA EM MATEMÁTICA NA PROVA BRASIL
A Figura 6.1 mostra a relação entre a evolução das notas dos alunos do 9º ano na Prova Brasil e no Pisa – pois esses alunos têm idade bastante próxima e, portanto, fizeram as duas provas num período bastante próximo.
Fonte: OCDE. Prova Brasil 2007 - 2011. IDados - Instituto Alfa e Beto
Nota: Notas no PISA em 2006, 2009 e 2012.
•
Existe uma correlação positiva entre os resultados dos alunos nas duas provas, sendo considerados para essa análise apenas os períodos de 2007-2011, para a Prova Brasil, e 2006 a 2012, para o Pisa.•
Embora a correlação seja positiva, o aumento em ambas as provas é relativamente baixo: 25 pontos de ganho na média do Pisa e 15 pontos de ganho na média da Prova Brasil.SIL NO PIS
A:
7. QUAIS SÃO AS PERSPECTIVAS DE MELHORIA DO
BRASIL NO PISA?
QUADRO 7.1 - BRASIL: SIMULAÇÃO DA NOTA MÉDIA EM MATEMÁTICA PARA AS PRÓXIMAS DÉCADAS
Uma das formas de analisar as perspectivas de melhoria do Brasil no Pisa é simular uma distribuição dos alunos a partir do passado. Por exemplo, suponhamos que 20% dos brasileiros tivessem obtido a nota 391,5 em Matemática – esta foi a nota média do Brasil em 2012. E que 80% dos brasileiros tivessem obtido 529,5, que foi a nota de corte dos 5% melhores. A média seria (529,5 x 80%) + (391,5 x 20%) = 501,9. Ou seja, mesmo que a grande maioria dos brasileiros estivesse onde se encontrava nossa elite em 2012, a nota seria próxima à média dos países da OCDE. E, é óbvio, essa hipótese é altamente improvável de acontecer.
Outra forma de analisar as perspectivas de melhoria do Brasil é projetar um avanço dos alunos com base nos dados do passado. É o que vemos na Figura 7.1.
20
O BRA
SIL NO PIS
A:
•
Na hipótese de crescimento de 1,5% na média a cada 3 anos (fato ocorrido no último triênio), levaríamos até o ano 2060 para atingir a média dos países da OCDE em 2012.•
Na hipótese de crescimento de 3%, alcançaríamos a atual média da OCDE no ano de 2036.•
Em ambos os casos, a suposição é a de que a média dos países da OCDE não teria avançado.•
Ambas as hipóteses são pouco realistas, tendo em vista o desempenho anterior: os ganhos existentes parecem se dever mais a fatores extra-escolares, como a universa-lização da pré-escola ou mudanças na pontuação, que favorecem os alunos com pior desempenho.SIL NO PIS
A:
TÓPICOS PARA DEBATE
1.
Hanushek e Woessmann (2012) demonstram que cada desvio padrão adicional na nota do Pisa, ou seja, 100 pontos, corresponde a um aumento de 2% do PIB dos países. Rinderman, Sailer e Thompson (2009) haviam sugerido que esse impacto é ainda maior de acordo com o nível das notas do grupo de elite (P-95), ou seja: a qualidade das elites está fortemente associada ao desen-volvimento econômico e aos fatores que concorrem para a estabilidade institucional, democrática e a livre concorrência entre os agentes econômicos. Se o desempenho médio do Brasil no Pisa é sofrível, o desempenho das elites é ainda pior – e isso não tem chamado a atenção nem das au-toridades econômicas, nem do setor produtivo nem dos educadores e responsáveis pelas políticas educacionais. O que explica o alheamento das elites empresariais e das autoridades econômicas em relação ao desempenho da educação? O que explica o desempenho medíocre da elite escolar brasileira? Que tipo de medidas poderiam ser tomadas para aumentar significativamente o desem-penho dos melhores alunos? E para aumentar o contingente de alunos com notas mais elevadas? Na lógica da expansão que caracteriza a política educacional no Brasil, a ênfase para minorar efeitos como os apresentados neste Boletim se concentra em ministrar cursos de capacitação ou de am-pliar as exigências e incentivos para os professores fazerem cursos de mestrado e especialização. À luz das evidências disponíveis sobre o impacto da formação inicial, essas políticas seriam eficazes? Defensáveis?2.
As poucas melhorias registradas no Pisa e Prova Brasil podem ser atribuídas a mudanças em fatores extra-escolares, como a expansão do acesso à pré-escola ou à redução da repetência (Klein, 2007). Carnoy (2015) registrou melhorias consistentes no SAEB e Pisa - confirmando a consistência dessas duas medições. Como a pré-escola já está praticamente universalizada e há pouco espaço para melhorias no fluxo escolar, que outros fatores poderiam justificar a expectativa de melhoras no Pisa – ou na Prova Brasil?3.
É pouco provável que o Brasil – ou qualquer país – consiga manter um ritmo de melhoria constante no Pisa. Quanto maior a média, mais difícil fica melhorar. Que medidas o Brasil precisa-ria tomar para dar um salto de qualidade na educação? O que dizem as evidências e as melhores práticas?22
O BRA
SIL NO PIS
A:
1. Carnoy, M., Khavenson, T., Costa, L., Fonseca, I. & Morotta, L. (2015). A educação brasileira está melhorando? Uma investigação comparativa usando as pontuações do Pisa e do SAEB. Stanford: CA: Lemann Center for Educational Entrepreneurship and Innovation in Brazil. (Mimeo).
2. Hanushek, E. A. & Woessmann, L. (2012). Schooling, Educational Achievement, and the Latin American Growth Puzzle. Journal of Development Economics 99, 497-512.
3. Klein, R. (2007). A Pré-Escola no Brasil. Revista Iberoamericana sobre Calidad, Eficacia y Cambio em Educación, 5(2e), 273-288.
4. Rinderman, H., Sailer, M. & Thompson, E. J. (2009). The impact of smart fractions, cog-nitive ability of politicians and average competence of peoples on social development. Talent Development & Excellence, 1(1), 3-25.
fessores
Este Boletim utilizou dados do PISA, da Prova Brasil e da PNAD. Os dados do PISA foram obtidos no site do Banco Mundial (http://databank.worldbank.org/data). Os dados da Prova Brasil foram obtidos no site do INEP (http://portal.inep.gov.br). E os dados da PNAD foram obtidos do IBGE (parte desses dados estão disponíveis na página do instituto: www.ibge.gov.br).
Quanto aos dados do PISA, vale destacar que a Prova de Matemática de 2000 não é inteiramente compa-rável com a dos anos subsequentes, dado que, a partir de 2003, outras áreas de conhecimento passaram a ser avaliadas. Para mais detalhes, consulte o relatório técnico disponível na página https://www.oecd. org/pisa.
DADOS UTILIZADOS
COMO CITAR ESTE BOLETIM
IDados. O Brasil no PISA: a base e o topo. Boletim IDados da Educação 2016-02 - Maio. Rio de Janeiro: Instituto Alfa e Beto.
