A sensibilidade do Ideb a variáveis educacionais avaliada por um modelo matemático DOUTORADO EM EDUCAÇÃO: PSICOLOGIA DA EDUCAÇÃO

(1)

PUC-SP

Natália de Mesquita Matheus

A sensibilidade do Ideb a variáveis educacionais avaliada por

um modelo matemático

DOUTORADO EM EDUCAÇÃO: PSICOLOGIA DA EDUCAÇÃO

(2)

PUC-SP

Natália de Mesquita Matheus

A sensibilidade do Ideb a variáveis educacionais avaliada por

um modelo matemático

DOUTORADO EM EDUCAÇÃO: PSICOLOGIA DA EDUCAÇÃO

Tese apresentada à Banca Examinadora da Pontifícia Universidade Católica de São

Paulo, como exigência parcial para

obtenção do título de Doutor em Educação: Psicologia da Educação sob a orientação do Prof. Dr. Sergio Vasconcelos de Luna.

(3)

parcial desta Tese de Doutorado por processos de fotocopiadoras ou eletrônicos. Assinatura: _______________________________________________________

Data: 19/12/2014

E-mail:na.matheus@gmail.com

M427

Matheus, Natália de Mesquita

A sensibilidade do Ideb a variáveis educacionais avaliada por um modelo matemático/ Natália de Mesquita Matheus. _– São Paulo: s. n., 2014.

266 p. ; 30 cm.

Referências: 194 - 204

Orientador: Prof. Dr. Sérgio Vasconcelos de Luna

Tese (Doutorado), Pontifícia Universidade Católica de São

Paulo, Programa de Pós-Graduação em Educação: Psicologia da Educação, 2014.

1. Políticas educacionais - Brasil 2. Análise do comportamento

3. Ideb. I. Luna, Sérgio Vasconcelos de. II. Título

(4)

Educação). Pontifícia Universidade Católica de São Paulo, 2014.

Banca Examinadora:

_____________________________________________________

(5)

Agradecimentos

Por vezes o Doutorado se compara a uma piscina de água gelada. Quem está dentro chama os demais “Venha! A água está ótima!”. Você hesita – não se sente preparado para o banho de piscina, os trajes não são adequados... – mas encara e pula! O susto é tamanho que vo cê nem sabe o que pensar. No início você sente falta de ar, depois de um tempo curto as pernas ficam tão frias que você não consegue senti -las. Não parece mais uma boa ideia. Então você vai se acostumando à temperatura e passa a gostar dos mergulhos de cab eça em que falta o ar, mas trazem a sensação de desafio vencido. Em pouco tempo também descobre que precisa se mexer para voltar a sentir as pernas _– e quanto mais se mexe, melhor fica. Depois de alguns mergulhos e braçadas você se dá conta que o susto, a sensação de falta de ar e as pernas congeladas foram necessários. Basta sair da água e você sente o sangue circulando mais rapidamente, novos raciocínios, novas ideias, novas formas de ver o mundo. Você passa a mergulhar algumas vezes e acha que fará isso sempre que puder. E o pior (ou melhor): fará campanha para que outros se juntem a você.

Nesta seção eu agradeço àqueles que me chamaram para a piscina e nadaram comigo e àqueles que me ofereceram a toalha sempre que precisei:

Aos meus pais e familiares,

Ao Leandro e a toda a família Ribeiro,

À Claudia, Fernando, Tom, Denigés, Lygia, Dhayana, Michelle e Beatriz,

À Thaïs Guimarães,

Às queridas pessoas do Núcleo Paradigma e da Fundação Carlos Alberto Vanzolini,

Aos colegas e professores da PUC (do PEXP e do PE D) e do BOC,

À banca examinadora, professores Berna rdete Gatti, Maria Eliza M. Pereira, Antônio Carlos C. Ronca e Ângelo R. de Souza, Ao meu orientador, Sergio Vasconcelos de Luna,

(6)

Matheus, Natália de Mesquita. A sensibilidade do Ideb a variáveis

educacionais avaliada por um modelo matemático. Tese (Doutorado em

Educação: Psicologia da Educação). Pontifícia Universidade Católica de São Paulo, 2014.

Resumo

O presente trabalho teve como objetivo avaliar a funcionalidade do modelo CHAID para a análise de dados educacionais por meio da demonstração da sensibilidade do Ideb a diferentes aspectos do sistema educacional. As variáveis dependentes do presente estudo fora m o Ideb 2011 municipal dos anos iniciais e finais do ensino fundamental e as variáveis independentes foram consideradas separadamente em uma análise multinível. No primeiro nível, considerou -se o desempenho anterior do município no Ideb em 2005, 2007 e 20 09; no segundo nível, a execução orçamentária do município, tais como gasto -aluno e porcentagem de investimentos na educação básica, dentre outros; e, no terceiro nível, dados demográficos, como região do país, UF, índice de desenvolvimento humano do munic ípio e região de influência. Os resultados no primeiro nível apontam uma relação direta entre índices elevados na VD e em desempenhos anteriores: a maior parte dos municípios com desempenho superior em 2009 apresentaram índices elevados no Ideb em 2011 e a queles com desempenho inferior em avaliações anteriores (em 2009, 2007 e, em alguns casos, em 2005) apresentaram índices baixos em 2011. No segundo nível, os resultados indicaram que os efeitos gerados por gastos mais recentes (de 2011) são menos relevantes do que aqueles realizados anteriormente (em 2009). Esses dados sugerem que o efeito de investimentos financeiros na educação é/será mais provavelmente observado a médio ou longo prazo. No terceiro nível, a Unidade da Federação se mostrou mais relevante do que a região do país e as demais variáveis testadas. O modelo CHAID, nas duas formas testadas (CHAID e exhaustive-CHAID), se mostrou efetivo para a identificação das variáveis significativamente relacionadas ao desempenho acadêmico, aferido pelo Ideb, pr oduzindo informações abrangentes, mas sem que se percam as especificidades de cada realidade, tendo sido o modelo exhaustive-CHAID mais rigoroso na seleção de variáveis. Demonstrou -se que a análise multinível produz resultados diferentes da análise geral d as variáveis, sugerindo

importantes efeitos da interação entre elas. Discute -se a

disponibilidade de dados educacionais para a identificação e análise de relações entre ações políticas e seus efeitos educacionais. Por fim, nas considerações finais, apresentam-se algumas das contribuições da

Análise do Comportamento à análise e interpretação dos

comportamentos das pessoas envolvidas na Política Educacional .

Palavras-chave: Política educacional, avaliação educacional, Ideb;

(7)

Matheus, Natália de Mesquita. Ideb’s sensitivity to educational variables of

educational system according to statistical algorithms. Tese (Doutorado

em Educação: Psicologia da Educação). Pontifícia Universidade Católica de São Paulo, 2014.

Abstract

The present study aimed at evaluating the functionality of CHAID to analyze educational data by demonstrating Ideb’s sensitivity to different aspects of educational system. The dependent variables were Ideb 2011 from initial and final series of the elementary years; the independent variables were considered separately in a multilevel analysis. At the first level, considered independent variable were the cities’ former performance measured by the Ideb at 2005, 2007 and 2009; at the second level_{, the cities’ budget with education, such as} student cost and the percentage of investments at basic education, and others came into focus; and, at the third level, the independent variables considered were demographic data such as region, State, index of human development and influence region. The results shown at the first level indicate a direct relationship between higher scores at the dependent variable and at former performance. Most of the cities with higher scores in 2009 showed higher scores at the Ideb in 2011 and those cities with lower scores in former performances (in 2009, 2007 and, some cases even in 2005) showed lower scores in 2011. At the second level, the results indicate that the effects produced by most recent expenditure (from 2011) are less relevant than those expended earlier (in 2009). Those data suggest that the effects from financial investments in education are / will probably be seen at medium or long term. At the third level, the State was a more significant variable than region and the other tested variables. Statistical algorithms CHAID and exhaustive-CHAID showed to be effective to identify significant variables related to academic performance measured by Ideb, with the production of comprehensive information without losing th e specifies of each reality. However, exhaustive-CHAID, turned out to be a more rigorous than CHAID in the selection of variables. It was demonstrated that the multilevel analysis produced different results whern compared with the comprehensive analysis. It suggests an important effects from the interaction among all tested variables. The availability of educational data for identification and analysis of relationships between political actions and its educational outcomes is discussed. Finally,, the contributions of behavior analysis to the interpretation and analysis of people involved at educational policy behavior are considered.

Keyword s: Educational policy; educational assessment; Ideb; CHAID;

(8)

Sumário

CAPÍTULO 1 ...1

Ideb e accountability: uma proposta de política orientada por dados ...1

CAPÍTULO 2 ... 25

Estudos sobre o Ideb: contribuições e limitações ... 25

Análise metodológica ... 45

“Organizações” do Ideb ... 45

Modelos matemáticos utilizados ... 49

Contribuições e limitações ... 58

CAPÍTULO 3 ... 63

Modelos matemáticos ... 63

Modelo CHAID ... 63

CAPÍTULO 4 ... 74

Percurso Metodológico ... 74

Resultados ... 82

Análise descritiva ... 82

Variável dependente ... 82

Variáveis independentes: Desempenho acadêmico dos municípios (Nível 1) ... 85

Variáveis independentes: Desempenho financeiro dos municípios (Nível 2) ... 90

Variáveis independentes: Indicadores demográficos e econômicos (Nível 3) ... 96

Análises CHAID e exhaustive-CHAID ... 116

Nível 1: Desempenho acadêmico dos municípios ... 117

Nível 2: Desempenho financeiro dos municípios ... 130

Nível 3: Indicadores demográficos e econômicos dos municípios ... 143

CAPÍTULO 6 ... 157

Discussão ... 157

Considerações sobre as variáveis selecionadas ... 157

Questões metodológicas ... 161

Sobre a análise multinível ... 161

Sobre a organização da variável dependente (Ideb 2011) em faixas de desempenho .. 165

Sobre a comparação das análises CHAID e exhaustive-CHAID... 171

Implicações dos resultados encontrados ... 172

(9)

A “menor importância” da Região do país, o inverso do “efeito metrópole” e a significância

restrita do IDH-M. ... 175

O que significa ter o desempenho recente como variável significativa? ... 177

Encaminhamentos para futuras pesquisas ... 179

CAPÍTULO 7 ... 183

Considerações finais ... 183

REFERÊNCIAS ... 194

APÊNDICES... 205

APÊNDICE A ... 206

Estudo 1: Estabelecimento de critérios para a definição da variável dependente ... 206

APÊNDICE B ... 250

Planilhas em formato Excel com os dados utilizados ... 250

APÊNDICE C ... 251

Figuras 3 a 18 em tamanho grande para impressão em folha A1. ... 251

APÊNDICE D ... 252

(10)

Lista de Tabelas

TABELA 1.DETALHAMENTO DOS ESTUDOS AGRUPADOS NA CATEGORIA "IDEB COMO VARIÁVEL DEPENDENTE".29

TABELA 2-A.VARIÁVEIS RELACIONADAS À ESCOLA, INVESTIGADAS PELOS ESTUDOS SOBE O IDEB. ...39

TABELA 2-B.VARIÁVEIS RELACIONADAS À GESTÃO ESCOLAR, INVESTIGADAS PELOS ESTUDOS SOBE O IDEB. ...39

TABELA 2-C.VARIÁVEIS RELACIONADAS AO PROFESSOR E/OU COORDENADOR, INVESTIGADAS PELOS ESTUDOS SOBE

O IDEB. ...40

TABELA 2-D.VARIÁVEIS RELACIONADAS AO ENSINO, INVESTIGADAS PELOS ESTUDOS SOBE O IDEB. ...395

TABELA 2-E.VARIÁVEIS RELACIONADAS AO ALUNO, INVESTIGADAS PELOS ESTUDOS SOBE O IDEB. ...39

TABELA 2-F.VARIÁVEIS RELACIONADAS À POLÍTICA EDUCACIONAL, INVESTIGADAS PELOS ESTUDOS SOBE O IDEB.39

TABELA 2-G. VARIÁVEIS RELACIONADAS INDICADORES SOCIAIS, ECONÔMICOS E DEMOGRÁFICOS, INVESTIGADAS PELOS ESTUDOS SOBRE IDEB.. ...39

TABELA 3.CLASSIFICAÇÃO DAS ESCOLAS EM QUARTIS, REALIZADA POR ZAMPIRI (2009), SEGUNDO DESEMPENHO NO

IDEB, EM 2005 E 2007. ...46

TABELA 4. CONVERSÃO DE VALORES DO IDEB 2011 PARA FAIXAS DE DESEMPENHO (VALORES CATEGÓRICOS) SEGUNDO DITTRICH (2010)...77

TABELA 5.INDICADORES DO FNDE SELECIONADOS. ...78

TABELA 6.CONVERSÃO DE VALORES DO IDH-M PARA FAIXAS DE INTERVALO (VALORES CATEGÓRICOS) SEGUNDO

DITTRICH (2010)...79

TABELA 7. HIERARQUIA DOS CENTROS URBANOS SEGUNDO CLASSIFICAÇÃO DE REGIÃO DE INFLUÊNCIA DO IBGE

(2007). ...80

TABELA 8. DISTRIBUIÇÃO DOS VALORES IDEB 2011 DOS MUNICÍPIOS – ANOS INICIAIS E FINAIS DO ENSINO FUNDAMENTAL – DESCONSIDERANDO-SE A DEPENDÊNCIA ADMINISTRATIVA...83

TABELA 9.DISTRIBUIÇÃO DOS VALORES IDEB 2011 DOS MUNICÍPIOS SEGUNDO A FAIXA IDEB (DITTRICH,2010)–

ANOS INICIAIS E FINAIS DO ENSINO FUNDAMENTAL – DESCONSIDERANDO-SE A DEPENDÊNCIA ADMINISTRATIVA. 84

TABELA 10.MEDIDAS DE DISPERSÃO E DE TENDÊNCIA CENTRAL DOS VALORES IDEB DOS ANOS INICIAIS E FINAIS DO ENSINO FUNDAMENTAL, AFERIDOS EM 2005, 2007 E 2009, DESCONSIDERANDO-SE A DEPENDÊNCIA ADMINISTRATIVA. ...85

TABELA 11.CRUZAMENTO DOS DADOS IDEB 2011 E 2005, COM REFERÊNCIA POR FAIXA DE VALOR DE 2011. 87

TABELA 12.CRUZAMENTO DOS DADOS IDEB 2011 E 2005, COM REFERÊNCIA POR FAIXA DE VALOR DE 2005. 88

TABELA 13. INDICADORES DE GASTOS MUNICIPAIS COM OS ANOS INICIAIS DO ENSINO FUNDAMENTAL, EM REAIS,

SELECIONADOS DO FNDE(N=6143 MUNICÍPIOS). ...91

TABELA 14. INDICADORES DE GASTOS MUNICIPAIS COM OS ANOS FINAIS DO ENSINO FUNDAMENTAL, EM REAIS, SELECIONADOS DO FNDE(N=6271 MUNICÍPIOS). ...92

TABELA 15. INDICADORES DE GASTOS MUNICIPAIS COM OS ANOS INICIAIS DO ENSINO FUNDAMENTAL, EM PORCENTAGEM, SELECIONADOS DO FNDE(N=6143 MUNICÍPIOS). ...94

TABELA 16. INDICADORES DE GASTOS MUNICIPAIS COM OS ANOS FINAIS DO ENSINO FUNDAMENTAL, EM PORCENTAGEM, SELECIONADOS DO FNDE(N=6271 MUNICÍPIOS). ...94

(11)

TABELA 18.RELAÇÃO ENTRE O GASTO EDUCACIONAL POR ALUNO EM 2011 DOS MUNICÍPIOS SELECIONADOS PARA

ANÁLISE DOS ANOS FINAIS COM O DESEMPENHO NO IDEB 2011 ORGANIZADO EM FAIXAS. ...96

TABELA 19.DISTRIBUIÇÃO DOS MUNICÍPIOS SEGUNDO A DEPENDÊNCIA ADMINISTRATIVA. ...97

TABELA 20.DISTRIBUIÇÃO DOS VALORES IDEB 2011 DOS MUNICÍPIOS SEGUNDO A DEPENDÊNCIA ADMINISTRATIVA -ANOS INICIAIS E FINAIS DO ENSINO FUNDAMENTAL. ...98

TABELA 21. DISTRIBUIÇÃO DOS VALORES IDEB DOS MUNICÍPIOS EM FAIXAS DE DESEMPENHO (DITTRICH,2010) SEGUNDO A DEPENDÊNCIA ADMINISTRATIVA – ANOS INICIAIS E FINAIS DO ENSINO FUNDAMENTAL. ...99

TABELA 22. DISTRIBUIÇÃO DOS MUNICÍPIOS NAS CINCO REGIÕES DO PAÍS, SEGUNDO A DEPENDÊNCIA ADMINISTRATIVA. ...100

TABELA 23.DISTRIBUIÇÃO DOS VALORES IDEB 2011 DOS ANOS INICIAIS EM FAIXAS, SEGUNDO A REGIÃO DO PAÍS, DESCONSIDERANDO-SE A DEPENDÊNCIA ADMINISTRATIVA. ...101

TABELA 24. DISTRIBUIÇÃO DOS VALORES IDEB 2011 DOS ANOS FINAIS EM FAIXAS, SEGUNDO A REGIÃO DO PAÍS, DESCONSIDERANDO-SE A DEPENDÊNCIA ADMINISTRATIVA. ...102

TABELA 25.DISTRIBUIÇÃO DOS VALORES IDEB 2011 DOS ANOS INICIAIS EM FAIXAS, SEGUNDO A REGIÃO DO PAÍS, DESCONSIDERANDO-SE A DEPENDÊNCIA ADMINISTRATIVA. ...103

TABELA 26. DISTRIBUIÇÃO DOS VALORES IDEB 2011 DOS ANOS FINAIS EM FAIXAS, SEGUNDO A REGIÃO DO PAÍS, DESCONSIDERANDO-SE A DEPENDÊNCIA ADMINISTRATIVA. ...103

TABELA 27. DISTRIBUIÇÃO DOS MUNICÍPIOS NAS UNIDADES DA FEDERAÇÃO, SEGUNDO A DEPENDÊNCIA ADMINISTRATIVA. ...106

TABELA 28.CRUZAMENTO DOS DADOS IDEB 2011 EM FAIXAS DOS ANOS INICIAIS POR UNIDADE DA FEDERAÇÃO. ...107

TABELA 29.CRUZAMENTO DOS DADOS IDEB 2011 EM FAIXAS DOS ANOS FINAIS POR UNIDADE DA FEDERAÇÃO.108 TABELA 30. HIERARQUIA URBANA QUANTO À REGIÃO DE INFLUÊNCIA DOS MUNICÍPIOS CONSIDERADOS PARA A PESQUISA – ANOS INICIAIS E FINAIS – DESCONSIDERANDO-SE A DEPENDÊNCIA ADMINISTRATIVA...110

TABELA 31. DISTRIBUIÇÃO DOS VALORES IDEB 2011 DOS ANOS INICIAIS EM FAIXAS, SEGUNDO A REGIÃO DE INFLUÊNCIA, DESCONSIDERANDO-SE A DEPENDÊNCIA ADMINISTRATIVA. ...111

TABELA 32. DISTRIBUIÇÃO DOS VALORES IDEB 2011 DOS ANOS FINAIS EM FAIXAS, SEGUNDO A REGIÃO DE INFLUÊNCIA, DESCONSIDERANDO-SE A DEPENDÊNCIA ADMINISTRATIVA. ...111

TABELA 33. DISTRIBUIÇÃO DOS VALORES IDEB 2011 DOS ANOS INICIAIS EM FAIXAS, SEGUNDO A REGIÃO DE INFLUÊNCIA, DESCONSIDERANDO-SE A DEPENDÊNCIA ADMINISTRATIVA. ...112

TABELA 34. DISTRIBUIÇÃO DOS VALORES IDEB 2011 DOS ANOS FINAIS EM FAIXAS, SEGUNDO A REGIÃO DE INFLUÊNCIA, DESCONSIDERANDO-SE A DEPENDÊNCIA ADMINISTRATIVA. ...112

TABELA 35.MEDIDAS DE TENDÊNCIA CENTRAL E DE DISPERSÃO DO ÍNDICE DE DESENVOLVIMENTO HUMANO DO MUNICÍPIO (IDH-M), REFERENTE AOS ANOS DE 2000 E 2010, PARA OS MUNICÍPIOS SELECIONADOS NA ANÁLISE DOS ANOS INICIAIS E FINAIS DO ENSINO FUNDAMENTAL. ...113

TABELA 36.CRUZAMENTO DAS VARIÁVEIS IDEB 2011 DOS ANOS INICIAIS E IDH-M2010. ...114

TABELA 37.CRUZAMENTO DAS VARIÁVEIS IDEB 2011 DOS ANOS FINAIS E IDH-M2010. ...114

TABELA 38.CRUZAMENTO ENTRE IDH-M2010 E IDEB 2011 DOS ANOS INICIAIS. ...115

(12)

Lista de Figuras

FI G U RA 1. EX E MP L O D E A P L I C A Ç Ã O D O A L G O RI T MO C HAID E M P E S Q U I S A D A Á RE A D A SA Ú D E. FO N T E: BE RT O N I; BA S T O S; ME L L O; MA K U C H; SO U S A; OS I S; FA Ú N D E S (2009). ... 66

FI G U RA 2. HI S T O G RA MA S D O S V A L O R E S ID EB E M 2005, 2007 E 2009 D O S MU N I C Í P I O S S E L E C I O N A D O S P A RA A P E S Q U I S A, RE F E RE N T E A O S A N O S I N I C I A I S E F I N A I S D O E N S I N O F U N D A ME N T A L, D E S C O NS I D E RA N D O-S E A D EP E N D Ê N C I A A D M I N I S T R A T I V A... 86

FI G U RA 3. ÁRV O RE P RO D U Z I D A C O M O A L G O RI T MO C HAID U T I L I Z A N D O O ID E B 2011 D O S A N O S I N I C I A I S D O E N S I N O F U N D A ME N T A L C O MO VD E V A RI Á V E I S D O N Í V E L 1

(D E S E MP E N H O A N T E RI O R) C O MO VIS. ... 119

FI G U RA 4. ÁRV O RE P RO D U Z I D A C O M O A L G O RI T MO E X H A U S T I V E-CHAID U T I L I Z A N D O O ID E B

2011 D O S A N O S I N I C I A I S D O E N S I N O F U N D AME N T A L C O MO VD E V A RI Á V E I S D O N Í V E L 1

FI G U RA 5. ÁRV O RE P RO D U Z I D A C O M O A L G O RI T MO C HAID U T I L I Z A N D O O ID E B 2011 D O S A N O S F I N A I S D O E N S I N O F U N D A ME N T A L C OMO VD E V A RI Á V E I S D O N Í V E L 1

2011 D O S A N O S F I N A I S D O E N S I N O F U N D AME N T A L C O MO VD E V A RI Á V E I S D O N Í V E L 1

FI G U RA 7. ÁRV O RE P RO D U Z I D A C O M O A L G O RI T MO C HAID U T I L I Z A N D O O ID E B 2011 D O S A N O S I N I C I A I S D O E N S I N O F U N D A ME N T A L C O MO VD E V A RI Á V E I S D O N Í V E L 2 (D E S P E S AS

F I N A N C E I RA S) C O MO VIS. ... 131

2011 D O S A N O S I N I C I A I S D O E N S I N O F U N D AME N T A L C O MO VD E V A RI Á V E I S D O N Í V E L 2 (D E S P E S A S F I N A N C E I RA S) C O MO VIS. ... 135

FI G U RA 9. ÁRV O RE P RO D U Z I D A C O M O A L G O RI T MO C HAID U T I L I Z A N D O O ID E B 2011 D O S A N O S F I N A I S D O E N S I N O F U N D A ME N T A L C OMO VD E V A RI Á V E I S D O N Í V E L 2 (D E S P E S A S

F I N A N C E I RA S) C O MO VIS. ... 137

2011 D O S A N O S F I N A I S D O E N S I N O F U N D AME N T A L C O MO VD E V A RI Á V E I S D O N Í V E L 2 (D E S P E S A S F I N A N C E I RA S) C O MO VIS. ... 140

FI G U RA 11. ÁRV O RE P RO D U Z I D A C O M O A L G O RI T MO CHAID U T I L I Z A N D O O ID E B 2011 D O S A N O S I N I C I A I S D O E N S I N O F U N D A ME N T A L C O MO VD E V A RI Á V E I S D O N Í V E L 3

(13)

2011 D O S A N O S I N I C I A I S D O E N S I N O F U N D AME N T A L C O MO VD E V A RI Á V E I S D O N Í V E L 3

(I N D I C A D O RE S D E MO G RÁ F I C O S) C O MO VIS. ... 148

FI G U RA 13. ÁRV O RE P RO D U Z I D A C O M O A L G O RI T MO CHAID U T I L I Z A N D O O ID E B 2011 D O S A N O S F I N A I S D O E N S I N O F U N D A ME N T A L C OMO VD E V A RI Á V E I S D O N Í V E L 3 (I N D I C A D O RE S

D E MO G RÁ F I C O S) C O MO VIS. ... 151

2011 D O S A N O S F I N A I S D O E N S I N O F U N D AME N T A L C O MO VD E V A RI Á V E I S D O N Í V E L 3 (I N D I C A D O RE S D E MO G RÁ F I C O S) C O MO VIS. ... 154

FI G U RA 15. ÁRV O RE P RO D U Z I D A C O M O A L G O RI T MO CHAID U T I L I Z A N D O O ID E B 2011 D O S A N O S I N I C I A I S D O E N S I N O F U N D A M E N T A L C O MO VD E V A RI Á V E I S D O S T RÊ S N Í V E I S

(D E S E MP E N H O A C A D Ê MI C O A N T E RI O R, D E S P E S A S F I N A N C E I RA S E I N D I C A D O RE S

FI G U RA 16. ÁRV O RE P RO D U Z I D A C O M O A L G O RI T MO CHAID U T I L I Z A N D O O ID E B 2011 D O S A N O S F I N A I S D O E N S I N O F U N D A ME N T A L C OMO VD E V A RI Á V E I S D O S T RÊ S N Í V E I S

FI G U RA 17. ÁRV O RE P RO D U Z I D A C O M O A L G O RI T MO CHAID U T I L I Z A N D O O ID E B 2011 D O S A N O S I N I C I A I S - S E M F A I X A S D E D E S E MP E N H O - C O MO VD E V A RI Á V E I S D O S T RÊ S N Í V E I S

FI G U RA 18. ÁRV O RE P RO D U Z I D A C O M O A L G O RI T MO CHAID U T I L I Z A N D O O ID E B 2011 D O S A N O S F I N A I S - S E M F A I X A S D E D E S E MP E N H O - C O MO VD E V A RI Á V E I S D O S T RÊ S N Í V E I S

(14)

APRESENTAÇÃO

(15)

CAPÍTULO 1

Ideb e

accountability

: uma proposta de política orientada

por dados

O Índice de Desenvolvimento da Educação Básica (Ideb) é considerado um avanço em termos de política por se tratar do primeiro índice educacional sensível ao desempenho e ao fluxo dos alunos simultaneamente (SAVIANI, 2007), o que permite identificar quais escolas ou redes de ensino têm sido capazes de garantir que os alunos aprendam determinado conteúdo em um período de tempo determinado (conteúdo de uma série em um ano).

O Ideb é o indicador objetivo para a verificação do cumprimento das metas fixadas no Termo de Adesão ao Compromisso Todos pela Educação, eixo do Plano de Desenvolvimento da Educação, do Ministério da Educação, que trata da educação básica. Nesse âmbito é que se enquadra a ideia das metas intermediárias para o Ideb. A lógica é a de que para que o Brasil chegue à média 6,0 em 2021, período estipulado tendo

como base a simbologia do bicentenário da

Independência em 2022, cada sistema deve evoluir segundo pontos de partida distintos, e com esforço maior daqueles que partem em pior situação, com um objetivo implícito de redução da desigualdade educacional. (FERNANDES, 2007, p. 2)

A importância de se produzir dados educacionais

(16)

[...] Como compreender a questão do analfabetismo no Brasil, e discutir políticas em relação a esse problema, sem ter dados sobre seu volume e a sua distribuição segundo algumas variáveis, como gênero, idade, condição socioeconômica, região geográf ica, cidade-meio rural etc.? Os números aqui se tornam muito importantes e suas relações também. (GATTI, 2004, p. 13)

Na história da educação brasileira, há evidências do impacto de dados de pesquisa educacional nas políticas nacionais. Tavares Jr., Faria e Lima (2012) relatam, por exemplo, que estudos quantitativos realizados no final dos anos 1980 por Fletcher e Ribeiro (1987, 1989) e no início dos anos 1990 por Klein e Ribeiro (1991) e por Fletcher (1991) sobre inconsistências nos indicadores de fluxo e scolar nacional impactaram as políticas nacionais de evasão e repetência:

O próprio MEC alterou sua forma de estimar as estatísticas de rendimento. Na Geografia da Educação Brasileira (INEP, 2002), princip al diagnóstico da educação nacional e melhor síntes e de indicadores educacionais oficiais, o fluxo aparece definido de forma completamente distinta. Essa transformação ocorrida nos anos 1990 em grande parte se deve à incorporação das críticas oriundas dos trabalhos acima citados, em especial os refer entes ao Profluxo. (TAVARES JR.; FARIA; LIMA, 2012, p . 52).

O Sistema de Avaliação da Educação Básica (SAEB), também é um exemplo de ação política embasada em dados de pesquisa educacional, e pode ser entendido como a consolidação de uma preocupação do governo brasileiro em reunir dados para diagnóstico educacional e embasamento para a formulação de políticas:

(17)

ampliação da equidade e da eficiência do sistema

educacional brasileiro. Nesse contexto, fornece

subsídios à formulação de políticas e diretrizes adequadas à diversidade de situações presentes nos estados e regiões brasileiras, constituindo -se como uma referência nacional no que diz respeito ao desempenho escolar da população discente. ( FERRÃO; BELTRÃO; FERNANDES; SANTOS; SUÁREZ; ANDRADE, 2001, p. 12).

Os indicadores de fluxo e repetência e a i mplantação do SAEB são, entretanto, apenas uma das formas pelas quais os dados podem impactar as políticas educacionais. Outra forma se relaciona com a demonstração da efetividade de procedimentos de ensino. Um exemplo desta última são as pesquisas sobre o efeito-escola que se destinam a medir o quanto as decisões pedagógicas e políticas da escola afetam o desempenho e o desenvolvimento de seus alunos.

Pesquisas sobre o efeito-escola não são largamente conduzidas no Brasil. Alguns estudos (FRANCO, 2001; ANDRADE; SOARES, 2008) apontam que o País ainda carece de estrutura para o desenvolvimento de tais estudos, que exigem, entre outros aspectos,

o acompanhamento longitudinal dos alunos. Na literatura

internacional também há evidências de que esta perspectiva é pouco adotada, ou produz poucas mudanças no sistema educacional.

(18)

alunos de origens pouco favorecidas nos Estados Unidos; o início do projeto se deu no final dos anos 1960 e terminou 27 anos depois, em 1995 (GAUTHIER, s/d).

O estudo partiu da concepção de que a abordagem de ensino utilizada pelos professores era uma variável relevante no sucesso acadêmico dos alunos. Os proponentes de diferentes abordagens educacionais deveriam introduzir sua proposta nas escolas, providenciar o material didático e o treinamento dos professores para sua correta utilização. Havia certo número de escolas com cada proposta e escolas-controle, que não receberam nenhuma proposta nova. Os resultados eram avaliados não só em termos da aprendizagem de leitura, escrita e matemática, mas também quanto a habilidades cognitivas, solução de problemas e dimensões emocion ais (autoestima e autoimagem). Nove propostas de ensino se cadastraram no programa e, anualmente, cerca de 10.000 alunos foram avaliados.

Os resultados, segundo Gauthier (s/d), indicaram claramente que a abordagem Direct Instruction obteve grande destaque no estudo. A Direct Instruction tem como objetivo ensinar repertórios acadêmicos relacionados à leitura e matemática. Entretanto, os resultados do Projeto Follow Through indicaram que a Direct

Instruction teve impacto positivo muito acima do grupo -controle

(19)

Os resultados do Projeto Follow Through, entretanto, não impactaram a política educacional americana como se esperava (WATKINS, 1995): a proposta de Direct Instruction não foi adotada pelo sistema educacional americano.1

Iniciativas nacionais para a identificação de variáveis

responsáveis por bons resultados

O MEC, em parceria com o UNICEF, desenvolveu duas pesquisas após a divulgação dos primeiros resultados do Ideb, com o objetivo de identificar práticas de escolas2_{que obtiveram bons} resultados. Os estudos foram divulgados em duas edições de uma publicação intitulada “Aprova Brasil: O Direito de Aprender” (MEC & UNICEF, s/d; MEC, INEP & UNICEF, 2007).

O principal critério para a seleção das escolas participantes era o desempenho médio dos alunos da escola ser superior ao desempenho dos alunos de municípios de situações socioeconômicas semelhantes. Com este critério, as notas dos alunos das 33 escolas selecionadas para o estudo não estavam, necessariamente, entre as mais altas do país, mas estavam necessariamente acima da média nacional e com maior potencial em relação à população atendida.

1 Ainda assim, há registros de iniciativas recentes de analistas do comportamento na divulgação de métodos de ensino baseadas em evidência. Um exemplo é o livro de Daniel Moran e Richard Malott,

(20)

Também para a seleção das escolas, procurou -se garantir que as cinco regiões do país seriam r epresentadas.

As pesquisas foram conduzidas durante 3 meses e basearam -se em observação in loco e entrevistas com diferentes atores educacionais – diretores, coordenadores, funcionários, professores, pais, membros do conselho escolar e alunos. A todos os a tores, perguntava-se “Esta escola teve um desempenho na Prova Brasil acima da média das escolas públicas brasileiras. A que pode ser atribuído esse resultado?”. Além das respostas dadas, o pesquisador

também deveria registrar três “boas práticas” identificadas na escola por meio da observação. Em relação às “boas práticas”, o estudo

informa:

A sistematização dessas práticas foi feita a partir da análise de sua pertinência pedagógica, da coerência com a abordagem de direitos das crianças e dos adolescentes, de sua consolidação no dia -a-dia da escola e de seu potencial de ser reaplicado em outras escolas.

Não foram estudadas as relações de causalidade que poderiam atribuir as melhorias exclusivamente a essas boas práticas. Porém, pelo fato de estarem dentro do contexto de escolas onde os alunos tiveram bom desempenho na avaliação nacional de aprendizagem, a Prova Brasil, essas práticas podem, sim, ser destacadas por suas características e sua relevância para a escola estudada.

[...]

A identificação de boas prát icas serve, portanto, como inspiração para políticas, diretrizes e mesmo ações

que possam contribuir para a melhoria da

(21)

Os resultados identificados nessas pesquisas serviram de inspiração para políticas e diretrizes. O Ministério da Educação lançou, em 2007, o Plano de Desenvolvimento da Educação e, no ano seguinte, seu plano estratégico, o Plano de Metas Compromisso Todos pela Educação3_{(DECRETO 6.094, de 24 de abril de 2008).}

No Compromisso, o Ideb é anunciado como a medida privilegiada para o monitoramento da aprendizagem e, seria obrigatória, ao município participante do convênio4_{, a elaboração de} um diagnóstico da situação educacional e de planos de ação para a melhoria da aprendizagem.

Ideb e accounta bility

Conforme o exposto até aqui, há uma tendência segundo a qual decisões políticas se fundamentam em dados e, como decorrência, há a necessidade de se desenvolverem meios para a avaliação dos fenômenos de interesse _– o fluxo de alunos, sua aprendizagem etc.

Tal tendência converge com práticas de accountability. Ainda sem termo adequado para a tradução em língua portuguesa, o termo

3_{Doravante denominado simplesmente Compromisso.}

(22)

accountability tem agrupado práticas relacionadas à cultura de responsabilização e prestação de contas (AFO NSO, 2009).

Segundo Fernandes e Gremaud (2009), as práticas de

accountability se caracterizam por três fatores: a) a aprendizagem

dos alunos é o aspecto mais importante das políticas, e sua mensuração se dá, frequentemente, por testes padronizados; b) professores e diretores são considerados responsáveis pelos resultados obtidos pelos alunos nos exames; e c) os resultados obtidos são publicados e há um sistema de incentivos (em que podem ou não ser previstos prêmio ou punições) atrelados aos resultados dos alunos.

Fernandes e Gremaud (2009) analisaram a literatura sobre

accountability e afirmaram que as medidas educacionais têm sido

alvo de discussão em dois níveis diferentes: em um deles, discute m-se quais são os objetivos educacionais que deveriam m-ser aval iados; no outro, enfrenta-se a discussão sobre a necessidade de construir medidas ou indicadores para mensurar tais objetivos.

(23)

[...] grande parte das avaliações se limita à leitura e matemática e muitos críti cos as consideram limitadas. Ainda que as avaliações ampliem seu escopo, incl uindo outras disciplinas, elas tendem a se concentrar no desenvolvimento cognitivo dos estudantes e, segundo esses críticos, ignoram aspectos fundamentais como,

por exemplo, ética , responsabilidade social,

preservação ambiental e diversas habilidades não cognitivas que seriam importantes para a formação dos estudantes. Por outro lado, esses críticos tendem a considerar os objetivos da escola tão gerais e abstratos (e.g. formar cida dãos comprometidos em construir uma sociedade democrática) que torna impossível a construção de instrumentos para medi -los. [...] (FERNANDES; GREMAUD, 2009, p. 2)

A premissa (ou o argumento de defesa) por trás das avaliações de larga escala realizadas no Brasil atualmente, cujo objeto de avaliação frequentemente é o desempenho em leitura e matemática, segundo Fernandes e Gremaud (2009), é que os resultados dos alunos nestes exames funcionam como preditores da vida escolar: o aluno com bom desempenho tem maior probabilidade de permanecer na escola e concluir o ensino, e, ao mesmo tempo, o aluno que permanece na escola é aquele que tem bom desempenho. Também é possível dizer que o aluno que não desenvolve tais habilidades cognitivas básicas (aferidas pelos in strumentos) dificilmente adquirirá as habilidades complexas envolvidas no repertório de cidadania e comprometimento social desejado.

(24)

modo que os alunos com mais anos de escolaridade tendem a possuir maior renda no futuro, enfrentar menores índices de criminalidade etc. Desta forma, avaliar apenas estas habilidades, ainda que se saiba que são parte pequena de todos os objetivos educacionais socialmente relevantes, permite obter uma medida a partir da qual se infere o sucesso do aluno durante a vida escolar e fora dela.

A perspectiva de accountability tem acompanhado a

introdução das avaliações educacionais em larga escala. Entretanto, apenas produzir dados de avaliação educacional não é suficiente para se dizer que accountability está sendo implantada. A ideia central do conceito é que todos os profissionais envolvidos na e ducação são responsáveis pelos resultados dos alunos nas avaliações realizadas.

Ainda segundo Fernandes e Gremaud (2009), as políticas de

accountability são consideradas desejáveis quando se identifica que

os resultados dos alunos não são satisfatórios e que mudanças nos comportamentos dos envolvidos na educação _– professores, diretores e gestores _– poderiam favorecer a obtenção de resultados diferentes. Para estes autores, por trás desta concepção, está a noção de que há algo que imobiliza a mudança nos padrões de agir destes profissionais da educação e a implantação da política de

accountability _{“alterará a estrutura de incentivos dos professores”}

(FERNANDES; GREMAUD, 2009, p. 6).

(25)

Segundo Fernandes e Gremaud (2009), este ato aparentemente simples pode promover mudanças nas escolas por permitir que elas alterem a percepção a respeito da qualidade de seu trabalho e, simultaneamente, passam a ser alvo de maiores cobranças por parte da população.

Outro aspecto, que pode ou não estar presente nas políticas de

accountability, é a premiação ou punição às escolas em função dos

seus resultados. Para Fernandes e Gremaud (2009), este aspecto é bastante controverso e arriscado. Dois exemplos de problemas mencionados pelos autores parecem pertinentes: o primeiro deles se configura na dificuldade de avaliar a mudança produzida pela escola nos alunos com diferentes repertórios. Na análise dos autore s, escolas que recebem alunos com piores condições socioeconômicas poderiam se sentir desmotivadas a mudar suas estratégias de ensino por saberem da dificuldade de seus alunos em atingir os parâmetros considerados adequados, ainda que se observem algumas m udanças nos resultados das avaliações. O segundo exemplo são ações das escolas que alteram a motivação dos alunos para participar dos testes (com premiações por desempenho) ou excluem alunos com baixo desempenho das provas. Estas ações podem provocar mudan ças nos resultados das provas sem que elas sejam, necessariamente, indicativos de mudanças nas estratégias de ensino.

(26)

relacionados à evasão e repetência e ao desempenho dos alunos, espera-se que os envolvidos na política de educação atentem para todos estes aspectos, e não apenas para os resultados nas provas.

Apesar deste alerta dos autores supracitados, a estratégia

adotada pelo Ministério da Educação para aumentar o

comprometimento das escolas e Secretarias de Ensino Municipais e Estaduais, foi o estabelecimento de metas bianuais para o Ideb. A proposta das metas específicas para cada escola e município caracteriza-se como uma tentativa de superação do problema de esperar que todos os alunos de todas as escolas atinjam o mesmo patamar de resultados, independentemente de seu ponto de partida, ou do repertório de entrada dos alunos. No entanto, focam a atenção de toda a rede para este aspecto da política educacional.

Fernandes e Gremaud (2009) afirmam que a principal ação de

accountability da política que envolve o Ideb é a divulgação dos

resultados, sem, entretanto, envolver os aspectos da punição por resultados5_{. A estratégia adotada pelo MEC é a de aumentar recursos} para as escolas que alcançam as metas estabelecidas (algo que se aproxima da premiação); entretanto, as escolas que não o fizerem, receberão do governo recursos técnicos e financeiros para diagnóstico, elaboração e i mplantação de um Plano de Ações

(27)

Articuladas – um conjunto de ações para o alcance das metas estabelecidas. Estas ações não deveriam ser consideradas punitivas.

Dois autores largamente citados no debate sobre

accountability são Hanushek e Raymond. Em um est udo de 2004

(HANUSHEK; RAYMOND, 2004), em que foram analisados resultados dos alunos norte-americanos em testes padronizados, os autores encontraram evidências de que políticas de accountability com consequências diferenciais para a melhora ou piora no des empenho (isto é, premiação e punição) tiveram um impacto positivo no resultado dos alunos.

(28)

Riscos da prática accountabili ty

O estudo de Hanushek e Raymond (2004) trouxe elementos que consideraram como fragilidades da política de accountability na educação, tais como aumento nas taxas de evasão, maior exclusão (evidenciada pelas diferenças de resultados obtidos por alunos brancos e negros) e um “estreitamento do currículo”. O termo “estreitamento” refere-se à redução dos currículos escolares em

função do que é avaliado nos exames padronizados. Em suma, ensina -se somente o que -será testado. Tal prática também foi identificada por alguns estudos brasileiros, nos quais as escolas ou municípios modificaram seus currículos para se aproximar da Prova Brasil, após a implantação do Ideb (ZAMPIRI, 2009; BIANCARDI, 2010; CHIRINÉIA, 2010).

Psicólogos analistas do comportamento também se d edicaram a analisar efeitos de legislações que incentivam práticas de

accountability. Ellis e Magee (2007) analisaram a lei americana No

Child Left Behind (NCLB6_).

A análise das autoras se baseia nos conceitos de contingências, macro contingências e meta contingências da análise do comportamento. O conceito de contingência, desenvolvido por Skinner (1953/20147_{), é uma ferramenta de análise que permite a} identificação das variáveis potencialmente controladoras do

6_{“Nenhuma criança deixada para trás” em tradução livre}_.

(29)

comportamento de um indivíduo. Em suma, qual quer ação de um indivíduo é controlada por eventos antecedentes e por eventos consequentes com função selecionadora, e a probabilidade de um comportamento ser emitido se altera em função da probabilidade de tais condições serem produzidas.

Os conceitos de macro e meta contingências foram desenvolvidos por Glenn (2004). Ambos os conceitos partem da suposição de que, em muitas situações, há mais do que um indivíduo se comportando.

Nas situações identificadas como macro contingências, além das consequências i ndividuais, há um produto agregado que só existe porque há mais do que um indivíduo se comportando. Este produto passa a existir no ambiente, mas não tem efeito selecionador sobre o comportamento de cada indivíduo _– no sentido de tornar mais provável a resposta que o produz – como têm as consequências reforçadoras, ainda que possa exercer algum tipo de efeito ou de controle sobre o comportamento8_.

Nas situações identificadas como meta contingências também há mais de um indivíduo se comportando, mas, neste caso, em uma interação, de modo que o comportamento de um deles serve como ambiente (antecedente e consequente) para o comportamento do

(30)

outro. A este fenômeno se dá o nome de entrelaçamento. Nestas circunstâncias de entrelaçamento, o produto agregado possu i um efeito selecionador, isto é, o produto agregado aumenta as chances de os indivíduos se engajarem no comportamento que se entrelaça, pois a consequência produzida por todos é maior/melhor que a consequência produzida individualmente. Nas palavras de El lis e Magee (2007, p. 6), neste caso, “[...] os comportamentos dos

indivíduos se tornam cooperativos porque maximizam as

consequências favoráveis”.

Com base nestes conceitos, Ellis e Magee (2007) analisaram a NCLB com os objetivos de identificar: quais são os comportamentos dos indivíduos dentro do sistema educacional; se há entrelaçamento entre os comportamentos de diferentes indivíduos; quais são as consequências que mantêm estes comportamentos; e, por fim, se há produtos agregados com função selecionador a.

(31)

O principal objetivo da NCLB, segundo Ellis e Magee (2007), foi garantir que todos os alunos tivessem direito a ter bons professores e oportunidade de estudar em escolas de alta qualidade. A lei estabelecia que, em um período de 10 anos, todos os alunos deveriam ter 100% de proficiência nos testes estaduais de conhecimento (achievement tests); para atingir esta meta, foram prescritos quatro focos de ação (targets): 1. O aumento da

accountability dos estados, distritos e escolas pelo desempenho

acadêmico de seus alunos; 2. O aumento do controle local, por dar flexibilidade aos estados, distritos e escolas no estabelecimento de metas parciais e nas decisões sobre como atingir as metas estabelecidas; 3. O estabelecimento de programas delineados para dar maior igualdade de oportunidades aos estudantes que frequentam escolas com baixo desempenho; e 4. A implantação de programas educacionais que tivessem se demonstrado efetivos por meio de pesquisa científica rigorosa (ELLIS; MAGEE, 2007). Para os efeitos deste capítulo, será enfatizado apenas o primeiro item.

Na análise de Ellis e Magee (2007), a inserção da

accountability proposta pela NCLB envolve, necessariamente,

contingências de controle aversivo, isto é, os indivíduos submetidos à

accountability são punidos caso não atinjam determinados critérios

ou metas.

(32)

financeiras, que envolvem a diminuição no repasse de recursos federais, até a rotula_{ção de “escola de baixo desempenho que} necessita melhorias”, num ranking de todas as escolas.

Segundo as autoras, a flexibilidade e autonomia dada aos estados e distritos para o estabelecimento das próprias metas, pareceu ser uma tentativa de aumentar a pr obabilidade de alcance das metas. No entanto, o fato de se exigir que todos os alunos, de todas as escolas, atingissem 100% de proficiência no prazo de 10 anos estabelecido não considera o ponto de partida de cada aluno e escola, e torna pouco provável sua consecução. Além disso, os

comportamentos dos que contribuíram para melhorias no

desempenho, mas que não levariam à consecução das metas estabelecidas, também não seriam reforçados.

Segundo as autoras, a situação arranjada pela lei _– de alta

probabilidade de punição – aumentou a probabilidade de

(33)

de lado outras competências e habilidades acadêmicas relevantes para seu futuro.

Outro aspecto de accountability previsto na NCLB é a avaliação do desempenho dos professores. Cada estado americano deveria estabelecer as medidas anuais objetivas pelas quais um professor pudesse ser designado como “altamente qualificado”. A análise de

Ellis e Magee (2007) aponta para uma tendência em tornar a avaliação do professor dependente do desempenho dos alunos nas avaliações externas, mas há variações entre os estados em relação a qual o peso que o desempenho dos alunos deve ter na avaliação dos professores. Alguns dos efeitos desta prática no comportamento dos professores, listados por Ellis e Magee (2007), além do já mencionado ensinar para testes, foi a alta probabilidade de os professores pedirem transferência de escolas com desempenho abaixo do esperado, aumentando a rotatividade do corpo docente.

(34)

Este tipo de medida poderia ter como consequência aumentar a probabilidade de as escolas expulsarem (pushing out) os alunos com baixo desempenho _– o que traria aumento nos fundos preventivos da taxa de evasão. Esta prática foi identificada pelas autoras em algumas escolas do Texas, que aumentaram as taxas de evasão e, como consequência, tiveram suas notas elevadas de um ano ao outro.

(35)

Uma tentativa de contrabalançar o aumento das taxas de evasão está no fato de as escolas também serem avali adas por terem taxas de evasão reduzidas, e não apenas pelas notas nos testes. A análise de Ellis e Magee (2007) é que a NCLB promove contingências conflitivas (que recompensam e punem altas taxas de evasão).

Estas autoras também afirmam que as contingênc ias promovidas pela NCLB têm, pelo menos, três consequências possíveis: 1. Alcance das metas de proficiência estabelecidas por meio de melhorias nas tecnologias de ensino adotadas; 2. Implantação de táticas inadequadas para aumentar as pontuações dos alunos nos testes – independentemente da melhoria do repertório acadêmico dos alunos; ou 3. Evasão do programa NCLB.

(36)

outros estados têm estudado como eliminar as consequências financeiras punitivas previstas pela NCLB.

A lei federal americana NCLB, promulgada em 2002, se assemelha em alguns aspectos à política impl antada no Brasil envolvendo a Prova Brasil e o Ideb. Ambas pretendem melhorar os índices de aproveitamento dos alunos em avaliações externas e reduzir os índices de reprovação e evasão. Em ambas há um acompanhamento das metas estabelecidas para as escolas, por parte das agências estaduais e federais.

Há, entretanto, diferenças fundamentais, que sugerem que os modelos de accountability envolvidos nos dois países são diferentes. Enquanto nos Estados Unidos a NCLB propõe o ranking das escolas, a divulgação de _{seu desempenho com os rótulos de “escola de baixo} desempenho” e as sanções financeiras, a política nacional, com o

Ideb, divulga os resultados de todas as escolas e municípios sem nenhum tipo de ranking (este tem sido sistematicamente criado pelos veículos de comunicação9_{). As escolas com dificuldades para} atingirem as metas são consideradas escolas para intervenção prioritária, tanto para auxílio financeiro quanto técnico para a elaboração de diagnóstico e plano de ações.

Não se pode negar, no entanto, q ue algumas iniciativas municipais e estaduais, desenvolveram estratégias visando o alcance

9 _{Ver, por exemplo, a matéria publicada em 2012 no portal UOL “}_{Confira ranking das melhores} escolas públicas do Estado de SP, segundo o Ideb_”. _Disponível _em: <

(37)

das metas do Ideb que se aproximam das estratégias analisadas por Ellis e Magee (2007). Um exemplo é o ensinar para testes. Em levantamento bibliográfico das pesquis as sobre o Ideb desenvolvidas no Brasil, as práticas de bonificação dos professores, adotadas em diferentes estados brasileiros , por exemplo, (DANTAS, 2012; MATUDA, 2013), retomam a questão da vinculação da avaliação do professor ao desempenho dos alunos nas avaliações externas. Há ainda a questão sobre o destino dos repasses financeiros às chamadas “escolas prioritárias”. Segundo veículos de comunicação nacionais10

há dificuldades em monitorar o desempenho das escolas, uma vez que parte daquelas que recebeu apoio financeiro em 2007 não teve seus índices de 2009 divulg ados.

Em suma, o que se pretendeu com esta seção foi argumentar que as práticas de accountability per se não são benéficas ou maléficas, não podem salvar e nem destruir a educação. A escolha política que se faz das combinações de ações envolvidas e o arra njo de macro e metacontingências determinarão se tais práticas produzirão resultados favoráveis à educação. Fernandes e Gremaud (2009) afirmaram que não há, no Brasil, unanimidade em relação às práticas relacionadas ao accountability e ao Ideb. Segundo os autores, há resultados de pesquisa que apontam resultados benéficos de sua implementação para a educação, como a aceleração do desempenho dos estudantes; ao mesmo tempo, outros estudos apontam para uma

(38)

possível exclusão dos alunos com baixo desempenho dos sistemas educacionais e outras práticas, como já mencionadas. No texto, Fernandes e Gremaud (2009) afirmam que a implantação recente desta prática no Brasil ainda não permitia sua avaliação.

(39)

CAPÍTULO 2

Estudos sobre o Ideb: contribuições e limitações

Com a função de explicitar como a comunidade acadêmica tem investigado um dos principais elementos da pol ítica de avaliação educacional no Brasil, fez-se um levantamento11_{dos estudos sobre o} Ideb em diferentes fontes: no Banco de Teses e Dissertações da Capes; na base de dados do Domínio Público; nos Anais de eventos da ANPAE (Associação Nacional de Política e Administração da Educação); e em periódicos da área Educação bem avaliados pela Capes (Cadernos de Pesquisa _– A1 e Estudos em Avaliação Educacional _– A2), disponíveis no Scielo.

Para a localização dos trabalhos, foi utilizada a palavra -chave “IDEB” no mecanismo de busca dos diferentes portais, resultando em

trabalhos que continham o termo nos títulos, resumos e/ou palavras -chave. No total, foram localizados cerca de 60 trabalhos. A leitura dos resumos permitiu que este número fosse reduzido a cinquenta e três publicações.

O que compõe este capítulo é uma sistematização da leitura dos trabalhos encontrados cujo objetivo é apresentar, em linhas gerais, as características das pesquisas que vêm sendo realizadas sobre o Ideb, quais seus objetivos, delineamento s metodológicos, e

(40)

sua contribuição para a Educação. Para melhor compreensão, os estudos foram agrupados em seis categorias:

1. Textos conceituais sobre o Ideb: nestes estudos discute-se

conceitualmente o Ideb com foco tanto na sua concepção e utilização na política de avaliação educacional brasileira quanto na discussão de sua validade e fidedignidade enquanto indicador. Os textos de Freitas (2007) e Fonseca (2010) foram colocados nesta categoria.

2. IDEB como variável independente para resultados

eleitorais: apenas a pesquisa de Pieri (2011) se encaixa

nesta categoria; seu objetivo foi verificar se existiria um efeito causal entre a qualidade da educação (aferida pelo Ideb) e a probabilidade de reeleição do prefeito.

3. IDEB como critério de seleção: nestes estudos, os

(41)

(2011); Da Paz e Raphae (2012); M arques (2012); Martins (2012); Mesquita (2012).

4. IDEB como resultado d a pesquisa: nestes estudos, os

pesquisadores investigaram elementos da realidade escolar e encontram o Ideb como parte de seus resultados. Os dois trabalhos agrupados nesta categoria são Amorim (2011) e Rosa (2011).

5. IDEB como medida para outros níveis da educação:

nestes estudos, o Ideb foi adotado como medida de impacto da qualidade do ensino anterior (educação infantil) ou como parâmetro de qualidade da educação básica para avaliar seu efeito no ensino superior. Também nesta categoria foi incluído o trabalho cujo objetivo era analisar a participação de alunos da educação especial nas avaliações de larga escala. No total, três estudos foram ag rupados nesta categoria: Campos; Bhering; Esposito; Gimenes; Abuchaim; Valle; Unbehaum (2011); Gramani; Duarte (2 011); Cardoso; Magalhães (2012).

6. IDEB como variável dependente: nestes estudos os

(42)

resultados do Ideb. Trinta e um trabalhos foram agrupad os nesta categoria: Chiappa (2009); Gouveia, Souza e Tavares (2009); Zampiri (2009); Dittrich (2010); Fabrino (2011); Fernandes, C. F. (2010); Mello (2010); Oliveira, A. G. (2010); Alves (2011); Baruffi e Pires (2011); Fernandes (2011); Franklin (2011); Lima e Ramires (2011); Moreira (2011); Nicodemo (2011); Oliveira, M. R. (2011); Pimenta (2011); Real e Silva (2011); Reis (2011); V idal e Vieira (2011); Andrews; Vries (2012); Artoni (2012); Cunha (2012); Diaz (2012); Duarte (2012); Hornick (2012); Kern (20 12); Padilha; Érnica; Batista; Pudenzio (2012); Pardal (2012); Silva (2012); Alves; Soares (2013).

(43)

Tabela 1. Detalhamento dos estudos agrupados na c atego ria "Ideb como v ariável dependen te".

Estudo Objetivo(s) da pesquisa Características da pesquisa / Aspectos metodológicos

Abrangência da pesquisa (número de escolas ou municípios) e critério para seleção

Área

Gouveia; Souza; Tavares (2009)

Identificar correlações entre resultados do Ideb 2009 com indicadores socioeconômicos e educacionais

Quantitativa - são utilizados como indicadores socioeconômicos o Índice de Desenvolvimento Humano do Município (IDH-M) e a taxa da pobreza também do Município; os indicadores educacionais são: aumento do número de matrículas e gasto com aluno por ano

32 municípios da região metropolitana de Curitiba e do litoral do Paraná

Educação

Zampiri (2009)

Estudar a relação entre as prescrições governamentais e os resultados estudantis obtidos nas duas etapas do ensino

fundamental

Quantitativa e qualitativa . Análises estatísticas descritivas para estabelecer relações entre os resultados das escolas (bons/ intermediários/ preocupantes) e diferentes fatores educacionais, dentre eles: dependência administrativa (estadual ou municipal), número de matrículas (pequeno porte, médio porte e grande porte), localização (bairro e regional) e rendimento salarial. Análise qualitativa com base nas entrevistas realizadas nas secretarias de educação de Curitiba com a

Coordenadora das Diretrizes Curriculares da

Educação Básica da Secretaria Estadual da Educação e com a Diretora do Ensino Fundamental da

Secretaria Municipal da Educação, além de informações disponíveis nos sites das Secretarias Estadual e Municipal da Educação

Todos os dados disponíveis das escolas municipais dos anos iniciais e finais do município de Curitiba (225 escolas dos anos iniciais e 156 dos anos finais)

(44)

Área

Chiappa (2009)

Identificar as práticas de sucesso existentes na rede municipal de Porto Alegre (RS)

Qualitativa - entrevistas semiestruturadas com gestores e professores das disciplinas de Português e Matemática dos 5º e 9º anos do Ensino

Fundamental das duas escolas.

Foram selecionadas duas das 45 escolas da rede municipal de ensino de Porto Alegre (RS) - anos iniciais e finais - que aumentaram o Ideb e os resultados na Prova Brasil e que diminuíram o índice de distorção idade-série entre os anos de 2005 e de 2007.

Educação

Dittrich (2010)

Identificar as ações da política do município que favoreceram o aumento do Ideb, entre 2005 e 2007

Quantitativa e qualitativa - Análises descritivas que cruzam os dados do Ideb com outras variáveis não diretamente relacionadas à educação (tais como IDH, localização geográfica das escolas). Utilizou o índice de correlação de Pearson para identificar a correlação entre os índices do IDH dos bairros e o resultado do IDEB 2007 que havia sido calculado para os bairros. A identificação dos fatores potencialmente responsáveis pelos dados - interpretação qualitativa - foi feita com base nos dados de entrevista coletados por Zampiri (2009)

160 escolas municipais de anos iniciais; atendimento prioritário do município de Curitiba (RS)

Educação

Fabrino (2010)

Investigar a relação entre o gasto público e os resultados

educacionais na educação básica - evidências de correlação e

causalidade.

Quantitativo - utiliza dados econômicos, busca relação entre orçamento e desempenho; também

articula os dados com PIB, PIB per capita e IDH.

Utiliza a Modelagem VAR (vetores auto regressivos) e teste de causalidade de Granger. A pesquisa também adotou um recurso estatístico para encontrar as relações com defasagens temporais (de 3 anos)

Abrangência nacional - toda a educação básica, todos os recursos (3 esferas)

(45)

Abrangência da pesquisa (número de escolas ou municípios) e critério para seleção

Área

Fernandes, C. F. (2010)

Analisar fatores institucionais e intra-institucionais (insumos, processos e resultados), nas escolas integrantes do sistema municipal de educação de Vitória (ES), que possam ter interferência na variação das notas do Ideb.

Qualitativa e quantitativa - análise quantitativa de desempenho de 39 (das 51) escolas

municipais dos anos iniciais do município –

análise das médias e distribuição das escolas na curva normal; dados qualitativos coletados por meio de entrevistas a gestores.

Após o cálculo da média do Ideb de 2005 e de 2007 das escolas de anos iniciais, identificou-se a média e a distribuição na curva normal.

Foram escolhidas oito escolas que modificaram seus índices entre 2005 e 2007 a ponto de se localizarem em pontos diferentes da curva normal (por exemplo, 1DP acima, 1DP abaixo) e escolas que permaneceram nas extremidades da curva (nos desvio-padrão superior e inferior). Além destas, outras três escolas que obtiveram aumento nas escalas de proficiência em Língua Portuguesa e Matemática na Prova Brasil, totalizando onze escolas.

Educação

Mello (2010)

Procurar relações entre a expansão do ensino superior (professores formados) e melhorias na educação básica (IDEB)

Qualitativa – analisou documentos da

Universidade e levantou o número de

professores formados, identificou as pesquisas desenvolvidas nos cursos de licenciatura e analisou quais delas se relacionavam com a formação de professores, aprendizagem de alunos, qualidade da educação, entre outros.

Dez municípios com melhor pontuação no Ideb em 2007 e com maior variação entre 2005 e 2007, sendo nove

municípios de pequeno porte (densidade demográfica entre 11 e 43 mil

habitantes); nenhum município com população menor do que 11.000 habitantes; o décimo município selecionado era de grande porte, com população acima de 700 mil habitantes.

(46)

Área

Oliveira, A. G. (2010)

Verificar a possibilidade de diferenças nas médias de matemática serem explicadas pelas políticas municipais (tais como aplicação de recursos do Fundeb, formação de professores, infraestrutura das escolas)

Quantitativa – análise descritiva de características

sócio demográficas (IDH-M, Índice de

Desenvolvimento Infantil (IDI) e Coeficiente de Gini) e educacionais (taxa de aprovação, desempenho escolar e Ideb). Após a caracterização, foram analisadas as demandas educacionais apontadas no Plano de Ações Articuladas. Por último, a pesquisa utiliza o modelo de regressão linear em uma análise multivariada, para verificar se as diferenças em matemática poderiam ser explicadas por políticas educacionais.

Escolas públicas (municipais e estaduais) de todos os municípios do Rio de Janeiro

Educação

Alves (2011)

Identificar fatores explicativos para os resultados do IDEB

encontrados em diferentes escolas ou redes de ensino.

(Este grupo de pesquisas compõe o Grupo de estudos "Bons resultados no Ideb")

Qualitativa – entrevistas a atores das Secretarias

Municipais da Educação e de determinadas escolas

Foram selecionados dez municípios de cada estado com base na análise dos dados do Ideb (anos iniciais) obtidos pelos municípios nos anos de 2005 e de 2007. Em cada município, foram selecionadas as escolas com maior variação ou maior pontuação no Ideb para condução de entrevistas.

Outros dados foram utilizados para compreensão da realidade do município selecionado (dados do IBGE, IPEA, INEP).

Educação Baruffi; Pires

(2011) Educação

Lima; Ramires

(2011) Educação

Nicodemo

(2011) Educação

Pimenta

(2011) Educação

Real; Silva

(2011) Educação

Vidal; Vieira