O PROGRAMA AVALIAÇÃO ECONÔMICA DE PROJETOS SOCIAIS conta com a coordenação técnica da Gerência de Avaliação de Projetos do Itaú Unibanco.

(1)

(2)

(3)

O PROGRAMA AVALIAÇÃO ECONÔMICA DE PROJETOS SOCIAIS conta com a

coordenação técnica da Gerência de Avaliação de Projetos do Itaú Unibanco.

Equipe responsável pela avaliação:

Itau Unibanco:

Ligia Vasconcellos

Parceria:

(4)

Apresentação

Criado em 2004, o Programa Avaliação Econômica de Projetos Sociais ocorre em

parceria entre a Fundação Itaú Social e Itaú Unibanco. Desta forma, o Itaú Unibanco leva suas

competências na área econômica para o campo social.

O Programa possui duas vertentes principais de atuação, a realização de avaliações de

projetos e a disseminação da cultura de avaliação para gestores de projetos sociais e de

políticas públicas. No campo da avaliação, tem-se por premissa sua realização para todos os

programas próprios. A disseminação da cultura de avaliação é feita tanto através da avaliação

de projetos de terceiros, como também de ações de disseminação de conhecimento, por meio

de cursos, seminários e informações disponibilizadas na página eletrônica da Fundação Itaú

Social.

A avaliação econômica engloba a avaliação de impacto, que verifica se os impactos

esperados foram alcançados, e se foram efetivamente causados pelo programa; e o cálculo do

retorno econômico, que é fruto de uma análise de custo-benefício do programa.

Acreditando que a participação de todos os interessados na avaliação é o melhor meio

de validar e perpetuar a cultura de avaliação, o Programa procura incluir os gestores do projeto

a ser avaliado nas discussões sobre o desenho da avaliação. Este trabalho conjunto possibilita,

de um lado, um maior conhecimento do programa em questão, importante para um bom

desenho de avaliação, e, por outro, leva à apropriação pelos gestores da cultura de avaliação.

(5)

INTRODUÇÃO:

A avaliação do programa Escola Integrada de Belo Horizonte teve início em 2007, com os

objetivos de registrar e avaliar impactos desta entre os alunos da rede pública municipal,

analisando seus possíveis impactos diferenciais sobre os participantes e suas famílias.

As inovações específicas à implementação da educação de tempo integral no município –

especificamente as parcerias com outros espaços públicos e com terceiro setor – ilustram a

necessidade de se compreender os diferentes níveis de qualidade e impacto subsequente

associados às experiências sob diferentes condições de participação, provendo elementos para

mapeamento de alternativas em Belo Horizonte e em outros municípios brasileiros.

Os objetivos de avaliação foram buscados através de um desenho de comparação de grupos de

tratamento e controle, que compara processos e efeitos do programa, através de entrevistas

com amostras de famílias dos alunos. Foi feita uma pesquisa de campo, em 2007, com o

objetivo de caracterizar os grupos de comparações e, neste sentido, tem um caráter

abrangente de temas. A adesão ao programa Escola Integrada, tanto por parte das escolas

quanto por parte das famílias, é voluntária. Isto possibilitou a divisão entre grupos de

tratamento e controle com famílias de alunos participantes e não-participantes dentro das

próprias escolas participantes.

Nesta primeira fase da pesquisa, as dimensões de impactos sobre os alunos incluíam resultados

de performance educacional, alocação do tempo, inserção no mercado de trabalho, percepção

das condições escolares e de vida, socialização, cultura, além de indicadores gerais de bem

estar, controlando por seu contexto familiar, escolar e geográfico.

O dimensionamento da amostra partiu da informação de uma rede municipal de 180 escolas,

perfazendo cerca de 160 mil alunos. A dimensão global da amostra deveria ser igual à cerca de

30 escolas e 2700 famílias. A amostra de escolas foi obtida aleatoriamente: 15 escolas do grupo

de tratamento (que participavam do Programa em 2007) e 15 do grupo de controle (que não

participavam do Programa). A amostra de escolas dos grupos de tratamento e comparação foi

obtida a partir de critérios aleatórios, independente da sua localização, vulnerabilidade,

tamanho e composição. No segundo estágio da amostragem, a amostra de alunos/famílias

também foi obtida de forma aleatória, a partir da amostra de escolas, e deveria incluir 2700

entrevistados: 120 nas escolas do grupo de tratamento - 60 participantes e 60 não participantes

-, e 60 nas escolas do grupo de controle. Neste sentido, foram compostos dois grupos de

comparação: um dentro da própria escola participante (Comparação 1) e outro em uma escola

não participante (Comparação 2). Complementando os dados obtidos através das entrevistas,

foram utilizados dados secundários da rede municipal de ensino, referentes aos indicadores de

performance individuais e das escolas, obtidos tanto no Ministério da Educação, quanto na

própria Prefeitura de Belo Horizonte e seus órgãos competentes.

A seguir são destacados os resultados da 1ª fase da pesquisa, para as dimensões de impacto

que são responsáveis pela construção de um ambiente propício à capacitação das crianças. Se,

por um lado, no curto prazo, após a implementação do Programa, resultados efetivos em

termos de desempenho têm uma pequena probabilidade de serem constatados; por outro

lado, é possível apontar efeitos relativos às dimensões que criam condições favoráveis para

seus participantes.

1) Impactos positivos: desenvolvimento no curto prazo de um ambiente de melhores condições

de capacitação das crianças, que constitui etapa necessária e crucial para um reflexo posterior

sobre o desempenho escolar;

(6)

2) Maiores diferenciais do grupo de participantes do Programa (tratamento) em relação ao

grupo de não participantes de fora da escola (comparação 2):

– possível interpretar como um efeito de transbordamento (spillover), ou seja,

disseminação dos resultados positivos do programa para os não participantes dentro

das escolas participantes; todos parecem se beneficiar positivamente do ambiente

criado pelo Programa dentro da escola;

– contudo, os resultados de diferenciais na alocação do tempo no final de semana

sugerem que os alunos não participantes não levam para o ambiente fora da escola este

efeito;

3) Muitos impactos foram reforçados pelo nível de vulnerabilidade social: indicação de impacto

equitativo do Programa, ou seja, em escolas que apresentam maior vulnerabilidade social, os

impactos são maiores;

4) Alocação do tempo das crianças: diferenças observadas não sugerem uma re-alocação do

tempo das crianças participantes do Programa, no sentido de que eles deixam de fazer alguma

atividade para se dedicar ao tempo no Programa (estudo, lazer e esporte na escola), mas uma

ocupação de tempo ocioso, em que não havia declaração de atividade alguma no ano anterior,

e redução importante do tempo dedicado a assistir TV.

Desde esta 1ª fase da pesquisa de Avaliação do Programa Escola Integrada de Belo Horizonte, já

ressaltávamos a grande relevância de um acompanhamento longitudinal dos grupos de análise

do Projeto de Avaliação do Programa Escola Integrada de Belo Horizonte, possibilitando

indicações mais precisas do impacto. A multidimensionalidade dos impactos havia levado à

possibilidade de apontarmos diversas direções em termos dos retornos do programa. Novos

apontamentos para a especificação mais definitiva da direção do impacto só poderiam ser

obtidos com a análise do diferencial agregado do desempenho escolar destes grupos de alunos,

ao menos em dois momentos no tempo. Desta forma, seria possível obter uma análise da

mudança dos diferenciais entre os grupos ao longo do tempo, que caracterizaria o impacto de

forma mais contundente.

Neste sentido, se colocava a extrema importância da continuidade da avaliação, com a análise

de dados secundários que contivessem um acompanhamento do desempenho dos alunos em

termos de notas. O objetivo da inclusão da análise de testes de proficiência para as escolas e

alunos em um segundo ponto no tempo, por intermédio das informações foi fazer o

acompanhamento com dados de médio prazo em relação à implementação inicial do Programa,

que permitisse estimar o seu impacto no aprendizado dos alunos.

A base de dados “Avaliação do Conhecimento Apreendido (Avalia-BH)”, com informações de

proficiência, coletada pela SMED, nas escolas municipais de Belo Horizonte, conta com

informações longitudinais, de 2008 a 2010, de todos os alunos das escolas municipais de Belo

Horizonte, do 3º ao 9º ano do ensino fundamental. Dado que está disponível a identificação

destes alunos, foi possível construir um painel de acompanhamento individual, que tem o

potencial de fornecer informações muito ricas para avaliação, em termos da proficiência dos

alunos. A combinação das bases de dados secundários do INEP e primários da nossa pesquisa

de campo a esta base de dados fornece resultados ainda mais completos.

A estratégia analítica, portanto, se baseou na comparação ao longo do tempo dos dados

agregados de todas as escolas de Belo Horizonte e dos microdados dos alunos, em termos de

desempenho, com a devida classificação da escola entre participante e não participante do

Programa, e do aluno em 2010. Além do impacto verificado por intermédio desta classificação,

(7)

foram controladas as características das escolas (com dados compilados a partir de outras

bases) e as características individuais das crianças (disponíveis no Avalia: sexo, raça e série).

Ou seja, a análise da avaliação foi feita com base na atribuição do tratamento (participação no

Programa) aos níveis das escolas e dos alunos:

1) Escolas: categorias de status do tratamento (tratamento x controle) em 2007 e 2010:

1.1)

tratamento em 2007 e em 2010;

1.2)

controle em 2007 e tratamento em 2010

1.3)

controle em 2007 e em 2010.

Tabela 1: Distribuição das Escolas segundo o Status do Tratamento em 2007 e 2010

2010

2007

Controle

Tratamento

Total

Controle

25,9%

48,8%

74,7%

Tratamento

0,00%

25,3%

Total

25,9%

74,1%

100,0%

Fonte: SMED – PBH.

2) Alunos:

2.1) com dados para todos os alunos acompanhados de 2008 a 2010 em todas as escolas,

somente com o status de tratamento em 2010:

2.1.1) tratamento (participantes em 2010)

2.1.2) comparação 1 (não participantes em escolas participantes em 2010)

2.1.3) comparação 2 (escolas não participantes em 2010)

Tabela 2: Distribuição dos Alunos acompanhados entre 2008 e 2010, segundo o Status do

Tratamento em 2010

%

Tratamento

20,4%

Comparação 1

55,9%

Comparação 2

23,7%

Total

100,0%

Fonte: SMED – PBH. Avalia-BH.

2.2) para a nossa amostra, status do tratamento em 2007 e 2010, contemplando todas as

possíveis transições entre estes status (tratamento em 2007 e em 2010; tratamento em

2007 e comparação 1 em 2010; tratamento em 2007 e comparação 2 em 2010; comparação

1 em 2007 e em 2010; comparação 1 em 2007 e tratamento em 2010; comparação 1 em

2007 e comparação 2 em 2010; comparação 2 em 2007 e em 2010; comparação 2 em 2007

e tratamento em 2010; comparação 2 em 2007 e comparação 1 em 2010)

Tabela 3: Distribuição da Amostra, segundo o Status do Tratamento em 2007 e 2010

2010

2007

Tratamento Comparação 1 Comparação 2 Total

Tratamento

20,3%

17,1%

2,5%

39,9%

Comparação 1

12,3%

18,5%

3,0%

33,8%

Comparação 2

4,4%

47,3%

15,7%

26,3%

Total

37,1%

47,3%

15,7%

100,0%

Fonte: Fundação Itaú Social / Cedeplar. Pesquisa de Avaliação do Projeto Escola

(8)

Foi, portanto, possível traçar diferenciais de desempenho ao longo do tempo, controlando

sobretudo pelas variáveis de tempo de adesão da escola ao Programa (duração) e proporção de

participantes no Programa em cada escola (cobertura).

II. Resultados da Avaliação com Dados do “Avalia-BH”

A estratégia analítica, baseada na comparação ao longo do tempo dos dados agregados de

todas as escolas de Belo Horizonte e dos microdados dos alunos, em termos de desempenho,

com a devida classificação da escola entre participante e não participante do Programa, e do

aluno em 2010, chegou aos resultados apresentados nas tabelas 4 a 6 a seguir.

Tabela 4: Evolução das médias das notas das escolas, segundo o status de tratamento da escola

(participação da escola no Programa EI em 2007 e 2010)

Tratamento 2007 e

2010

Controle 2007 –

Tratamento 2010

Controle 2007 e 2010

Língua Portuguesa

2008

176,52

191,56

197,73

2009

192,06

204,45

208,71

2010

204,71

217,19

221,95

Matemática

2008

167,14

184,51

189,25

2009

188,04

202,03

206,24

2010

204,38

217,43

221,87

Fonte: SMED – PBH. Avalia-BH, 2008 a 2010.

Tabela 5: Razão das notas dos alunos acompanhados pelo Avalia-BH entre 2008 e 2010,

segundo o status de tratamento da escola em 2007 e 2010 e o tempo de participação em 2010

Status da Escola

Língua Portuguesa

Matemática

Tratamento 2007 e 2010

1,29

1,39

Controle 2007 –

Tratamento 2010

1,24

1,29

Controle 2007 e 2010

1,23

1,30

Tempo no Programa EI

Menos de 1 ano

1,21

1,26

Entre 2 e 3 anos

1,25

1,30

4 anos ou mais

1,28

1,39

(9)

Tabela 6: Razão das notas dos alunos acompanhados pelo Avalia-BH entre 2008 e 2010,

segundo o status de tratamento da escola em 2007 e 2010 e o nível de ensino em 2010

Nível de Ensino em 2010

5ª

6ª

7ª

8ª

9ª

MATEMÁTICA

Tratamento 2007 e 2010

1,45

1,35

1,27

1,26

Controle 2007 –

Tratamento 2010

1,43

1,40

1,22

1,19

1,20

Controle 2007 e 2010

1,41

1,38

1,21

1,16

1,22

LÍNGUA PORTUGUESA

Tratamento 2007 e 2010

1,31

1,29

1,30

1,25

1,22

Controle 2007 –

Tratamento 2010

1,30

1,28

1,23

1,19

1,16

Controle 2007 e 2010

1,28

1,26

1,22

1,18

1,16

As Tabelas 4 a 6 mostram que as notas aumentam para todos os grupos de escolas, segundo o

status de tratamento em 2007 e 2010, em maior medida para Matemática

1

. As escolas que

eram do grupo de tratamento em 2007 e assim permaneceram em 2010 apresentam a maior

variação para Matemática e Língua Portuguesa. Corroborando esta observação, a Tabela 5

mostra que a melhoria das notas aumenta com o tempo de participação da escola no

Programa. Estes dados descritivos sugerem um possível impacto, mas é necessário verificar se

este não é efeito das características dos alunos e das escolas.

No que se refere aos diferenciais segundo o nível de ensino, a Tabela 6 revela que a variação ao

longo do tempo diminui conforme o nível aumenta, sendo a queda maior em Matemática, para

todos os grupos. Adicionalmente, são verificados diferenciais entre os grupos em todas as

séries, sempre a favor das escolas participantes do Programa desde 2007. Os grupos de

comparação se diferenciam pouco entre si

2

.

Para controlar por possíveis efeitos de outras características individuais e escolares sobre as

notas, foram estimadas regressões para avaliar se a variação das notas ao longo do tempo,

diferenciada entre os grupos, se deveria, de fato, à participação no Programa Escola Integrada.

Em termos das variáveis individuais, além das variáveis de status de participação no Programa,

foram controlados efeitos de: nível de ensino, raça e sexo do aluno. Os principais resultados

estão apresentados nas Tabelas 7 a 9; todos os resultados estão detalhados no Anexo

Estatístico.

1_{Em todos os níveis de ensino, há diferenças entre as magnitudes das notas de Matemática e Língua Portuguesa,}

sendo o patamar das notas de Matemática sempre superior.

2

Pensando na possibilidade de diferenciais de desigualdade dentro dos grupos, foi calculada a variância das notas para cada grupo. Os diferenciais entre os grupos são pequenos: foi verificada uma maior variãncia dentro do grupo de tratamento (coeficiente de variação de 30% em Matemática e 33% em Língua Portuguesa), e os grupos de

(10)

Tabela 7: Modelos de Regressão Linear para a variação percentual das médias das notas de

matemática dos alunos acompanhados no Avalia-BH entre 2008 e 2010

Variáveis Independentes

1

2 (só para

escolas EI)

3

4 Duração: menos de 1

-0,0927***

(0,0279)

Duração: 1 a 2 anos

-0.0677**

(0,0264)

Duração EI (em meses)

0,0021***

(0,0006)

Escola no EI somente em 2010

-0,0632**

(0,0247)

Escola Fora do EI

-0,0650**

(0,0247)

Aluno no EI em 2010

0,0221***

(0,0065)

Aluno fora do EI, em Escola EI (2010)

(Comparação 1)

0,0211 *

(0,0115)

Aluno EI, em Escola EI (2010)

a

(Tratamento)

0,0459 ***

(0,0128)

6ª Série em 2010

-0,0251 **

(0,0118)

-0,0178

(0,0145)

-0,0244**

(0,0117)

-0,0238*

(0,0122)

7ª Série em 2010

-0,1827***

(0,0167)

-0,1657***

(0,0225)

-0,1769***

(0,0174)

-0,1770***

(0,0175)

8ª Série em 2010

-0,2222 ***

(0,0136)

-0,2054***

(0,0188)

-0,2165***

(0,0143)

-0,2184***

(0,0144)

9ª Série em 2010

-0,2101 ***

(0,0139)

-0,2025***

(0,0177)

-0,2037***

(0,0145)

-0,2050***

(0,0147)

Homens

0,0077 **

(0,0037)

0,0090 **

(0,0043)

0,0072*

(0,0037)

0,0090**

(0,0038)

Pardos

0,0163 ***

(0,0051)

0,0130**

(0,0060)

0,0141***

(0,0050)

0,0138***

(0,0052)

Pretos

0,0095

(0,0074)

0,0019

(0,0091)

0,0052

(0,0079)

0,0045

(0,0082)

Constante

1,3938 ***

(0,0116)

1,4691***

(0,0219)

1,4587***

(0,0222)

1,3760***

(0,0141)

Número de observações

42883

32610

43046

41452

Número de grupos (escolas)

164

118

164

157 F (11, 165)

51,69***

45,19***

56,40***

63,15***

R

2

0,0764

0,0807

0,0810

0,0817

Obs.: a categoria omitida : aluno fora do EI em escola fora EI (Comparação 2); Séries comparadas à 5ª; Duração comparada à participação da escola mais de 2 anos.

Níveis de significância: *** 0,01; ** 0,05; * 0,10. Fonte: SMED/PBH, Avalia BH.

(11)

Tabela 8: Modelos de Regressão Linear para a variação percentual das médias das notas de

Língua Portuguesa dos alunos acompanhados no Avalia-BH entre 2008 e 2010

Variáveis Independentes

1

2 (só para

Escolas EI)

3

4 Escola no EI somente em 2010

-0,0389

(0,0314)

Escola Fora do EI

-0,0482 *

(0,0295)

Aluno no EI em 2010

0,0065

(0,0086)

Duração:

participação da escola até 1 ano

-0,0599*

(0,0342)

Duração: 1 a 2 anos

-0,0271

(0,0338)

Duração EI (em meses)

0,0012**

(0,0006)

Aluno fora do EI, em Escola EI (2010)

(Comparação 1)

0,0196

(0,0176)

Aluno EI, em Escola EI (2010)

a

(Tratamento)

0,0288

(0,0191)

6ª Série em 2010

-0,0177

(0,0149)

-0,0165

(0,0167)

-0,0174

(0,0148)

-0,0182

(0,0157)

7ª Série em 2010

-0,0557***

(0,0200)

-0,0418*

(0,0227)

-0,0524**

(0,0206)

-0,0487**

(0,0195)

8ª Série em 2010

-0,0939 ***

(0,0235)

-0,0808 ***

(0,0251)

-0,0904 ***

(0,0231)

-0,0872 ***

(0,0226)

9ª Série em 2010

-0,1198 ***

(0,0221)

-0,1043 ***

(0,0272)

-0,1156 ***

(0,0229)

-0,1110 ***

(0,0229)

Homens

-0,0213 ***

(0,0040)

-0,0213 ***

(0,0044)

-0,0212 ***

(0,0040)

-0,0221 ***

(0,0094)

Pardos

0,0108 **

(0,0055)

0,0087

(0,0062)

0,0094*

(0,0053)

0,0095*

(0,0053)

Pretos

0,0059

(0,0092)

-0,0034

(0,0117)

-0,0031

(0,0095)

0,0034

(0,0097)

Constante

1,2832 ***

(0,0179)

1,3240 ***

(0,0286)

1,3304 ***

(0,0292)

1,2742 ***

(0,0170)

Número de observações

40623

30787

40759

39206

Número de grupos (escolas)

164

118

164

157 F (11, 165)

13,83***

10,42***

12,37***

14,00***

R

2

0,0160

0,0168

0,0177

0,0169

Obs.: a categoria omitida : aluno fora do EI em escola fora EI (Comparação 2); Séries comparadas à 5ª; Duração comparada à participação da escola mais de 2 anos.

Níveis de significância: *** 0,01; ** 0,05; * 0,10. Fonte: SMED/PBH, Avalia BH.

(12)

Tabela 9: Modelos de Regressão Linear para a variação percentual das médias das notas de

matemática e língua portuguesa dos alunos acompanhados no Avalia-BH entre 2008 e 2010

Variáveis Independentes

Matemática Língua Portuguesa

Cobertura do programa em 2010

0,0781**

(0,0332)

0,0657

(0,0495)

6ª Série em 2010

-0,0247 **

(0,0118)

-0,0173

(0,0149)

7ª Série em 2010

-0,1813***

(0,0169)

-0,0542***

(0,0200)

8ª Série em 2010

-0,2226***

(0,0137)

-0,0928***

(0,0235)

9ª Série em 2010

-0,2104***

(0,0137)

-0,1180***

(0,0221)

Homens

0,0080 **

(0,0037)

-0,0210***

(0,0039)

Pardos

0,0175***

(0,0051)

0,0111**

(0,0055)

Pretos

0,0107

(0,0051)

0,0056

(0,0090)

Constante

1,3979***

(0,0114)

1,2851***

(0,0183)

Número de observações

43046

40759

Número de grupos (escolas)

164

164 F (11, 165)

55,44

14,82

R

2

0,0755

0,0161

Obs.: a categoria omitida : aluno fora do EI em escola fora EI (Comparação 2); Séries comparadas à 5ª; Duração comparada à participação da escola mais de 2 anos. Níveis de significância: *** 0,01; ** 0,05; * 0,10.

Fonte: SMED/PBH, Avalia BH.

As variáveis individuais seguem sempre a mesma direção:

a) homens têm melhor desempenho em matemática e pior em língua portuguesa;

b) aqueles que se declaram pardos têm os melhores desempenhos em matemática;

c) os maiores avanços em termos de notas ocorrem nas séries iniciais e vão decrescendo até

o 9º ano, para matemática e língua portuguesa, sendo maior o decréscimo para

matemática.

A síntese dos resultados estimados da participação no Programa sobre a variação das notas é o

seguinte, controlando adicionalmente por especificações alternativas de duração e cobertura

do Programa na escola, e com interações com a nota inicial:

1) Matemática:

 impacto positivo significativo da participação, mesmo controlando por características

pessoais, ou seja, impacto da participação do aluno e da participação da escola

(13)

(diferença significativa entre o crescimento das notas ao longo do período de 6 pontos

percentuais das escolas integradas desde 2007 em relação às outras escolas)

3

;

 quanto mais longa a duração do programa na escola, maior o impacto positivo

significativo, tanto quando usamos a variável contínua de tempo de participação em

meses, quanto quando usamos as faixas de duração (diferença significativa entre o

crescimento das notas ao longo do período de 9 pontos percentuais das escolas

integradas desde 2007 em relação às escolas com menos de 1 ano de participação);

 quanto maior a cobertura do programa na escola em 2010, maior o impacto positivo

significativo, sendo que a mudança da cobertura ao longo do tempo não tem efeito

significativo; quando são utilizadas faixas de cobertura do programa, é verificado efeito

significativo e decrescente das faixas de coberturas em 2007 (ou seja, o efeito positivo é

maior para alunos em escolas com cobertura até 25% e diminui para escolas com maior

cobertura);

 quando se controla pela nota inicial do aluno (em 2008) e o efeito composto desta nota

com a participação no programa (interação entre efeitos), o impacto da participação do

aluno no programa sobre a variação da nota é ainda maior. O efeito puro da nota inicial

é negativo, ou seja, quanto maior a nota inicial, controlando por outros fatores, menor a

variação da nota.

2) Língua Portuguesa:

 impacto positivo significativo somente das escolas participantes desde 2007 em relação

às escolas que não participam em nenhum momento (diferença de 4 pontos

percentuais), sendo que não há diferença significativa em relação às escolas que

passaram a participar do Programa neste período;

 não há efeitos do status de participação do aluno ou da participação da escola em 2010;

 na medida que aumenta a duração do programa na escola, passa a haver um impacto

positivo significativo (diferença significativa entre o crescimento das notas ao longo do

período de 6 pontos percentuais das escolas integradas desde 2007 em relação às

escolas com menos de 1 ano de participação);

 cobertura do programa na escola não tem impacto (em nenhuma especificação);

 quando se controla pela nota inicial do aluno (em 2008) e o efeito composto desta nota

com a participação no programa (interação entre efeitos), o efeito da participação

continua não significativo.

Partindo da hipótese que outras características escolares poderiam ainda estar influenciando

no efeito da participação do aluno e da escola sobre a variação das notas, foram estimadas

regressões que controlam por elas:

 a introdução das variáveis de características iniciais das escolas (em 2007) não alterou

nenhum dos resultados;

 foram testados diversos modelos com variáveis escolares (as mesmas usadas na 1ª fase

da pesquisa: vulnerabilidade, infra-estrutura, nível sócio-econômico, complexidade),

tanto com os blocos de variáveis combinadas, quanto separadas;

3_{Na tabela 5, vimos que a diferença entre as razões de crescimento das notas era de 10 pontos percentuais: 1,39}

(14)

 foram ainda testados modelos com a variação ao longo do tempo das variáveis

escolares que constam no Censo Escolar (infra-estrutura e características dos

professores), e, ainda assim, os resultados não mudaram;

 somente a variável de nível sócio-econômico médio da escola em 2006 tem efeito

negativo sobre a evolução da nota de língua portuguesa (quanto maior o nível anterior,

menor a variação relativa);

 quando introduzimos a nota média inicial da escola (em 2008), os efeitos das variáveis

de participação continuam significativos e no mesmo sentido anterior, mas indicam que,

quanto maior a nota inicial média, menor a variação geral da nota de matemática;

 no caso da Língua Portuguesa, a introdução da média inicial da escola torna

significativos e negativos os efeitos da participação no programa, e, da mesma forma,

quanto maior a nota inicial média, menor a variação geral da nota.

Mesmo controlando sempre pelo nível de ensino, consideramos a hipótese de que a variação

das notas absolutas pode conter um elemento comum de que estes valores tendem a ser mais

elevados de acordo com o nível de ensino Assim, foram estimados modelos para verificar o

efeito da participação do aluno e da escola no Programa sobre a mobilidade entre níveis:

1. Abaixo do Básico

2. Básico

3. Satisfatório

4. Avançado

Foram geradas as categorias de mobilidade descendente, imobilidade e mobilidade ascendente

entre estes níveis e os resultados (detalhados no Anexo) podem ser resumidos da seguinte

forma:

 Em termos do status do aluno em 2010:

a) Para Língua Portuguesa:

– a chance de um aluno do grupo de comparação 1 ou do grupo de tratamento

subir de nível, ao invés de descer, é maior do que a chance do grupo de

comparação 2 (em média 15% maior);

– as diferenças de chances de permanecer no mesmo nível não são significativas

entre os grupos.

b) Para Matemática:

– as diferenças de chances não são significativas entre os grupos de tratamento e

comparação para nenhuma mobilidade.

 Em termos do status da escola em 2007 e 2010:

a) Para Língua Portuguesa:

– a chance de um aluno em uma escola do grupo no grupo de controle em 2010

(fora do programa) ou do grupo de controle em 2007 e no tratamento em 2010

subir de nível, ao invés de descer, é menor do que a chance daqueles em uma

escola no grupo de tratamento desde 2007 (19% e 25% menor,

respectivamente);

(15)

b) Para Matemática:

– a chance de um aluno em uma escola do grupo de controle em 2010 ou no grupo

de controle em 2007 e tratamento em 2010, subir de nível, ao invés de descer, é

menor do que a chance daqueles em uma escola do grupo de tratamento desde

2007 (22% menor em ambos os casos);

– a chance de um aluno em uma escola do grupo de controle em 2007 e

tratamento em 2010, não mudar de nível, ao invés de descer, é menor do que a

chance daqueles em uma escola do grupo de tratamento desde 2007 (12%

menor).

Uma possível síntese para estes resultados é que, para Língua Portuguesa, ao nível dos alunos,

a chance de melhorar é maior para os grupos de tratamento e comparação 1 do que para o

grupo de comparação 2, o que sugere um efeito de transbordamento dentro das escolas

participantes do Programa. Ao nível das escolas, é constatado um efeito significativo da

duração (tempo de participação no Programa), tanto para Língua Portuguesa, quanto para

Matemática, dada a diferenciação verificada entre as escolas que participam do Programa

desde 2007, em relação aos outros grupos. Outro resultado importante apontado é que parece

haver uma proteção quanto à queda daqueles nas escolas do grupo de tratamento para

Matemática. Confirmando estes resultados, tanto para Matemática, quanto para Língua

Portuguesa, quando controlamos pela variável de tempo de participação no programa (em

meses), as chances de não mudar de nível ou de subir de nível aumentam com o tempo, em

relação à chance de descer de nível, de forma significativa

4

.

Para ilustrar e avançar na compreensão da evolução ao longo do tempo entre os níveis de

desempenho, as Tabelas 7 a 9 descrevem a melhoria conjunta em Matemática e Língua

Portuguesa.

Tabela 7: Distribuição dos grupos de status de tratamento das escolas em 2007 e 2010,

segundo a melhoria conjunta de nível em Matemática e Língua Portuguesa (em %)

Tratamento 2007 e

2010

Controle 2007 –

Tratamento 2010

Controle 2007 e 2010

Melhora em ambas

9,0

6,9

7,4

Melhora em uma

21,4

19,7

Não muda

35,9

36,2

36,3

Piora em uma

25,2

27,1

27,7

Piora em ambas

8,6

10,0

8,8

Total

100,0

Tabela 8: Distribuição das escolas por tempo de participação no Programa, segundo a melhoria

conjunta de nível em Matemática e Língua Portuguesa (em %)

Menos de 1 ano

Entre 2 e 3 anos

4 anos e mais

Melhora em ambas

5,5

7,4

9,1

Melhora em uma

18,3

20,2

21,3

Não muda

35,5

36,4

36,0

Piora em uma

29,5

26,2

25,2

Piora em ambas

11,3

9,8

8,4

Total

100,0

4

(16)

Tabela 9: Distribuição dos grupos de status dos alunos em 2010, segundo a melhoria conjunta

de nível em Matemática e Língua Portuguesa (em %)

Tratamento

Comparação 1

Comparação 2

Melhora em ambas

9,4

6,7

7,4

Melhora em uma

21,3

19,7

19,6

Não muda

35,0

36,6

36,3

Piora em uma

25,3

27,2

27,7

Piora em ambas

9,1

9,9

8,9

Total

100,0

As tabelas 7 e 8 mostram que, considerando o status das escolas, o melhor desempenho

conjunto em Matemática e Língua Portuguesa ao longo do tempo é verificado para as escolas

que participam do Programa desde 2007. Estas escolas apresentam maiores valores para a

melhoria em ambas as disciplinas ou em uma. Quanto maior o tempo de participação no

Programa, maiores são os diferenciais, como pode ser verificado na Tabela 8. No que diz

respeito ao status dos alunos em 2010, os diferenciais são verificados somente em relação ao

grupo de tratamento, que apresenta avanços mais significativos em ambas as disciplinas ou em

uma. As distribuições dos grupos de comparação são similares.

III. Resultados para a Amostra:

A partir de uma compatibilização rigorosa dos nomes da base de dados do Avalia-BH com a

amostra da nossa pesquisa de campo, foi possível encontrar 1430 alunos em 2010 (no total

foram identificados 2000, mas com informações somente para os anos de 2008 e/ou 2009)

para os quais foi construída a variável de transição de status de tratamento entre 2007 e 2010,

com as seguintes categorias:

1 – comparação 2 em 2007 e 2010

2 – comparação 2 em 2007 e comparação 1 em 2010

3 – comparação 2 em 2007 e tratamento em 2010

4 – tratamento em 2007 e comparação 2 em 2010

5 – tratamento em 2007 e comparação 1 em 2010

6 – tratamento em 2007 e 2010

7 – comparação 1 em 2007 e comparação 2 em 2010

8 – comparação 1 em 2007 e 2010

9 – comparação 1 em 2007 e tratamento em 2010

Os principais resultados encontrados (detalhados em Anexo) foram:

 quando controlamos somente pelo status do tratamento em 2007, nenhuma correlação

com as mudanças de notas é significativo;

 quando refinamos a análise considerando a transição de status de 2007 para 2010, os

seguintes resultados são significativos para as mudanças de níveis, sempre em relação

ao grupo que era comparação 2 em 2010 e assim permaneceu em 2010:

a) Matemática (nos modelos mais simples, com características individuais de série,

sexo, raça e variáveis de duração e cobertura do Programa):

(17)

– a chance de descer de nível é menor para aqueles que eram comparação 2 e se

tornaram comparação 1 (escola se tornou integrada, ou ele passou a participar

do Programa);

– a chance de subir de nível é maior para aqueles que eram comparação 2 e se

tornaram tratamento e para aqueles que permaneceram como comparação 1, e

menor para aqueles que eram tratamento e se tornaram comparação 2 (saíram

da escola).

b) Língua Portuguesa:

– a chance de descer de nível é menor para aqueles que eram tratamento ou

comparação 1 em 2007, independente de permanecer no mesmo status em

2010 ou mudar.

Em suma, parece haver uma proteção quanto à queda de nível daqueles nas escolas do grupo

de tratamento para Língua Portuguesa, sem indicação de transbordamento dentro da escola.

Parece também haver uma proteção quanto à queda de nível em Matemática daqueles que

passaram a participar do programa, bem como uma maior chance de subir de nível. Nesta

disciplina, seria possível apontar um efeito de transbordamento dentro da escola ao longo do

tempo, já que há uma maior chance de subir de nível para aqueles que eram do grupo de

comparação 1 em 2007 e permaneceram assim em 2010, e há uma maior chance de cair para

aqueles que saíram da escola participante.

Acrescentando controles de características das famílias e das escolas, foram encontrados os

seguintes resultados:

 background sócio-econômico: variáveis de recebimento do Bolsa Família e de nível

sócio-econômico em 2006 não são significativas e não alteram os resultados;

 variações das características da escola: variável de melhoria do IDEB da escola entre

2007 e 2009 aumenta a probabilidade de subir de nível, mas não altera os resultados da

participação no programa; as mudanças nas características dos professores e da

infra-estrutura não são significativas.

IV. Comentários Conclusivos:

O acompanhamento longitudinal dos grupos de análise do Projeto de Avaliação do Programa

Escola Integrada de Belo Horizonte ofereceu uma possibilidade singular de indicações do

impacto do Programa em termos da proficiência (notas de Matemática e de Língua Portuguesa)

dos alunos. A análise da mudança dos diferenciais entre os grupos ao longo do tempo

caracteriza este impacto. A inclusão da análise de testes de proficiência para as escolas e alunos

em um segundo ponto no tempo, por intermédio das informações permitiu avançar nas

conclusões relativas ao médio prazo em relação à implementação inicial do Programa, que

permitisse estimar o seu impacto no aprendizado dos alunos.

A base de dados “Avaliação do Conhecimento Apreendido (Avalia-BH)”, com informações de

proficiência, coletada pela SMED, nas escolas municipais de Belo Horizonte, com informações

longitudinais de 2008 a 2010, de todos os alunos das escolas municipais de Belo Horizonte, do

3º ao 9º ano do ensino fundamental permitiu construir um painel de acompanhamento

individual dos alunos. A estratégia analítica, portanto, se baseou na comparação ao longo do

tempo destes dados agregados de todas as escolas de Belo Horizonte e dos microdados dos

alunos, em termos de desempenho, com a devida classificação da escola entre participante e

não participante do Programa, e do aluno em 2010. Além do impacto verificado por intermédio

(18)

desta classificação, foram controladas as características das escolas e as características

individuais das crianças, em uma série de especificações que buscavam garantir a robustez dos

resultados.

Assim, pudemos aferir a partir de todas as especificações testadas para confirmação dos

diferenciais entre os grupos, verificado de forma positiva para as escolas e alunos participantes

do Programa, os seguintes resultados gerais e robustos:

a) desempenho superior das escolas e alunos participantes do Programa em termos das notas

de Matemática;

b) desempenho superior das escolas e alunos participantes do Programa em termos das

mudanças positivas de níveis de proficiência em Língua Portuguesa

5

;

c) para ambas as disciplinas, e em qualquer especificação testada, o efeito de duração foi

constatado, ou seja, o tempo de participação no Programa é tem um impacto positivo

significativo sobre as notas;

d) o efeito de cobertura é inconclusivo, pois não foi robusto nas especificações, ou seja, a

proporção de participantes na escola não tem impacto diferencial sobre as notas;

e) na maioria das especificações, foi sugerido um efeito de transbordamento do Programa, ou

seja, os alunos não participantes em escolas participantes parecem se beneficiar dos efeitos

positivos do Programa; contudo, este efeito só perdura enquanto os alunos permanecem

nestas escolas; e

f) dado que o nível inicial das notas é mais baixo nas escolas participantes no Programa desde

2007, devido à focalização em vulnerabilidade no momento inicial de implementação, e os

impactos constatados são positivos, é possível concluir que há um efeito equitativo do

Programa. Este ponto é corroborado pelo fato de que quanto menor a nota inicial, maior a

variação positiva das notas.

Não se pretende esgotar as possibilidades analíticas neste relatório. É relevante que sejam

feitas análises específicas por recortes de grupos, por exemplo, para cada ano do ensino

fundamental, introduzindo a perspectiva de gênero e raça, dentre outras. Adicionalmente, a

discussão sobre efeitos distributivos pode ser aprofundada, utilizando modelos de regressões

quantílicas. Os efeitos entre colegas podem ser mais explorados, trazendo as especificidades de

cada escola e turma à discussão, bem como inúmeras interações podem ser testadas. Possível

ainda é adicionar a dimensão espacial na análise. Todos estes efeitos que podemos estimar a

partir destes dados quantitativos são somente os observáveis, visíveis, quantificáveis. Uma

maior discussão qualitativa é necessária para o entendimento das nuances específicas dos

resultados e perspectivas de análise. Depreende-se daqui que este relatório constitui somente

um ponto de partida para a exploração da riqueza desta base de dados, na qual a incorporação

de novos anos permitirá a estimação da mudança dos efeitos, trazendo com maior confiança a

distinção entre a dinâmica dos efeitos de curto e longo prazos, bem como a questão das

hipóteses de efeitos equitativos.

5

Vale lembrar que há diferenciais em termos das notas das disciplinas de Matemática e Língua Portuguesa em todos os níveis de ensino e a definição dos pontos de corte para caracterização dos níveis de desempenho refletem estes diferenciais. Portanto, mudanças de nível de desempenho em Matemática exigem magnitudes e variações maiores das notas.

(19)

Anexo: Metodologia de Estimação e Resultados

O termo avaliação se refere à mensuração do impacto de intervenções, tais como a

participação em um programa escolar ou o recebimento de uma transferência de renda de um

programa social, sobre os efeitos de interesse. O termo efeito refere-se a mudanças no status

das variáveis relevantes. O problema central na avaliação de impacto é a inferência de uma

conexão causal entre o tratamento (a participação em um determinado programa) e o efeito. A

relevância das avaliações de impacto é direta, pois seus efeitos podem ser associados a

programas sociais ou melhorias em programas existentes para atingir os objetivos da política

social.

Neste sentido, para o total de alunos da base de dados do AVALIA-BH, a primeira série de

modelos de regressão linear, cuja variância é robusta e corrigida pela identificação das escolas,

foi estimada para verificar o impacto da participação no Programa Escola Integrada sobre a

variação das notas de língua portuguesa e matemática, entre 2008 e 2010. Inúmeras

possibilidades de especificações são possíveis. Portanto, foram feitas opções, seguindo as

principais hipóteses que eram levantadas no decorrer da análise, a partir do que os dados e as

estimações preliminares ensejavam. Por exemplo: (a) controlar pelo fato do aluno estar

repetindo ou ter repetido alguma série; (b) interações do tratamento com a nota inicial; (c)

cobertura e status de participação no EI de aluno e escola em 2007 e 2010; (d) controlar pelas

notas dos colegas de escola; (e) mudança de nível por série; (f) variáveis escolares que mudam

ao longo do tempo (infra-estrutura, características dos professores, etc.); (g) faixas de

cobertura do programa na escola; (h) regressões considerando a hierarquia dos dados,

controlando pelas variáveis das bases de dados secundárias: Informativo PBH, Censo Escolar,

IDEB, etc. Em todos os casos, sempre foi privilegiado o caráter de painel dos dados, o qual

permite as estimações da forma em que foram realizadas através do acompanhamento dos

mesmos indivíduos ao longo do tempo.

As variáveis que definem o tratamento são:

eialunoescola2010 : 0 – aluno em escola fora do Programa em 2010

1 – aluno fora do Programa em escola participante do Programa em 2010

2 – aluno participante do Programa em 2010

ei2010 :

0 – escola fora do Programa em 2010

1 – escola no Programa em 2010

ei20072010 : 1 – escola no Programa em 2007 e 2010

2 – escola no Programa somente em 2010

3 – escola fora do Programa

duração do programa na escola (duracaopei): contínua, em meses, variando de 0 a 49

faixa de cobertura (em 2007 e em 2010): 0 – escola não participa do Programa

1 – até 25% de alunos participantes

3 – entre 25% e 50% de alunos participantes

5 – mais de 25% e 50% de alunos participantes

mudança na cobertura do Programa na escola entre 2007 e 2010 (em pontos percentuais)

(20)

sexo: 0 – mulheres

1 – homens

raça: 1 – brancos

2 – pardos

3 – pretos

série em 2010: dummies para séries; na maioria dos modelos, entre 5º e 9º ano do ensino

fundamental

progressão: 1 – se aluno progrediu de série entre 2008 e 2010; 0 – caso contrário.

notas em 2008 e nível das notas em 2008

Variáveis independentes ao nível da escola foram geradas em termos dos níveis observados em

períodos anteriores e posteriores a 2007, baseadas nos dados compilados pela GAPED/SMED

(Infomativos Anuais) e microdados do INEP (Censos Escolares até 2010 e Prova Brasil). Além das

variáveis em níveis, foram geradas variáveis de mudanças ao longo do tempo, ou seja variações

nos valores observados, sobretudo entre anos anteriores e posteriores a 2007. Assim, as

principais variáveis e suas variações utilizadas foram: IDEB, proporção de professores com nível

superior e pós graduação, índice de complexidade, nível socioeconômico médio, índice de

vulnerabilidade, número de computadores, acesso à Internet, existência de laboratório de

informática, taxa de distorção idade-série, taxa de aprovação, taxa de abandono, média das

notas em cada ano, média da variação das notas.

Adicionalmente, foram geradas a partir do

próprio AVALIA-BH, as médias das notas da escola em 2008 e 2010, para Matemática e Língua

Portuguesa, separadamente.

A segunda série de modelos foi estimada para o total de alunos da base de dados do AVALIA-BH

para verificar o impacto da participação no Programa Escola Integrada sobre a mudança do

nível das notas de língua portuguesa e matemática, entre 2008 e 2010 (1 - Abaixo do Básico; 2 –

Básico; 3 – Satisfatório; 4 – Avançado). Os pontos de cortes das notas variam entre as séries do

ensino e a disciplina, e tais foram considerados nesta definição. Assim, regressões logísticas

multinomiais para as variáveis derivadas de mobilidade descendente (código -1), imobilidade

(código 0) ou mobilidade ascendente (código 1) entre níveis de notas, para cada disciplina

separamente, foram especificadas, utilizando as mesmas variáveis independentes descritas

acima. Os resultados apresentados neste anexo se referem às razões de riscos relativas, que

comparam simultaneamente, em relação ao ponto de corte 1, as diferenças entre as categorias

da variável de resultado e as categorias das variáveis independentes.

A terceira e a quarta séries de modelos foram estimadas para a amostra da nossa pesquisa

campo realizada em 2007, compatibilizada com os dados do AVALIA-BH. A terceira série de

modelos se refere às regressões lineares para a razão das notas entre 2010 e 2008, e a quarta é

relativa às regressões logísticas multinomiais, utilizando as mesmas variáveis de controle

referidas acima, exceto as variáveis de tratamento, que são:

trata2007:

0 – controle

1 – tratamento

2 – comparação

tipo1007:

1 – controle em 2007 e 2010

2 – conrole em 2007 e comparação em 2010

3 – controle em 2007 e tratamento em 2010

(21)

4 – tratamento em 2007 e controle em 2010

5 – tratamento em 2007 e comparação em 2010

6 – tratamento em 2007 e 2010

7 – comparação em 2007 e controle em 2010

8 – comparação em 2007 e 2010

9 – comparação em 2007 e tratamento em 2010

No total, foram estimadas mais de trezentas especificações dos modelos acima, que não

esgotam as possibilidades analíticas, as quais continuarão sendo exploradas. Algumas das

regressões estimadas estão apresentadas a seguir.

(22)

I – TOTAL DA BASE AVALIA-BH

I. A. Língua Portuguesa:

1. Regressões lineares para razão entre as notas de 2010 e 2008

1.1. Controlando por sexo, raça, série em 2010, eialunoescola2010 e faixa de cobertura em

2010

Linear regression Number of obs = 40623 F( 12, 163) = 11.17 Prob > F = 0.0000 R-squared = 0.0166 Number of clusters (cd_escola) = 164 Root MSE = .37689 --- | Robust

razlp1008 | Coef. Std. Err. t P>|t| [95% Conf. Interval] ---+--- _Iserie_20~5 | .1223178 .0209237 5.85 0.000 .0810014 .1636342 _Iserie_20~6 | .104481 .0202601 5.16 0.000 .0644749 .144487 _Iserie_20~7 | .0643384 .013878 4.64 0.000 .0369346 .0917421 _Iserie_20~8 | .026488 .0241968 1.09 0.275 -.0212915 .0742675 _Ieialunoe~1 | .0057693 .037569 0.15 0.878 -.0684155 .079954 _Ieialunoe~2 | .0197632 .0407318 0.49 0.628 -.0606669 .1001932 sexo | -.0214335 .0040234 -5.33 0.000 -.0293783 -.0134888 _Iraca_2 | .0105406 .0055608 1.90 0.060 -.0004398 .0215211 _Iraca_3 | .0067731 .008954 0.76 0.450 -.0109076 .0244539 _Ifaixacob~1 | .0265852 .0289847 0.92 0.360 -.0306486 .0838191 _Ifaixacob~2 | .0170643 .0424185 0.40 0.688 -.0666964 .100825 _Ifaixacob~3 | -.01046 .0514402 -0.20 0.839 -.112035 .0911151 _cons | 1.155611 .0178403 64.78 0.000 1.120383 1.190839 --- Categorias omitidas: 9º ano; mulheres; brancos; escolas fora do programa em 2010.

1.2. Controlando por sexo, raça, série em 2010 e faixa de cobertura em 2010, somente para as

escolas participantes em 2010

razlp1008 | Coef. Std. Err. t P>|t| [95% Conf. Interval] ---+--- _Iserie_20~5 | .1073626 .0426492 2.52 0.013 .022941 .1917841 _Iserie_20~6 | .0703469 .0391064 1.80 0.074 -.0070619 .1477557 _Iserie_20~7 | .0002206 .0380161 0.01 0.995 -.0750299 .0754711 _Iserie_20~9 | .0057175 .0603157 0.09 0.925 -.1136737 .1251086 sexo | -.0135437 .0068729 -1.97 0.051 -.0271483 .0000608 _Iraca_2 | -.0002064 .0102822 -0.02 0.984 -.0205594 .0201466 _Iraca_3 | -.0233654 .014551 -1.61 0.111 -.0521682 .0054375 _Ifaixacob~1 | .0368408 .0472473 0.78 0.437 -.0566823 .1303639 _Ifaixacob~2 | .0213748 .0375927 0.57 0.571 -.0530377 .0957873 _cons | 1.202007 .047292 25.42 0.000 1.108396 1.295619 ---

Categorias omitidas: 8º ano; mulheres; brancos; escolas com cobertura acima de 50% em 2010.

1.3. Controlando por sexo, raça, série em 2010 e faixa de cobertura em 2007, somente para as

escolas participantes em 2010

(23)

razlp1008 | Coef. Std. Err. t P>|t| [95% Conf. Interval] ---+--- _Iserie_20~5 | .1045637 .0425151 2.46 0.015 .0204077 .1887198 _Iserie_20~6 | .0676005 .0389075 1.74 0.085 -.0094146 .1446156 _Iserie_20~7 | .0012577 .0383427 0.03 0.974 -.0746393 .0771547 _Iserie_20~9 | .0053027 .0594376 0.09 0.929 -.1123504 .1229558 sexo | -.0138196 .0067328 -2.05 0.042 -.0271466 -.0004925 _Iraca_2 | -.001069 .0101788 -0.11 0.917 -.0212174 .0190793 _Iraca_3 | -.0263016 .0150452 -1.75 0.083 -.0560826 .0034794 _Ifaixacob~1 | .0248441 .0472091 0.53 0.600 -.0686034 .1182915 _Ifaixacob~2 | .004164 .0268867 0.15 0.877 -.0490566 .0573845 _cons | 1.221423 .0390683 31.26 0.000 1.144089 1.298756 ---

Categorias omitidas: 8º ano; mulheres; brancos; escolas com cobertura acima de 50% em 2010.

1.4. Controlando por sexo, raça, série em 2010, eialunoescola2010 e faixa de cobertura em

2007

razlp1008 | Coef. Std. Err. t P>|t| [95% Conf. Interval] ---+--- _Iserie_20~5 | .1176748 .0225478 5.22 0.000 .0731513 .1621983 _Iserie_20~6 | .1000589 .0220167 4.54 0.000 .0565841 .1435336 _Iserie_20~7 | .0639871 .0139024 4.60 0.000 .0365352 .0914391 _Iserie_20~8 | .0258248 .0244392 1.06 0.292 -.0224334 .074083 _Ieialunoe~1 | .0125495 .0190648 0.66 0.511 -.0250963 .0501952 _Ieialunoe~2 | .020107 .0207171 0.97 0.333 -.0208015 .0610155 sexo | -.0213151 .0040102 -5.32 0.000 -.0292339 -.0133964 _Iraca_2 | .0101594 .005285 1.92 0.056 -.0002765 .0205953 _Iraca_3 | .0045108 .0092659 0.49 0.627 -.0137858 .0228075 _Ifaixacob~1 | .0387273 .0439416 0.88 0.379 -.0480409 .1254955 _Ifaixacob~2 | .0108741 .0297521 0.37 0.715 -.047875 .0696233 _cons | 1.164929 .0184792 63.04 0.000 1.12844 1.201418 --- Categorias omitidas: 9º ano; mulheres; brancos; escolas fora do programa em 2010.

1.5. Controlando por ei20072010, eialuno2010, série em 2010, sexo e raça

razlp1008 | Coef. Std. Err. t P>|t| [95% Conf. Interval] ---+--- _Iei200720~2 | -.046072 .0349784 -1.32 0.190 -.1151444 .0230003 _Iei200720~3 | -.0566439 .0332384 -1.70 0.090 -.1222804 .0089925 _Iserie_20~6 | .0986411 .0228155 4.32 0.000 .0535868 .1436953 _Iserie_20~7 | .063608 .0140558 4.53 0.000 .0358519 .0913641 _Iserie_20~8 | .0251827 .0244041 1.03 0.304 -.0230085 .0733739 sexo | -.0210706 .0052096 -4.04 0.000 -.0313581 -.0107832 _Iraca_2 | .0067772 .0057142 1.19 0.237 -.0045068 .0180611 _Iraca_3 | .002619 .0100637 0.26 0.795 -.0172539 .0224919 eialuno2010 | -.0013091 .0090973 -0.14 0.886 -.0192737 .0166555 _cons | 1.223596 .0412136 29.69 0.000 1.14221 1.304981 ---

Categorias omitidas: 9º ano; mulheres; brancos; escolas no programa desde 2007; alunos fora do programa em 2010.

(24)

1.6. Controlando por eialunoescola2010, série em 2010, sexo, raça e mais características da

escola anteriores a 2007 (índice de complexidade, nível socioeconômico médio, índice de

vulnerabilidade, número de computadores, acesso à Internet, existência de laboratório de

informática)

razmt1008 | Coef. Std. Err. t P>|t| [95% Conf. Interval] ---+--- _Iserie_20~6 | -.0213889 .0123365 -1.73 0.085 -.0457673 .0029895 _Iserie_20~7 | -.1773071 .0204463 -8.67 0.000 -.2177114 -.1369027 _Iserie_20~8 | -.2145203 .0163518 -13.12 0.000 -.2468333 -.1822072 _Iserie_20~9 | -.2026248 .0165257 -12.26 0.000 -.2352816 -.1699681 _Ieialunoe~1 | .0216743 .0151698 1.43 0.155 -.008303 .0516517 _Ieialunoe~2 | .047868 .0167761 2.85 0.005 .0147163 .0810197 sexo | .0074527 .0037971 1.96 0.052 -.0000508 .0149563 _Iraca_2 | .0144521 .0048876 2.96 0.004 .0047936 .0241106 _Iraca_3 | .011028 .00726 1.52 0.131 -.0033187 .0253747 indicedeco~e | -.004526 .0135132 -0.33 0.738 -.0312297 .0221776 ivsvulnera~l | -.0239473 .052244 -0.46 0.647 -.1271878 .0792931 comp | -.0011601 .001396 -0.83 0.407 -.0039186 .0015985 internet | -.0133815 .0145104 -0.92 0.358 -.0420559 .0152929 infolab | .0079907 .0218154 0.37 0.715 -.0351192 .0511005 _cons | 1.425483 .0393248 36.25 0.000 1.347773 1.503194 --- Categorias omitidas: 5º ano; mulheres; brancos; escolas fora do programa em 2010.

1.7. Controlando por eialunoescola2010, série em 2010, sexo, raça e mais características da

escola anteriores a 2007 (índice de complexidade, nível socioeconômico médio, índice de

vulnerabilidade, existência de laboratório de informática, médias das taxas de distorção

idade-série, de aprovação e de abandono)

razlp1008 | Coef. Std. Err. t P>|t| [95% Conf. Interval] ---+--- _Iserie_20~6 | -.0136212 .0155441 -0.88 0.382 -.0443382 .0170959 _Iserie_20~7 | -.0690004 .0226101 -3.05 0.003 -.1136807 -.0243201 _Iserie_20~8 | -.0970104 .0245228 -3.96 0.000 -.1454705 -.0485503 _Iserie_20~9 | -.1329139 .0262496 -5.06 0.000 -.1847864 -.0810414 _Ieialunoe~1 | .0102499 .0217041 0.47 0.637 -.03264 .0531398 _Ieialunoe~2 | .0114074 .0226878 0.50 0.616 -.0334266 .0562413 sexo | -.0203463 .003902 -5.21 0.000 -.0280572 -.0126354 _Iraca_2 | .001507 .005258 0.29 0.775 -.0088834 .0118974 _Iraca_3 | -.0012784 .0085491 -0.15 0.881 -.0181726 .0156157 indicedeco~e | -.0060735 .0154265 -0.39 0.694 -.0365582 .0244112 nse_2006 | -.0178996 .0073756 -2.43 0.016 -.0324746 -.0033246 ivsvulnera~l | -.0590301 .0639538 -0.92 0.358 -.1854106 .0673504 infolab | .0321787 .0280193 1.15 0.253 -.0231908 .0875482 txdistoros~d | -.0007225 .0009779 -0.74 0.461 -.002655 .0012099 txaprovaof~d | -.0019032 .0029791 -0.64 0.524 -.0077903 .003984 txdeabando~d | -.0040091 .0038051 -1.05 0.294 -.0115284 .0035102 _cons | 1.621736 .3123863 5.19 0.000 1.004422 2.239049 Categorias omitidas: 5º ano; mulheres; brancos; escolas fora do programa em 2010.

(25)

1.8. Controlando por eialunoescola2010, série em 2010, sexo, raça e variação média das notas

na escola,

razlp1008 | Coef. Std. Err. t P>|t| [95% Conf. Interval] ---+--- _Iserie_20~5 | .0757843 .0180877 4.19 0.000 .0400679 .1115006 _Iserie_20~6 | .0629516 .0184593 3.41 0.001 .0265015 .0994018 _Iserie_20~7 | .051807 .0145051 3.57 0.000 .0231649 .0804491 _Iserie_20~8 | .026085 .0244525 1.07 0.288 -.0221995 .0743695 _Ieialunoe~1 | -.0004186 .0052806 -0.08 0.937 -.0108458 .0100086 _Ieialunoe~2 | .0040554 .0060129 0.67 0.501 -.0078179 .0159287 sexo | -.0206443 .0037454 -5.51 0.000 -.0280402 -.0132485 _Iraca_2 | .0051666 .0040449 1.28 0.203 -.0028206 .0131538 _Iraca_3 | .0060252 .0068987 0.87 0.384 -.0075972 .0196476 razlp1008_~a | 1.01016 .0210503 47.99 0.000 .9685936 1.051726 _cons | -.0546074 .0258043 -2.12 0.036 -.1055611 -.0036536 --- Categorias omitidas: 9º ano; mulheres; brancos; escolas fora do programa em 2010.

1.9. Controlando por eialunoescola2010, série em 2010, sexo, raça e médias das notas na

escola em 2008

razlp1008 | Coef. Std. Err. t P>|t| [95% Conf. Interval] ---+--- _Iserie_20~5 | .0462548 .0252749 1.83 0.069 -.0036536 .0961632 _Iserie_20~6 | .0388748 .0247513 1.57 0.118 -.0099997 .0877493 _Iserie_20~7 | .0481302 .0152122 3.16 0.002 .0180919 .0781686 _Iserie_20~8 | .0210692 .0246614 0.85 0.394 -.0276279 .0697663 _Ieialunoe~1 | -.0357476 .0161399 -2.21 0.028 -.0676178 -.0038774 _Ieialunoe~2 | -.034351 .0155547 -2.21 0.029 -.0650656 -.0036364 sexo | -.0202232 .0038837 -5.21 0.000 -.0278921 -.0125543 _Iraca_2 | -.0084197 .0063826 -1.32 0.189 -.021023 .0041836 _Iraca_3 | -.0162579 .0102143 -1.59 0.113 -.0364273 .0039116 notaslp08_~a | -.00533 .0009765 -5.46 0.000 -.0072582 -.0034018 _cons | 2.269086 .204332 11.10 0.000 1.865607 2.672565 Categorias omitidas: 9º ano; mulheres; brancos; escolas fora do programa em 2010.

1.10. Controlando por eialunoescola2010, série em 2010, sexo, raça e algumas características

da escola anteriores a 2007 (índice de complexidade, nível socioeconômico médio, índice de

vulnerabilidade) e IDEB 4ª série de 2007