Pagando por Desempenho:

(1)

Pagando por Desempenho:

Os Efeitos do Bônus por Desempenho

Escolar em Pernambuco

Claudio Ferraz

PUC‐Rio

Barbara Bruns

World Bank

Rio de Janeiro

Março 2013

(2)

Introdução



Durante as últimas décadas, o Brasil aumentou a

proporção de crianças na escola, mas ainda não

p p ç

ç

,

conseguiu gerar melhorias significativas na qualidade

da educação.



Evidência crescente que a qualidade dos professores é

fundamental (Rockoff 2004; Rivkin Hanushek and Kain

fundamental (Rockoff 2004; Rivkin, Hanushek and Kain

2005; Carrel and West 2010)



Como podemos melhorar a qualidade dos professores?



Selecionar melhores professores (e demitir os piores)



Criar incentivos para que professores melhorem a

qualidade

(3)

Avaliação do BDE



Em 2008, o estado de Pernambuco introduziu um

sistema de pagamento de bônus aos professores com

p g

p

base em metas de qualidade escolar.



Foram estabelecidas metas para as 970 escolas

estaduais com base no IDEPE (média de desempenho

em português e matemática e taxa de aprovação)

em português e matemática e taxa de aprovação).



Todos os professores em escolas que atingissem pelo

p

q

g

p

menos 50% da meta ganhariam um bônus.

M di

f it

d

líti

b

ã



Medimos os efeitos dessa política sobre aprovação e

aprendizagem comparando escolas de PE com escolas

estaduais no resto do Nordeste

(4)

Qualidade da educação em PE

E i F d t l 5th 8th E i édi

IDEB Educational Quality Index, 2007

RN BA AL PE RN AL PI PA

Ensino Fundamental 5th-8th Ensino médio

Pernambuco AM PI SE RJ PA PB RN GO BA AM PE AP SE RN MS DF MA GO CE AP RO RR RO CE MT PB RJ MA RS MG TO MT ES RR MS RS MS AC ES DF TO RR SC SP PR AC RS SC PR MG SP RS 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 0 1 2 3 4 IDEB index

(5)

Implementação

Junho 2008

Nov

Aug

2009

Junho 2008

Programa

anunciado

Nov

2008

SAEPE

2009

Novas

metas

Aug

2008

April

2009

B

Nov

2009

Metas

Bonus

pago

SAEPE

(6)

(7)

Proporção de escolas que atingiram metas em 2008

0 0 0 25 0 50 2 0 c y 100 1 Frequen c 50 0 0 100 200 300 400 500 % Meta global

(8)

Bônus Pago em 2009

2500 2000 R $) 1500 r escola ( R 1000 s médio po 500 Bônu s 0 0 50 100 150 200 250 0 50 100 150 200 250 % meta atingida

(9)

Estratégia Empírica



Diferenças-em-diferenças utilizando microdados de uma

prova que não servia para auferir o bônus, comparando

escolas de PE com o resto do Nordeste em 2007 e 2009.

(10)

Estatísticas descritivas

State schools Pernambuco State schools Northeast S d

Students

% black 0.12 0.14

% computer 0.16 0.18

% mother incomplete secondary 0.53 0.48

% live with father 0.62 0.63

% work 0.21 0.19

% repeated grade 0.24 0.18

% stayed out school 0.13 0.09

Students 9th 41,040, 153,534,

Students 5th 16,656 75,756

Schools

St d t t ki t t h l 77 03 63 36

Students taking test school 77.03 63.36

Students taking test 5th 45.02 44.54

Students taking test 9th 70.21 61.66

Class size 24.52 24.84

(11)

Desempenho 9o ano- PE vs. Nordeste

23

5 State schools 9th grade

23

2 25 23 0 ra s il mat h 2 20 22 5 s il la ng ua ge 22 0 2 Pro v a B 21 5 2 Pro v a Bra s 21 5 2005 2007 2009 2011 Year

Pernambuco Rest of Northeast

21

0

2005 2007 2009 2011

Year

(12)

Desempenho 9o ano- Estado vs Município

23

5 Schools in Pernambuco 9th grade

23

0 Schools in Pernambuco 9th grade

5 23 0 a si l ma th 0 22 5 l la ng ua ge 22 0 22 5 Pro v a B ra 21 5 22 0 Pro v a Bra s i 21 5 2005 2007 2009 2011 Year

State schools Municipal schools

21

0

2005 2007 2009 2011

Year

(13)

Desempenho Ensino Médio- PE vs Nordeste

25

0

State schools 12th grade

24 8 25 0 ra s il mat h 24 5 s il la ng ua ge 24 4 24 6 Pro v a B 24 0 Pro v a Bra s 24 2 2005 2007 2009 2011 Year

23

5

2005 2007 2009 2011

Year

(14)

Desempenho 5o ano- PE vs Nordeste

5 State schools 5th grade 5 State schools 5th grade

18 5 19 0 19 5 math 17 0 17 5 n gu ag e 7 0 17 5 18 0 Pro v a B ra s il 16 0 16 5 Pro v a Bra s il la n 16 5 1 7 2005 2007 2009 2011 Year

15

5

2005 2007 2009 2011

Year

Pernambuco Rest of Northeast Pernambuco Rest of Northeast Pernambuco Rest of Northeast

(15)

Efeitos por matéria e ano

Math

Performance pay × After

0.05

0.046

0.096

0.088 ***

***

Math

5th grade

9th grade

[0.032]

[0.020]* [0.021]*

Portuguese

5th grade

9th grade

Performance pay × After

-0.041

-0.051

0.058

0.049 [0.035]

[0.034]

[0.037]

[0.038]

5th grade

9th grade

Student characteristics

Yes

Household characteristics

No

Yes

No

Yes

S h

l h

t i ti

Y

School characteristics

Yes

R-squared

0.05

0.06

0.07

(16)

Efeitos por matéria, ano e tamanho da escola

(1)

(2)

(3)

(4)

5th grade

9th grade

(1)

(2)

(3)

(4)

Small

Large

Small

Large

Math

Performance pay × After

0.112

0.008

0.159

0.063 [0.025]***

[0.035]

[0.013]***

[0.035]

Small

Large

Small

Large

Performance pay × After

0.009 -0.074

0.109

0.043 Portuguese

p y

[0.028]

[0.037]*

[0.016]***

[0.052]

Student characteristics

Yes

Household characteristics

Yes

School characteristics

Yes

R-squared

squ ed

0.04

0.0

0.06

0.07

(17)

Efeitos por tipo de alunos

k k

d Not

(5) (6) (1) (2)

Work Not work

Repeated Not

repeated

Panel A: Math

Performance pay × After 0.161 0.028 0.111 0.091

[0.008]*** [0.024] [0.024]*** [0.020]***

Panel B: Portuguese

Performance pay × After 0.121 -0.014 0.096 0.049

[0 024]*** [0 043] [0 037]** [0 037]

[0.024]*** [0.043] [0.037]** [0.037]

Student characteristics Yes Yes Yes Yes

H h ld h t i ti Y Y Y Y

Household characteristics Yes Yes Yes Yes

School characteristics Yes Yes Yes Yes

R-squared 0.04 0.05 0.03 0.04

Ob i 104 496 198 128 65 757 287 783

(18)

Taxa de aprovação 6o e 9o ano

85

80

75 80 tes ( % ) 70 75 tes ( % ) 65 70 Pa s s R a t 60 65 Pa s s R a t 60 2005 2007 2009 2011 Year

55

2005 2007 2009 2011

Year

(19)

Repetência e abandono 9o ano

8 State schools EF 9 8 State schools EF 9 4 16 1 tes E F 9 14 16 1 8 e s EF 9 12 1 4 R e pe ti ti o n r a t 10 12 Dr o p -o ut r a te 10 2007 2008 2009 2010 2011 Year

8

2007 2008 2009 2010 2011

Year

(20)

Aprovação 1o EM e 3o EM

8

0

8

5

State schools 12th grade grade

70 75 8 e s (% ) 80 8 e s (% ) 60 65 Pa s s R a te 75 Pa s s R a te 55 2005 2007 2009 2011 Year

70

2005 2007 2009 2011

Year

(21)

Abandono 3o EM

State schools Ensino Medio State schools Ensino Medio

75

80

M

State schools Ensino Medio

20

25

EM

State schools Ensino Medio

70 Pa ss ra te s E 15 D ro p -o ut r a te s 65 2007 2008 2009 2010 2011 Year 10 2007 2008 2009 2010 2011 Year

(22)

Aprovação 5o ano

4

8 5 90 95 e s (% ) 82 8 4 e s (% ) 75 80 8 Pa s s R a te 78 80 Pa s s R a te 70 2005 2007 2009 2011 Year

76

2005 2007 2009 2011

Year

(23)

Abandono 5o ano

State schools EF 5 State schools EF 5

16 17 EF 5 State schools EF 5 7 8 E F 5 State schools EF 5 14 15 R e pe ti ti o n r a te s 4 5 6 Dr o p -o ut r a te s E 13 2007 2008 2009 2010 2011 Year 3 4 2007 2008 2009 2010 2011 Year

(24)

Mecanismos- percepções professores

Dependent variable: At least 80% Portuguese

Math activities Teacher

material covered activities weekly Math activities weekly Teacher absentism

Performance pay × After 0.05 0.397 0.499 -0.026

[0.022]* [0.091]*** [0.099]*** [0.007]***

Mean control 0.19 2.55 3.52 0.07

0.260 0.156 0.142 -0.355

Teacher characteristics Yes Yes Yes Yes

School characteristics Yes Yes Yes Yes

R d 0 01 0 07 0 12 0

R-squared 0.01 0.07 0.12 0

(25)

Mecanismos- percepções professores

Dependent variable: h Teacher k Knowledge Dependent variable: Teacher experience Teacher experience in school Lack teachers Knowledge standardized evaluations Log salary

Performance pay × After -0.23 0.145 0.052 -0.397 -0.614 [0.028]*** [0.024]*** [0.046] [0.160]** [0.199]**

Mean control 0.23 0.63 1096.62 16.25 9.57 -0.998 0.230 0.000 -0.024 -0.064

Teacher characteristics Yes Yes Yes Yes Yes School characteristics Yes Yes Yes Yes Yes R squared 0 01 0 04 0 24 0 54 0 27 R-squared 0.01 0.04 0.24 0.54 0.27 Number of observations 19,005 18,425 20,211 20,358 20,369