Avaliação de Impacto Introdução e RCT

Avaliação de Impacto

Introdução e RCT

O objetivo da avaliação de impacto é medir o efeito causal da intervenção

(tratamento) no resultado de interesse.

O problema da avaliação de impacto é que o impacto do programa para ser medido precisa do resultado do tratamento e do contrafactual, mas o contrafactual não é observado. Em um determinado momento no tempo, o indivíduo não pode ter duas existências simultaneamente. Então, o desafio da avaliação de impacto é criar um grupo de comparação apropriado para os beneficiários.

Para isso preciso saber o que teria acontecido com o indivíduo que recebeu o tratamento caso ele não tivesse recebido esse tratamento, isto é, precisamos do contrafactual.

Então, contrafactual é o resultado que o beneficiário teria na ausência do programa.

Exemplos de avaliação de impacto :

(i)

o curso de capacitação do professor resultou em aumento no desempenho

dos alunos nos testes de português e matemática?

(ii) o programa BF melhora o estado de saúde das crianças?

(iii) os cursos de treinamento para jovens aumenta a renda desses jovens?

Para estabelecer causalidade entre o programa e o resultado, usamos métodos de avaliação de impacto para excluir todas as possibilidades de que qualquer fator diferente do programa de interesse explique o impacto observado.

Exemplos de tratamentos:

cursos de treinamentos,

programas sociais (Bolsa Família, BPC),

mudanças nas políticas e legislação, etc.

Contrafactual Falsificado (Counterfeit):

1) Porque não comparamos o grupo de elegíveis tratado com o grupo de elegíveis não tratados?

2) Porque não comparamos grupos tratados antes e após serem tratados?

1) Imagine que queremos avaliar o impacto de um programa de treinamento de jovens desempregados. Depois de 2 anos do programa comparamos a renda do grupo dos jovens que escolheram fazer o treinamento com a renda do grupo dos que escolheram não fazer o treinamento. O resultado mostra que a renda dos jovens que fizeram o treinamento é duas vezes maior do que a dos que não fizeram.

Os jovens que decidiram fazer o treinamento possivelmente são mais motivados e os que escolheram não fazer devem ser desmotivados. Possivelmente, esses dois grupos tenham desempenho diferentes mesmo sem o treinamento, simplesmente devido a motivação dos jovens.

Não sabemos o quanto da diferença de renda entre os dois grupos foi devido ao treinamento ou a motivação dos jovens. O fato de jovens menos motivados não se inscreverem no programa causa viés de seleção.

2) Imagine que um programa de microcrédito para fazendeiros pobres financiou a compra de fertilizantes para produção de arroz. Um ano antes do programa iniciar, os fazendeiros colhiam 1000 Kg de arroz por hectare. O programa inicia e um ano depois a produção de arroz é de 1100 Kg/ha. Se comparar antes e depois, concluirá que o impacto do programa é aumentar de 100 Kg/ha a produção de arroz.

Entretanto, se as chuvas foram normais no período anterior ao programa, mas ocorreu uma seca no ano do início do programa, o resultado pré-intervenção não é um contrafactual adequado.

A produção era B e foi observado A depois do programa. Mas, como ocorreu seca, a produção teria sido menor na ausência do programa (D) e o impacto então teria sido mais do que 100. Se as condições meteorológicas tivessem sido melhor depois do programa, então a produção sem o programa poderia ser C e não B e o impacto menor do que 100.

Se não conseguirmos controlar as condições meteorológicas e todos os outros

fatores que afetam a produção de arroz no tempo, não poderemos calcular

corretamente o impacto do programa usando comparações antes e após.

α = (Y| P = 1) – (Y| P = 0)

O efeito causal do programa (P) no resultado (Y) é a diferença entre o resultado com o programa (P = 1) e o resultado sem o programa (P = 0).

Ex: P é um programa de treinamento e Y é a renda.

Medir a renda de uma pessoa que participou de um programa e a renda da mesma pessoa sem ter participado do programa em um dado momento do tempo é impossível.

Representamos por (Y| P = 0) o que teria ocorrido se o participante não tivesse participado do programa.

Para conseguir estimar essa informação, que não existe, criamos o contrafactual.

Avaliação de Impacto:

Precisamos saber o que teria acontecido com um participante caso ele não participasse do programa, isto é, precisamos do contrafactual. Seja

Estado de saúde da pessoa i = Y

_i

Qual o impacto de se ter plano de saúde no estado de saúde do indivíduo i?

A pessoa i possui dois resultados potenciais, porém somente um é observado

Estado de saúde tendo plano de saúde = Y

_1i

Estado de saúde não tendo plano de saúde = Y

_0i

O efeito causal do plano de saúde é Y

_1i

−

Y

_0i

Exemplo: Considere os estados de saúde de 1 a 5, sendo 1 muito ruim e 5 excelente. Dois estudantes decidem se pagarão plano de saúde ou não.

Digamos que João decide pagar porque fica doente com frequência.

Y_0i = 3 e Y_1i = 4 para i = João

Então o efeito causal do plano de saúde para o João é

Maria decide não pagar porque não fica doente com frequência.

Digamos que Y

_0i

= 5 e Y

_1i

= 5 para i = Maria

Então o efeito causal do plano de saúde para a Maria é

Y

_1,Maria

−

Y

_{0, Maria}

=5 – 5 = 0

João Maria

Resultado potencial sem seguro saúde Y_0i 3 5 Resultado potencial com seguro saúde Y_1i 4 5 Tratamento (status seguro escolhido) D_i 1 0

Estado de saúde real Y_i 4 5

Observe que a tabela anterior é imaginária, algumas das informações não existem. João irá ter seguro saúde, revelando o valor Y_1i ou não terá seguro saúde, revelando

Y_0i mas nunca os dois valores ao mesmo tempo. Idem Maria.

Maria e João têm escolhas diferentes e portanto podemos comparar um com o outro

Y

João = Y1, João = 4

Y

Maria = Y0, Maria = 5

Então, a diferença entre eles é: Y

joão −YMaria = − 1

Este resultado sugere que a decisão do João de ter seguro saúde não é boa.

Y

João

−

Y

Maria =

Y

1, João

−

Y

0, Maria

Somando e subtraindo Y

0, João tem-se:

{Y

_{1, João} −

Y

_{0, João}}

+ {

Y

0, João

−

Y

0, Maria} = (4 – 3) + (3 – 5) = 1 – 2

A primeira parte é o efeito causal do seguro saúde no João, que é igual a 1. A segunda parte é a diferença entre os dois estados de saúde dos estudantes João e Maria se ambos não tivessem seguro saúde, que é igual a -2. O valor -2 reflete a fragilidade do João.

Então podemos escrever E[Y

i| Di = 1], para a média entre os segurados e E[Yi| Di = 0], para a média entre os não segurados. A média para os segurados Y

i é necessariamente uma média de resultado (estado de saúde) Y

1i , mas não contem informações sobre Y0i . Da mesma forma a média para os não segurados Y

i é necessariamente uma média de resultado (estado de saúde) Y

0i , mas não contem informações sobre Y1i .

Média de Grupo:

Para facilitar a comparação, considere uma variável binária

1 se tem seguro saúde

D_i =

0 caso contrário

Então E[Y

i| Di = 1] − E[Yi| Di = 0] = E[Y1i| Di = 1] − E[Y0i| Di = 0]

Se estivéssemos trabalhando com médias de grupos de indivíduos, estaríamos procurando E[Y

1i − Y0i], que é a média do efeito causal envolvendo todas as

pessoas Y

1i e todas as pessoas Y0i. Entretanto, só observamos médias de Y1i para os

Se imaginarmos que o seguro faz as pessoas ficarem mais saudáveis por uma constante κ, então

Y

1i = Y0i + κ

κ é o efeito individual e médio do seguro sobre a saúde.

Substituindo em E[Y

1i| Di = 1] − E[Y0i| Di = 0] obtém-se E[Y

1i| Di = 1] − E[Y0i| Di = 0] = E[Y0i + κ| Di = 1] − E[Y0i| Di = 0] =

={κ + E[Y

0i| Di = 1]} − E[Y0i| Di = 0] = κ + {E[Y0i| Di = 1] − E[Y0i| Di = 0]}

diferença na média dos grupos = efeito causal médio (ATE) + viés de seleção

Então já que não se pode observar a mesma pessoa como “tratada” e “não tratada” e não há clones de pessoas para obter um tratado e outro não tratado, utilizamos ferramentas estatísticas para gerar dois grupos de indivíduos que, se a amostra é grande o suficiente, os dois grupos serão estatisticamente indistinguíveis um do outro. Na prática, o objetivo principal da avaliação de impacto é identificar um grupo de participantes do programa (tratamento) e um grupo de não participantes (comparação) que são estatisticamente idênticos na ausência do programa.

Problema de Seleção:

Os hospitais melhoram o estado de saúde das pessoas?

Imagine que estamos estudando uma população de idosos pobres que usa

salas de emergência de hospitais como primeiro socorro.

No hospital, a exposição de pacientes que estão em estado vulnerável a

outros doentes pode causar um impacto negativo na saúde desses

pacientes. Entretanto, esperamos que os hospitais tenham serviços que

resultem na melhoria da qualidade de vida das pessoas, melhorando a

saúde dos pacientes. Como então medir o impacto?

Uma maneira é comparando o estado de saúde de pessoas que estiveram

no hospital com aquelas que não estiveram no hospital.

Pesquisas domiciliares perguntam às pessoas se elas foram internadas no hospital nos últimos 12 meses, o que permite identificar quem utilizou hospital.

A pesquisa também pergunta se a pessoa considera seu estado de saúde excelente, muito bom, bom, regular ou ruim, e o pesquisador atribui valores de 1 para saúde ruim a 5 para saúde excelente.

Comparando-se as médias do estado de saúde entre quem ficou no hospital e quem não ficou, observa-se que o melhor estado de saúde é de quem não passou pelo hospital.

Esse resultado sugere que ir ao hospital faz as pessoas ficarem mais doentes. Não é impossível ocorrer isso, afinal hospitais têm muitos doentes que acabam infectando outros pacientes além de ter máquinas e remédios que podem ser perigosos. Mas, não é difícil de perceber porque essa comparação levou a esse resultado.

Pessoas que vão ao hospital não são muito saudáveis em primeiro lugar e, assim, mesmo depois de ir ao hospital e ver o médico, na média, essas pessoas são menos saudáveis do que aquelas que nunca estiveram em um hospital, apesar de provavelmente estarem com uma saúde melhor do que se não tivessem ido ao hospital.

A diferença observada no estado de saúde, entretanto, tem adicionado um

termo chamado viés de seleção. Esse termo é a diferença na média entre os

que foram hospitalizados e os que não foram hospitalizados.

Uma vez que o indivíduo doente tem maior chance de procurar atendimento

médico do que um indivíduo saudável, aqueles que foram hospitalizados têm

valores piores de saúde, fazendo com que o viés de seleção seja negativo

nesse exemplo. O viés de seleção pode ser tão grande (em valor absoluto)

que pode mascarar o efeito positivo do tratamento.

O objetivo da maioria das pesquisas econômicas empíricas é eliminar a

selection bias e obter o efeito causal do tratamento.

Se os dois grupos são idênticos, exceto pelo fato de um grupo participar do programa e outro não participar do programa, então podemos estar certos de que qualquer diferença no resultado deve ser devido ao programa.

O grupo tratamento e o grupo controle devem ser iguais em pelo menos 3 quesitos:

1) Grupo controle e grupo tratamento devem ser idênticos na ausência do programa. Não é necessário ser idêntico individualmente, mas na média.

2) Grupo controle e grupo tratamento devem reagir ao programa da mesma forma.

3) Grupo controle e grupo tratamento não podem estar diferentemente expostos a outras intervenções.

O processo de aleatorização cria grupos que devem ser muito semelhantes, não só com relação as categorias observáveis, como com relação as categorias não observáveis e não mensuráveis. Por isso esse processo é tão poderoso para eliminar o viés de seleção.

Aleatorização

Como os grupos controle e tratamento obtidos por um processo aleatório vem de uma mesma população, eles são iguais em muitos aspectos, incluindo o valor esperado Y

0i. Em outras palavras, as esperanças condicionais E[Y

0i| Di = 1] e E[Y0i| Di = 0] são iguais.

Y

0, João

=

Y

0, Maria

E[Y

1i| Di = 1] − E[Y0i| Di = 0] = κ + {E[Y0i| Di = 1] − E[Y0i| Di = 0] } = κ

Isso significa que o processo aleatório elimina o viés de seleção. Quando D

_i

é

obtido aleatoriamente E[Y

0i

| D

i

= 1] = E[Y

0i

| D

i

= 0] e as diferenças nas

esperanças nos diferentes tratamentos capta o efeito causal do tratamento.

Se o processo não fosse aleatório, não haveria garantia de que a diferença entre o grupo tratado e o grupo não tratado fosse devido somente ao tratamento, mas sim a outros fatores não controlados, isto é, E[Y

1i| Di = 1] − E[Y0i| Di = 0] não mediria o efeito médio do programa (ATE).

População de elegíveis

Amostra avaliada

Seleção aleatória preserva as características

Grupo tratamento: atribuído o

tratamento Grupo comparação: não _{atribuído o tratamento}

Seleção aleatória preserva as características

Seleção aleatória preserva as características

Validade Externa

Validade Interna

Se a aleatorização é feita conforme a figura acima, é assegurada a validade interna e externa da avaliação de impacto, desde que a amostra seja suficientemente grande.

Validade externa significa que o impacto estimado do programa na amostra pode ser generalizado para a população de todas as unidades elegíveis. Requer amostragem aleatória.

Validade interna significa que o impacto estimado do programa está livre de potenciais fatores de confundimento, ou que o grupo comparação representa o verdadeiro contrafactual.

Efeito Hawthorne (efeito do observador) é um tipo de reação em que os indivíduos modificam ou melhoram seu comportamento em resposta ao fato de saberem que estão sendo observados.

Efeito John Henry é uma tendenciosidade introduzida no experiemnto devido a reação do grupo controle ao se comparar ao grupo tratamento.

Indivíduos do grupo controle agem de forma a superar as desvantagens que lhe são impostas por estarem no grupo controle, estando estes cientes da performance dos indivíduos do grupo tratamento.

Estimativas de Impacto.

Average Treatment Effect (ATE) – efeito médio do tratamento

Seja D a variável de assignment (ofereceu) e T de tratamento (recebeu).

Intention-to-treat (ITT) – impacto de oferecer o tratamento

Aplica-se o método para indivíduos em que o tratamento foi oferecido, independentemente de ter realmente recebido o programa.

Treatment-on-the-treated (TOT) – impacto de realmente receber o tratamento Aplica-se o método para indivíduos em que o tratamento foi oferecido e eles realmente receberam o programa.

Se D = T e com aleatorização ITT = TOT = ATE ATE = E[Y 1i − Y0i] ITT = E[Y 1i| Di = 1] − E[Y0i| D = 0] TOT = E[Y 1i − Y0i| T = 1]

Agente Resultado do tratamento Resultado do controle Efeito causal impacto 1 Y₁T _Y 1C Y1T - Y1C 2 Y₂T _Y 2C Y2T – Y2C ... ... i Y_iT _Y iC YiT – YiC ... ... N Y_NT _Y NC YNT - YNC

E(YT_{) E(Y}C_{) E(Y}T _{- Y}C_{) =}

E(YT_{) - E(Y}C₎

O efeito médio causal (impacto do tratamento) é a diferença entre médias de

grupos. O problema é que alguns resultados não são observados.

Agente Resultado do tratamento Resultado do controle Efeito causal impacto 1 Y₁T _{X ?} 2 X Y₂C _? ... ... ... i Y_iT _{X ?} ... ... ... N X Y_NC _? E(YT_{) E(Y}C_{) ?}

Não observamos Y

_iC

_{e Y}

iT

ao mesmo tempo.

Queremos calcular E(YT_{|D =1) - E(Y}c_{|D = 1)}

• observamos E(YT_{|D = 1)}

• não observamos E(Yc_{|D = 1)}

Não observamos o resultado do grupo de tratamento quando não são tratados.

Usamos E(Yc_{|D = 0) como contrafactual para E(Y}c_{|D =1)}

Alguns resultados potenciais são não observados, assim como o ATE. ATE = (2 + 3 -1 + 5 +1)/5 = 2 i Ti Yi(0) Yi(1) Yi(1) – Yi(0) 1 0 3 5 2 2 1 2 5 3 3 1 5 4 -1 4 0 2 7 5 5 1 1 2 1 Total 13 23 10

Estimando ATE

Podemos estimar ATE da seguinte forma:

ATE = E[YT_{(1) − Y}C_{(0)] = E[Y}T_{(1)] − E[Y}C_(0)]

Ambos os valores são observados.

Obtemos a média Y para observações que receberam o tratamento e a média Y para as observações do grupo controle .

Quando os que foram atribuidos para o tratamento (D = assigned) são diferentes dos realmente tratados (T = treated) dizemos que não existe compliance –

non-compliance (D ≠ T).

Quando ocorre non-compliance se torna impossível calcular ATE.

Em uma população de 200 pessoas, aleatoriamente atribui-se tratamento para 100 pessoas, mas somente 80 são realmente tratadas. Qual o impacto no tratamento?

Um método para responder essa questão é simplesmente ignorar os non-compliance e comparar o resultado do grupo tratamento (100) e do grupo controle (100). Este

método fornece o ITT.

Se eu comparar os realmente tratados (80) com os não tratados (120) teria problema de seletividade amostral, porque os 20 que não aceitaram o tratamento constitui uma

Estes modelos são regressões que podem ser estimados por MQO.

Organizando as observações tal que as n

₁

primeiras são os indivíduos que

receberam o tratamento e os remanescentes n

₂

são os que não receberam o

tratamento, então, denote i

₁

uma coluna de 1’s com n

₁

elementos e i

₂

uma

coluna de 1’s com n

₂

elementos. Então fica:



































2 2 1

0

i

i

i

y

o qual produz estimativas de mínimos quadrados,











































































 















 1 2 1 2 2 2 2 1 1 2 1 2 1 1 1 1 2 2 2 2 1 1 1 2 2 2 2 1

/

/

1

/

1

/

1

y

y

y

y

n

y

n

y

n

n

n

n

n

n

n

n

y

n

y

n

y

n

n

n

n

n

n

d

m

Em 1978 foi anunciada a construção de um incinerador de lixo em um bairro

zeta de uma cidade Paura. A construção iniciou-se em 1981 e o incinerador

começou a funcionar em 1985.

Queremos analisar a hipótese de que os preços das residências localizadas

próximas ao bairro zeta caíram com relação aos preços das residências

localizadas mais distantes do bairro zeta, devido a construção do incinerador.

Um pesquisador pouco rigoroso poderia fazer a seguinte análise, utilizando

dados de 1981:

u

pertoinc

rpreço





₀





₁



onde rpreço é o preço real (deflacionado) das residências e pertoinc é

uma binária com valor 1 se a residência for localizada perto do bairro zeta

(diâmetro de 1,5 Km) e 0 se não.

142

3

,

688

.

30

5

,

307

.

101

ˆ







n

pertoinc

eço

r

rp

Exemplo:

Neste caso, o intercepto é o preço médio das casas vendidas que não estão

perto do incinerador e a inclinação é a diferença de preços entre casas perto

do incinerador ou não. O resultado mostra que as casas perto do incinerador

custam $30.688,3 menos do que as outras. O teste t é significativo.

Entretanto, não significa que as casas perto do incinerador tiveram os preços

reduzidos, ou que a construção do incinerador reduziu os preços das casas. Se

analisarmos a mesma equação para 1978 observamos o seguinte resultado:

179

4

,

824

.

18

2

,

517

.

82

ˆ







n

pertoinc

eço

r

rp

Significando que os preços das casas perto do local onde foi construído o

incinerador já era mais barato e o incinerador foi construído em um local

mais desvalorizado.

Para avaliar o efeito do incinerador, precisamos utilizar os dados de 1978 e

1981, pooled.

u

pertoinc

y

pertoinc

y

rpreço





₀





₀

81





₁





₁

81

.



321 . 81 9 , 863 . 11 4 , 824 . 18 81 3 , 790 . 18 2 , 517 . 82       n u pertoinc y pertoinc y rpreço

O resultado neste caso é:

O valor que nos interessa é o coeficiente da interação, que é igual a

–30.688,3 – (–18.824,4) = –11.863,9

Chamado de estimador diferenças em diferenças, pois é idêntico a:

)

(

)

(

ˆ

, 78 , 78 , 81 , 81

1



rpreço

pe



rpreço

lo



rpreço

pe



rpreço

lo



101.307,5 = preço médio de casa longe do incinerador em 81

82.517,2 = preço médio de casa longe do incinerador em 78

-30.688,3 = (preço médio de casa perto - preço médio de casa longe) em 81

-18.824,4 = (preço médio de casa perto - preço médio de casa

longe

) em 78

Experimentos Naturais

Pode ser visto como uma análise de dados cross-section no tempo (pooling),

com a escolha apropriada de variáveis binárias e interações.

Podemos incluir binárias para anos para levar em consideração mudanças

agregadas, e em alguns casos podem ser feitas interações de variáveis

explanatórias com binárias no tempo para permitir mudanças de efeitos

parciais no tempo.

Caso mais simples:

Têm 2 períodos de tempo

ano 1

ano 2

Há 2 grupos:

Grupo controle

Para estudar o efeito de uma mudança no seguro desemprego sobre a

duração do desemprego escolhemos:

Grupo tratamento: indivíduos desempregados de um estado em que a

política de seguro desemprego foi alterada.

Grupo controle: desempregados que moram na vizinhança do estado

em que a política de seguro desemprego não foi alterada.

Grupo tratamento: casas em uma cidade que ocorreu uma reforma

inesperada nos impostos prediais.

Grupo controle: casas em cidades próximas e semelhantes que não

tiveram impostos prediais alterados.

Grupo controle = A

Grupo tratamento = B

Binárias:

dB= 1 para os do grupo tratamento e 0 caso contrário.

d2= 1para o segundo período de tempo (após a mudança na política) e

0 caso contrário

A equação mais simples para analisar o impacto de mudança na

política é:

u

dB

d

dB

d

y





₀





₀

2





₁





₁

2

.



y = variável de interesse (preço da casa, duração de desemprego, etc)

d2 = capta fatores agregados que afetam y no tempo da mesma forma para

ambos os grupos.

dB = capta possíveis diferenças entre os grupos controle e tratamento antes da

mudança na política ocorrer.

O coeficiente de interesse é

d2.dB = binária igual a 1 para aquelas observações do grupo de tratamento no

ano 2.

1



O estimador de MQO tem uma interpretação interessante:



ˆ

₁

Deixe:

ser a média amostral de y para o grupo controle no 1o ano.

ser a média amostral de y para o grupo controle no 2o ano.

ser a média amostral de y para o grupo tratamento no 1o ano.

ser a média amostral de y para o grupo tratamento no 2o ano.

Então:

1 , A

y

2 , A

y

1 , B

y

2 , B

y

)

(

)

(

ˆ

1 , 2 , 1 , 2 , 1



y

B



y

B



y

A



y

A



Este estimador foi denominado estimador de diferença em diferenças.

Para ver quão efetivo é para estimar efeitos de política podemos

compará-lo com outros estimadores.

Uma possibilidade é ignorar totalmente o grupo controle e usar a mudança

na média com o tempo para o grupo tratamento para medir o

efeito de política

1

ˆ



1 , 2 , B B

y

y



Diferenças em Diferenças

Suponha que estamos interessados no efeito do salário mínimo no emprego.

No mercado competitivo, o aumento do salário reduz emprego.

Card e Krueger (1994) utiliza uma mudança significativa no valor do salário

mínimo no estado de Nova Jersey para testar essa hipótese.

No dia 1 de abril de 1992, Nova Jersey aumentou o salário mínimo de $4.25

para $5.05/hora. Card e Krueger coletaram dados de emprego em

restaurantes fast-food em Nova Jersey em fevereiro de 1992 e novamente

em novembro de 1992. Eles tb coletaram dados desse mesmo tipo de

restaurante na Pensilvânia (cruzando o rio Delaware), estado que faz

fronteira com Nova Jersey. O salário mínimo na Pensilvânia continuou a

$4.25 nesse período.

Eles utilizaram DD para estimar o efeito do aumento do salário mínimo em

NJ, comparando a mudança no emprego de Fevereiro a novembro em NJ

com a mudança no emprego na Pensilvânia no mesmo período.

A pressuposição de identificação é que a tendência de emprego seria a

mesma nos dois estados na ausência do tratamento. O tratamento induz um

desvio da tendência esperada.

Os estados de controle e tratamento podem diferir entre si, mas essa

diferença é captada pelo efeito fixo de estado.

Seja o emprego no restaurante i no estado s e no tempo t. Seja NJ uma

binária para restaurantes em Nova Jersey e d uma binária para tempo que se

iguala a 1 em Novembro (após a mudança do salário).

ist t s t s ist

α

γ

NJ

λ

d

δ

NJ

d

ε

Y









(

.

)



ist

Y

Fev PA ist

s

PA

t

Fev

γ

λ

Y

E

α



[



,



]





PA NJ ist

ist s NJ t Fev E Y s PA t Fev γ λ

Y E γ  [  ,  ] [  ,  ]   Fev Nov ist

ist s PA t Nov E Y s PA t Fev λ λ

Y E λ  [  ,  ] [  ,  ]  

]}

,

[

]

,

[

{

]}

,

[

]

,

[

{

Fev

t

PA

s

Y

E

Nov

t

PA

s

Y

E

Fev

t

NJ

s

Y

E

Nov

t

NJ

s

Y

E

δ

ist ist ist ist

























Resultado:

δ = (21.03 – 20.44) – (21.17 - 23.33) = 0.59 - (-2.16) = 2.75

Ou seja, o aumento do salário mínimo aumentou o emprego.

Método da regressão descontínua

• O pressuposto mais importante do modelo é que a função S (renda,

idade...) é contínua. Isso significa que todas as demais variáveis têm

uma tendência suave pelo ponto de corte. De forma que o programa

analisado seja o único responsável pelo efeito de descontinuidade

sobre a variável de interesse.

• Este é o único desenho que permite identificar o efeito causal do

programa sem impor restrições exclusivas arbitrárias, suposições sobre

o processo de seleção, forma funcional ou o pressuposto da

Identificação e Estimação no desenho de regressão descontínua

A intuição é que a amostra de indivíduos ao redor do ponto de corte será similar

a um experimento aleatório porque eles tem essencialmente o mesmo valor S.

Aqueles um pouco abaixo do ponto de corte são muito semelhantes aos um

pouco acima . A comparação entre o valor médio y daqueles um pouco abaixo

do ponto de corte e os um pouco acima produzirá uma estimativa da média do

efeito de tratamento.

Aumentando o intervalo em torno do ponto de corte trará tendenciosidade da

estimativa do efeito de tratamento, especialmente se a variável que determina

alocação for relacionada com a variável de resultado y condicionada ao status do

tratamento. Se uma pressuposição sobre a forma funcional dessa relação puder

ser feita, então pode-se usar mais observações e extrapolar por baixo e por cima

do ponto de corte.

• No desenho mais simples de RD chamada Sharp RD

indivíduos recebem tratamento baseado em uma medida

contínua S, chamada de seleção ou variável de assignment.

Aqueles que estão abaixo de um valor S

*

não recebem o

tratamento e os que estão acima recebem o tratamento

• 1) Assim a alocação do tratamento ocorre dentro de uma regra

de decisão determinística. Tratamento é uma função

descontínua de s pq não importa o quão próximo s fica de s*, o

tratamento não muda até s = s*:























*

0

*

1

s

s

se

s

s

se

T

i i i

Para obter o efeito de um programa no resultado y utilizando RD, precisamos

de uma variável S que determina a elegibilidade do programa (idade, nota de

corte, tamanho da propriedade, renda etc) com um ponto de corte bem

definido s*. Estimamos então:

𝑦_𝑖 = 𝛽𝑆_𝑖 + 𝜀_𝑖 para os elegíveis 𝑆_𝑖 ≤ 𝑠_𝑖∗ 𝑦_𝑖 = 𝛽𝑆_𝑖 + 𝜀_𝑖 para os não elegíveis 𝑆_𝑖> 𝑠_𝑖∗

𝐸 𝑦_𝑖 𝑠∗ − 𝜀 − 𝐸 𝑦_𝑖 𝑠∗ + 𝜀

= 𝐸 𝛽𝑆_𝑖 𝑠∗ − 𝜀 − 𝐸 𝛽𝑆_𝑖 𝑠∗ + 𝜀

Para um pequeno valor ε > 0 em torno do ponto de corte teremos:

lim

𝜀→∞𝐸 𝑦𝑖 𝑠

∗ _{− 𝜀 − lim}

𝜀→∞𝐸 𝑦𝑖 𝑠

∗ _{+ 𝜀 = 𝑦}− _{− 𝑦}+ _{= 𝛽 𝑆}− _{− 𝑆}+

No limite quando ε 0 identificamos β:

𝛽 = 𝑦

− _{− 𝑦}+

𝑆− _{− 𝑆}+

Sharp RD:

A regressão a ser estimada será:

onde ρ é o efeito causal de interesse.

y é a variável de resultado, S é a variável que determina se recebe

tratamento ou não (nota, idade, renda), T é 1 se a pessoa recebe

tratamento e 0 se não.

i i i i

S

T

y

















Como na prática pode ocorrer de a elegibilidade não ser sharp, S pode ser

substituído pela probabilidade de participar P(S) = E(T|S) onde T = 1 se

recebeu tratamento e T = 0 se não. Nesse caso a descontinuidade é

estocástica ou fuzzy e ao invés de medir diferenças nos resultados acima e

abaixo de s*, o estimador de impacto mede a diferença em torno da

vizinhança de s*

Exemplo:

Idosos recebendo Benefício da Prestação Continuada – BPC

Ponto de corte é 65 anos.

Em torno desse valor os indivíduos são semelhantes.

Entretanto, alguns acima de 65 são beneficiários e abaixo não são.

Fuzzy RD

Desenho fuzzy de Regressão Descontínua:

Tratamento não é determinado somente por uma regra de corte.

Mesmo se elegibilidade para receber um tratamento dependesse somente

da regra de corte, nem todos os elegíveis receberiam o tratamento devido a

imperfeições na distribuição e no aceite.

Fuzzy RD pode ser descrita por um sistema de duas equações

A binária de tratamento T pode ser instrumentalizada com D, uma vez que

é endógena.

y é a variável de resultado (trabalha ou não), S é idade, T é 1 se a

pessoa recebe BPC e 0 se não e D é 1 se a pessoa tem 65 anos ou

mais e 0 em caso contrário.

𝑦 = 𝛼 + 𝜏𝑇 + 𝑓 𝑆 + 𝜖 𝑇 = 𝛾 + 𝛿𝐷 + 𝑔 𝑆 + 𝜑

Quando aleatorização não é possível, tentamos uma forma alternativa para avaliar o impacto do tratamento.

Com o método de matching tenta-se obter um grupo controle que é o mais semelhante possível ao grupo tratamento em termos de características

observáveis.

A ideia é obter, a partir de um grande número de não participantes, indivíduos que são (observationally similar) semelhantes aos participantes em termos das características que não são afetadas pelo programa.

A diferença de médias de Y entre o grupo tratamento e o grupo controle obtido pelo método de matching será o impacto do tratamento SE as diferenças entre os grupos forem devido a características observáveis e se houver um grande número de não participantes.

Pressuposições:

1) Conditional Independence Assumption (CIA) ou unconfoundness.

Dado um conjunto de covariadas X que não são afetadas pelo tratamento, resultados potenciais Y são independentes da atribuição do tratamento T.

A adesão ao programa é baseada inteiramente nas características observadas.

[Y(1), Y(0)] T | X

Para obter TOT, basta

Y(0) T | X

Se características não observáveis determinam a participação no programa, conditional independence será violada e PSM não é o método adequado.

Etapas para o Procedimento de Matching:

1) Obter os escores de propensão

2) Obter suporte comum

3) Obter o grupo controle através de um procedimento de escolha (pareamento)

Se a CIA é satisfeita e há suporte comum, o estimador PSM para TOT é a diferença de médias de Y entre o grupo tratamento e controle na área de suporte comum.

As observações do grupo controle são ponderadas dependendo do método utilizado.

W(i,j) é o peso usado para agregar os resultados dos não participantes quando pareados.

T Taxa Mortalidade Infantil 1 1 10 2 1 15 3 1 22 4 1 19 5 0 25 6 0 19 7 0 4 8 0 8 9 0 6

Uma ONG implementa um Programa de construção de clínicas de saúde em várias vilas.

As vilas são selecionadas de forma não aleatória.

Temos dados de características das vilas antes do programa ser implementado.

Podemos comparar as médias de mortalidade infantil entre vilas tratadas e vilas controle.

= ¼(10 + 15 + 22 + 19) – ⅕( 25 + 19 + 4 + 8 + 6) = +4,1

O resultado mostra que vilas onde foram construídas clínicas tiveram acréscimo na mortalidade infantil. Há um problema aqui:

Clínicas onde foi implementado o programa são as com maiores taxas de mortalidade infantil.

Imaginem que observamos a proporcão de pobres e o número de médicos per capita em cada vila antes de o programa ser implementado e que essas variáveis foram utilizadas para decidir onde o programa seria implementado.

Comparando tratamento e controle usando essas variáveis observamos que na média o grupo tratado tem maior proporcão de pobres e um menor número de médicos per capita.

T Taxa Mortalida de Infantil % pobres Médicos_pc 1 1 10 .5 .01 2 1 15 .6 .02 3 1 22 .7 .01 4 1 19 .6 .02 5 0 25 .6 .01 6 0 19 .5 .02 7 0 4 .1 .04 8 0 8 .3 .05 9 0 6 .2 .04

Vamos criar um novo grupo controle:

Para cada observação no grupo tratamento, selecionamos controles que mais se assemelham ao tratamento baseado nas variáveis observadas.

Comparamos a média da taxa de mortalidade infantil no grupo tratamento com a média da taxa de mortalidade infantil no grupo controle.

T Taxa Mortali dade Infantil % pobres Médicos _pc 1 1 10 .5 .01 2 1 15 .6 .02 3 1 22 .7 .01 4 1 19 .6 .02 5 0 25 .6 .01 6 0 19 .5 .02 7 0 4 .1 .04 8 0 8 .3 .05 9 0 6 .2 .04

Para simplificar, vamos imaginar que temos só a variável proporção de pobres para analisar. Então, a observação 1 teria um match na observação 6.

A segunda observação tem proporção de pobres de 60% e vai ter um pareamento com a observação 5.

As próximas 2 observações são pareadas também com a 5 ͣ observação.

T Taxa Mortali dade Infantil % pobres Médicos _pc 1 1 10 .5 .01 2 1 15 .6 .02 3 1 22 .7 .01 4 1 19 .6 .02 5 0 25 .6 .01 6 0 19 .5 .02 7 0 4 .1 .04 8 0 8 .3 .05 9 0 6 .2 .04

Se considerarmos as 2 variáveis para obter o pareamento, complicaria mais ainda. A observação 1 seria pareada com a 6 se a variável proporção de pobres fosse mais importante ou com a observação 5 se a variável número de médicos_pc fosse a mais importante. Não sabemos exatamente qual observação será pareada.

Como proceder para parear as observações do grupo tratamento com as observações do grupo controle?

Usamos uma regressão logística ou um próbite para estimar

Prob(T = 1 | X₁, X₂, …, X_K)

Variáveis que podem influenciar a seleção das vilas em vilas tratadas ou não. Nesse caso seriam as variáveis proporcão de pobres e o número de médicos per capita.

Depois de estimar os parâmentros da regressão, utilizamos os valores estimados da variável dependente T, que são os scores de propensão.

No Stata:

logit T pobres medico_pc

T mort_inf pobres medico_pc psc 1 1 10 .5 .01 .4165713 2 1 15 .6 .02 .7358171 3 1 22 .7 .01 .9284516 4 1 19 .6 .02 .7358171 5 0 25 .6 .01 .752714 6 0 19 .5 .02 .395162 7 0 4 .1 .04 .0016534 8 0 8 .3 .05 .026803 9 0 6 .2 .04 .0070107

Observação 1 é pareada com a 6.

T mort_inf pobres medico_pc psc match 1 10 .5 .01 .4165713 6 1 15 .6 .02 .7358171 5 1 22 .7 .01 .9284516 5 1 19 .6 .02 .7358171 5 0 25 .6 .01 .752714 0 19 .5 .02 .395162 0 4 .1 .04 .0016534 0 8 .3 .05 .026803 0 6 .2 .04 .0070107 Novo cálculo: ¼(10 + 15 + 22 +19) – ¼(19 + 25 +25 + 25) = -7

O programa reduziu a mortalidade infantil em 7 por mil

Como sabemos que o matching foi bem feito?

1) Olhamos as diferenças de médias entre as covariadas do grupo tratamento e grupo controle construído – não devem diferir

2) Comparamos as distribuições dos scores de propensão (histogramas, densidades não paramétricas) no grupo tratamento e no grupo controle – deve haver overlap

3) O resultado deve ser robusto. Para os diferentes procedimentos de matching, os resultados devem ser semelhantes.

Overlap e Common Support

ATE e TOT são definidos somente na região de suporte comum. Portanto, é importante checar a região de suporte comum entre o grupo tratamento e o grupo controle. Como proceder?

1) Comparação mínimo e máximo.

O critério básico deste procedimento é apagar as observações cujo escore de propensão é menor do que o mínimo e maior do que o máximo do grupo oposto. Exemplo. Vamos pressupor que o escore de propensão está dentro do intervalo [0,07 0,94] no grupo tratamento e dentro de [0,04 0,89] no grupo controle. Assim, pelo critério de mínimo e máximo, o suporte comum é dado por [0,07 0,89]. As observações fora desse intervalo são descartadas da análise.

2) Trimming

Elimina pontos onde a função densidade estimada é zero ou tem valores muito baixos.

No exemplo 1 da figura 1, pelo critério de máximo e mínimo, excluiríamos observações fora do intervalo [0,2 0.8]. Dependendo do nível q do trimming, poderíamos também excluir observações do grupo controle no intervalo [0,7 0,8] e observações do grupo tratamento entre [0,2 0,3] porque as densidades são relativamente baixas nesses pontos. Entretanto, nesse exemplo, não haveria grande diferença entre os dois métodos.

No exemplo 2 da figura 1 não encontramos observações no intervalo [0,4 0,7]. Pelo critério de mínimo e máximo, escolheríamos o intervalo [0,01 0,99] que é igual para os dois grupos, o que estaria errado. Nenhuma observação teria sido excluída no intervalo [0,4 0,7], fazendo com que a estimação do efeito de tratamento na região [0,4 0,7] se torne questionável.

No método de trimming, por outro lado, as observações nesse intervalo seriam excluídas, tornando os resultados da análise mais confiáveis.

Assim, a escolha do método depende dos dados e é preciso fazer inicialmente uma análise visual.

Cuidado quando se exclui uma grande região!! O efeito estimado para os indivíduos que permanecem na amostra pode não ser representativo.

Nearest Neighbour Matching: (NN) matching. Um indivíduo do grupo comparação é escolhido como um par correspondente a um indivíduo tratado, utilizando para isso o valor mais próximo do propensity score entre o indivíduo tratado e o não tratado.

Há variantes do NN matching, como o NN matching ‘com reposição’ e ‘sem reposição’. No primeiro caso, um indivíduo não tratado pode ser usado mais do que uma vez

como correspondente, enquanto que no sem reposição o indivíduo é considerado somente uma vez.

Matching com reposição envolve um trade-off entre viés e variância. Se permitirmos reposição, a qualidade média do matching aumentará e o viés reduzirá, mas a variância aumentará porque reduziremos o número de não participantes distintos usados no processo.

Caliper e Radius Matching: Ao utilizar NN matching incorre-se no risco de obter matchings ruins, se o vizinho mais próximo estiver longe. Isso pode ser evitado

impondo-se um nível de tolerância na distância máxima do score de propensão (caliper ou calibre).

Ao aplicar o caliper matching, o indivíduo do grupo comparação é escolhido como um par correspondente, se estiver dentro de um intervalo de valor (caliper) e é próximo em termos do score de propensão.

Impor o caliper funciona da mesma forma que NN com reposição. Matches ruins são evitados e portanto melhora a qualidade. Entretanto, menos pareamento ocorre e a variância aumenta.

Smith and Todd (2005) apontam como problema no caliper matching estabecer o nível de tolerância mais razoável.

Dehejia e Wahba (2002) sugerem uma variante do matching caliper que é chamado radius matching. A ideia básica é usar não somente o vizinho mais próximo dentro de cada caliper, mas todos os indivíduos do grupo comparação que ficam dentro do

Stratification ou Interval Matching: A ideia do matching estratificado é dividir o suporte comum do score de propensão em um conjunto de intervalos (estratos) e calcular o impacto dentro de cada intervalo através da diferença de médias de Y entre as observações do grupo tratamento e do grupo controle.

Precisamos saber quantos intervalos devemos ter nas análises empíricas.

Cochrane and Chambers (1965) e Imbens (2004) mostram que 5 subclasses são suficientes para remover 95% do viés associado às covariadas.

O procedimento consiste em se checar, em cada estrato, se o score de propensão está balanceado. Se não, é porque o estrato é muito grande e precisa ser dividido. Se, dado que o score de propensão está balanceado, mas as covariadas não estão balanceadas, a especificação do propensity score não está adequada e precisa ser re-especificada. Por exemplo, adicionando termos de interação de ordem superior (Dehejia e Wahba, 1999).

Kernel e Local Linear Matching: Os métodos de matching discutidos anteriormente têm em comum o fato de se utilizar poucas observações do grupo controle para construir o contrafactual. Kernel matching (KM) e local linear matching (LLM) são estimadores não paramétricos que usam médias ponderadas de todos os indivíduos no grupo controle para construir o contrafactual. A maior vantagem desse método é ter menor variância por se utilizar mais informações. Um problema com esse método é que muitas observações utilizadas podem ser maus matching.