Desenhos Quasi-Experimentais
com
Grupos de Controle e
sem
Pré-testes
Universidade de Brasília
Programa de Pós-Graduação em Administração - PPGA Grupo de Pesquisa Impacto
Experimental and Quasi-Experimental Designs for
Generalized Causal Inference - Shadish, Cook e Campbell -
Cap. 4, p. 115 a p.134
Roteiro
O Quasi-Experimento
Princípios para assegurar a
implausibilidade de explicações
alternativas em quasi-experimentos
Desenhos Quasi-Experimentais
com
Grupos de Controle e
sem
Pré-testes
Desenhos Quasi-Experimentais
sem
Grupos de Controle e
sem
Pré-testes
Quasi-Experimento
No
experimento as explicações alternativas tornam-se
pouco plausíveis porque o delineamento assegura que essas
explicações alternativas estejam distribuídas aleatoriamente
nas condições.
No
quasi-experimento, como não é feita distribuição
aleatória de unidades nas condições, são usados outros
princípios para mostrar que explicações alternativas não são
plausíveis.
Princípios Com Grupo Controle
3
Sem Grupo Controle
Princípios para assegurar a implausibilidade de
explicações alternativas em quasi-experimentos
Identificação e
estudo das
ameaças
à validade interna
.
4
Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle
1
2
3
Primazia do
controle pelo
desenho.
Padrão coerente
correspondente.
1. Precedência Temporal Ambígua
A falta de clareza sobre qual variável
ocorreu pela primeira vez pode produzir confusão sobre qual variável é a causa e qual é o efeito.
2. Seleção
Diferenças sistemáticas sobre as condições nas características de
respondentes que poderiam também refletir no efeito observado.
3. História
Os eventos que ocorrem simultaneamente com o tratamento podem causar o efeito observado.
Razões pelas quais inferências de que a relação entre duas variáveis é
Princípios para assegurar a implausibilidade de
explicações alternativas em quasi-experimentos
Identificação e
estudo das ameaças
à validade interna.
5
Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle
1
4. Maturação
Mudanças ao longo do tempo que ocorrem naturalmente poderiam ser
confundidas com um efeito do tratamento. 5. Regressão
Quando as unidades são selecionadas por seus valores extremos, muitas vezes essas unidades terão menos pontuações extremas em outras variáveis; uma
ocorrência que pode ser confundida com um efeito do tratamento.
6. Atrito (mortalidade)
Perda diferencial de respondentes por parte dos grupos comparados.
Razões pelas quais
inferências de que a
relação entre duas
variáveis é
causal
Princípios para assegurar a implausibilidade de
explicações alternativas em quasi-experimentos
Identificação e
estudo das ameaças
à validade interna.
6
Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle
1
7. Testagem
A exposição a um teste pode afetar
pontuações em exposições subsequentes, uma ocorrência que pode ser confundida com um efeito do tratamento.
8. Instrumentação
A natureza de uma medida pode mudar ao longo do tempo ou condições de uma
forma que poderia ser confundido com um efeito de tratamento.
9. Efeitos aditivo e interativo
O impacto de uma ameaça pode ser
adicionado ao de outra ameaça; ou pode depender do nível de outra ameaça.
Razões pelas quais
inferências de que a
relação entre duas
variáveis é
causal
Princípios para assegurar a implausibilidade de
explicações alternativas em quasi-experimentos
Identificação e
estudo das ameaças
à validade interna.
7
Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle
1
2
3
Primazia do
controle pelo
desenho.
Padrão coerente
correspondente.
Adicionar elementos de controle do desenho dos quasi-experimentos (por
exemplo, observação de mais pré-testes,
grupos de controle adicionais), tem o objetivo de evitar confundir uma ameaça à validade com um efeito do tratamento. O controle do desenho também pode fornecer evidências sobre a plausibilidade dessas ameaças.
A alternativa usual de controles de desenho são os controles estatísticos. Os controles de desenho e os controles estatísticos podem (e devem) ser usados em conjunto. Entretanto, os autores encorajam o uso de controles de desenho tanto quanto possível, deixando o controle estatístico paa lidar com diferenças menores que tenham permanecido.
Princípios para assegurar a implausibilidade de
explicações alternativas em quasi-experimentos
Identificação e
estudo das ameaças
à validade interna.
8
Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle
1
2
3
Primazia do
controle pelo
desenho.
Padrão coerente
correspondente.
Uma previsão complexa é feita sobre uma determinada hipótese causal e
poucas explicações alternativas podem igualar essa previsão.
Os exemplos do capítulo 4 incluem o uso de variáveis dependentes não-equivalentes e o uso de interações preditivas.
Quanto mais complexo for o padrão que o desenho prevê para o sucesso, é
menos provável que as explicações alternativas possam gerar o mesmo
padrão. Sendo assim, o mais provável é que o tratamento teve um efeito real.
Desenhos Quasi-Experimentais
com
Grupos de
Controle e
sem
Pré-testes
Um método clássico para apoiar a inferência contrafactual é
adicionar um grupo de controle que não recebe tratamento.
O grupo de controle selecionado deve ser o mais semelhante
possível ao grupo de tratamento.
9
Desenhos Quasi-Experimentais
com
Grupos de
Controle e
sem
Pré-testes
10
Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle
Desenhos somente com Pós-Teste
e Grupos Não-Equivalentes
Esse desenho é considerado fraco.
Por exemplo, Sharpe e Wetherbee (1980) compararam as mães que
receberam benefícios nutricionais de um projeto do Mississipi com
aquelas que não receberam. Os resultados indicaram não haver
diferenças significativas nos pós-testes em relação ao “peso ao nascer”
e à “mortalidade infantil” entre os dois grupos.
No entanto, os grupos podem ter diferenças em muitas variáveis
relacionadas a esses resultados, como o estado de nutrição anterior.
Essa possibilidade de diferenças entre os grupos de pré-teste torna
muito difícil separar o tratamento dos efeitos de seleção.
Desenhos Quasi-Experimentais
com
Grupos de
Controle e
sem
Pré-testes
Aperfeiçoando o desenho
11
Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle
Usando uma
amostra de
pré-teste independente
Usando proxy
pré-testes
Usando
combinações e
estratificações
Usando controles
internos
Usando múltiplos
grupos controle
Usando uma
interação preditiva
1
2
3
4
5
6
Na impossibilidade de aplicação de pré e pós-testes na mesma amostra, é possível realizar um pré-teste em uma amostraindependente, mas formada aleatoriamente a partir da mesma população de onde fora
extraída a amostra para realização do pós-teste. Caso isso não ocorra, vieses de
seleção podem ser introduzidos nas estimativas dos efeitos do tratamento.
Ex.: Epidemologia, saúde pública, marketing, pesquisas de intenção de votos.
Desenhos Quasi-Experimentais
com
Grupos de
Controle e
sem
Pré-testes
Aperfeiçoando o desenho
12
Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle
Usando uma
amostra de
pré-teste independente
Usando proxy
pré-testes
Usando
combinações e
estratificações
Usando controles
internos
Usando múltiplos
grupos controle
Usando uma
interação preditiva
1
2
3
4
5
6
Usando proxy pré-testes – de preferência, proxies devem ser conceitualmente
relacionados ao resultado, e não apenas
medidas prontamente acessíveis, tais como idade, sexo, classe social ou raça.
Ex.: o uso de pré-testes em cursos de cálculo para estudantes que nunca estudaram
cálculo pode gerar muito pouca variabilidade; um proxy pré-teste de aptidão para a
Desenhos Quasi-Experimentais
com
Grupos de
Controle e
sem
Pré-testes
Aperfeiçoando o desenho
13
Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle
Usando uma
amostra de
pré-teste independente
Usando proxy
pré-testes
Usando
combinações e
estratificações
Usando controles
internos
Usando múltiplos
grupos controle
Usando uma
interação preditiva
1
2
3
4
5
6
CombinaçõesAgrupamento de unidades com escores
similares na variável de combinação, de forma que os grupos controle e experimental
contenham unidades com as mesmas
características na variável de combinação.
Ex.: Estudo dos efeitos de programas de
informações nutricionais sobre as vendas de produtos em uma rede de mercados. 10 lojas em Washington (tratamento) e 10 lojas em
Maryland (controle). Assim, 10 pares entre os dois estados foram criados levando em
consideração características e o tamanho das lojas, pois essas variáveis predizem vendas de produtos.
Desenhos Quasi-Experimentais
com
Grupos de
Controle e
sem
Pré-testes
Aperfeiçoando o desenho
14
Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle
Usando uma
amostra de
pré-teste independente
Usando proxy
pré-testes
Usando
combinações e
estratificações
Usando controles
internos
Usando múltiplos
grupos controle
Usando uma
interação preditiva
1
2
3
4
5
6
EstratificaçõesQuando as unidades são dispostas em contextos homogêneos que contêm mais
unidades do que o experimento tem condições.
Ex.: Estratificação de gênero; é impossível obter combinações mais próximas do que ‘machos’ entre uma ampla amostra de
‘machos’. Desta forma, um grupo terá muito mais ‘machos’ do que o número de condições experimentais. Neste caso, os ‘machos’
poderiam ser estratificados em grupos menos homogêneos a partir de seus escores na
Desenhos Quasi-Experimentais
com
Grupos de
Controle e
sem
Pré-testes
Aperfeiçoando o desenho
15
Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle
Usando uma
amostra de
pré-teste independente
Usando proxy
pré-testes
Usando
combinações e
estratificações
Usando controles
internos
Usando múltiplos
grupos controle
Usando uma
interação preditiva
1
2
3
4
5
6
Grupos extraídos de uma população similar àquela de onde as unidades de tratamento foram retiradas.
Ex.: Em um estudo sobre programas corretivos de redação, um grupo de controle interno foi composto por estudantes que se inscreveram mais tarde no programa (embora fossem
elegíveis para o mesmo) para integrarem o grupo experimental.
Desenhos Quasi-Experimentais
com
Grupos de
Controle e
sem
Pré-testes
Aperfeiçoando o desenho
16
Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle
Usando uma
amostra de
pré-teste independente
Usando proxy
pré-testes
Usando
combinações e
estratificações
Usando controles
internos
Usando múltiplos
grupos controle
Usando uma
interação preditiva
1
2
3
4
5
6
Se os grupos controle diferem entre si tanto quanto diferem do grupo experimental, essas
diferenças obviamente não podem ser causadas pelo tratamento.
Ex.: Estudo sobre as consequências, em um grupo de jovens negras, de se fazer um aborto. Além deste grupo, outros dois foram formados: um composto por mulheres que tiveram seus
filhos e outro, por mulheres que descobriram não estarem grávidas. As jovens que abortaram
tiveram um melhor desempenho educacional
dois anos após o evento. Se os dois grupos não fossem criados, talvez alguém questionasse a validade do estudo afirmando que o resultado decorreu do fato de filhos (grupo de controle 1) demandarem tempo e esforço.
Desenhos Quasi-Experimentais
com
Grupos de
Controle e
sem
Pré-testes
Aperfeiçoando o desenho
17
Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle
Usando uma
amostra de
pré-teste independente
Usando proxy
pré-testes
Usando
combinações e
estratificações
Usando controles
internos
Usando múltiplos
grupos controle
Usando uma
interação preditiva
1
2
3
4
5
6
Uma boa teoria, às vezes, é suficiente para que hipóteses causais altamente diferenciadas sejam criadas.
Ex.: a literatura indica que pessoas mais motivadas para transferir compreendem as
restrições ambientais como desafio ao processo de transferência de treinamento. A partir disso, grupos podem ser criados a partir dos níveis de motivação dos participantes (alta e baixa
motivação). Assim, se o grupo mais motivado, em um contexto limitador, transfere mais do que o grupo menos motivado, em um contexto
similar, é provável que a interação estatística predita de fato seja válida.
Desenhos Quasi-Experimentais
sem
Grupos de
Controle e
sem
Pré-testes
18
Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle
Quando não é possível que grupos controle independentes
sejam formados, em algumas ocasiões é possível construir
contrastes que tentam imitar a função de um grupo controle
independente.
Os autores sustentam que: “todas essas possibilidades têm
grandes fraquezas, de forma que recomendamos que tais
contrastes não sejam usados. Apesar disso, o baixo custo
dessa estratégia pode auxiliar na compreensão de explicações
alternativas remanescentes.”
Desenhos Quasi-Experimentais
sem
Grupos de
Controle e
sem
Pré-testes
19
Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle
Contrastes
Extrapolação da regressão
Comparação normatizada
Fontes secundárias
1
2
3
Compara escores atuais e projetados no pós-teste.
Compara o grupo de tratamento com amostras normatizadas.
Compara grupos de tratamento com amostras extraídas de
dados previamente coletado.
O Desenho Caso-Controle
20
Quasi-Experimento Princípios Com Grupo Controle Sem Grupo Controle
Em alguns casos, por questões éticas, não é possível criar
grupos controle, de forma que uma opção é usar o desenho
caso-controle.
Casos e controles são, então, comparados a partir da
utilização de dados retrospectivos que permitam investigar se
os
casos foram mais expostos a hipóteses causais (hábitos
alimentares, uso de drogas lícitas e/ou ilícitas etc) do que os
controles.
Caso: grupo de indivíduos que possuem os
resultados de interesse (infarto).
Controle: grupo de indivíduos que não possuem
Roteiro
O Quasi-Experimento
Princípios para assegurar a
implausibilidade de explicações
alternativas em quasi-experimentos
Desenhos Quasi-Experimentais
com
Grupos de Controle e
sem
Pré-testes
Desenhos Quasi-Experimentais
sem
Desenhos Quasi-Experimentais
com
Grupos de Controle e
sem
Pré-testes
Universidade de Brasília
Programa de Pós-Graduação em Administração - PPGA Grupo de Pesquisa Impacto
