Métodos quasi-experimentais

Métodos quasi-experimentais

Exemplo de design experimental

Ameaças à validade interna e externa

Exemplos de designs quasi-experimentais e principais ameaças à validade

Mestrado em Educação FCUL- 2005/2006 Disciplina de Metodologias de Investigação Cláudia Faria

Design experimental

Problema

Hipóteses

Experiência

envolve uma mudança no valor

Design experimental

O efeito do tratamento é medido no grupo

Grupo experimental

Grupo controlo

Grupo de controlo do procedimento

É comparado com o efeito para outro grupo que não recebeu o tratamento, mas que é em todos os outros aspectos semelhante ao grupo experimental

Devido à possibilidade de o efeito no grupo experimental ser devido à manipulação e não ao próprio tratamento, terá de haver um 3º grupo onde é testado o efeito da manipulação

Design experimental

!

Exemplo:

!

Medir o efeito de uma hormona no

comportamento sexual - os sujeitos experimentais

têm de receber uma injecção

!

O efeito da injecção no comportamento sexual

pode ser causado pela hormona, mas também por

outros factores, como o desconforto provocado

pela injecção

!

Terá de haver um grupo a quem é dado a injecção

Design experimental

Exemplo:

!

Utilização de simulações em computador na

aprendizagem de ciências

!

O efeito da utilização do computador pode por si

só desenvolver outras capacidades

!

Teríamos que ter um outro grupo que utilizasse o

Design experimental

Replicados

!

utilizar vários grupos de cada tipo de forma a ter

uma medida da variabilidade

dentro

de cada

grupo passível de ser comparada com a

variabilidade

entre

grupos

!

Amostra representativa

!

aleatoriedade (selecção e experiências são o mais

semelhantes possível entre os vários grupos)

!

dimensão adequada aos objectivos

!

variabilidade equivalente à existente na população

Experiências

Influência da herbivoria nas comunidades

!

Que factores condicionam os limites de distribuição

vertical

! Qual a influência das lapas no limite superior das algas

vermelhas?

!

Comparação dos efeitos da herbivoria em diferentes

escalas espaciais

Boaventura, D.; M. Alexander; P. Della Santina; N.D. Smith, P. Ré, L. Cancela da Fonseca & S.J. Hawkins (2002). The effects of grazing on the distribution and composition of low shore algal communities on the central coast of Portugal and on the southern coast of Britain. Journal of Experimental Marine Biology and Ecology,267 (2): 185-206.

Design Experimental

Tratamentos

2

Meia

Meia

-

-

rede

rede

Control

Control

o

o

1

Exclus

Exclus

ão

ão

0.5m 0.5m 1m 1m 0.25m 0.25m 0.5m 0.5m 0.5m 0.5m 1m 1m -- redesredes + + lapas + + redesredes -- lapas + 1/2 + 1/2 redesredes + + lapas lapas lapas lapas

Design Experimental

Diferentes escalas espaciais

Design Experimental

Diferentes escalas espaciais

Portugal

Portugal

Britain

Britain

Cabo Raso

Cabo Raso EstorilEstoril SwanageSwanage Heybrook BayHeybrook Bay

Patch 1

Patch 1 Patch 2Patch 2 Patch 1Patch 1 Patch 2Patch 2 Patch 1Patch 1 Patch 2Patch 2 Patch 1Patch 1 Patch 2Patch 2

T1 T2 T1 T2 T3T3 3 treatments x 3 replicates 3 treatments x 3 replicates x 3 x 3

Experiências

Experiências

Ameaças à validade de uma

experiência

Factores que afectam a

validade interna

!

As alterações observadas na variável

dependente são de facto devidas ao

efeito da variável independente e não a

outras variáveis?

Ameaças à validade interna

Exemplo:

! Teste do aproveitamento dos alunos no 1º semestre da

disciplina de metodologia de investigação

! Turmas mistas de didáctica das ciências e didáctica da

matemática

! Durante o 1º semestre os alunos de matemática têm que

apresentar 2 trabalhos escritos, 3 orais e 5 testes #.

! Os alunos de ciências, para além do trabalho desta

disciplina, não têm mais nada para fazer ☺.

! Questão: diferenças nas notas dos dois grupos da turma

podem ser atribuídas ao que cada grupo aprendeu?

História

– factos ocorridos em simultâneo com o

teste de uma variável experimental

Aumentar o número de grupos para menor probabilidade de acontecimentos estranhos

Ameaças à validade interna

Exemplo:

! Nesta apresentação são solicitadas respostas a perguntas

sobre designs quasi-experimentais

! Avaliação prévia dos conhecimentos dos alunos sobre este

tema dando algumas dicas

! Questão: Pode-se concluir que respostas correctas são

exclusivamente devidas à apresentação?

Testagem

– O tratamento repetido ou a testagem do

mesmo sujeito pode influenciar o seu comportamento

Pré-teste não dê conhecimentos adicionais aos sujeitos

Ameaças à validade de uma

experiência

!

Exemplo:

! A metade da turma é dito que a metodologia de

investigação vai ser dada de uma forma revolucionária

! Supondo que não existe comunicação entre as duas

metades da turma

! Questão: será que a atenção (e talvez o aproveitamento) irá

ser igual entre as duas metades?

Expectativa

– Quando um tratamento é mais

eficaz que um controlo porque os intervenientes

acreditam que seja e actuam em conformidade

Ameaças à validade interna

Exemplo:

! Determinar o efeito da aplicação de um conjunto de práticas

pedagógicas inovadoras no aproveitamento dos alunos de uma Universidade com uma selecção de entrada

particularmente exigente

Selecção – os resultados da investigação podem

ser devidos às próprias características dos sujeitos

Ameaças à validade interna

Exemplo:

! Os alunos das ciências têm um teste na sexta feira, às 18h,

no fim da aula de metodologia, sem ter tido intervalo

! Os alunos de matemática têm o mesmo teste de manhã ! Partindo do pressuposto que não existe comunicação entre

os dois grupos

! Questão: Se os resultados forem diferentes nos dois grupos

poderemos concluir que é apenas devido a diferenças no aproveitamento?

Maturação

– processos vividos pelos

participantes decorrentes da passagem do tempo

(ex. ficar mais velho, cansado, com fome)

grupo de controlo que passa pelos mesmos processos/situações

Ameaças à validade interna

Exemplo:

! Alunos com melhor e pior aproveitamento num determinado

teste

! Independentemente do tratamento em qualquer pós-teste

existirá tendência para que os resultados dos melhores alunos diminuam e os dos piores aumentem

Regressão estatística

– quando os grupos são

escolhidos com base nos valores extremos de uma

variável

ter um termo de comparação (alunos com aproveitamento médio)

Ameaças à validade interna

Exemplo:

! Testar o efeito de actividades de conversação na

aprendizagem de uma língua estrangeira

! No fim do curso apenas ficaram aqueles que eram à partida

mais comunicativos

Mortalidade

– perca diferencial de sujeitos durante

a realização da experiência

características prévias dos que saíram obter dados dos que saíram

Ameaças à validade interna

Exemplo:

! Numa investigação sobre comportamentos de indisciplina

utilizar diferentes observadores

! Consideram “o aluno levantar-se sem autorização” um acto de

indisciplina?

! Um investigador fazer observações sobre o comportamento

dos alunos antes e depois de se ter familiarizado com o tema ou com os sujeitos em estudo

Instrumentação

– problemas na fiabilidade ou

consistência nos instrumentos ou no processo de

recolha de dados

Operacionalizar as definições Teste intra- e inter-observador

Validade externa

!

Factores que afectam a representatividade

das conclusões de um estudo, ou seja, a

possibilidade de generalizar:

!

Amostra representativa da população em estudo

! Amostra aleatória

!

Qualquer falha na validade interna vai afectar a

validade externa porque os resultados vão ser

relativos àquela situação particular

Métodos quasi-experimentais

Exemplos de designs

Métodos quasi-experimentais

Características e aplicações

!

Não controlam todas as fontes de distorção

!

Aplicam-se quando não é possível uma

selecção aleatória dos sujeitos

!

Na investigação em educação é possível que a

escola:

! Não permita que as turmas sejam desfeitas ou divididas

para proporcionar amostras aleatórias

! Não permita que um tratamento seja dado a umas

Métodos quasi-experimentais

Design das séries temporais

O

₁

O

₂

O

₃

O

₄

X O

₅

O

₆

O

₇

O

₈

O – observação

X –“tratamento”

!

Características:

!

Não tem grupo de controlo

Métodos quasi-experimentais

Design das séries temporais

! Exemplo:

! Foi registada a evolução

do número de aulas sem incidentes agressivos por parte dos alunos antes e depois de se ter tido uma discussão colectiva

desses mesmos incidentes

! Linhas C e D é impossível

inferir qualquer efeito devido a X

! Linhas A e B é possível

inferir que há efeito que ocorre entre O₄ e O₅

Métodos quasi-experimentais

Design das séries temporais

!

Ameaças à validade interna

!

História

– possibilidade de ocorrência de

um ou mais acontecimentos em simultâneo

com X

Métodos quasi-experimentais

Design das séries temporais

!

Controlo da validade interna

!

Maturação – não justifica a alteração que se deu

apenas entre O

e O

!

Testagem – porque a exposição repetida leva à

adaptação ou à ausência de sensibilização

!

Regressão, selecção e mortalidade – utilizam-se os

Métodos quasi-experimentais

Design das amostras temporais equivalentes

X

O

X

O

X

O

X

O

O – observação X₁ – “tratamento₁” X₀ – “tratamento₀ ”

!

Características:

! Não tem grupo de controlo

! Os sujeitos são expostos ao tratamento de forma sistemática

!

Exemplo:

! Uma professora de arte vai determinar o efeito de uma visita

de estudo a um museu na aprendizagem

! X_{1 –} ida ao museu

! X_{0 -}aula dada normalmente ! O - teste

Métodos quasi-experimentais

Design das amostras temporais equivalentes

!

Ameaças à validade interna

!

Efeito reactivo da ordem

– só poderá ser

controlado quando temos mais do que um

grupo em que se aplica o tratamento e

Métodos quasi-experimentais

Design das amostras temporais equivalentes

!

Controlo da validade interna

!

História – porque é altamente improvável que um

acontecimento estranho ocorra em simultâneo

com todas as aplicações do tratamento

!

Maturação – afecta igualmente o tratamento e a

ausência de tratamento

!

Testagem – porque a exposição repetida leva à

adaptação ou à ausência de sensibilização

!

Regressão, selecção e mortalidade – utilizam-se os

Métodos quasi-experimentais

Design do grupo de controlo não equivalente

O1 X O2 grupo experimental --- grupos intactos O3 O4 grupo de controlo O – observação X – “tratamento” !

Características:

! Design mais utilizado na investigação em educação ! Tem grupo de controlo

! Participantes não são seleccionados aleatoriamente (grupos

intactos, ex. turmas)

! Ambos os grupos fazem pré- e pós-teste

! É possível utilizar este design com mais de 2 grupos

! É possível todos os grupos receberem tratamento em vez de

Métodos quasi-experimentais

Design do grupo de controlo não equivalente

!

Ameaças à validade interna

!

Devido à falta de selecção aleatória a principal

ameaça é que as diferenças que surjam na

experiência sejam devidas às características dos

grupos e não ao tratamento

!

Realização de um pré-teste para demonstrar que

os grupos são equivalentes em relação às

variáveis relevantes (e.g. idade, sexo, etc.)

Métodos quasi-experimentais

Tarefa 1

Objectivo:

determinar o efeito da utilização de

apresentações em power-point na

aprendizagem em metodologias de

investigação

Amostra: 2 turmas de alunos do mestrado de

educação 2006/2008

Métodos quasi-experimentais

Tarefa 1

! Procedimento? ! Cuidados a ter?

Metade da turma: aplicar o design das amostras temporais equivalentes

X₁ O₁ X₀ O₂ X₁ O₃ X₀ O₄

Metade da turma: aplicar o design do grupo de controlo não-equivalente

O1 X O2 ---O3 O4

Métodos quasi-experimentais

Desenho do grupo de controlo não equivalente

!

A) Design das amostras temporais equivalentes

!

Procedimento:

!

Alternar aulas com e sem power-point sobre

temas semelhantes às 2 turmas

!

Cuidados a ter:

!

Alternar a ordem de apresentação de cada tipo de

aula

Métodos quasi-experimentais

Desenho do grupo de controlo não equivalente

!

B) design do grupo de controlo não equivalente

Procedimento:

! Dar aulas com power-point a 1 turma ! Dar aulas sem power-point a 1 turma

!

Cuidados a ter:

! Fazer a avaliação de cada turma de forma a determinar

previamente as semelhanças e diferenças entre elas:

! Em termos de variáveis externas (idade, formação, etc.)

! Aplicar um pré-teste a cada turma de forma a determinar

previamente as semelhanças e diferenças entre elas:

! Em termos de conhecimentos prévios sobre metodologias de

Métodos quasi-experimentais

Tarefa 2- Estudo de Meichtry, 1992 *

!

Objectivo:

perceber se um determinado programa de

ciências influencia o conhecimento com que os

estudantes ficam da natureza da ciência

! Amostra: 1607 alunos do 6º, 7º e 8º anos ! Procedimento:

! avaliação do conhecimento de 1004 alunos de uma escola

antes e depois da aplicação do novo programa

! avaliação do conhecimento de 603 alunos doutra escola (com

alunos de igual status socio-económico e etnia) antes e depois da aplicação do programa tradicional

! acompanhamento da prática de todos os professores

envolvidos

* Meichtry, Y.J. 1992. Influencing student understanding of the nature of Science: data from a case of curriculum development. Journal of Research in Science Teaching, 29 (4): 389-407.

Métodos quasi-experimentais

Tarefa 2- Estudo de Meichtry, 1992*

! Identifica o design do estudo

! Que tipo de grupo(s) existe(m) neste design?

! Quais as variáveis que foram controladas? Porquê?

! Qual a necessidade de acompanhar a prática de todos os

professores?

Expectativa - não sabemos se os

alunos foram informados que estavam a ser sujeitos a um novo programa

* Meichtry, Y.J. 1992. Influencing student understanding of the nature of Science: data from a case of curriculum development. Journal of Research in Science Teaching, 29 (4): 389-407.

Bibliografia

! Boaventura, D.; M. Alexander; P. Della Santina; N.D. Smith, P. Ré, L.

Cancela da Fonseca & S.J. Hawkins (2002). The effects of grazing on the distribution and composition of low shore algal communities on the central coast of Portugal and on the southern coast of Britain. Journal of Experimental Marine Biology and Ecology, 267 (2): 185-206.

! Campbell, D.T. & J. Stanley 1963. Experimental and quasi-experimental

designs for research. Houghton Mifflin Company, Boston.

! Gall, M.D.; W.R. Borg & J.P. Gall 1996. Educational research. An

introduction. Longman Publishers USA. New York.

! Meichtry, Y.J. 1992. Influencing student understanding of the nature of

Science: data from a case of curriculum development. Journal of Research in Science Teaching, 29 (4): 389-407.

! Tuckman, B.W. 2005. Manual de investigação em educação. Fundação