Critérios de Credibilidade da Investigação Científica (em Educação)

Critérios de Credibilidade da Investigação Científica (em

Educação)

Guilhermina Lobato Miranda

gmiranda@ie.ulisboa.pt

Instituto de Educação da Universidade de Lisboa

Doutoramento em Educação – TIC na Educação

Sumário

• As fases da investigação científica

• Que critérios usar para cada uma das fases

• Critérios de credibilidade da investigação quantitativa

• Critérios de credibilidade de investigação qualitativa

• [Critérios de credibilidade da Investigação-ação

Sumário

Se houver tempo:

• O que conta como investigação científica de acordo com o/s

público/s a que se destina?

• Relatório de investigação (literatura cinzenta)

• Revistas não-indexadas

• Revistas indexadas: e as várias classificações/rakings

http://scimagojr.com/

http://adat.crl.edu/databases

http://wokinfo.com/

Fases da investigação

(Fonte: Adaptado de Mertens, 1998)

Fases lógicas da investigação

• Fase 1: Identificar a nossa visão do mundo, o paradigma que melhor representa os nossos

valores e concepções da realidade

• Fase 2:

Escolher a problemática (delimitar o problema a estudar)

• Fase 3:

Fazer a revisão da literatura e elaborar as questões de investigação (as hipóteses e o

estatuto das variáveis)

Fases da investigação

(Fonte: Adaptado de Mertens, 1998)

Fases metodológicas da investigação

• Fase 4:

Elaborar o plano e o design da investigação

• Fase 5:

Identificar e escolher as fontes de recolha de dados

• Fase 6:

Identificar e seleccionar os métodos e instrumentos de recolha de dados

• Fase 7:

Escolher os métodos e as técnicas de análise de dados

• Fase 8: Fazer o trabalho de terreno (recolha dos dados)

• Fase 9: Elaborar o relatório de investigação

Três questões para definir um paradigma de investigação

(Fonte: Mertens, 1998) Questão Ontológica • Qual é a natureza da realidade? Questão Epistemológica • Qual é a natureza do conhecimento e as relações entre o sujeito e o objecto de conhecimento? Questão metodológica • Como pode o sujeito conhecer o objecto de conhecimento?

Paradigmas de investigação

(segundo Lather, 1992. Fonte: Mertens, 1998)

• Experimental; Quase-Experimental • Correlacional; Causal e comparativo • Quantitativo

Positivista /

pós- positivista

• Naturalista; Fenomenológico

• Hermenêutico; Interacção Simbólica; Etnográfico • Qualitativo

Interpretativo/

Construtivista

• Teoria Crítica; Neo-Marxista; Feminista

• Específico; Freireniano; Participativo; Transformista • Investigação-acção

Paradigmas de

investigação + UM

Não sei se será um novo paradigma mas tão só uma nova maneira de

conhecer a realidade

Os Métodos Mistos (Creswell, 2011, 2012), uma visão Pragmática da

realidade. Pode ser inserido na Corrente Pragmática da Filosofia (onde

destaco John Dewey, início e meados séc. XX)

Fases da investigação

(Fonte: Adaptado de Mertens, 1998)

Fases lógicas da investigação

• Fase 2:

Escolher a problemática (delimitar o problema a estudar)

• Fase 3:

Fazer a revisão da literatura e elaborar as questões de investigação (as hipóteses e o

estatuto das variáveis)

• Como dar credibilidade às fases lógica da Investigação? Como escolher um problema

pertinente a ser estudado? Como fazer uma consistente revisão da literatura? Serão diferentes

as fontes e as evidências que tenho que descrever nesta fase, quer se trate do uso de um

Vamos enumerar alguns aspetos

credível?

Como elaboro as questões (hipóteses) a serem estudadas / testadas? Como mostro que são credíveis?

Serão diferentes as evidências que tenho de ‘mostrar’ numa investigação quantitativa e numa investigação qualitativa?

Estas evidências dependerão do público a que se destina a minha investigação?

Fases da investigação: como dar credibilidade à fase

metodológica?

(Fonte: Adaptado de Mertens, 1998)

Fases metodológicas da investigação

• Fase 4:

Elaborar o plano e o design da investigação

• Fase 5:

Identificar e escolher as fontes de recolha de dados

• Fase 6:

Identificar e seleccionar os métodos e instrumentos de recolha de dados

• Fase 7:

Escolher os métodos e as técnicas de análise de dados

• Fase 8: Fazer o trabalho de terreno (recolha dos dados)

• Fase 9: Elaborar o relatório de investigação

Os dois conceitos-chave quando se fala de credibilidade de

uma investigação científica (fase metodológica)

Os dois conceitos-chave quando se fala de credibilidade de

uma investigação científica

Para uma investigação ter valor científico é necessário assegurar a sua

validade

fiabilidade.

Só assim os resultados alcançados serão credíveis junto da comunidade científica. Garantir a validade e fiabilidade de uma investigação não é tarefa fácil.

Os procedimentos para assegurar que uma investigação é válida e fiável não são os

Validade (quantitativo)

A validade de uma investigação consiste em estudar (medir) realmente aquilo

para que foi planeada.

Terá que ser assegurada tanto no que concerne ao plano ou design da

investigação como no que respeita aos instrumentos de medida (recolha e

análise de dados)

Fiabilidade (quantitativo)

A fidelidade ou precisão de uma investigação pode ser definida pela consistência

(ao longo do tempo) dos procedimentos usados e dos resultados obtidos.

Os resultados devem ser independentes do olhar particular do investigador e terem

uma margem mínima de erro.

Validade: Interna e externa

• O investigador deve garantir a validade interna e a validade externa da sua

investigação.

• Dizemos que uma investigação tem validade interna se os resultados alcançados

puderem ser aceites tendo em conta o plano ou design da investigação (se o

investigador provou as hipóteses formuladas ou respondeu cabalmente às

questões levantadas no início da investigação)

• Uma investigação tem validade externa se os resultados alcançados puderem ser

generalizados a outros contextos ou situações similares.

Fiabilidade

• O investigador deve também garantir a

fiabilidade

do seu estudo. Esta está

relacionada com a precisão dos instrumentos de medida usados, quer dizer, os

instrumentos devem fornecer ao investigador o máximo de consistência e o

mínimo de erros.

• Podemos obter a fidelidade dos instrumentos de medida recorrendo a vários

procedimentos: (i) acordo interobservadores (intercodificadores, interjuízes);

teste e reteste; sliphalf; alfa de Cronbach

• Nos estudos quantitativos a fidelidade depende da precisão dos instrumentos de

medida. Nos estudos qualitativos depende das descrições feitas pelo investigador.

Investigação Quantitativa

Factores que afetam a validade Interna

• Contexto

• Maturação e desenvolvimento dos sujeitos

• Selecção diferencial dos sujeitos

• Mortalidade experimental

• Efeitos de Interacções

• Reactividade da medida

• Instrumentação

• Regressão estatística

Investigação Quantitativa

Fatores que afetam a validade externa

• Reatividade experimental

• Interacções tratamento-atributos

• Efeito reativo ou interativo do pré-teste

• Interferência de tratamentos múltiplos

• Novidade do tratamento

Teremos ou não de credibilizar as investigações qualitativas, como o fizeram os investigadores do paradigma quantitativo, usando os critérios de validade e de

fiabilidade?

Dois tipos de atitudes dos investigadores qualitativos

Uns negam as críticas dos

investigadores quantitativos

(e.g. Guba & Lincoln, 1989)

Outros pensam que a investigação qualitativa

só será credível no mundo científico se se

pautar por critérios de validade e precisão,

embora com pressupostos e estratégias

diferentes do paradigma quantitativo

(e.g. Kirk & Miller; Lecompte & Goetz, 1982,

1984)

Mas se parte de pressupostos e estratégias diferentes como caracterizar e definir a

validade e fidelidade?

Os dados e o plano da investigação são diferentes

AQUI VAMOS ADOPTAR A 2ª POSIÇÃO, POIS SÓ ASSIM A INVESTIGAÇÃO QUALITATIVA GANHARÁ CREDIBILIDADE

Quantitativo

Qualitativo

Os dados no quantitativo assumem a forma de números (medem dimensões do comportamento);

Fiabilidade está associada aos instrumentos utilizados para recolher os dados

Os dados no qualitativo assumem a forma de atributos; podem existir números mas não têm todas as

propriedades dos números;

Fiabilidade associada às descrições feitas pelo investigador (dificuldade em usar instrumentos

estandardizados e técnicas de controlo das possíveis fontes de ‘erro’)

Validade relaciona-se com o plano (como antes vimos), como controlar as variáveis e as prováveis fontes de ‘erro’: validade interna e externa

Validade A importância dada aos contextos e à

subjetividade dos participantes torna difícil ‘generalizar os resultados’

De que depende a FIABILIDADE ou PRECISÃO?

Quantitativo

Qualitativo

No quantitativo depende da precisão dos instrumentos de recolha de dados. Depende sobretudo da instrumentação.

No qualitativo depende sobretudo do investigador das

descrições feitas pelo investigador (construções que elabora sobre o que observa)

Problema da subjetividade do investigador e do enviesamento que pode fazer sobre a realidade que observa

Existem várias técnicas estatísticas para determinar a

fiabilidade: teste-resteste; slip-half; alfa de Cronbach a medida mais usada

Fidelidade interna: grau em que investigadores diferentes são capazes de observar os mesmos fenómenos ou definir os

mesmos construtos (no mesmo contexto ou em contextos idênticos);

Fidelidade externa: grau em que outros investigadores,

perante um conjunto de construtos já elaborados, conseguem fazê-los corresponder aos dados que recolhem (seguindo o mesmo procedimento do investigador que os elaborou) [Lecompte & goetz, 1982]

Como tornar

Fiáveis

as Investigações Qualitativas?

O modo mais sério dos investigadores qualitativos garantirem a fiabilidade dos seus estudos é serem o mais

completos possível nas descrições do processo de investigação, o que Geertz (1966, 1988) designou de descrições densas (thick descriptions).

Estas descrições densas devem incluir:

 um delineamento (físico, social e cultural) do contexto do estudo  uma definição do papel do investigador

 uma descrição do quadro de referência concetual

 uma descrição exaustiva dos métodos de recolha e análise de dados

[ No quantitativo há a definição e operacionalização dos conceitos/construtos o que não acontece em muitos estudos qualitativos, o que prejudica a fidelidade e cria obstáculos à replicação dos resultados]

Como tornar

Fiáveis

as Investigações Qualitativas?

Estratégias para aumentar a

fiabilidade externa

O investigador deve ser o mais claro e exato possível na descrição dos seguintes aspectos (Lecompte & Goetz, 1982, 1984):

Qual é o estatuto do investigador?

Como escolheu os informadores?

Quais são as situações e as condições sociais?

De que construtos e premissas analíticas parte?

Que métodos de recolha e análise de dados usou?

Como tornar

Fiáveis

as Investigações Qualitativas?

Estratégias para aumentar a

fiabilidade interna

Fidelidade interobservadores ou interavaliadores (Lecompte & Goetz, 1982, 1984), que não são necessariamente quantitativos (frequência).

Cinco estratégias para aumentar a fidelidade interna:

Descrições com um nível de inferência baixo Múltiplos investigadores

Investigadores participantes assistentes (locais mas não os informantes) Corroboração dos dados por colegas da mesma área

Registo mecânico da informação (sem codificação ou classificação)

Como tornar

Válidas

as Investigações Qualitativas?

Mostrando o grau em que as conclusões do estudo representam a realidade que descrevem;

Avaliando se os construtos elaborados pelo investigador representam ou medem a

experiência humana descrita

Validade interna:

grau de correspondência entre as observações e medições científicas e a

realidade estudada (credibilidade)

Validade externa:

tem a ver com o poder de generalização das conclusões alcançadas

(transferibilidade)

(Campbell & Stanley, 1963; Guba & Lincoln, 1989)

Estratégias para aumentar a

Validade Interna

Permanência prolongada do investigador no terreno

Entrevistas e outras técnicas de recolha direta de dados

Observação participante

Autorreflexão do investigador (subjetividade disciplinada, Erickson, 1973)

Entre outras estratégias

Será um problema a

Validade Externa

para os investigadores qualitativos

No sentido clássico do conceito não. Mas qualquer investigador deseja que as

conclusões do seus estudos possam servir como referência e ser “generalizadas” a outros

contextos

Goetz & LeCompte (1984) falam de:

COMPARABILIDADE: grau em que as componentes do estudo são suficientemente descritas a ponto de poderem ser comparadas com, pelo menos, um outro estudo, tendo em vista transferir a este último as conclusões do primeiro

TRADUCTIBILIDADE: grau em que os quadros de referência concetuais, a linguagem e as técnicas utilizadas são fáceis de entender e utilizar por outros investigadores

Obrigada pela vossa atenção

Guilhermina Lobato Miranda

gmiranda@ie.ulisboa.pt

Bibliografia

• Almeida, L., & Freire, T. (2000). (2.ª ed.). Metodologia da investigação em psicologia e educação. Braga: Psiquilíbrios.

• Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. USA:

Houghton Mifflin Company.

• Cohen, L., Manion, L., & Morrison, K. (2006).(5th ed.).Research methods in education. New York: RoutledgeFalmer

• Geertz, c. (1973). The interpretation of cultures. New York: Basic Books Classics

• Guba, E. G., & Lincoln, Y. S. (1994). Competing paradigms in qualitative research. In N. K. Denzin & Y. S. Lincoln (Eds.). Hanbook of qualitative research (pp. 105-117). Thousand Oaks, CA: Sage. Retirado de:

https://www.uncg.edu/hdf/facultystaff/Tudge/Guba%20&%20Lincoln%201994.pdf

• LeCombe, M. D., & Goetz, J. P. (1982). Problems of reliability and validity in ethnographic research. Review of

Educational Research, 52(1), 31-60. Retirado de:

Bibliografia (cont.)

• LeCombe, M. D., & Goetz, J. P. (1984). Ethnography and qualitative design in educational research. USA: Academic Press

• Mertens, D. M. (1998). Research methods in education and psychology: Integrating diversity with quantitative &

qualitative approaches. London: Sage.

• Tuckman, B. W. (2000). Manual de investigação em educação (A. Rodrigues-Lopes, Trad.). Lisboa: Fundação Calouste Gulbenkian. (Obra original publicada em 1972)