Controlo de qualidade do estudo

A questão do rigor e da qualidade científica da investigação qualitativa está, historicamente envolta em grande polémica desde a década de 1980 (Coutinho, 2008). Desde aqueles que defendem que a natureza da investigação qualitativa não precisa de se preocupar com os critérios de cientificidade adotados pelo modelo de pesquisa quantitativo, de forte cariz positivista e normativo, que apenas faz sentido no âmbito da investigação realizada nas ciências naturais e exatas; aos que consideram que a pesquisa qualitativa se deve pautar por critérios de qualidade científica sim, mas em termos totalmente distintos dos padrões positivistas clássicos assumidos pela investigação quantitativa; e ainda uma posição menos conhecida, porque mais recente e menos divulgada na literatura, aqueles que consideram que os conceitos abstratos de validade e fiabilidade típicos da pesquisa quantitativa deveriam ser aplicados também para a aferição da qualidade da investigação qualitativa (Coutinho, 2008).

Assumindo que sem rigor qualquer investigação é desvalorizada, Coutinho (2008) e Morse, Barrett, Mayan, Olson e Spiers (2002) defendem que é fundamental que todo o investigador em educação se preocupe com a questão da fiabilidade e validade dos métodos a que recorre, sejam eles quantitativo ou qualitativo.

De acordo com Yin (2005), o desenvolvimento de investigações com recurso a estudo de caso devem dar especial atenção a quatro aspetos inerentes à sua qualidade, a saber, a validade do constructo, a validade interna (apenas para estudos causais ou explanatórios), a validade externa e a confiabilidade (Yin, 2005).

No que diz respeito à validade do constructo, a crítica aos estudos de caso salienta o facto do investigador não conseguir desenvolver um conjunto suficientemente operacional de medidas e

105 ainda, o facto de serem usados julgamentos subjetivos na recolha de dados (Yin, 2005). Nesta discussão, cabe salientar que a questão da falta de rigor e influência do investigador, anteriormente referida, tem que ser considerada cautelosamente, pois segundo Popper (1978) (citado por Yin, 2005), muitos cientistas admitem que nenhum conhecimento é inteiramente objetivo e que os valores e crenças do pesquisador podem interferir no seu trabalho e, nesse caso, a única objetividade a que podemos aspirar é aquela que resulta da exposição de nossas pesquisas à crítica da comunidade científica. Neste sentido, um estudo de caso, quando trata de um assunto de interesse e relevância, provavelmente, será submetido à validação da comunidade científica.

Relativamente à validade interna (para estudos de caso causais ou explanatórios) deve-se estabelecer o relacionamento causal que explique que determinadas condições (causas) levam a outras situações (efeitos). Deve testar-se a coerência interna entre as proposições iniciais, desenvolvimento e resultados encontrados.

A validade externa diz respeito ao facto de, segundo Yin (2005), geralmente os críticos defenderem que os casos únicos oferecem uma base muito pobre para generalização. No entanto, convém salientar que, ao contrário da pesquisa com base em levantamentos em que se baseiam as generalizações estatísticas, os estudos de caso baseiam-se em generalizações analíticas. Nas generalizações analíticas, o investigador tenta generalizar um conjunto particular de resultados a alguma teoria mais abrangente (Yin, 2005). A questão da generalização não tem qualquer sentido, quando se trata de investigações sobre casos reais que são únicos em certos aspetos e, por isso,

irrepetíveis (Stake, 2005), e a sua validade externa encontra-se no seu poder revelatório18 (Yin,

2005) da situação concreta. Quando os estudos de caso procuram, de algum modo, generalizar resultados (por exemplo nos estudos multicaso), podem encontrar-se proposições ou hipóteses que relacionam conceitos ou factores dentro do caso, constituindo estas o final da investigação (ao contrário das investigações de cariz positivista, que começam pela formulação de hipóteses).

Na perspetiva de Guba (1981) e de Guba e Lincoln (1988), todo o processo de pesquisa precisa de ter valor próprio, aplicabilidade, consistência e neutralidade por forma a ter valor científico, independentemente de se admitir que a natureza do conhecimento dentro do paradigma racionalista ou quantitativo seja diferente do conhecimento obtido na pesquisa dentro do paradigma interpretativo. No entanto, os referidos autores argumentam, que cada paradigma exige critérios específicos para alcançar o rigor (termo usado pelo paradigma quantitativo) ou a confiabilidade (termo paralelo que propõem para o paradigma qualitativo). Assim, enquanto para quem investiga dentro do paradigma quantitativo o rigor atinge-se procurando a validade interna e externa, a fiabilidade e a objetividade no paradigma qualitativo, atinge-se através dos critérios: credibilidade, transferibilidade, consistência, aplicabilidade ou confirmabilidade.

A credibilidade corresponde à capacidade dos participantes confirmarem os dados e diz respeito ao modo como as construções/reconstruções do investigador reproduzem os fenómenos

18 _{De acordo com Serrano (2004, p. 95) o caráter revelatório do estudo de caso produz-se quando “um investigador tem a} oportunidade de observar e analisar um fenómeno, situação, sujeito ou facto que antes era inacessível para a investigação científica”.

106

em estudo e/ou os pontos de vista dos participantes na pesquisa (Coutinho, 2008). Segundo Denzin e Lincoln (2000) obtém-se credibilidade submetendo os resultados à aprovação dos construtores de múltiplas realidades em estudo. Esta ideia pode operacionalizar-se de várias formas: envolvimento prolongado, como forma de investimento no tempo considerado necessário para atingir os objetivos da pesquisa; testar informação contraditória introduzida por distorções tanto do investigador como dos participantes; criar confiança nos participantes. Outro processo corresponde à revisão por pares, que consiste em permitir que um colega que seja um profissional fora do contexto, mas com conhecimento geral da problemática e do processo de pesquisa, analise os dados, reflita sobre as ideias e preocupações do investigador (Erlandson et al., 1993 citado por Coutinho, 2008). Outro processo consiste em devolver aos participantes do estudo os resultados da análise feita pelo investigador às informações recolhidas, para que estes possam verificar se as interpretações do investigador refletem, de facto, as suas experiências, ideias ou sentimentos (Coutinho, 2008).

O conceito de triangulação é entendido como uma combinação de pontos de vista, métodos e materiais empíricos diversificados suscetíveis de “constituírem uma estratégia capaz de acrescentar rigor, amplitude e profundidade à investigação” (Denzin & Lincoln, 2000, p. 5). Combinando dois ou mais pontos de vista, fontes de dados, abordagens teóricas ou métodos de recolha de dados numa mesma pesquisa, pretende-se obter um retrato mais fidedigno da realidade ou uma compreensão mais completa do fenómenos em análise. Flick (1998) (citado por Coutinho, 2008) propõe os seguintes protocolos de triangulação: i) triangulação das fontes de dados, em que se confrontam os dados provenientes de diferentes fontes; ii) triangulação do investigador, em que entrevistadores/observadores diferentes procuram detetar desvios derivados da influência do “factor investigador”; iii) triangulação da teoria, em que se abordam os dados partindo de perspetivas teóricas e hipóteses diferentes; iv) triangulação metodológica, em que, para aumentar a confiança nas suas interpretações, o investigador faz novas observações diretas com base em registos antigos, ou múltiplas combinações metodológicas (aplicação de um questionário e de uma entrevista semiestruturada, observação direta e indireta, observação indireta e entrevista, etc.). O recurso a várias fontes de evidências, com implementação de diversos materiais de recolha de dados (triangulação metodológica), possibilita a triangulação de dados, contribuindo para o aumento da validade dos resultados da investigação (Yin, 2005) e da credibilidade (Stake, 2005).

Segundo Coutinho (2008) a transferibilidade corresponde, na investigação qualitativa, ao conceito de generalização ou validade externa da investigação quantitativa, ou seja, capacidade dos resultados do estudo serem aplicados noutros contextos. A transferibilidade deve ser preocupação central do investigador qualitativo, no sentido de fornecer dados descritivos suficientes por forma a representar a diversidade das perspetivas dos participantes e a forma como estas conduziram a uma dada interpretação.

107 A consistência é o equivalente qualitativo para o conceito de fiabilidade da investigação quantitativa, ou seja, a capacidade de replicar o estudo, o que é possível se os instrumentos de pesquisa forem “neutros” (Denscombe, 2003).

A questão da fiabilidade (aplicabilidade ou confirmabilidade) relaciona-se com a replicabilidade das conclusões, isto é com a possibilidade de outros investigadores com os mesmos instrumentos poderem obter resultados idênticos sobre o mesmo fenómeno (Denzin & Lincoln, 2000). Ora, no estudo de caso, não só, o investigador é, inúmeras vezes, o único instrumento do estudo, como também, o caso, em si, não pode ser replicado (Yin, 2005). Logo, para que seja reconhecida a fiabilidade no estudo de caso, Yin (2005) aconselha o investigador a efetuar uma descrição pormenorizada, rigorosa e clara de todos os passos do estudo, para que outros investigadores possam repetir os mesmos procedimentos em contextos similares (Yin, 2005). De salientar que o objetivo é certificar-se que um investigador seguindo os mesmos procedimentos e conduzindo o mesmo estudo de caso, chega às mesmas constatações e conclusões. Salienta-se que a ênfase está em fazer o mesmo estudo de caso novamente e não em replicar os resultados de um caso ao fazer outro estudo de caso. Assim, o grande objetivo da confiabilidade é minimizar os erros e os vieses de um estudo (Yin, 2005). Ludke e André (1988) salientam que é pelo processo de identificação e reconhecimento da subjetividade do investigador que, na abordagem qualitativa, se lida com os enviesamentos e se limitam as ilações do senso comum.

Diversos autores dão particular destaque ao chamado processo de auditoria, nas pesquisas qualitativas. Para Schwandt (1997) (citado por Coutinho, 2008), a auditoria pode ser definida como o processo pelo qual um terceiro elemento analisa sistematicamente o processo de pesquisa conduzida pelo investigador. A auditoria inclui todos os registos do investigador, como sejam cassetes áudio e vídeo, transcrições de entrevistas, guiões de entrevistas e questionários, listas de categorias e hipóteses que o investigador usou durante o processo de análise dos dados, notas de campo, diários, entre outros. A auditoria deve permitir traçar todo o processo da pesquisa de modo a que outro investigador/auditor externo seja capaz de seguir o pensamento do investigador e entender a forma como trabalhou os dados e tirou as conclusões a partir deles (Coutinho, 2008). Também Yin (2005) salienta a necessidade de manter o encadeamento de evidências como uma forma de aumentar a confiabilidade das informações num estudo de caso. Pretende-se deste modo, configurar o estudo de caso de tal modo que se consiga levar o leitor a perceber a apresentação das evidências que legitimam o estudo desde as questões de pesquisa até às conclusões finais. Deste modo, será possível a um observador externo seguir a origem de qualquer evidência, indo das questões iniciais da pesquisa até às conclusões finais do estudo de caso.

A multiplicidade terminológica e a falta de clareza terminológica conduziu, segundo Morse et al. (2002) a que a questão do rigor dos métodos qualitativos fosse posta em causa. Defende-se que a solução passaria pela adoção de estratégias de verificação, que representariam todo um “processo de testar, confirmar, assegurar” (Coutinho, 2008 p. 11). Assim, ao longo da pesquisa qualitativa, de forma gradual e progressiva, devem ser levados a cabo mecanismos que

108

assegurem fiabilidade e validade, promovendo o rigor da pesquisa desenvolvida. De acordo com Coutinho (2008) o objetivo é conseguir do investigador uma atitude autocorrectora.

Com base nas ideias atrás descritas, passamos a descrever os procedimentos adotados na nossa investigação, no sentido de aumentar a sua confiabilidade. Para o estudo empírico foi elaborado um protocolo de estudo de caso (Yin, 2005) e, posteriormente, foi construída uma base de dados (Yin, 2005).

O protocolo do estudo de caso, constituído por procedimentos e regras gerais a seguir, serviu para orientar a investigadora na recolha de dados durante a implementação do estudo empírico.

Após a recolha de dados, organizámos todo o material recolhido de modo a desenvolver um banco de dados formal. Relativamente ao modo como se deve desenvolver um banco de dados Yin (2005) dá algumas sugestões, das quais destacamos aquelas que tivemos em consideração: i) notas para o estudo de caso (ex: em forma de um diário, organizados de modo que outras pessoas possam reapreciá-los integralmente); ii) tabelas com resultados da leitura de diferentes materiais de recolha de dados (fd, mce, cre, rip; goc) iii) documentos provenientes do conselho de turma/departamento curricular iv) narrativas provenientes de entrevistas, documentos, observações ou de arquivos e v) bibliografia de referência. De referir que incluímos, no nosso banco de dados, as circunstâncias em que as evidências foram recolhidas.

Referindo-se à observação, Lüdke e André (1986) defendem que esta é uma técnica que se baseia muito na interpretação pessoal e que o facto de existir envolvimento do investigador, poderá conduzir a uma visão distorcida do fenómeno ou a uma representação parcial da realidade. Contudo, há investigadores que refutam esta ideia e, por exemplo, Guba e Lincoln (1981) (citado por Lüdke & André, 1986), argumentam que as alterações provocadas no ambiente pesquisado são tão reduzidas, que se tornam insignificantes para o investigador. A observação participante, penetrando na realidade íntima dos fenómenos sociais, permite a análise em profundidade dos dados, adquirindo a credibilidade científica que a torna cada vez mais usada como processo de procura do conhecimento e consente generalizações quando as amostras são bem definidas para universos idênticos (Leite & Terrasêca, 1993). Refletindo sobre este aspeto, admitimos que a opção do estudo ser conduzido por uma professora que não era simultaneamente investigadora, teve consequências, tanto positivas como negativas. Como consequências positivas, salientamos que a observação decorreu num ambiente real de sala de aula e a investigadora esteve mais disponível para a observação e registo de dados. Como consequências negativas, salientamos que a estratégia implementada refletiu, até certo ponto, as conceções da própria professora relativamente à perspetiva de ensino em estudo. De referir que a professora não foi alvo de uma formação específica, no entanto, houve algumas reuniões “de cariz formativo” entre a investigadora e a professora, no sentido de se concertarem posições relativamente à estratégia em estudo.

O facto do observador estar presente no contexto a observar pode conduzir a alterações no ambiente ou no comportamento das pessoas observadas (Lüdke & André, 1986); conscientes deste aspeto, decidimos que a participação da investigadora deveria ser “controlada”, no sentido

109 em que esta estaria presente nas aulas dedicadas a este trabalho, acompanharia as orientações que a professora daria a cada grupo e apenas interviria em momentos pontuais, esclarecendo ou sublinhando algum aspeto que considerasse importante para a consecução dos trabalhos. Acreditamos que o facto de ter estado presente nas aulas e, de alguma forma ter existido uma interação, ainda que pontual, não comprometeu os resultados da investigação e que as vantagens inerentes à “intervenção limitada” da investigadora foram muito superiores às possíveis limitações.

Os registos da investigadora, resultantes da observação das aulas, foram feitos durante as observações ou imediatamente após. Desta forma tentou-se ser o mais rigoroso e fiel possível às observações efetuadas, contribuindo para a qualidade do estudo.

Com a submissão dos dados à crítica de outros investigadores da área (nomeadamente com a apresentação e discussão de dados em encontros e congressos científicos) tivemos como pretensão, expor os dados justificando os motivos que nos levaram à sua constituição, contribuindo para o aumento da validade do constructo (Yin, 2005). A revisão da categorização foi feita por outro investigador e constituiu um estádio importante da validação interna dos dados uma vez que visou assegurar a exaustividade e exclusividade das categorias propostas (Sampieri et al., 2006).

Simultaneamente, o tempo teve grande importância na forma como a análise de conteúdo se processou. Miles e Huberman (1994) salientam que o grau de confiança dos dados analisados é conferido pela sua estabilidade ao longo do tempo. Foi com base nesta ideia que repetimos a nossa análise por diversas vezes, até ao ponto em que não efetuámos mais alterações.

Consideramos que os procedimentos atrás descritos possibilitaram i) melhorar as designações a atribuir às diferentes categorias de resposta; ii) alcançar níveis de abstração superiores com consequências no melhoramento da análise de conteúdo e iii) desenvolver um quadro conceptual unificador dos resultados.

A validação da fd (ficha diagnóstica) por um especialista da área da biologia e por um especialista da didática, bem como o teste que foi feito com 3 alunos de igual faixa etária e da mesma região, foram aspetos que contribuíram para o aumento da qualidade do nosso estudo.

As questões de ética também se colocam e afetam a qualidade da investigação qualitativa (Fraenkel & Wallen, 2008) e devem ser uma preocupação durante qualquer investigação (Bogdan & Biklen, 1994). Alguns aspetos como, a proteção da identidade dos participantes, o respeito para com os intervenientes, nomeadamente, em relação à permissão para recolha de dados e ao facto de não haver prejuízo para os participantes mediante a investigação (Fraenkel & Wallen, 2008), foram tidos em conta. Respeitando um princípio básico de qualquer investigação, ligado a questões de ética, foi dado conhecimento total dos propósitos e das atividades do estudo, a todos os intervenientes. Foram dadas garantias relativamente aos dados recolhidos e ao seu anonimato. Nas situações em que se retiraram excertos de registos dos alunos, onde constavam os respetivos nomes, estes foram substituídos por códigos.

Foi através do rigor e da abrangência da recolha e análise dos dados, de uma leitura articulada dos dados com uma contextualização teórica e de uma postura de omissão de opiniões pessoais

110

(Bogdan & Biklen, 1994) que se procurou levar a cabo o processo de produção de conhecimentos nesta dissertação. Consideramos que aquilo que se pode perder na generalização estatística dos resultados, pode ser largamente compensado pela profundidade do estudo e consequente emersão de pistas, relações e/ou interações essenciais à implementação efetiva da perspetiva de EPP em contexto real de sala de aula.