Tuckman (2002) refere dois tipos de validade de um estudo: validade interna e validade externa. Segundo ele, um estudo tem validade interna quando o “seu resultado está em função do programa ou abordagem a testar” e tem validade externa “se os resultados obtidos forem aplicáveis no terreno a outros programas ou abordagens similares” (Tuckman, 2002, p.8). A validade externa está directamente ligada à confiança nos resultados da investigação, a fim de ser possível generalizá-los. “A validade externa tem pouco valor sem um razoável grau de validade interna, dando confiança às nossas conclusões, antes de tentarmos generalizá-las” (Tuckman, 2002, p.9).
A validade interna tem a ver com o rigor das conclusões, na medida em que estas têm de traduzir com justeza a realidade investigada. Existirá validade interna se as conclusões apresentadas corresponderem autenticamente a uma realidade reconhecida pelos próprios participantes, não sendo unicamente uma construção da mais ou menos fértil imaginação do investigador.
Para tal, Yin (2003) diz que é possível e importante reduzir a subjectividade do investigador, através de uma descrição densa das relações entre causas e efeitos e das inferências consideradas na investigação. Por seu turno, Yin (2005) sugere que se pode aumentar a credibilidade se o investigador recorrer a processos de triangulação metodológica, como por exemplo, utilizando mais do que uma vez o mesmo método e comparar os dados obtidos; ou se utilizar mais do que um método (entrevista, questionário etc.) para captar informações; ou havendo mais do que um investigador para confrontar os dados obtidos no mesmo caso.
A validade externa relaciona-se com a extensão na qual é possível generalizar os resultados, ou seja, a sua reprodutibilidade para além das fronteiras do trabalho. Neste
caso, os aspectos que mais importam são a população estudada, a
intervenção/exposição, os métodos utilizados e os resultados.
Em primeiro lugar há que sublinhar que os estudos envolvendo grupos muito pequenos ou episódios únicos, tipo estudo de caso, constituem uma abordagem alternativa à tradicional. Assim, a questão da generalização para Stake (2007) não tem qualquer sentido dado que se trata de investigações sobre casos reais que são únicos em certos aspectos e, por isso, irrepetíveis e a sua validade externa encontra-se no seu poder “revelador” (Yin, 2005, p.40) da situação concreta.
130
No decurso da investigação identificaram-se algumas limitações que se pensa poderem constituir constrangimentos à validade interna, nomeadamente:
- Alguns dos alunos, como era novidade, podem não ter tido interesse ou estarem desmotivados e respondido “à sorte”, o que pode ter causado resultados inesperados e não fiáveis, fornecendo informações incorrectas, subestimadas ou hiper-estimadas.
- Os alunos eram alunos do professor investigador, o que pode ter incutido neles a necessidade de corresponder positivamente.
- As professoras de Biologia eram colegas do investigador pelo que, pelas mesmas razões citadas nos pontos anteriores, os dados fornecidos podem ter sido, subestimados ou hiper-estimados.
- Os professores do grupo de pós-graduação, eram alunos da orientadora do investigador, facto que pode ter, da mesma forma que no outro grupo, influenciado os dados.
- O investigador teve de seleccionar dados de um conjunto muito extenso e denso, pelo que alguns dados relevantes podem ter escapado.
- A transcrição das entrevistas revelou ligeiras distorções, especificamente relacionadas com terminologia específica da área das ciências.
- O uso de gravadores áudio e vídeo pode ter inibido a actuação dos participantes nas diferentes sessões.
De modo a minimizar os constrangimentos identificados realizaram-se vários procedimentos.
Os alunos seleccionados tinham sido acompanhados pelo investigador durante três anos tendo este um conhecimento relativamente profundo sobre cada um e um relacionamento bastante bom com todos eles, o que inspirou ao investigador confiança suficiente sobre as informações fornecidas por cada aluno.
No que se refere ao grupo de professores de Biologia, para evitar que os dados fossem sub ou hiper-estimados, o investigador sublinhou diversas vezes que não estava em causa avaliar a actuação do professor mas simplesmente analisar como usam os recursos em análise, sem o intuito de emitir qualquer juízo de valor. Por outro lado, o facto dos professores de Biologia serem da mesma escola do investigador, permitiu uma postura de pares, sendo este um factor de desinibição e de promoção de sinceridade ao longo do trabalho, facto que veio a ser confirmado pelo tipo de terminologia utilizado durante as gravações. Este facto aumentou a credibilidade das informações fornecidas.
131
No caso dos professores em pós-graduação, as sessões estavam integradas no programa da disciplina, pelo que à partida se verificou um grande interesse pela produção de materiais, visto ser esse um dos objectivos da disciplina. Contudo, o investigador salientou sistematicamente que o objectivo não era a produção dos materiais, mas perceber como utilizam os recursos dos MCCV.
A grande extensão de dados conduziu à leitura das transcrições por diversas vezes, no sentido de confirmar os elementos deles retirados e identificar outros que tivessem passado despercebidos.
No que respeita às fontes de dados também se reflectiu sobre os constrangimentos possíveis. Uma das técnicas usadas na investigação utilizada foi a recolha de dados através de registos verbais em que se pede aos sujeitos participantes que "pensem alto" para um gravador enquanto resolvem um problema (Garrett, 1986; Kahney, 1993; Mason, Shell e Crawley, 1997).
Entre as desvantagens da utilização de registos áudio, a principal como também referem Borg e Gall (1989) e que foi constatada pelo investigador, reside na influência que a presença de um gravador provoca nos participantes causando alguma inibição ou condicionando inevitavelmente algumas respostas. Contudo, no presente estudo foram tomadas medidas, também relatadas na literatura, no sentido de minimizar estes efeitos. Assim foi explicado aos participantes, e mais acentuadamente aos alunos, o objectivo da presença do gravador, procurando deixar claro que os dados recolhidos serviriam apenas a investigação em causa e em nada influenciariam a sua avaliação na disciplina. Por outro lado, só participariam os alunos que concordassem em fazê-lo sem que a opção que tomassem tivesse qualquer consequência. Os gravadores eram todos de pequenas dimensões e foram colocados de forma discreta “diluídos” no restante material que os alunos tinham sobre a mesa de trabalho sem ocupar qualquer lugar de destaque.
Estes efeitos nem sempre foram negativos, em alguns casos os alunos preocupavam-se em completar respostas ou verbalizar alguns acontecimentos directamente relacionados com a actividade que estavam a realizar devido à presença do gravador, isto é, o gravador permitiu que alguns alunos “repetissem respostas” explicitando as ideias de forma mais completa, mais clara e mais objectiva “para o gravador”.
No que se refere ao trabalho com os professores, para minimizar os constrangimentos devidos à influência da presença do investigador, a gravação áudio e vídeo, durante as sessões, foi realizada sem a intervenção/presença do investigador.
132
Contudo, este deslocava-se à sala onde decorriam as sessões sempre que os grupos o solicitavam para esclarecer alguma dúvida. Assim se procurou evitar condicionar e enviesar o tipo de respostas dadas de acordo com o pretendido ou com as suas convicções ou com as expectativas que o investigador tinha relativamente às questões da investigação.
Expressões faciais e orais registadas ao longo das gravações revelaram o grande à vontade da maioria dos participantes na realização das sessões.
As transcrições realizadas por peritos, foram ainda revistas pelo investigador de modo a avaliar e classificar os dados de forma a aumentar a sua fiabilidade.
No que respeita aos dados, estes também foram analisadas pela orientadora do investigador de modo a comparar a interpretação feita pelo investigador. Estes procedimentos permitem, segundo Borg e Gall (1989), coeficientes de fiabilidade entre avaliadores.
No caso dos professores em pós-graduação, o investigador participou nas primeiras aulas do curso, tomando uma postura de colega e não de observador, participando em todas as actividades dessas aulas. Este procedimento permitiu reduzir o distanciamento entre investigador e participantes, aumentando a confiança destes no investigador e criando um clima favorável ao desenvolvimento espontâneo de conversas e atitudes durante as sessões.
No caso dos professores de ambos os grupos, os dados transcritos assim como a sua análise, foram dados a conhecer aos próprios, no sentido de confirmarem a veracidade dos mesmos e emitir opiniões sobre a interpretação realizada pelo investigador. Todos os professores deram a sua concordância à interpretação do investigador e manifestaram surpresa agradável pelo tipo de interpretação.
Raramente o investigador se assumiu como totalmente participante ou totalmente observador. Em geral participou e procurou conhecer bem o contexto, envolvendo-se apenas parcialmente, mantendo um afastamento. O ideal era que o investigador estivesse por dentro, tanto quanto possível, da perspectiva dos participantes mas que fosse capaz de se distanciar o suficiente de forma a desempenhar a função de observador (Merriam, 1998).
Existem autores que criticam a utilização da observação, particularmente da observação participante, como uma técnica de recolha de dados apontando a subjectividade como a principal razão para a não fiabilidade dos dados. Uma outra preocupação centra-se em saber o quanto a presença do observador-investigador afecta
133
o que está a ser observado. Para Patton (1980) a questão que se coloca não é tanto a de saber o quanto o processo de observar afecta o que está a ser observado mas como lidar com esses efeitos de forma a minimizá-los na interpretação que se faz desses dados.
Tendo por suporte as questões da investigação e as indicações de Borg e Gall (1989) identificaram-se, muito embora não obedecendo a uma estrutura rígida, alguns elementos, a ter em conta na observação. Estes elementos focaram-se, por exemplo, na identificação das tarefas e actividades realizadas pelos alunos, na forma como os alunos reagiam às tarefas em termos de familiaridade ou não com o tipo de tarefa ou com os procedimentos e na identificação de dificuldades sentidas pelos alunos na realização do que era proposto. Procurou-se, ainda, observar alguns aspectos gerais sobre o funcionamento das sessões, relacionados com as interacções entre os participantes e suas reacções à presença de gravadores. Foi assumida a preocupação de que os dados obtidos por observação permitissem, também complementar os dados que se obtinham por registo áudio e vídeo, pois o registo vídeo não abrangia todos os ângulos.
Tentando acautelar alguns aspectos que pudessem para diminuir as fontes de erro, além dos já referidos e uma vez que não foi possível realizar observações usando pelo menos dois observadores independentes, os participantes foram informados da presença do investigador nas sessões, mas não tiveram conhecimento dos aspectos específicos em que se focaria a observação, para não se correr o risco de condicionar comportamentos que afectariam, certamente, os aspectos que se pretendiam observar.
Além das fontes de dados já descritas, teve-se em conta, também na recolha de dados alguns materiais escritos como, por exemplo, os materiais curriculares produzidos pelos professores, principalmente, os guiões das actividades. Alguns autores consideram o recurso à recolha e análise de documentos como um bom suplemento à utilização de outras fontes de dados (Marshall e Rossman, 1995). Segundo (Merriam, 1998), a recolha de dados a partir de documentos escritos revela-se uma boa opção em estudos de caso qualitativos apesar de, como acontece com qualquer outra fonte de dados, a sua utilização ter vantagens e limitações. Uma das maiores vantagens, como refere a autora, reside na estabilidade. Ou seja, ao contrário do que acontece com a entrevista ou com a observação, o investigador não altera pela sua presença o que está a ser estudado. Além disso, os documentos produzidos existem independentemente da investigação e, portanto, constituem materiais neutros. Por estas razões “os documentos podem ser considerados uma fonte de dados objectiva quando comparada com outras” (Merriam, 1988, p. 108).
134
A análise que se realizou, no âmbito da presente investigação, ao incidir nas características presentes nos MCCV, nas exposições e actividades de Biologia, baseou- se em aspectos do ensino-aprendizagem das ciências em contextos não formais que, também, têm constituído objecto de estudo de outros trabalhos (Botelho e Morais, 2006; Ribeiro, 2005; Sabbatini, 2004). Desta forma, nesta investigação foram tidos em consideração os resultados desses estudos e os seus modelos e instrumentos de análise, tendo a ligação a estes estudos constituído um contributo para assegurar a validade interna.
A validade interna foi, ainda, avaliada pela consistência entre objectivos da investigação e recolha de dados, pelas sucessivas reformulações dos modelos e instrumentos que se usaram, de modo a aumentar o ajustamento da relação entre os objectivos da investigação e os dados a obter.
Como se referiu, a validade externa relaciona-se com os dados e com a possibilidade de diferentes investigadores poderem obter resultados idênticos, ao de estudos anteriores, sobre o mesmo fenómeno. De acordo com Le Compte (2000, 2002) os problemas que lhe estão associados podem advir dos seguintes aspectos: o papel do investigador, a escolha dos sujeitos participantes, as situações e condições sociais, a definição e categorização dos dados e os métodos de recolha e análise de dados. Deste modo, para aumentar a validade do estudo, o investigador teve o cuidado de explicitar com pormenor, tanto junto dos participantes como na descrição da investigação, qual o seu papel nas várias etapas da investigação, as característica dos sujeitos participantes, e quais os critérios de selecção dos mesmos, e as condições em que se realizaram as várias etapas da investigação, de modo a deixar claro as circunstâncias específicas em que a mesma se realizou.
Por sua vez as situações e condições sociais podem interferir no tipo de informação revelada pelos sujeitos. O investigador procurou ser o mais discreto possível, tendo o máximo de cuidado com as suas intervenções, não esquecendo que a presença de outros indivíduos pode afectar o tipo de declarações dos participantes.
A categorização dos dados é fundamental, tendo-se tido o cuidado de não utilizar simples descrições para assegurar a integridade dos mesmos. Numa primeira fase de análise, criaram-se categorias analíticas, assegurando que os dados fossem ser analisados de modo sistemático e rigoroso.
135
Os métodos de recolha e análise dos dados também foram descritos com o rigor necessário a aumentar a credibilidade, tendo-se procurado, sempre que possível, um quadro referencial como linha condutora dessas tarefas.
A credibilidade dos dados está estritamente ligada à clareza e à integridade das considerações de como os mesmos foram examinados e sintetizados (Le Compte, 2000, 2002), tendo, por isso sido utilizado um grande número de citações que ilustrassem as diversas considerações.
Segundo Ghiglione e Matalon, citados por Coutinho (2005), a validade externa relaciona-se, também, com a constituição das amostras e à sua representatividade. O problema da sua generalização é muitas vezes colocado em causa devido ao pequeno número de sujeitos e da falta de amostragem aleatória. Tendo por base o trabalho desenvolvido por Coutinho (2005) existem duas formas de generalizar os resultados de um estudo qualitativo: a conceptualização e o desenvolvimento de hipóteses de trabalho. Na conceptualização o investigador está interessado em chegar a novos conceitos que expliquem qualquer aspecto específico. Desenvolver hipóteses de trabalho significa, para este autor, que o investigador consegue avançar uma ou mais hipóteses novas que relacionem conceitos ou factores.
Outro argumento que favorece a validade externa neste tipo de pesquisa é o conceito de generalização feito pelo utilizador. Não é o autor do trabalho que faz a generalização, mas sim o leitor (Peshkin, 1993). Este avalia as descobertas do estudo e questiona que aspectos se aplicam à sua situação específica. De acordo com Lock (1989, 1990), a generalização feita pelo usuário não é, de nenhuma maneira, uma medida inferior de validade externa.
Em termos específicos, identificaram-se os seguintes constrangimentos à validade externa:
- A entrevista foi realizada com um número reduzido de alunos (8 alunos escolhidos pelo investigador). Isso significa que os resultados encontrados se restringem somente a este universo, não podendo ser generalizados a todos os alunos de uma turma assim como às outras turmas do mesmo nível de escolaridade ou até a todos alunos com o mesmo nível de escolaridade. - O impacte da utilização de MCCV pode variar, uma vez que a sua utilização
depende do ritmo próprio de aprendizagem do aluno, da sua motivação e entusiasmo face ao computador e ao MCCV, assim como de outras variáveis.
136
- Os professores de Biologia eram todos da mesma escola e, também, eram em número reduzido.
- O grupo de professores em pós-graduação também era reduzido, embora de áreas disciplinares diferentes.
- Como os diversos participantes, alunos e professores, não foram seleccionados aleatoriamente, mas por conveniência, os resultados podem ter saído fragilizados.
- O efeito novidade pode ter influenciado os resultados devido ao acréscimo de motivação só por causa dos MCCV serem algo de novo.
- Garantiu-se durante o processo que os alunos não sabiam que iriam realizar um entrevista, assim como se tentou motivar os alunos para a realização da actividade com o máximo de interesse.
Foi, ainda, assegurada a constância da aplicação de princípios (por exemplo, uniformização de regras de análise, tratamento e interpretação de dados), tanto quanto possível, pela explicação dos vários estádios da investigação.
137
Capítulo 4
RESULTADOS
Este capítulo, em que se procede à apresentação e análise dos resultados, está estruturado em três partes. Na primeira, caracterizam-se os 16 MCCV seleccionados para análise com o intuito de identificar os conteúdos neles disponíveis e descrever as exposições e actividades de Biologia, de acordo com os objectivos 1, 2 e 3 da investigação. Tendo em consideração a linha condutora seguida na caracterização geral dos MCCV e das exposições e actividades de Biologia, a figura 4.1 representa esquematicamente o modo como está organizada a apresentação dos resultados.
Figura 4.1. Organização dos resultados
Caracterização dos resultados Caracterização geral dos MCCV Conteúdos informativos e educativos disponibilizados Representatividade dos conteúdos Conteúdos informativos e educativos Conteúdos com maior e menor representatividade nos MCCV Comparação da representatividade dos conteúdos entre
MCCV-P e NP Conteúdos informativos e educativos Áreas científicas Tecnologias Áreas científicas Tecnologias/ Aplicações Caracterização das exposições de Biologia dos MCCV Relação com Currículo Relação com temas e conceitos da Biologia Relação com temas e conceitos de outras disciplinas Objectivos da exposição Acesso e Percepção do Espaço Geral Acesso aos módulos Percepção dos Módulos Caracterização das actividades online de Biologia Relação com Currículo Relação com temas e conceitos da Biologia Relação com temas e conceitos de outras disciplinas Estrutura da actividade Nível de Interactividade Presença e ausência de objectivos
138
Na segunda parte descreve-se como os alunos participantes no estudo exploraram os MCCV no geral e as exposições de Biologia em particular, dando resposta ao objectivo 4 da investigação.
Por último, na terceira parte, de modo a atingir os objectivos 5, 6 e 7, descreve- se como os professores exploraram os recursos disponibilizados nos MCCV para a preparação de actividades lectivas.