MÉTODOS DE COLETA E ANÁLISE DE DADOS

“A investigação não termina com seus dados; ela se inicia com eles. O produto final da ciência é uma teoria ou hipótese de trabalho e não os chamados fatos”.

George Herbert Mead, 1938

Discutir concepção de medida na área de Ciências Humanas, em particular na Educação, ainda se assemelha a mover-se em um terreno espinhoso. Tal situação pode estar relacionada a duas questões: (i) à “guerra de paradigmas” que nasce da aparente oposição entre perspectivas qualitativas e quantitativas na pesquisa educacional (GORARD, 2002; TAYLOR; GORARD 2004, FLICK, 2004); (ii) à estrutura e natureza do construto a ser investigado neste campo de conhecimento - qualitativo (em primeira instância) e inacessível diretamente (latente) (AMANTES, 2009).

Embora pesquisas que combinem métodos ainda sejam relatadas, relativamente, com pouca frequência (TAYLOR; GORARD, 2004), alguns autores (GORARD, 2002; SHAFFER; SERLIN, 2004; MEAD, 2008) vêm defendendo a (a) superação do falso dualismo entre investigações de natureza quantitativa e qualitativa, e (b) utilização conjunta de métodos e técnicas de ambas abordagens durante a coleta e análise de dados com a finalidade de expandir o alcance dos seus resultados e melhorar o poder analítico de seus estudos, visto que os fenômenos

sociais tendem a ser multifacetados e o emprego de um único método pode conduzir a uma desnecessária fragmentação (TAYLOR; GORARD, 2004).

Para autores como Gorard (2002) e Taylor e Gorard (2004), a combinação apropriada destas duas perspectivas de pesquisa permite a integração de pontos fortes de cada um dos métodos investigativos, fornecendo análises mais profundas e completas sobre o fenômeno estudado e conferindo ao método misto um caráter complementar e confirmatório.

Ao falarmos em “combinação apropriada” é necessário considerar aspectos associados ao rigor, robustez e coerência interna da pesquisa. Isto significa garantir a conformidade entre questões de pesquisa, objetivos, referencial teórico, métodos, resultados e implicações, adequando a metodologia e ponderando limitações e potencialidades às especificidades de cada investigação. Esta deve ser a principal preocupação de qualquer modalidade de pesquisa, seja ela qualitativa, quantitativa ou mista. Ao encontro desta concepção, Singer e Willet (2005, p. 13, tradução nossa) afirmam que pesquisadores devem “desenvolver e promover uma série de técnicas de modelos adequadas para abordar os diversos tipos de questões de investigação”. Essa afirmação corrobora com discussões relativas à coerência interna e rigor das pesquisas na área de Ensino (SHAFFER e SERLIN, 2004; ANDRÉ, 2001) e um ponto essencial se refere à adequação dos métodos para identificar efeitos de causalidade, comparações amostrais e avaliação da eficiência de abordagens instrucionais.

De acordo com Amantes, Coelho e Marinho (2015a), questões que se remetem à comparação de parâmetros e análise de efeito de atributos, demandam metodologias apropriadas que evidenciem variações ao longo do tempo, diferenças entre traços ou estados latentes e padrões de comportamento. Nesse sentido, para mensurar e/ou comparar os atributos de maneira a assegurar critérios de confiabilidade, é preciso que o desenho metodológico abarque ao menos métodos de coleta e análise quantitativos.

Nossa pesquisa, em particular, abrange métodos mistos de coleta e análise de dados, sendo estes um conjunto de elementos coletados a partir de quatro instrumentos, conforme apresentamos no tópico anterior. O método de coleta de dados é concomitante (CRESWELL, 2007) e os procedimentos utilizados nesta coleta envolvem: (i) observação da situação de ensino e contexto de pesquisa (registrada em diário de bordo e gravações de áudio) e (ii) aplicação de

questionários (5 testes de conhecimento e demais tarefas escritas realizadas durante a oficina).

Para sintetizarmos o processo de coleta de dados descrito esquematicamente no ponto 2.3.2 deste relatório, apresentamos as etapas a seguir:

1. Dividimos a amostra em 2 subamostras;

2. Às subamostras 1 e 2, foram submetidas ao Questionário 1 e, posteriormente, à instrução geral sobre o tema da intervenção;

3. Aplicamos o Questionário 2 a todos os participantes;

4. Empregamos o jogo didático à subamostra 1, enquanto que à subamostra 2 interagiu com o estudo dirigido;

5. Aplicamos o Questionário 3 após as interações com estes materiais didáticos;

6. Em seguida, empregamos o jogo didático à subamostra 2, enquanto que à subamostra 1 interagiu com o estudo dirigido;

7. Aplicamos o Questionário 4 após as interações com estes materiais didáticos;

8. Após um intervalo de tempo de 15 a 30 dias, aplicamos o teste de retenção (Questionário 5).

Com este delineamento, estamos assumindo a posição de que os diferentes modelos de intervenção poderá se constituir um possível fator na aprendizagem sobre conceitos científicos: para metade da amostra, o jogo foi utilizado como ferramenta introdutória, e para a outra metade, o jogo se colocou como ferramenta de aplicação do conhecimento.

A partir dos dados coletados, seria possível agendar uma série de objetivos procedimentais:

(a) Verificar se houve evolução no entendimento dos estudantes, bem como identificar e analisar os perfis de aprendizagem dos sujeitos.

(b) Avaliar o entendimento de partida dos estudantes, ao parear os dados do Questionário 1 e Questionário 2. Isso poderá auxiliar a: (i) avaliar o efeito da instrução; (ii) verificar o caráter instrucional do jogo didático através do pareamento dos dados obtidos do Questionário 2 com o Questionário 3.

(c) Identificar se houve alguma situação (como ferramenta de aplicação ou de introdução do conteúdo) em que o jogo promoveu maior aprendizagem, pareando os dados do Questionário 2 com os do Questionário 4.

(d) Analisar se a sequência de aplicação dos materiais didáticos afeta o nível de entendimento e engajamento alcançado pelos estudantes, comparando os dados de todos os testes realizados durante toda a sequência.

(e) Construir os mapas de episódios a partir dos dados oriundos das observações de sala de aula (registros de gravação de áudio e diário de bordo). Isto nos permitie levantar fatores que influenciaram na aprendizagem dos sujeitos.

Com o item (e), poderíamos identificar fatores que influenciaram a aprendizagem e o engajamento dos estudantes ao longo da intervenção, variáveis que não foram avaliadas nessa pesquisa, assim como, a partir dos itens (b), (c) e (d), obteríamos apontamentos sobre as potencialidades e limitações do jogo como material didático. Devido a limitações relativas ao tempo de pesquisa, estas análises serão realizadas em trabalhos posteriores.

A Figura 3 condensa o desenho de coleta de dados e algumas questões que

orientarão a análise dos dados.

Após o processo de coleta, técnicas e métodos qualitativos de análise foram empregados com o propósito de:

- descrever a situação de ensino e contexto de aprendizagem;

- elencar indicadores que influenciam na aprendizagem de conteúdos;

- categorizar os dados a partir do estabelecimento de uma Taxonomia baseada na Teoria de Habilidades Dinâmicas (FISCHER, 1980);

- avaliar aspectos da aprendizagem a partir do estudo dos mapas de itens gerados a partir da Modelagem Rasch.

A Psicometria é responsável por explicar o sentido que têm as respostas dadas pelos sujeitos a uma série de tarefas, tipicamente chamadas de itens (PASQUALI, 2009). De modo geral, o tratamento dos dados sob a perspectiva quantitativa deve estar voltado, portanto, para avaliação de questões relativas à evolução do entendimento a partir das respostas dos estudantes aos itens que constituem os cinco testes de conhecimento.

Um dos primeiros procedimentos para que seja possível a utilização de técnicas inerentes a ela é a conversão desses dados (respostas aos itens), que em primeira instância possuem natureza qualitativa, em uma matriz de resposta, composta por:

(a) 0: se as repostas de itens dicotômicos forem consideradas incorreta; (b) 1: se as repostas de itens dicotômicos forem consideradas corretas;

(c) N: em que N = 0, 1, 2, 3,... e corresponde ao nível da categoria atribuída às respostas de itens politômicos. Tal atribuição segue a orientação de um sistema categórico construído e validado especificamente para esta finalidade.

Da obtenção dessa matriz de dados, é possível aplicar métodos quantitativos distintos com o propósito de avaliar a dimensionalidade do traço latente, a adequação dos dados ao modelo, obter estimativas relacionadas aos itens e sujeitos, dentre outros. Para tanto, foram incluídas no método de análise a Modelagem Rasch, técnicas de análise multivariada de dados e análises estatística clássica. Nesta fase de análise, consideramos a natureza multidimensional do objeto de estudo (o progresso do entendimento dos estudantes sobre conceitos envolvidos na flutuação dos corpos) e a necessidade de reduzir a dimensionalidade deste traço latente de forma a obter medidas que permitam extrair inferências sobre a variável dominante dimensionada a partir das variáveis observadas. Na próxima seção e ao longo desse trabalho, discutimos alguns aspectos sobre o que está posto nesse parágrafo com o intuito de mitigar algumas dúvidas elencadas pelo leitor.

Na Figura 4, representamos esquematicamente o desenho da pesquisa que