COLETA E TRATAMENTO DOS DADOS

Após a preparação dos três testes de conhecimento, realizamos os primeiros contatos com os professores parceiros a partir de uma carta convite entregue em cada uma das quatro unidades escolares colaboradoras.

Conforme agendamento com cada professor, os estudantes foram submetidos, em sala de aula, a um dos três questionários previamente elaborados e respondidos individualmente em 50 min. As unidades de análise correspondem às respostas de 237 estudantes que participaram desta etapa da pesquisa.

O Quadro 9 exibe um recorte de uma das planilhas geradas a partir do processo de transcrição das respostas dos estudantes. Nesta tabela são expostas as respostas tabuladas de 5 estudantes, para 8 itens distintos. Com o propósito de garantir o sigilo sobre a identificação dos estudantes (E) participantes, foi criado um sistema de rubrica que permite os pesquisadores reconhecer a instituição de ensino, o curso técnico (caso haja), a turma e um número de ordem atribuído a cada sujeito da pesquisa.

Para avaliar os diferentes níveis de entendimento explicitados pelos estudantes nos itens de natureza dissertativa, construímos uma escala fundamentada em teoria que versa sobre o desenvolvimento cognitivo do indivíduo.

Quadro 9. Exemplo de planilha gerada durante o processo de tabulação de dados

PESSOAS VF1A VF1B VF1C VF1D A4 A10 ME1 ME2

EICQA-1 V V V F

Verdadeira. Porque a parte inferior tem que ser maior para que a barragem não quebre, pois se for menor

ela quebra

E D

EICQA-2 V V F F

Verdadeiro. Pois a parte inferior tem que ser mais longa, devido ao constante

movimento da água e já a parte superior nem tanto.

D B

EICQA-3 V V V V Verdadeiro D A

EICQB-7 V V V F

Verdadeira porque a pressão varia devido a altura de onde se está; portanto, a pressão

na base da barragem é maior, e é por isso que ela é

mais larga para que a barragem não rompa devido

a pressão

E=160N, direção vertical, sentido

para cima D D

ECERB-1 V V F V

Verdadeira. Pois a barragem está adequadamente como

deveria. A parte superior é menos larga, mas é comprida o suficiente O material não irá flutuar, pôs o peso e estrutura não favorece seu empuxo B D

Fonte: Dados da pesquisa

Construção do sistema de categorias

Neste trabalho, a taxonomia aplicada para avaliar o entendimento que os estudantes demonstraram ao responderem itens de natureza discursiva, pressupõe a existência de níveis de complexidade hierárquica do atributo. Tal estrutura subentende a concepção de que o entendimento progride de maneira não linear a partir da influência de fatores internos e externos ao sujeito, a citar: a familiaridade com o conteúdo, o repertório, suporte social, o estado emocional e cognitivo, dentre outros (FISCHER, 1980, 2006). Nesse processo, habilidades de naturezas distintas vão se desenvolvendo e integrando as estruturas cognitivas do sujeito, fazendo com que níveis de entendimento cada vez mais complexos e sofisticados possam emergir. Essa interpretação teórica está pautada na Teoria de Habilidades Dinâmicas - TDH (FISCHER, 1980, 2006), uma teoria neopiagetiana que modela o desenvolvimento cognitivo em estágios.

Com base nessa perspectiva teórica, concebemos a aprendizagem como a evolução temporal do entendimento. Para identificar tal evolução, é preciso constituir critérios que possibilitem a comparação entre a medida de entendimento em uma

série temporal. Deste modo, é possível avaliar se o entendimento verbalizado pelo indivíduo em um instante ti é hierarquicamente superior ao atributo no momento ti-1. O estabelecimento destes critérios muitas vezes perpassa pela construção de uma taxonomia que permita classificar o nível do entendimento manifestado pelo indivíduo. Pesquisadores como Xavier (2018), Castro (2017), Coelho (2011), Amantes (2009), Rappolt-Schlichtmann (2007) e Dawson-Tunik (2006) utilizam estratégias semelhantes para avaliar o entendimento sob o ponto de vista de níveis de desenvolvimento segundo a TDH. Nesse estudo apresentamos um sistema categórico fundamentado na estrutura de complexidade hierárquica da TDH, elaborado para categorizar as respostas dos itens abertos, ferramenta semelhante às desenvolvidas pelos autores supracitados.

O sistema categórico

As categorias do sistema elaborado abrangem tanto os conteúdos científicos envolvidos no fenômeno físico em estudo quanto o nível de complexidade em que o entendimento sobre tais conteúdos podem ser analisados. A resposta para uma questão de caráter politômico que envolve determinado conteúdo pode atender uma, e somente uma, das n categorias que constituem tal questão. Assim, cada uma das categorias corresponde a um item de natureza dicotômica (a resposta satisfaz ou não a categoria k). No Quadro 10 apresentamos uma questão discursiva e seu respectivo sistema categórico.

Embora as categorias explicitem níveis de entendimento, elas não refletem a ideia de estágios de desenvolvimento conforme é estabelecido na TDH. Assim como neste exemplo, os sistemas categóricos das demais questões foram construídos de forma que a categoria ki aglutinasse características do item ki-1 à novas estruturas, constituindo-se em uma categoria hierarquicamente mais complexa que o item anterior, semelhante à escala Guttman.

Quadro 10. Exemplo de planilha questão discursiva e a descrição das categorias correspondentes

Questão discursiva Nível de complexidade Descrição da categoria

A6. Uma bexiga quando está cheia com ar dos nossos pulmões e é solta, ela executa um movimento que acaba levando-a ao solo. Porém, se enchermos a mesma bexiga com certo gás, como o hélio, por

exemplo, mantendo o

mesmo volume que na

situação anterior, o

movimento da bexiga é ascendente. O que se pode concluir a respeito deste fato?

NÍVEL 0 Resposta completamente equivocada

NÍVEL 1

Identifica a densidade como a grandeza que produz a diferença no

comportamento dos gases sem explicitar qual deles apresenta maior densidade; ou, caso apresente, pode expressar inconsistências na indicação

de qual dos gases apresenta maior densidade

NÍVEL 2

Identifica a densidade como grandeza que produz a diferença no comportamento dos gases, explicitando corretamente que o He,

dentre os gases considerados no fenômeno, apresenta menor densidade

NÍVEL 3

Identifica a densidade como grandeza que produz a diferença no comportamento dos gases, como também expressa corretamente a relação entre as densidades dos

diferentes gases

NÍVEL 4

Identifica a densidade como grandeza que produz a diferença no comportamento dos gases, como também expressa corretamente a relação entre as densidades dos diferentes gases e explicita aspectos

da ação das forças peso e empuxo

Fonte: Dados da pesquisa

É importante sinalizar que, embora a construção desta taxonomia tenha sido pautada inicialmente em uma orientação teórica, o processo de elaboração deste sistema era retroalimentado pelos dados oriundos dos testes aplicados à amostra de 237 estudantes. Ou seja, a TDH nos orientou na preparação da estrutura do sistema categórico a partir dos níveis hierárquicos de complexidade, e a descrição de cada nível foi pautada no conteúdo. Esta estrutura qualitativa de avaliação foi submetida a um processo de validação por juízes antes de ser aplicada aos dados coletados nesta fase da investigação, o que produziu ajustes no sistema categórico previamente proposto.

Validação do sistema categórico

O sistema categórico construído para avaliar os dados de natureza politômica foi submetido à apreciação de cinco juízes formados em Licenciatura em Física e pesquisadores em Ensino de Ciências que atuam na Educação Básica. O objetivo

desta validação foi verificar a validade da interpretação das respostas de acordo com o sistema elaborado, avaliando para isso o índice de concordância entre as interpretações realizadas pela professora-investigadora e os juízes. Este processo procura mitigar efeitos relativos à subjetividade inerente a avaliação das respostas e garantindo maior neutralidade nas análises.

É importante esse procedimento de validação uma vez que, em uma pesquisa de caráter empírico, faz-se necessário garantir que os produtos de uma análise textual sejam válidos e confiáveis (MORAES, 2003). De acordo com Moraes (2003), o pesquisador pretende refinar a concepção dos fenômenos que investiga a partir de conexões entre os dados empíricos e as teorias que orientam suas interpretações. Ademais, através do conjunto de categorias construídas e das relações entre elas, o pesquisador exercita interlocuções teóricas, bem como a capacidade de abstração e teorização em relação ao fenômeno em estudo. Esse processo pode contribuir para a ampliação do campo teórico, inclusive a partir da proposição de teorias emergentes.

Para realizar tal procedimento, formaram-se três grupos composto por dois juízes, sendo que um dos cinco juízes convidados para participar desta fase da investigação pertenceu a dois grupos distintos. Cada juiz avaliou um conjunto de 5 questões, em que para cada uma delas haviam 10 respostas retiradas do universo de respostas coletadas a partir dos questionários aplicados aos 237 estudantes. Isto significa que 150 respostas no total foram analisadas.

O Quadro 11 exemplifica o material enviado para os cinco juízes. Neste exemplo, expomos apenas uma questão (A6) e uma amostra de cinco respostas apresentadas pelos estudantes.

O índice de concordância entre os avaliadores e os dados atribuídos pela pesquisadora foi determinado através do coeficiente de Kendall. Tal coeficiente é utilizado quando as variáveis são classificadas como consideradas categóricas e ordinais. Portanto, o coeficiente de concordância de Kendall ( ) pode ser empregado para avaliar o grau em que juízes fornecem um ranking comum a um conjunto de objetos (LEGENDRE, 2005).