Construção dos questionários

Para a construção do questionário destinado a conhecer as perceções e expetativas dos alunos relativamente às práticas de avaliação na disciplina de Física e Química A1, foi elaborado um plano orientador com os domínios de investigação e o número de itens a utilizar para cada um. A clareza e a extensão dos itens foram aspetos privilegiados na escrita dos mesmos, assim como a adequação ao vocabulário dos respondentes. Da estrutura do questionário fazia parte uma breve justificação do mesmo, a identificação dos respondentes e as orientações para o preenchimento dos itens. Estes eram todos de resposta fechada e estavam distribuídos por cinco domínios relacionados com as perceções e as expetativas dos alunos para com a disciplina de Física e Química A, os critérios de avaliação na disciplina, o seu desempenho na disciplina e a influência da realização de uma prova a nível nacional na classificação final da disciplina. O

1

Nos questionários que aplicámos, a disciplina “Física e Química A” é simplesmente identificada como “FQ”, tal como se informa os alunos no cabeçalho dos mesmos.

124

questionário terminava com um domínio em que os alunos eram convidados a indicar o grau de intensidade com que sentiam cada uma das emoções listadas, num diferencial semântico adaptado (Apêndice II). Optámos por uma escala de seis valores para evitar o ponto médio de uma escala ímpar e também por uma questão de coerência com os quatro domínios anteriores que faziam parte deste questionário por nós apelidado de

Questionário 0.

Assim, o primeiro domínio, era constituído por oito itens, e destinava-se a conhecer as perceções dos alunos relativamente à disciplina de Física e Química A.

O segundo domínio, era constituído por dois campos, um com três itens, para conhecer as perceções dos alunos acerca dos critérios de avaliação da disciplina, e um segundo campo com nove itens para conhecer quais os instrumentos de avaliação que os alunos consideravam ter maior importância na sua classificação final.

O terceiro domínio, era constituído por doze itens, e destinava-se a conhecer as perceções que os alunos tinham sobre o seu próprio desempenho na disciplina de Física e Química A, tendo em atenção a área disciplinar, os instrumentos de avaliação e o tipo de itens.

O quarto domínio, era constituído por quatro itens, e destinava-se a conhecer as perceções que os alunos tinham sobre a preparação para e o grau de dificuldade que previam que o exame nacional na disciplina de Física e Química A viesse a ter para eles.

O quinto domínio, era constituído por vinte itens, todos eles associados a emoções, e na forma de diferencial semântico adaptado. Destinava-se a conhecer o previsível grau de intensidade de cada possível emoção sentida em relação ao exame nacional da disciplina de Física e Química A.

125

Para cada item foi construída uma escala com seis graus e foi solicitado aos alunos que colocassem um “X” no círculo correspondente ao grau de intensidade que, de acordo com o que sentiam, melhor completava a afirmação antecedente. Na escala por nós utilizada, a avaliação de cada item era realizada em termos da sua localização dentro de um conjunto de patamares ordenados, variando desde um patamar mínimo até um patamar máximo.

Na tentativa de conferir validade ao nosso instrumento de investigação, começámos por apresentar uma primeira versão a três colegas, dois dos quais mestres em ciências da educação e um doutorado em História e Filosofia da Ciência, que desempenharam as funções de amigos críticos. Após a anuência em colaborarem e no decorrer de contactos presenciais e individuais, apresentámos-lhes o trabalho de investigação que pretendíamos desenvolver, assim como o propósito do pedido de colaboração e facultamos-lhe a primeira versão do questionário de investigação em suporte de papel. Procedemos ao registo escrito e individual do contributo, procedendo aos ajustes que considerámos pertinentes em termos de reformulação de alguns itens e eliminação de outros, obtendo desta forma uma segunda versão do instrumento.

Quando se está a escrever os itens de um questionário, deve pensar-se nos indivíduos que vão responder a esse mesmo questionário, de forma a que os mesmos sejam adequados às habilitações literárias e ao vocabulário dos respondentes (Hill e Hill, 2008). Como já referimos, esta foi uma das nossas preocupações e, para verificar se os itens estavam compreensíveis, procedemos a um estudo preliminar.

Assim, aplicámos o questionário a uma turma de 11.º ano que não iria participar no estudo e registámos todas as observações e questões colocadas pelos alunos. Registámos também o tempo médio de preenchimento do questionário. Procedemos

126

então ao ajuste que considerámos adequado, em função das observações registadas na aplicação do estudo preliminar, e que foram as seguintes:

i) todos os alunos responderam a todas as questões, tendo demorado, em média, entre 8 a 10 minutos no preenchimento;

ii) no item 1.3, houve um aluno que comentou “depende das matérias”;

iii) outro aluno questionou, relativamente ao item 2.1, o que significa “critérios insuficientes ou suficientes”, tendo a ideia de “suficientes” sido substituída por “detalhados”;

iv) outro aluno percebeu que os “polos” não tinham sempre a mesma orientação (ou seja, “fácil” pode aparecer do lado esquerdo, umas vezes, outras do lado direito), tendo afirmado “a professora trocou-nos as voltas” e que, por esse motivo, “temos de ler”. Os itens do questionário foram reorganizados para ter a “polaridade” sempre orientada da mesma maneira.

v) O mesmo aluno ainda questionou porque é que havia de estar “irritado” com o exame, no contexto do item 4.6. Não considerámos que esta observação justificasse algum tipo de alteração no diferencial semântico.

Com base nestas observações, procedemos à elaboração de uma terceira versão do questionário com o mesmo rigor que procurámos manter durante a elaboração das anteriores versões.

A validação deste instrumento de recolha de dados contou também com a análise e sugestões de quatro docentes universitários. Para o efeito solicitámos a colaboração de quatro especialistas doutorados, que gentilmente anuíram em desenvolver individualmente uma análise e indicação de sugestões adequadas para a respetiva melhoria da validade de conteúdo do nosso instrumento de investigação. Os quatro

127

docentes, especialistas em avaliação educacional e nas metodologias de investigação foram contactados por correio eletrónico, tendo-lhe sido apresentado o trabalho de investigação, o propósito do pedido de colaboração e facultado o respetivo questionário. Tendo em conta a formação e experiência de cada um dos juízes neste tipo de avaliação, optámos por não estabelecer qualquer critério ou escala, possibilitando uma análise sem restrições de modo a que fossem identificados os erros e as omissões, e como é claro, as propostas de alterações a serem efetuadas. Recolhidas as sugestões dos especialistas que incidiram em aspetos relacionados com a formulação dos itens e a necessidade de os simplificar, procedemos à elaboração da versão definitiva do questionário (quarta versão).

Para a construção do questionário destinado a conhecer as perceções dos alunos relativamente ao seu desempenho nos testes de avaliação na disciplina de Física e Química A – Questionário 1 – (Apêndice III), os procedimentos foram idênticos e a estrutura do questionário semelhante, apenas com um número de itens mais reduzido.