Elaboração / Construção dos instrumentos de recolha de dados

De seguida apresentam-se os princípios norteadores da elaboração dos questionários destinados aos alunos na modalidade on-line. Somente o questionário “questões pontuais” foi passado aos alunos na modalidade de papel e lápis. O pequeno quadro sinóptico que se apresenta em seguida ilustra o tipo de elementos recolhidos em cada questionário.

Quadro 3-3 Recolha de dados por questionário

Caracterização em relação a:

Dados

Nível do aluno (proficiência a nível escrito – nota do 12º ano de escolaridade e das disciplinas de análise textual).

Questionário passado no final da experiência.

Perfil de utilizador das TIC. Experiência em e/b-learning.

Questionário 1 e 1.1 (entrada e saída).

Questionário 4 sobre as plataformas (final do estudo empírico).

Participações no fórum em relação às plataformas.

Caracterização da amostra

Atitudes face à leitura, escrita e texto argumentativo. Questionários 2 e 2.1 (entrada e saída). Participações em fórum sobre a competência argumentativa.

Estudo piloto

O estudo piloto, conduzido com 4 alunos da mesma turma à qual pertenciam os alunos do trabalho experimental, teve como principal objectivo a identificação de problemas de compreensão e ambiguidades e/ou desajustes interpretativos em relação aos testes e questionários. Esta fase de teste e pilotagem dos questionários serviu igualmente para testar os materiais e ferramentas a utilizar nas plataformas de eLearning SCALE e Blackboard, a utilizar na fase experimental do projecto de investigação. A elaboração dos instrumentos de trabalho teve em conta, obviamente, os resultados do estudo piloto que serão explorados mais tarde. Foram levadas a cabo as correcções necessárias, respeitantes aos desajustes existentes no material a utilizar, decorrentes das dificuldades verificadas durante o estudo piloto.

Princípios subjacentes à elaboração dos questionários

Os questionários tiveram como objectivo determinar os conhecimentos prévios e atitudes em relação à argumentação e em relação à utilização das TIC.

Nas várias fases de elaboração e revisão dos testes e questionários procurou-se que os mesmos respeitassem as normas de clareza da linguagem e consequente ausência de ambiguidades na formulação de frases. Assim evitou-se a presença de modalidades interrogativas, negativas, restritivas e outras que pudessem ou tivessem, no estudo piloto, dificultado ou mesmo impedido a compreensão do que se pretendia realmente indagar. De um modo geral, o leque de respostas utilizado nos questionários baseia-se numa escala de 5 itens, tipo escala de intensidade de Likert, cujas polaridades correspondem a opiniões opostas.

A escala teve como inspiração a escala do instrumento de recolha de dados - “questionário de representação” proposto por Dubus (2000) e, embora o autor proponha uma escala mais alargada e de número par de escolhas, adoptou-se, neste caso, uma escala de 5 intervalos, para evitar a dispersão das respostas, e porque, de acordo com os autores, este tipo de resposta, não tendo um correspondente verbal, leva a que a resposta assente mais em posições do que propriamente em análises detalhadas das unidades discursivas (Dubus, 2000).

Testes de entrada e de saída

Na elaboração destes testes foram utilizados textos argumentativos escritos da imprensa, científicos ou da especialidade, à semelhança do que se verificou noutras investigações do mesmo âmbito (Kanselaar et al, 2003; Marttunen e Laurinen, 2001a; Weinberger, 2005).

Neste caso, os temas foram escolhidos para suscitarem o debate. No entanto, não foram escolhidos temas do quotidiano dos alunos como aconteceu noutras investigações em que os alunos debateram assuntos como a atribuição de uma mesada aos jovens, os castigos físicos como método de educação, a indisciplina e na escola (Coirier e Golder, 1993; Marttunen e Laurinen, 2001b), ou temas de abrangência académica como foi o caso da investigação conduzida por Weinberger em que alunos de ciências da educação foram expostos a casos específicos, de alunos em determinadas circunstâncias, que deveriam discutir depois de estudarem a “Teoria da atribuição de Weiner” citada por Weinberger (2005).

Ao invés, foram escolhidas temáticas suficientemente distantes da subjectividade dos estudantes, que os impelissem a ler atentamente o material disponível para o poderem aprofundar devidamente a fim de terem fundamentos para sustentarem as suas opiniões e argumentarem mais racionalmente: “We studied students actively engaged in collaborative argumentation in order to solve open-ended problems such as writing argumentative texts (and) constructing hypotheses “ (Kanselaar et al, 2003:3).

Foram organizados dois conjuntos de textos dentro do tema base: “Os organismos geneticamente modificados e a pobreza no mundo”, constituindo cada um perspectivas diferentes sobre o mesmo assunto. O conjunto A, constituído por dois textos, representa as perspectivas favoráveis e desfavoráveis em relação aos OGM e à resolução do problema da pobreza e carências alimentares. O conjunto B, constituído por um só texto, apresenta uma visão objectiva e crítica sobre as perspectivas favoráveis e desfavoráveis em relação aos OGM, pela falta de neutralidade e argumentação deficiente que apresentam umas e outras. A tarefa solicitada aos alunos consistia em lerem os textos atentamente, anotarem e fazerem os seus registos e esquemas sobre os textos lidos e produzirem um texto escrito em que se pedia, em relação ao conjunto A:

“Escreva, de um modo claro e conciso, um artigo de opinião que contemple as posições assumidas em ambos os textos, sabendo, de antemão, que vai ter de publicar o tal artigo no jornal da sua cidade, com vista, principalmente, a

convencer os que estão contra os OGM (organismos geneticamente modificados)”,

Em relação ao conjunto B pedia-se:

“Escreva, de um modo claro e conciso, um artigo de opinião a denunciar a falta de neutralidade e objectividade, quer dos que defendem, quer dos que atacam os OGM.

Não sendo o teste de conteúdos um teste de questão–resposta, não há o perigo de se verificar o efeito de habituação às questões, que poderia comprometer a validade dos resultados. Por outro lado, como defendem Marttunen e Laurinen, “to minimize the possible test-wise effect […] the test-wise effect means that the students may show an improvement simply as an effect of their experience with the pretest” (2001b:138), para evitar o efeito de conhecimento dos textos e habituação ao seu conteúdo e, apesar de terem mediado 6 semanas entre o teste de entrada e o de saída, optou-se por adoptar o seguinte esquema na administração dos testes, torneando-se assim também o efeito de passagem:

Figura 3.3 - Esquematização da administração dos testes de entrada e de saída

Teste de entrada Teste de saída

Díades 1, 2, 3 e 4 Conjunto A (2 textos) Conjunto B (1 texto) Díades 5, 6, 7 e 8 Conjunto B (1 texto)

ÂÁ

À¿ Conjunto A (2 textos)

Ou seja, os alunos que resolveram o teste de entrada A, resolveram o teste de saída B e vice-versa, como se pode verificar na fig. 3.

Como o trabalho subsequente on-line foi desenvolvido com base nos materiais disponibilizados, ou seja, nos textos lidos para a resolução dos testes, optou-se pela metodologia cruzada para verificar se o tipo de informação disponibilizada tinha influência na resolução das tarefas, bem como no processo desenvolvido para a resolução.

Lendo os textos que compuseram os dois conjuntos, verifica-se que o conjunto A, constituído por dois textos se revela mais complexo, não só pela leitura compreensiva focalizada e anotada, mais exigente tratando-se de dois textos, dois autores, duas perspectivas, como pela morosidade da compreensão e das anotações em relação a dois textos diferentes com as solicitações que daí advêm.

Ora pretende-se justamente determinar se a informação recolhida à partida tem influência no processo de interacção e argumentação on-line, ou se, pelo contrário, as

diferentes ferramentas e estratégias adoptadas on-line promovem, de forma determinante, processos semelhantes de argumentação em ambientes de eLearning independentemente da extensão, familiaridade, dificuldade do tema ou do tipo de informação recolhida.

Questionários de conhecimentos e relação face às TIC, “1 e 1.1” e plataformas utilizadas “4”

Os questionários de conhecimentos e relação com as TIC, anexos 10, 11 e 14, dizem respeito ao grau de abertura dos alunos em relação ao uso das TIC e os hábitos que possuem, bem como ao grau de conhecimentos e de familiaridade em relação a esta realidade. Os alunos são sondados em relação a várias questões, se têm computador e Internet em casa, locais onde mais usam o computador e a Internet, quais as modalidades de trabalho que mais apreciam para trabalhar (individual ou em pares/grupo). Em seguida, as questões começam a tornar-se mais específicas, sendo os alunos questionados sobre os conhecimentos que possuem em relação à utilização dos computadores, por um lado, e em relação à Internet, por outro. As questões são formuladas em termos de frequência de utilização, local de utilização e gosto na utilização dos computadores e da Web.

Assim, muitas das questões foram elaborados de acordo com o grau de veracidade que os alunos atribuem a cada afirmação, desde 1- completamente verdadeiro, até 5- completamente falso, havendo ainda duas outras hipóteses fora da escala, “não sei o que isso é” e “não se aplica”. A título de exemplo apresenta-se uma questão de verificação de conhecimentos: “Sei abrir uma aplicação/documento (Word, Excel, Internet Explorer …)”, um exemplo de uma questão que pretende verificar atitudes em relação aos computadores de uma forma geral: “Terei mais êxito nos meus estudos, se souber usar os computadores” e um exemplo em relação à situação de e-aprendizagem: “Prefiro as discussões on-line com os outros para aprender com eles”.

No questionário de saída relativo às TIC, anexo 11, os alunos foram maioritariamente questionados em relação às suas preferências quanto à utilização dos computadores e à sua relação com o eLearning. As questões relacionadas com as atitudes dos alunos, em relação à utilização da informática como recurso para o estudo e em relação à e-formação, foram repetidas para se verificar de que modo existe ou não estabilidade na opinião dada e atitudes pessoais depois de os alunos terem passado pela experiência de utilização das plataformas e sequências para o desenvolvimento da

competência argumentativa. Com efeito, era fundamentalmente em relação a estes aspectos que poderiam verificar-se as maiores mudanças de atitude após a experiência.

O questionário 4 sobre as plataformas SCALE e Blackboard, anexo 14, usadas no decorrer da experiência teve como principal objectivo interpelar directamente os alunos sobre a sua avaliação quanto às características das plataformas, nomeadamente como facilitadoras ou não da interacção, da aprendizagem autónoma e/ou colaborativa e as mais valias que as plataformas representam em termos de aprendizagem dos códigos específicos da argumentação e de estruturação da textualidade argumentativa. O questionário termina com a questão “Considera que conseguiria os mesmos resultados de aprendizagem, se não tivesse usado o ambiente SCALE/Blackboard”.

Questionário de atitudes face à leitura e escrita e às competências argumentativas, questionários “2 e 2.1”

O questionário sobre leitura e escrita e sobre texto argumentativo, anexos 12 e 13, procura abarcar vários aspectos destas competências tentando ser exaustivo, isto é completo no sentido de proporcionar as informações consideradas relevantes no âmbito desta investigação sem ser, no entanto, repetitivo e demasiado laborioso. A WSPS (The writer self-perception scale) de Bottomley, referida por Isernhagen e Kosiek (2000), contempla vários níveis relacionados com progressos gerais, específicos, observação comparativa, retroacção escolar e social e, por último, constatações fisiológicas, do género quando escrevo sinto-me calma(o). Neste questionário a elaboração das questões obedeceu a princípios semelhantes aos verificados para a elaboração do questionário mencionado, sendo os alunos questionados sobre se: i) gostam de ler/escrever; ii) o fazem com regularidade; iii) compreendem facilmente o que lêem, iv) relêem o que não entendem; v) o que escrevem é facilmente compreendido pelos outros; vi) relêem o que escrevem…

A parte respeitante ao texto argumentativo é mais específica e focalizada, centrando-se em aspectos do tipo: i) sei distinguir o essencial do acessório; ii) distingo argumentos a favor de argumentos contra; iii) estruturo facilmente as minhas ideias; iv) clarifico e explicito as relações entre as partes; v) exponho claramente uma solução para o problema; vi) construo uma argumentação sólida; vii) cito fontes para apoiar os meus

argumentos. Também aqui foi utilizada a escala de 1 a 5, em que o 1º item correspondia a “completamente verdadeiro” e o 5 a “completamente falso”.

A administração do questionário acerca da leitura e escrita e do texto argumentativo, imediatamente antes do início do módulo de formação, foi intencional. Tal procedimento tem o intuito de confrontar os alunos com uma situação em que não tenham sido submetidos a qualquer tipo de instrução formal recente, em relação à argumentação, para que, à partida, não houvesse qualquer tipo de interferências de aprendizagens prévias feitas recentemente. Por outro lado, no final pode ponderar-se com mais rigor os efeitos do módulo de formação tanto no que se refere às aprendizagens, como em relação às concepções dos alunos acerca das próprias competências.

Questionário sobre a avaliação obtida em disciplinas de Português e - Questões pontuais

Como foi referido, durante a planificação do trabalho prático com os alunos e aquando da elaboração dos questionários sobre os hábitos, conhecimentos e atitudes dos alunos, em relação às TIC e à leitura e escrita foram ponderadas e planeadas as indicações sobre os dados a recolher, revistas pelo painel de peritos e testados no estudo piloto.

No entanto, apesar dos questionários terem sido considerados completos, chegou- se à conclusão, na parte final do trabalho experimental, que seria pertinente obter informações sobre os níveis e classificações obtidos pelos alunos nos exames nacionais de Português no 12º ano e nas disciplinas afins a esta disciplina durante a frequência do curso superior que os alunos frequentam – Técnicas de Expressão de Língua Portuguesa; Linguística Portuguesa; A Criança e os Textos.

Este questionário foi considerado relevante, para cruzar estes dados com os resultados obtidos durante o processo de aquisição e desenvolvimento da competência argumentativa on-line. Ou seja, trata-se de enriquecer o estudo com uma informação útil que é a de saber a que ponto determinado nível de literacia influi nos desempenhos dos alunos no que se refere à argumentação.