O teste de leitura

O teste de leitura (Anexo C) foi elaborado em parte com base no Pisa (2000) e na proposição de Unidades de Leitura de Finger- Kratochvil (2008), já que nosso objetivo foi buscar descrever as habilidades dos acadêmicos para recuperar informações, interpretar

textos, refletir sobre o conteúdo lido e avaliar tal conteúdo. Importa

registrarmos que o Pisa avalia também a capacidade de identificar e de entender o uso de diferentes gêneros e tipos textuais, baseado no princípio de que os indivíduos encontrarão uma série de formas de escrita na vida adulta e precisarão saber lidar com cada uma delas dentro de suas particularidades, bem como considera o fato de que alguns alunos apresentam melhor desempenho em uma situação de leitura do que em outra. Comungamos desse entendimento, bem como da compreensão de que ler é um processo que tem outras implicações, dependendo do ângulo teórico sob o qual se estude tal processo. Circunscrevemos nosso teste às três habilidades mencionadas por contingências metodológicas e por concebermos que se trata de comportamentos essenciais no ato da leitura. Optamos por um texto

didático, gênero discursivo que nos parece de uso prevalente no

processo de formação profissional em estudo.

Para cada uma das três categorias definidas pelo Pisa –

recuperação de informações, interpretação de textos e reflexão e avaliação –, elaboramos cinco questões, cada uma correspondendo a um

dos cinco níveis avaliados em cada uma das três categorias (Ver Anexo D). O Pisa detalha, especificamente, o que é avaliado em cada escala de leitura, o que nos permitiu estudar os níveis de proficiência, que, segundo o programa, vão da escala um a cinco.

4.2.2.1Recuperação de informações

Uma das categorias avaliadas pelo Pisa57, a recuperação de

informações, requer que o indivíduo consiga localizar uma ou mais

partes de informações num texto. Pesquisar e selecionar informações são

tarefas que aparecem com frequência no cotidiano das pessoas, pois são necessárias na leitura de textos de diferentes configurações.

Nessa categoria, as tarefas vão desde a recuperação de informações específicas e muitas vezes explícitas no texto até a combinação de múltiplas partes de informações imbricadas, sendo que algumas podem estar fora do corpo do texto. Para atingir o nível 5 nessa categoria, o aluno deve ser capaz de lidar com informações competitivas, inferindo quais as mais relevantes para a tarefa. No teste de leitura que elaboramos, correspondem a essa categoria as questões 1, 2, 3 e 13. A questão 1 corresponde ao primeiro e ao terceiro nível da

recuperação de informação; a questão 2 corresponde ao segundo nível;

a 3 avalia o quarto nível e a questão 13, o quinto nível. 4.2.2.2Interpretação de textos

A interpretação de textos, ainda segundo documentações do Pisa, consiste na capacidade de construir sentido e elaborar inferências. Para que o leitor possa desenvolver uma interpretação do texto, é necessário que ele atinja um nível de compreensão mais profundo e não apenas um entendimento superficial do material escrito. Para isso, é preciso entender dos mecanismos da coesão, explícita ou implícita, saber elaborar inferências de alto nível e conseguir organizar e lidar com informações contraditórias ou ambíguas.

De acordo com a escala do Pisa (Anexo A), no nível mais básico dessa categoria – nível 1 –, avalia-se a habilidade de identificar a ideia principal do texto, enquanto que no quinto nível o indivíduo deve demonstrar a capacidade de usar um alto nível de inferência textual e uma compreensão completa e detalhada do texto. Com base nessa escala, elaboramos as seguintes questões que correspondem à categoria de interpretação de texto: questões 4, 5, 6, 11 e 12. A questão 4 corresponde ao nível 1 da escala; a questão 5, ao nível 2; a questão 6, ao nível 3; a questão 11 refere-se ao nível 4 e a questão 12, ao nível 5, que é o nível mais complexo.

4.2.2.3Reflexão e avaliação

A reflexão e a avaliação do conteúdo lido são definidas pela documentação do Pisa como as relações que o leitor estabelece entre um texto e sua experiência, conhecimento e ideias. Esse domínio requer que o leitor relacione informações que estão no texto com conhecimentos advindos de outras fontes. Ele precisa se valer de conhecimentos gerais

e específicos para contrastar com as ideias do texto e, assim, poder avaliá-lo criticamente.

Essa categoria avaliada pelo Pisa, em tese, exige que o leitor tenha desenvolvido as habilidades requeridas pelas outras duas categorias, pois para conseguir refletir sobre e avaliar criticamente um texto, tende a ser necessário que ele domine primeiramente os processos de recuperação de informação e que tenha compreendido de modo completo e detalhado o que o texto veicula. Em algumas situações, é necessário que o leitor pondere a respeito de pontos de vista diferentes trazidos pelo texto, mesmo sendo opostos a seu conhecimento de mundo. A análise dos dados gerados neste estudo, porém, sugere-nos que a natureza dessas relações apresenta uma expressiva complexidade; voltaremos a isso nos capítulos que correspondem a essa mesma análise. No teste de leitura que elaboramos, correspondem à categoria de

reflexão e avaliação as questões 7, 8, 9 e 10. Os níveis 1 e 5 da escala

são avaliados nas letras a e b, respectivamente, da questão 9. A questão 7 corresponde ao nível 2; a questão 8, ao nível 4 e a questão 10, ao nível 3.

Esses critérios elaborados pelo Pisa para a testagem da proficiência em leitura revelam que não se trata, apenas, da extração de informações, decodificando letra por letra, palavra por palavra, mas de uma atividade que implica o uso de diversas estratégias, sem as quais não é possível proficiência.

4.2.2.4Dimensão analítico-categorial do teste de leitura

Ainda que tenhamos pautado este teste de leitura nos moldes do Pisa, não seguimos o programa no que respeita à forma de pontuação. Optamos por três categorias, por ocasião da correção: respostas

satisfatórias, parcialmente satisfatórias e insatisfatórias, critério

mantido em cada uma das questões para cada um dos cinco níveis. Esse comportamento decorre do fato de que nosso objetivo não eram escores precisos de pontos – que, a nosso ver, se justificam para finalidades comparativas entre grupos de sujeitos –, mas o mapeamento da natureza das habilidades que, naquele momento, mostraram-se mais desenvolvidas ou menos desenvolvidas pelos acadêmicos participantes de pesquisa.

Para isso, elaboramos uma matriz referencial que chamamos de

concepções-base para análise das respostas (Anexo E) – a qual foi

validada pelo grupo de pós-graduandos estudioso do tema mencionado no parágrafo a seguir, grupo que esteve envolvido também na validação

do teste e na correção das respostas –, material em que registramos conteúdos básicos que devem compor respostas satisfatórias. Esses conteúdos constituíram suporte para o estabelecimento, também, da

parcialidade da adequação da resposta ou da completa inadequação. O

que estamos chamando de concepções-base constituiu o fundamento de nossa análise das respostas do teste de leitura, admitindo, necessariamente, a possibilidade de que os conteúdos ali previstos fossem traduzidos por textualizações distintas.

Tendo procedido à categorização inicial das respostas, submetemos os testes respondidos pelos estudantes a uma análise colegiada, formada por seis pós-graduandos - mestrandos ou doutorandos em Linguística58 – que estudam direta ou indiretamente o tema leitura. Essa correção colegiada foi feita sem que tais examinadores soubessem dos resultados de nossa categorização inicial. Ao final do processo, nos casos em que havia dessimetria nas avaliações, as respostas foram submetidas a um terceiro grupo de examinadores até haver consenso.

4.2.2.5O conteúdo temático do teste de leitura

Ainda que este estudo não topicalize discussões sobre memória, é, sem dúvidas, notório o envolvimento desse processo psicológico superior na construção do conhecimento. Considerando que o teste de apropriação conceitual tematiza conhecimentos que entendemos – com endosso dos docentes do curso – basilares em quatro disciplinas correspondentes aos níveis de análise da Linguística e tendo presente que, por ocasião da experiência piloto com o teste de conhecimentos – o que descreveremos à frente –, os informantes entenderam que uma das razões de suas dificuldades era não terem retomado esses conteúdos em uma leitura preliminar antes do teste, justificamos termos desenhado o teste de leitura tendo como tema tais conceitos basilares, como pode ser visto no Anexo B.

Tivemos o cuidado em construir um texto cujo conteúdo estivesse relacionado à ciência Linguística de modo geral e que remetesse a elementos atinentes a conceitos básicos tematizados no teste de apropriação conceitual que foi aplicado no dia seguinte, o que, naturalmente, não foi informado aos participantes da pesquisa. Entendemos que, caso tais informantes de pesquisa efetivamente

58 _{Esses pós-graduandos compõem um grupo de pesquisa sobre o tema na UFSC, grupo} certificado pelo CNPq.

tivessem se apropriado desses conhecimentos, a retomada por meio do teste de leitura favoreceria a recuperação desses conhecimentos na memória. Por outro lado, caso não tivesse havido apropriação efetiva, a leitura do texto e a resposta às questões, em nosso entendimento, não assegurariam um aprendizado que não se consubstanciou anteriormente, porque, como registra Kintsch (1998), entender um texto não é sinônimo de aprender a partir de um texto, processo que tem outras implicações; aprender, segundo o autor, implica, por exemplo, usar o conteúdo compreendido de modo a aplicá-lo a outras situações contextuais. O conteúdo do texto utilizado no teste de leitura, assim, justificou-se pela relação que mantém com a área de formação em estudo e com questões topicalizadas no teste de apropriação conceitual.

Como o teste de leitura antecedeu o teste de apropriação de conhecimento, o conteúdo do texto utilizado, reiteramos, possivelmente tenha ajudado o aluno a lembrar dos conteúdos (o que, ainda, tem implicações com suas habilidades de leitura) e, principalmente, de alguns conceitos básicos de Linguística aprendidos nas disciplinas em foco, os quais foram tematizados no teste de apropriação de conhecimento, por isso optamos por um texto didático sobre Linguística para a realização deste teste.

O texto, escrito por nós com base em conhecidos manuais de Linguística – Mussalim e Bentes (2006) e Weedwood (2002) – e validado por docentes pesquisadores em Linguística Aplicada59, contém algumas informações históricas sobre a formação da Linguística, uma breve explanação sobre as vertentes teóricas de maior respaldo que fundamentam os estudos linguísticos, bem como sobre as várias áreas que a compõem atualmente e alguns de seus conceitos básicos. Além disso, para que fosse possível elaborar questões referentes a reflexão e

avaliação do texto, de acordo com os critérios do Pisa, o texto – dado os

usos a que se presta – contém conteúdo opinativo, relativamente ao embate entre linguistas que concebem a Linguística como próxima das ciências naturais e exatas e aqueles que a aproximam das ciências humanas. Essa opção se justifica pelo teor argumentativo, e não apenas descritivo, do conteúdo, o que viabilizou a produção de questões que atendessem a tal categoria do Pisa.

Após a leitura desse texto, intitulado “Os caminhos da Linguística”, os acadêmicos responderam a treze questões referentes ao

59 _{Agradecemos aos linguistas aplicados Marcos Antônio da Rocha Baltar e Adair Bonini,} professores do Programa de Pós-graduação da UFSC, pela análise do texto e pelas importantes sugestões que nos deram, objetivando aprimorá-lo.

texto. Cada questão, dependendo de seus desdobramentos, correspondeu a um ou dois dos níveis de proficiência em leitura estabelecidos pelo Pisa e circunstanciados na seção anterior. Cinco níveis para recuperação

de informação, cinco para interpretação de texto e mais cinco para reflexão e avaliação. Importa registrar aqui, embora retomemos esse

registro à frente, que o teste piloto nos mostrou a queixa dos acadêmicos com relação à longa extensão do texto e ao grande número de questões, o que, segundo alguns dos informantes da etapa piloto, causou fastio no processo de realização da atividade. Dado que é nossa intenção focalizar os cinco níveis de cada uma das três categorias do Pisa, pareceu-nos mais produtivo correr o risco do fastio do que abreviar o teste. A segurança para essa opção derivou de dois comportamentos: primeiramente, ficou claro, por ocasião da testagem piloto, que os alunos não acharam o texto difícil, apenas longo; em segundo lugar, o risco de que o fastio comprometesse os indicadores estatísticos das respostas às questões finais pareceu-nos inteiramente afastado em razão do cuidado que tivemos – mesmo na etapa piloto – de randomizar a ordem das questões, apesar de termos nos preocupado em randomizar apenas as três categorias e não os níveis de cada uma. Para o teste definitivo, no entanto, as questões foram randomizadas mais de uma vez, em três diferentes ordens, para que os níveis das três categorias de análise também ficassem misturados.

É importante mencionar também que após a qualificação e antes de ser aplicado, o teste de proficiência em leitura foi validade por um grupo de professores e pós-graduandos da Pontifícia Universidade Católica do Rio Grande do Sul.