Instrumentos e procedimentos para a coleta de dados

Nesta primeira etapa de seleção, os alunos realizaram duas tarefas de múltipla escolha. A tarefa de compreensão de textos escritos (Apêndice C) avaliou o nível de compreensão leitora dos participantes. Foi composta por três textos curtos, semelhantes em extensão e leiturabilidade, porém de gêneros diferentes: crônica, conto e artigo de divulgação científica. Cada texto foi seguido de cinco questões de múltipla escolha que avaliaram o nível de compreensão literal e inferencial. Os participantes receberam um texto por vez, com suas respectivas questões. Não houve tempo limite para a leitura e consulta ao texto. Ao final da leitura, após responder às questões, eles deveriam sinalizar à pesquisadora para receber o texto seguinte e entregar o texto anterior. As questões deveriam ser respondidas diretamente no gabarito.

A tarefa de compreensão de textos orais (Apêndice D) avaliou o nível de compreensão auditiva, portanto, independente de diferenças na habilidade de decodificação. A tarefa foi composta por três textos orais, semelhantes em extensão e leiturabilidade, porém de

32 _{No ano de 2014 em que foi realizada a coleta de dados, as escolas estaduais possuíam tanto turmas de 8ª série} quanto turmas de 8º ano. Optamos pela 8ª série por ser o último ano do Ensino Fundamental. Isso fez com que a coleta se restringisse às escolas estaduais, já que as escolas municipais não possuíam mais essa distinção por terem iniciado a implantação do novo sistema um ano antes das estaduais.

gêneros diferentes: uma história, uma reportagem e uma entrevista. Cada texto foi seguido de cinco questões de múltipla escolha que avaliaram o nível de compreensão literal e inferencial. Os textos foram gravados em um pnn drivn e reproduzidos em um aparelho de som portátil que foi levado pela pesquisadora às escolas. Inicialmente, os participantes escutavam o áudio uma só vez e depois recebiam as suas questões correspondentes. Após ler e responder a lápis às questões no gabarito, o áudio era reproduzido novamente para que os participantes pudessem revisar suas respostas e registrar a caneta. Optamos por repetir o áudio para não sobrecarregar a memória e oferecer condições semelhantes à tarefa de compreensão leitora, durante a qual os participantes podiam consultar os textos enquanto respondiam às questões.

As tarefas foram administradas em grupo pela pesquisadora, com ou sem a presença do professor responsável pela turma, nas salas de aula das escolas em um encontro de aproximadamente 50 minutos ou, quando necessário, dois encontros de duração variada. Foram aplicadas em ordem alternada nos diferentes grupos, ou seja, em um grupo iniciava-se com a tarefa de compreensão leitora e no outro com a tarefa de compreensão auditiva. A pesquisadora iniciava a tarefa lendo as instruções, explicando como usar o gabarito e abrindo espaço para perguntas. Não foi limitado o tempo de realização das tarefas, permitindo, assim, que todos os participantes as concluíssem. Nas instruções esclarecemos que nem a pesquisadora, nem o professor da turma poderiam auxiliar na realização das tarefas que deveriam ser feitas individualmente, sem consulta a qualquer material. A pesquisadora colocou-se à disposição para atender aos alunos que tivessem dificuldades com o uso do gabarito ou que tivessem alguma dúvida não relativa aos textos ou às questões.

Para a construção das duas tarefas, pesquisamos e analisamos diversas tarefas de compreensão leitora que compõem testes de leitura internacionais validados: Nnlson Dnnny Rnading Tnst, Gray Oral Rnading Tnst (GORT), Gatns-MacGinitin Rnading Tnst (GMRT), Woodcock Rnading Mastnry Tnst (WRMT-R). Também fizemos uma revisão de pesquisas sobre a avaliação da compreensão leitora que gerou o artigo “Desafios na avaliação da compreensão leitora” publicado na Revista Neuropsicologia Latinoamericana (SOUSA; HÜBNER, 2015), e a comunicação “Challnngns on rnading comprnhnnsion assnssmnnt” no CGSE Fall Colloquium 2013 na Universidade de Pittsburgh.

Optamos por utilizar gêneros textuais diversos porque, segundo Campbell (2005), as variações entre os textos e as tarefas são tão grandes que utilizar um único trecho ou uma única forma de resposta não é confiável. Por isso, muitos testes padronizados, como os citados acima, ao invés de usarem apenas um texto longo, preferem diversificar os gêneros e usar textos mais curtos, tentando assim minimizar os efeitos como conhecimento prévio, interesse

e características próprias dos gêneros textuais. Para a construção da tarefa de compreensão auditiva, utilizamos, como sugerido em Perfetti et al. (2005a), gêneros próprios da modalidade oral com o intuito de preservar a autenticidade da tarefa, uma vez que a compreensão auditiva não se restringe à audição de textos escritos lidos oralmente.

Para nos certificarmos de que a leiturabilidade dos textos era adequada à 8ª série foram analisadas estatisticamente diversas métricas obtidas por meio do Coh-metrix do português brasileiro33_{, entre elas: Fórmula de Flesch, frequência média e mínima de palavras, número de}

palavras, conectivos, verbos e substantivos. Quando comparados estatisticamente, não houve diferença significativa nas métricas analisadas nos três grupos de estímulos: texto múltipla escolha, áudio múltipla escolha e texto questões abertas (descrito na segunda etapa de seleção). O teste ANOVA mostrou que os grupos de textos não se diferem em leiturabilidade

quando comparados por meio do índice de Flesch (p = 0,841) e da densidade proposicional (p = 0,354). Apresentamos na Tabela 1, os valores obtidos para cada métrica.

Tabela 1 - Análise da leiturabilidade dos textos que compõem as tarefas de avaliação da compreensão Texto Gênero Tarefa Flesch Nº.

pal. verb. Nº. subst. Nº. Freq. méd. Freq mín. conec. Nº. prop. Nº. Prop. Den. As

nuvens e

a rede cro. múlt. esc. 65,32 381 149,6 278,2 1771 9,0 36,74 203 5,328 Como os animais enxer- gam o mundo div. cient. múlt. esc. 71,16 454 174,0 244,4 3083 17,0 30,83 238 5,242 Um problema difícil nar. múlt. esc. 56,24 478 221,7 246,8 2124 19,0 25,10 229 4,790 Música

na pele cro. quest. ab. 61,31 379 200,5 290,2 2051 5,0 36,93 187 4,934 Google

não prejudica memória

div.

cient. quest. ab. 55,85 318 176,1 283,0 2597 55,0 37,73 164 5,157

Um

presente nar. quest. ab. 70,08 450 213,3 226,6 2231 13,0 31,1 244 5,422 Futuro tecnolo- gia entr. áudio múlt. esc. 55,84 466 188,8 278,9 2499 9,0 32,18 225 4,828 33 _{http://www.nilc.icmc.usp.br:3000/}

Texto Gênero Tarefa Flesch Nº.

pal. verb. Nº. subst. Nº. Freq. méd. Freq mín. conec. Nº. prop. Nº. Prop. Den. Sinaliza- ção dos alimen- tos rep. áudio múlt. esc. 64,70 517 158,6 263,0 3887 21,0 32,88 244 4,719 Escorren

-do nar. áudio múlt. esc.

62,38 350 197,1 251,4 3306 28,0 45,71 178 5,085

Legenda: conec. = conectivo; cro. = crônica; den. = densidade; div. cient. = divulgação científica; entr. = entrevista; freq. = frequência; méd. = média; mín. = mínima; múlt. esc. = múltipla escolha; nar. = narrativo; nº. = número; pal. = palavra; prop. = proposição; rep. = reportagem; quest. ab. = questão aberta;

subst. = substantivo; verb. = verbo.

Fonte: A autora (2015).

O Índice Flesch é uma medida de leiturabilidade que leva em consideração o tamanho médio de palavras e sentenças dos textos. Na versão adaptada para o português (ALUÍSIO et al., 2010), disponível no Coh-Metrix-Port (http://www.nilc.icmc.usp.br:3000/), textos com índices que variam entre 50 e 75 são considerados adequados até a 8ª série do Ensino Fundamental. Quanto menor o índice, menor a leiturabilidade do texto, ou seja, mais difícil é a leitura. Os textos que utilizamos nas tarefas de avaliação da compreensão variam entre 55,84 e 71,16, portanto, adequados para o nível de escolaridade dos participantes desta pesquisa.

Além da análise da leiturabilidade por meio desse índice, aplicamos um novo método de cálculo da densidade proposicional de textos desenvolvido por Chand e colegas (2012). A densidade proposicional é obtida através do cálculo do número de proposições para cada dez palavras do texto. Quanto maior o número de proposições e menor o número de palavras, mais denso e complexo é o texto. A análise do número de proposições foi feita manualmente pela pesquisadora, visto que o softwarn para a análise automática de proposições em português encontrava-se em fase inicial de construção. A análise proposicional dos textos teve como referência Turner e Greene (1978) e Chand et al. (2010) e foi cedida à professora Sandra Aluísio e a André Cunha, da Universidade de São Paulo (USP), para constituir a primeira base para a implantação do softwarn IDD3 Propositional Idna Dnnsity from Dnpnndnncy Trnns (CUNHA et al., 2015)c em construção, em português.

Na Tabela 1, apresentada anteriormente, as duas últimas colunas mostram o número total de proposições de cada texto e sua densidade proposicional. Por meio dessa análise, percebemos que um dos textos previamente selecionados para ser apresentado como estímulo auditivo tinha densidade menor que os demais, reduzindo a média de densidade do grupo. Decidimos então substituir o texto por outro, de maior densidade. Por fim, os textos

selecionados variaram de 4,71 a 5,42, não havendo diferença significativa entre eles e confirmando, assim, a semelhança na leiturabilidade dos textos que compõem as tarefas de compreensão. Ressaltamos que o uso do método de densidade proposicional mostrou-se uma importante complementação das métricas do Coh-Metrix-Port, uma vez que prioriza a análise do conteúdo semântico do texto. Contudo, é necessário um maior número de aplicações desse método para que se obtenham parâmetros numéricos que sirvam como referência para a análise da leiturabilidade textual.

As tarefas de compreensão leitora e auditiva foram validadas por juízes especialistas: dois professores doutores da área de pesquisa da leitura, dois professores de Língua Portuguesa com experiência em turmas de 8ª série, dois doutorandos em Linguística da PUCRS. Foi solicitado que avaliassem tanto a adequação da leiturabilidade dos textos à 8ª série, quanto o grau de dificuldade das questões e alternativas. Juntamente com os textos, enviamos aos avaliadores um roteiro com pontos a serem observados durante as análises. Um dos avaliadores apontou para a existência de um número maior de questões explícitas nas tarefas de compreensão auditiva do que na de compreensão leitora. As questões foram então reelaboradas de forma que cada texto apresentasse duas questões explícitas e três implícitas.

As tarefas também foram avaliadas por meio de um teste piloto realizado com 14 alunos adolescentes concluintes da última etapa de Língua Portuguesa em uma turma de EJA, equivalente à 8ª série. Observamos que as questões referentes a um dos textos tiveram mais acertos que as referentes aos demais, então, alteramos duas perguntas e suas alternativas. O piloto da tarefa de compreensão auditiva também mostrou desequilíbrio, pois as questões de um dos áudios gerou um número muito maior de erros, o que nos fez também alterar duas questões e suas alternativas. Por fim, fizemos mais um piloto com outra turma de oito alunos. Dessa vez, eles deveriam responder às questões sem ler ou escutar os textos. Uma questão do áudio 1, uma do áudio 2 e uma do texto 2 tiveram sete acertos, ou seja, podiam ser respondidas apenas com o conhecimento prévio dos participantes. Essas questões foram reelaboradas e analisadas novamente pelos juízes. Após os dois testes pilotos e as modificações, realizamos a coleta de dados nas escolas obtendo os resultados que descrevemos a seguir.