Letramento em avaliação (assessment literacy)

Conforme nossa discussão tem mostrado, a utilização de um exame de proficiência não constitui por si só uma garantia de que o ensino sofrerá influências positivas intencionadas, uma vez que há diversos fatores envolvidos, desde a formação de professores até a disponibilidade de recursos.

Além disso, em muitos contextos, há uma percepção na sociedade, identificada em opiniões veiculadas na mídia, de que as consequências causadas por um teste são apenas negativas, conforme demonstraram Watanabe (2004) e Scaramucci (2002) sobre os exames de entrada de universidade. Algumas alegações são de que os vestibulares passariam a ser a referência para o currículo do ensino médio e levariam os professores a ensinar apenas técnicas para serem aprovados no exame, entre outras.

Shohamy (1993), mas acreditamos que também seja desnecessário que os atores envolvidos compreendam melhor o processo de avaliação ou o que tem sido denominado na literatura de letramento em avaliação (assessment literacy).

Pesquisas mostram que programas e cursos que promovam o conhecimento sobre esse assunto para professores de inglês têm se mostrado eficazes (WALTERS, 2010) e, como ressalta Taylor (2009), um dos propósitos disso consiste na tentativa de evitar o mau uso dos testes. O público-alvo normalmente é formado por elaboradores e administradores de exames, professores, pesquisadores, elaboradores de políticas, mas, para Watanabe (2011), deveria ser integrado também pelos candidatos dos exames, considerados pelo pesquisador os atores mais importantes e os maiores beneficiários do processo e do produto da avaliação de línguas.

Além disso, conhecer mais sobre o processo de avaliação constitui, para os candidatos, uma maneira de lidar com os sentimentos negativos que normalmente os circundam, tais como medo, ansiedade e insegurança.

O medo pode até ser visto como um motivador segundo Fullan (2007), mas, se associado a consequências sérias, não produzirá resultados positivos, conforme revelou sua investigação com a legislação No Child Left Behind (NCLB):

Medo, como o medo de morrer, pode acabar não sendo um motivador poderoso depois de seu efeito inicial. De modo similar, nos Estados Unidos, o medo de não atingir um progresso anual adequado na legislação NCLB, com suas crescentes consequências punitivas, não é muito motivador, talvez um pouco, mas somente a curto prazo. (FULLAN, 2007, p.43)

Além disso, consideramos que outra justificativa para a importância do letramento em avaliação junto aos atores envolvidos está no fato de que o envolvimento ativo no processo pode desencadear efeitos positivos no aprendizado e, consequentemente, nos resultados dos testes. Uma das causas para as percepções negativas dos professores em relação à utilização de exames está justamente na distância que se mantêm entre esses atores do processo de construção de objetivos e visões de um programa voltado para o exame e não, necessariamente, devido ao teste em questão (NAGAO, TADAKI, WICKING, 2012).

De modo similar, mas junto aos candidatos, Foos, Mora e Tkacz (1994) mostram que os alunos que se prepararam para os exames elaborando e respondendo suas próprias questões obtiveram melhores resultados do que grupos que se prepararam da maneira convencional.

Na mesma linha, Stiggins (2008) relata que o envolvimento dos alunos no processo de correção de testes influencia positivamente o seu aprendizado, enquanto Black e Williams

(2006) defendem que a prática de encorajar os alunos a revisarem seus trabalhos de acordo com os parâmetros e critérios dos exames os auxiliaram a desenvolver um aprendizado metacognitivo.

Em seu estudo sobre letramento em avaliação, Watanabe (2011) ministrou um curso sobre processo avaliativo junto aos alunos de graduação na área de educação de uma universidade japonesa, que tinham entre as disciplinas da grade curricular Inglês como Língua Estrangeira, Princípios de Letramento Informacional e outras. Watanabe observa que, apesar dos estudantes estarem interessados em vários assuntos sobre educação, não significava que todos eles seriam professores. O foco do curso abrangia três aspectos principais: auxiliar os alunos a compreender os princípios básicos de avaliação; ajudar os estudantes a superar o medo de serem avaliados e começar a ter uma atitude mais positiva em relação aos testes de língua; e capacitar os alunos de forma que possam utilizar os princípios de testes de língua e seus resultados.

Confrontando impressões gerais dos alunos sobre exames, coletadas antes do início do curso e pós-curso, Watanabe concluiu que os comentários sobre exame de línguas haviam se tornado mais precisos, pela utilização de termos específicos da área de avaliação: por exemplo, confiabilidade quando referiam-se a testes específicos, como o TOEFL. Além disso, nos dados coletados antes do curso, os participantes emitiam opiniões como alunos; depois, passaram a expressar opiniões assumindo posturas como professores ou administradores de exames. O autor enfatiza ainda que o resultado mais relevante foi a mudança da visão sobre avaliação, uma vez que os comentários deixaram de ser negativos, tornando-se positivos ou neutros.

Watanabe defende com os resultados de sua pesquisa que, no futuro, um componente sobre letramento em avaliação seja incorporado em programas de aprendizado, visto que estudos sobre estratégias de aprendizado ressaltam a importância de habilidades metacognitivas, como apontam Graham (1997), Anderson (2008), Murphy (2008).

Para o autor, somado a isso, está a relevância do monitoramento como um dos componentes do sistema de estratégias de aprendizado (MACARO, 2001; MCDONOUGH, 1995), possibilitando que os alunos tornem-se menos dependentes do feedback dos professores.

Diante das discussões sobre letramento em avaliação, concordamos com o posicionamento de Inbar-Lourie, que traz a necessidade de uma visão global dos atores envolvidos com exames:

Ser letrado em avaliação significa ter a capacidade de perguntar e responder questões críticas sobre a proposta da avaliação, sobre a adequação do instrumento sendo usado, sobre as condições de aplicação do teste e sobre o que vai acontecer a partir dos resultados. (INBAR-LAURIE, 2008, p.389)

Assim, acreditamos que o letramento em avaliação integre um dos vários fatores que podem contribuir para que o efeito retroativo de um exame possa ser positivo, especialmente pelos benefícios que pode ocasionar na prática dos professores.

Apesar de muitas pesquisas mostrarem que o exame dificilmente promova mudanças almejadas na metodologia de ensino, também encontramos trabalhos que relatam melhoras, como o de Ferman (2004), que investigou o efeito retroativo da nova versão de um exame oral de língua inglesa para o ensino médio, que passou a ter mais componentes, integrando leitura e oralidade. O objetivo do governo de Israel era aumentar a ênfase no ensino da produção oral, ampliar as maneiras de usar o inglês e encorajar mais a leitura.

De acordo com os resultados, entre as evidências do efeito retroativo positivo no ensino estão um aumento no foco da produção oral, com professores ensinando essa habilidade de forma integrada com outras habilidades, fazendo um uso mais eficiente do tempo da aula. O autor acrescenta ainda que o trabalho com o formato do teste funcionou como um fator para aliviar a ansiedade do exame. O estudo também demonstrou efeitos negativos, como a pressão para cobrir o material didático, mostrando que tanto efeito positivo quanto negativo tendem a estar associados com exames de alta-relevância (POR, KI, 1995).

Entretanto, o que consideramos importante discutir sobre a pesquisa de Ferman (2004) consiste na possibilidade de um exame provocar mudanças positivas no ensino, apesar de muitos estudos mostrarem o contrário. Assim, é natural questionarmos os motivos que levaram esse exame a causar tal efeito, enquanto outros testes não provocam influências similares. Porém, não há resposta para essa pergunta, pois teríamos que examinar o contexto educacional profundamente, visto que outros fatores podem estar envolvidos. Por outro lado, Ferman afirma seguramente que o efeito de um exame pode facilitar a inovação e a implementação de um programa em um contexto educacional onde todos os envolvidos colaboram para promover o aprendizado.

O outro trabalho é de Scaramucci e Kobayashi (2013) que conduziram uma investigação que demonstrou o alinhamento entre as concepções de língua presente no exame Cambridge English: Key for Schools, e a compreendida e praticada pela professora em sala de aula de uma escola regular particular na cidade de São Paulo. A escolha desse exame foi devido à sua então recente implantação como versão adaptada do Cambridge English: Key

(KET) para candidatos adolescentes. Os testes da Cambridge eram aplicados na própria escola, não sendo necessário que os alunos fossem a um centro aplicador. Além disso, o exame era oferecido pela escola, mas a decisão dos alunos fazerem ou não ficava a cargo dos pais.

Os resultados da pesquisa demonstraram que a professora estava familiarizada não apenas com o exame em questão, mas com todos os níveis de proficiência exigidos pelos exames da Cambridge, sendo, portanto, capaz de fazer recomendações sobre quais seriam os mais adequados, independentemente da idade e ano escolar, mas pelo desempenho apresentado pelo aluno. Além disso, o construto e visão de linguagem subjacentes ao exame e seus aspectos fundamentais como habilidades, formato e situações avaliadas estavam bem claros para a professora. Para ela, o ensino de inglês deve visar à capacidade do aluno de utilizar a língua como forma de expressão e compreensão, sendo assim, desnecessária a preparação intensa para o exame. Tal fato foi confirmado nas observações em sala visto que a abordagem de ensino adotada pela professora revelava a concepção de linguagem focalizando o uso do inglês para comunicação e desenvolvimento de todas as habilidades de forma integrada.

Analisando as dimensões do efeito retroativo, de acordo com Watanabe (2004), Scaramucci e Kobayashi constataram que o Cambridge English: Key for Schools exerce um efeito retroativo geral na preparação do aluno, que passa a estudar mais, e na prática do professor, pois são oferecidas aulas de preparação para o exame, principalmente para trabalhar a produção oral. Por outro lado, as evidências demonstraram também efeito específico, na medida em que o formato de múltipla escolha foi introduzido nas provas de rendimento por ser um dos tipos de questões presentes no exame. Foram identificados também alinhamento na abordagem de ensino do professor e conteúdo do teste.

Diante disso, podemos constatar que os professores da pesquisa de Ferman e de Scaramucci e Kobayashi não revelam percepções negativas sobre o exame em questão de uma maneira geral. Embora nem todos os professores do contexto israelense concordassem com alguns componentes do exame, não questionavam a sua relevância no ensino.

Acreditamos que todas as vezes que um exame de proficiência, principalmente os externos, é introduzido em um sistema educacional, várias são as razões que justificam a sua utilização, sendo a mais comum, a intenção das autoridades governamentais de promover mudanças no ensino da língua e elevar o nível de proficiência dos alunos, conforme Shohamy (1993) ressaltou.

conteúdo e formato de suas questões e, como consequência, demanda em uma sala de aula, uma abordagem de ensino que a reflita. Por outro lado, esse aspecto parece ser difícil de ser afetado por um exame, pois como Watanabe (1996) ressaltou, a metodologia envolve diversas características profissionais e pessoais que permeiam a atuação de um professor e, conforme Cheng (2004), mudar implica fazer algo novo, o que pode ser difícil para muitas pessoas.

Diante disso, é natural perguntarmos quais outros aspectos, então, são influenciados em uma sala de aula devido a um exame. Estudos na área demonstram que o formato de um teste geralmente exerce muita influência na prática de ensino, o que nos leva a pensar se isso ocorreria devido à sua menor complexidade de ser ensinado em sala, principalmente se comparado à abordagem de ensino.