Experiência em responder testes (test-wiseness)

É esperado que os atores em contextos de ensino voltado a exames, principalmente se pressionados para obterem resultados positivos, voltem seus esforços e utilizem todos os recursos disponíveis para que os candidatos sejam aprovados nos exames. Esses recursos podem estar ligados diretamente ao conteúdo avaliado pelo exame ou externos a ele, ou seja, não relacionados aos conhecimentos e habilidades que o teste busca medir.

Um termo frequentemente citado nesses contextos é o test-wiseness strategies, que segundo tradução de Almeida Filho e Schmitz (1998) trata-se de experiência em responder testes. A discussão sobre a sua definição, como uma variável passível de influenciar os resultados em um teste, foi iniciada por Thorndike (1951).

Astúcia para saber quando adivinhar e um olho preciso para dicas secundárias e dicas externas ao conteúdo do teste que são possíveis de serem usadas em uma grande variedade de testes, especialmente aqueles que não estão bem construídos (...) geralmente representa uma variação inválida sistemática funcionando para reduzir sistematicamente a validade do teste. (THORNDIKE, 1951, p. 569)

Desde então, muitas outras definições similares surgiram (GIBB, 1964; DIAMOND, EVANS, 1972; DOLLY, WILLIAMS, 1983) sendo a de Millman (1965) bastante citada: “a capacidade de um sujeito usar as características e formatos de um teste ou/e das situações de realização do teste para obter notas mais elevadas. A experiência em responder testes é logicamente independente do assunto que as questões supostamente avaliam”.

Para Benson (1988), a concepção abrange a habilidade cognitiva ou um conjunto de estratégias que o candidato pode utilizar para melhorar os resultados em um teste independente da sua área de conhecimento.

testes não são necessariamente determinadas pela proficiência na língua que está sendo avaliada, mas pode ser dependente do conhecimento do candidato sobre como realizar testes.

Além disso, Bond (1981) também diferencia esse termo e outro frequentemente utilizado em exames, o test-coaching. Enquanto a experiência em responder testes é independente do conteúdo da área sendo avaliada, o test-coaching refere-se à instrução contínua no domínio supostamente sendo avaliado.

De acordo com a literatura na área de Educação, diversas taxonomias foram propostas para as estratégias de experiência em responder testes. Sarnaki (1979) apresentou uma taxonomia de cinco estratégias: 1) estratégias de utilização do tempo: começar a realizar o teste rapidamente com certa precisão; 2) estratégias para se evitar erros: por exemplo, prestar atenção nas instruções; 3) estratégias de adivinhação: adivinhar somente quando não há penalização para tanto; 4) estratégias de raciocínio dedutivo: fazer uso das informações de conteúdo do teste para outras questões e opções; 5) estratégias de dicas e intenções: reconhecer e fazer uso de qualquer idiossincrasia relevante do teste que diferencia a resposta correta da incorreta.

Nitko (2001), por outro lado, trouxe uma classificação de experiência em responder testes dividida em três categorias de estratégias, reduzindo a de Sarnaki (1979): 1) estratégias de utilização do tempo; 2) estratégias para se evitar erros; e 3) estratégias de adivinhação.

Outra taxonomia amplamente utilizada na literatura da área de educação, de acordo com Watter e Siebert (1990), divide as estratégias de experiência em responder testes em três categorias principais:

1) Estratégias utilizadas antes de iniciar o teste: ler todas as questões e começar com as mais fáceis; alocar tempo para cada questão conforme dificuldade e extensão; ler as instruções cuidadosamente; sublinhar palavras chaves.

2) Estratégias usadas durante o exame: responder as questões em ordem cronológica, revisar as questões logo depois de respondê-las; utilizar todo o tempo disponível; responder imediatamente o que vier à cabeça; responder todas as questões até as que não sabe.

3) Estratégias usadas depois de terminar o teste: revisar as respostas para corrigir erros gramaticais e de ortografia, reler as questões para verificar se as instruções foram entendidas corretamente; evitar correções de última hora.

Dessa forma, como discutido por Stanley (1971) e Crehan et al (1974), a experiência em responder testes é melhor compreendida em termos de capacidade, traços, atributos ou estados individuais do que características dos exames.

depende da suscetibilidade dos itens dos testes, Diamond e Evans (1972) alertam que essa experiência não deveria ser vista somente como uma característica do candidato, mas sim como uma idiossincrasia psicométrica dos testes relacionados à dicas em itens que apresentam falhas. Assim, conforme os autores, um item de teste que apresenta falhas na sua elaboração gera dicas que podem fazer com que o candidato utilize habilidades e conhecimentos não relacionados ao conteúdo do exame para resolver a questão.

Apesar dos conceitos de Stanley e Crehan et al estarem, aparentemente, em conflito com as ideias de Diamond e Evans, Sarnacki (1979) afirma que essas concepções são na verdade interdependentes e representam aspectos distintos que a experiência em responder testes possui.

Sintetizando esses posicionamentos, Millman et al (1965) afirmaram que a experiência em responder um teste pode ser dividida em duas partes: 1) estratégias que dependem do candidato; e 2) estratégias dependentes da elaboração do teste e/ou propósitos do teste. Essa é a visão que tem sido amplamente aceita (ROGERS, YANG, 1996).

Por outro lado, há controvérsias na área, como o questionamento de Rogers e Bateson (1991) sobre a dependência ou independência da experiência em responder testes do assunto que está sendo avaliado.

(...) parece que a aplicação efetiva das estratégias da experiência em fazer teste é dependente de um conhecimento parcial (do assunto avaliado no teste). Esse conhecimento parcial, embora insuficiente para responder a questão do teste, é suficiente quando acoplado com o conhecimento dos princípios da experiência em fazer teste para aumentar a probabilidade de responder corretamente os itens suscetíveis a tais princípios. Alunos com baixo conhecimento do conteúdo, mas com experiência em fazer teste e alunos com alto conhecimento do conteúdo, mas baixa experiência em fazer teste terão desempenho menor em tais itens do que os alunos que possuem ambos. (ROGERS, BATESON, 1991, p. 210)

Diante disso, muitas discussões ocorreram sobre a dependência ou não do conteúdo. Entretanto, conforme Watter e Siebert (1990) relatam, a definição mais utilizada não relaciona dependência do conteúdo com a estratégia em responder teste. Além disso, analisando os estudos sobre efeito retroativo de exames, observamos que, quando esse termo é utilizado, está ligada a uma das estratégias listadas pelos autores.