Aspectos técnicos da validade de uma avaliação

Passamos a tratar de questões técnicas de um exame que envolvem validade e seus vários aspectos, principalmente no que diz respeito às interpretações que fazemos a partir do mesmo e adequação para o uso em contextos específicos.

Para McNamara (2000), o elaboradores de um exame precisam provar que as interpretações feitas a partir dos resultados desse exame são válidas. Essas questões nos direcionam para aquilo que tem sido um grande desafio da pesquisa na área de avaliação, que é a validação de testes, envolvendo questões de validade em seus aspectos.

O processo de validação, que deve ser realizado pelos elaboradores de um exame, principalmente nos de larga escala, não é o objetivo deste estudo. Nosso propósito é apenas levantar algumas questões gerais que possam servir de orientação para fundamentarmos nossa análise do exame YLE com relação ao seu uso.

Da mesma forma que acontece em outras áreas, diferentes teóricos abordam a questão da validade de exames usando diferentes termos para se referir às qualidades necessárias para que um teste seja considerado válido. Além disso, o conceito tem passado por reformulações ao longo dos anos.

De acordo com Chapelle (1999, p. 254), o conceito de “validade” tem sido amplamente discutido entre teóricos da avaliação, sendo normalmente usado para se referir à qualidade ou aceitabilidade de um teste. Entretanto, a autora menciona que, apesar da aparente estabilidade e clareza do termo, seu conceito e abrangência têm apresentado mudanças significativas. Validade era anteriormente considerada como uma característica de um teste, sendo que o mesmo seria considerado como válido se medisse com precisão aquilo que deveria medir. A autora (1999, p. 258), prossegue apontando que, atualmente, a validade é vista como um argumento a respeito da interpretação e uso de um teste, representando um conceito unitário que não pode mais ser dividido, como anteriormente, em tipos de validade – de construto, de conteúdo e de critérios – que não apresentem integração entre si. Com relação ao conceito de “confiabilidade” (reliability), que era anteriormente considerado como um aspecto conflitante e distinto de validade, pode ser considerado como um tipo de evidência de validade (CHAPELLE, 1999).

Backman e Palmer (1996) evidenciam que, anteriormente as qualidades de um teste eram vistas como características independentes e às vezes excludentes, isto é, se uma qualidade fosse privilegiada, isso implicaria a exclusão de outra. Os referidos autores, contrários a essa visão, consideram que essas características devem ser analisadas de forma integrada e que, apesar de haver tensão natural entre algumas delas, como por exemplo, autenticidade versus confiabilidade ou validade e confiabilidade, elas não são excludentes entre si. Ao invés disso, os autores entendem que devemos reconhecer a sua complementaridade, procurando encontrar o equilibrio entre elas, o que dependerá da situação de avaliação específica.

O conceito contemporâneo de validade, traz a validade de construto como centro do conceito, sendo a validade de conteúdo e de critério tomadas como evidências diretamente a ele relacionadas, conforme corroborado por Scaramucci et al. (2008).

Hughes (2003) também concebe o termo “validade de construto” para se referir ao conceito geral e abrangente de validade. Entretanto, para efeito de evidência empírica, segundo o autor, é necessário considerar as formas subordinadas a ela (validade de conteúdo, de critério, entre outras). Isso significa que não é suficiente afirmar que um teste

apresenta validade de construto, havendo a necessidade de prová-lo empiricamente a partir da análise de vários aspectos.

Podemos notar que os teóricos da avaliação citados convergem no que diz respeito à validade como um conceito único que não pode ser dividido em tipos de validade e de confiabilidade e analisados independentemente. Validade representa um argumento usado para defesa das interpretações feitas a partir de resultados e uso de um teste.

Hughes (2003) menciona que há aspectos que não são considerados por alguns autores como uma noção científica ou que não representam uma evidência de validade, entretanto, mostram-se importantes e devem ser considerados numa análise, citando como exemplo a “validade de face” que diz respeito à aparência do teste. Dessa forma, um exame tem validade de face se aparenta medir aquilo que pretende medir.

Com o objetivo de esclarecer as características dos aspectos que compõem o conceito de validade contemporâneo, apresentamos abaixo um quadro explicativo (Quadro 1 – Validade e seus aspectos).

VALIDADE

Argumento a respeito da interpretação e uso de um teste (CHAPELLE, 1999)

VALIDADE DE CONTEÚDO

Um teste é uma amostra representativa das habilidades linguísticas/estruturas a serem avaliadas. O teste deve conter amostra daquilo que é relevante para a avaliação, sendo que as escolhas feitas com relação ao que é relevante vão depender dos objetivos do teste (HUGHES, 2003).

VALIDADE DE CONSTRUTO

Concepções de língua e linguagem que norteiam o exame.

VALIDADE DE CRITÉRIO

Refere-se ao grau de comparabilidade estabelecido entre os resultados do teste e os resultados de outra avaliação independente e confiável do desempenho do candidato. Duas características diferentes compõem essa validade: Validade concomitante (Concurrent validity) – o teste fornece resultados similares aos de outros testes, geralmente já validados.

Validade preditiva (Predictive validity) – o teste prevê com precisão o desempenho futuro do candidato. (HUGHES, 2003).

CONFIABILIDADE

Refere-se à consistência e estabilidade dos resultados

Hughes (2003) destaca dois componentes da confiabilidade de um teste, a saber: a) o desempenho dos candidatos, que deve ser semelhante quando aplicado para o mesmo público em momentos diferentes; b) pontuação (scoring), a qual deve ser objetiva e apresentar resultados próximos quando avaliado por mais de um corretor.

Outros fatores podem ser evidenciados no sentido de interferir na confiabilidade de um teste como, por exemplo, clareza dos enunciados, formato do teste (familiaridade dos alunos), a duração do exame, fatores relacionados à administração do teste (as condições do local do teste com relação à iluminação, assentos, isolamento acústico, entre outros), o modo como o professor ou responsável administra a aplicação e questões afetivas, tais como ansiedade, entre outros. (HUGHES, 2003).

JUSTIÇA (Fairness)

Refere-se a dois fatores: a) elaboração adequada do teste passando por todas as fases de