CONFIABILIDADE E VALIDADE DE TESTES PSICOLÓGICOS

Para saber o quanto um teste é adequado e se realmente atinge o que se propõe é preciso realizar uma avaliação objetiva, incluindo a determinação de sua fidedignidade e validade em situações específicas.

A fidedignidade ou confiabilidade refere-se à consistência da medida, podendo ser encontrada pela comparação entre os escores obtidos por uma mesma pessoa em momentos diferentes, pela seleção de um conjunto de itens equivalentes ou com a avaliação de diferentes examinadores.

De modo geral, a fidedignidade de um teste informa em que medida as diferenças individuais no desempenho são verdadeiras, ou seja, referem-se às características consideradas pelo teste ou podem ser decorrentes de erros casuais ou qualquer condição irrelevante para o objetivo da medida, naquela situação.

Mesmo que as condições de testagem sejam ótimas, uniformes e controladas, não existe um teste totalmente confiável. Há várias técnicas para se medir a confiabilidade dos escores de um teste, todas elas buscando o grau de concordância entre dois conjuntos de escores, obtidos por procedimentos diferentes. Essa grau de concordância pode ser expresso em termos de um coeficiente de correlação. O coeficiente mais comum é o de Pearson, de correlação produto-momento, o qual

100

considera a posição da pessoa no grupo e o seu desvio em relação à média do grupo (CRONBACH, 1996; MENEZES, 1998; ANASTASI; URBINA, 2000).

Neste trabalho, os coeficientes de fidedignidade foram buscados por meio de dois procedimentos: o teste-reteste, no qual a variância de erro relaciona-se à amostragem de tempo; e o método das metades dos itens, para o qual a variância de erro é a amostragem de conteúdos.

A validade de um teste significa a sua capacidade de medir aquilo que se propõe e a validação consiste no exame da correção e pertinência de uma interpretação elaborada, em outras palavras, informa sobre o que o teste mede objetivamente e o que pode ser inferido a partir de seus resultados. Os conceitos de validade alteraram-se em função do desenvolvimento dos testes e da expansão da sua aplicação em diversos campos.

O aspecto operacional da validade implica em uma avaliação sistemática do instrumento, sendo atualmente reconhecidos três principais tipos de investigação: a validade de conteúdo, a validade relativa ao critério e a validade de constructo.

A validade de conteúdo envolve o exame sistemático do conteúdo do teste,

determinando sua abrangência em relação ao objeto ou comportamento a ser medido. Deve-se garantir que os itens que compõem o teste sejam relevantes, claros e com gabaritos para a correção de tal modo que, em conjunto, os itens distribuam de modo adequado a ênfase sobre os conceitos a serem avaliados. Este tipo de validação é importante nas áreas de avaliação de competência ou da eficiência de programas de intervenção, educacional ou terapêutica. A validade de conteúdo é relevante desde a etapa de elaboração do teste, no planejamento cuidadoso, no mapeamento de diferentes aspectos do objeto, orientado por uma visão clara do que se pretende mensurar (CRONBACH, 1996; MENEZES, 1998; ANASTASI; URBINA, 2000).

Um procedimento relevante é o julgamento da validade aparente do teste, ou seja, o que superficialmente o teste parece medir. Para que um teste seja objetivamente válido e funcione efetivamente em situações práticas ele necessita parecer válido para o examinando. Essa validade aparente, no entanto, não deve substituir a validade objetivamente determinada (ANASTASI; URBINA, 2000). Na elaboração dos itens do

101

comporiam a versão final do teste, contando com a avaliação de juízes, pessoas com conhecimentos da área, que julgaram se os itens cobriam o traço para o qual o instrumento estava sendo dirigido.

De acordo com Pasquali (1998), na construção de instrumentos de avaliação psicológica, observa-se uma preferência pela coleta intuitiva e aleatória de uma amostra de itens e um esforço em demonstrar sua validade aparente. Tal procedimento, segundo o autor, não implica na explicitação da teoria que embasa a elaboração do instrumento e, em razão da fraqueza teórica presente na pesquisa e conhecimentos psicológicos, a determinação da validade aparente dos itens acaba sendo uma opção viável mas que resulta na construção de instrumentos psicométricos precários. Analisa, no entanto, que a falta de teorias sólidas sobre um determinado constructo não deve incentivar a fuga de uma ampla especulação teórica sobre ele. Deve-se levantar toda a evidência empírica sobre o constructo e procurar sistematizá-la e, desse modo, formular uma miniteoria sobre ele, que possa orientar a elaboração do um instrumento de medida.

Na validação por critério procura-se verificar em que medida o teste discrimina diferenças individuais relativas a determinada característica, de acordo com um critério padrão, ou seja, os resultados são comparados com algum critério ou medida. A interpretação referenciada pelo critério transforma o escore obtido no teste numa declaração a respeito de outra variável. Quando o teste e o critério são considerados simultaneamente, fala-se em validade concorrente e quando o critério é avaliado posteriormente, fala-se em validade preditiva. A correlação entre o escore obtido no teste com uma medida de critério é chamada de coeficiente de validade (CRONBACH, 1996).

A validade do constructo que embasa a elaboração de um teste também pode ser buscada. Os constructos são conceitos descritivos sobre a organização ou eficácia de pensamentos e ações. São utilizados quando a possibilidade de sua existência não se limita a situações específicas. Constructo vem de construe, referindo-se a uma maneira de organizar e construir o que foi observado. Uma teoria é elaborada a partir de constructos, sendo cada um deles uma categoria criada para descrever eventos, objetos, situações ou pessoas aparentemente semelhantes. Uma vez definidos os

102

significados de um constructo, os testes são elaborados para verificar em que medida uma pessoa com alto ou baixo desempenho age da forma teoricamente prevista.

A validade de um teste e do constructo subjacente são inseparáveis. Para Cronbach (1996, p. 166).

[...] A validação do constructo é um processo fluído, criativo. O construtor do teste ou qualquer investigador subseqüente trabalha para desenvolver uma interpretação, persuadir os outros de sua adequação e revisá-la sempre que forem reconhecidos aspectos inadequados. A autocrítica e a crítica das pessoas que preferem outras interpretações desempenham um papel importante. A interpretação tem aspectos científicos, mas ela freqüentemente inclui políticas e sugere ações práticas. Essa complexidade significa que a validação não pode ser reduzida a regras.

Quando um teste é elaborado para avaliar um constructo bem aceito, o teste corre mais riscos do que o constructo, no entanto, as evidências que emergem da validação de um teste podem orientar a revisão do constructo para o qual foi planejado. Para esse tipo de validação pode-se realizar uma série de estudos inter-relacionados, com o objetivo de verificação empírica, mediante análises estatísticas.

A validação de constructo exige informações provenientes de várias fontes para ampliar o conhecimento acerca da natureza do traço investigado, assim como das condições que influenciam seu desenvolvimento e manifestação. Entre as diversas técnicas de validação de constructo existentes, neste trabalho foram utilizadas: correlações com outro teste, análise fatorial e consistência interna. A seguir, uma breve descrição dos procedimentos de análise fatorial.

4.4 ASPECTOS ESTATÍSTICOS DA ANÁLISE FATORIAL DE ESCALAS DE