Fundamentos da psicometria ALESSANDRA GOTUZO SEABRA
MÉTODOS ERRO AVALIADO
Por avaliadores Subjetividade dos avaliadores Teste-reteste Estabilidade dos resultados em
mais de uma aplicação Formas alternadas; Conteúdo dos itens metades (splithalf)
α e K-R 20 Homogeneidade do grupo de itens Formas alternadas Conteúdo dos itens e estabilidade retardadas dos resultados em mais de uma
investigar o quão estável são os resultados obtidos em um teste respondido mais de uma vez por uma mesma pessoa ou grupo de pessoas.
O método de formas alternadas (split
half) trata da verificação da equivalência do
conteúdo abordado por uma ferramenta de avaliação, de modo que esse conteúdo é ge- ralmente dividido em duas metades equiva- lentes. Para determinar o quão consistente é um grupo de itens ou estímulos, costumam ser utilizados métodos que verificam sua homogeneidade, o alfa de Cronbach (α) e o Kudler-Richardson 20. Por fim, o método das formas alternadas retardadas diz respei- to à integração do método de formas alter- nadas e teste-reteste, isto é, verifica-se tanto a equivalência do conteúdo de um instru- mento que é dividido em formas equiva- lentes quanto a estabilidade das pontuações obtidas ao longo do tempo (duas aplicações ou mais).
Altos índices de fidedignidade suge- rem que:
a) as variáveis que com- põem o instrumento são consistentes, isto é, há in- dício de um construto la- tente subjacente comum a essas variáveis;
b) o conteúdo abordado em conjuntos de variáveis do instrumento (dois con- juntos) refere-se a um mesmo construto (no ca- so, uma habilidade espe- cífica); e
c) o desempenho dos sujei- tos tende a ser avaliado adequadamente ao longo do tempo.
Ainda no que se refere aos índices de fidedignidade, não é consensual a quanti- dade de erro aceitável na avaliação realiza- da por determinado instrumento. Contudo,
para os índices padronizados de zero a 1, em geral pautados na correlação, costuma- -se considerar como minimamente aceitá- vel o índice de 0,70 (Nunnally, 1978).
Uma vez que o instrumento de avalia- ção apresente índices dentro do que é acei- tável em termos de quantidade de erro, in- dicando que se está avaliando um construto, é necessário investigar qual é esse construto. Na testagem psicológica, incluindo a neu- ropsicológica, verificam-se as evidências de que uma dada ferramenta avaliativa de fa- to mede o que se pretende por meio da ade- quação das interpretações realizadas às res- postas que os sujeitos dão à ferramenta em questão.
O raciocínio subjacente a esse pro- cedimento é que, se o instrumento de fato avalia determinado construto, então as in- terpretações que o profissional faz das res- postas dos sujeitos devem ser adequadas. A propriedade que diz respeito a essa verifi- cação é a validade, que se refere mais às in-
terpretações realizadas do que propriamente ao teste. De fato, o instrumento deve funcionar como uma ponte entre o construto que se pre- tende avaliar e as interpreta- ções realizadas. Nesse senti- do, buscar por evidências de validade refere-se a investigar o quão adequadas são as in- terpretações realizadas a par- tir das respostas obtidas em um teste. Cabe ressaltar que existem diversos modos de se buscar evidências de valida- de para as interpretações rea- lizadas, isto é, diversas fontes de evidências de validade. Na Tabela 5.2 são apresentadas as fontes e sínteses de seus conceitos mais recentes (AERA, APA, & NCME, 1999; Ana- che, 2011; Primi, Muniz, & Nunes, 2009).
É possível observar que são cinco as fontes de busca por evidências de validade.
Altos índices de fidedignidade sugerem que:
a) as variáveis que compõem o instrumento são consis- tentes, isto é, há indício de um construto latente subja- cente comum a essas va- riáveis;
b) o conteúdo abordado em conjuntos de variáveis do instrumento (dois conjun- tos) refere-se a um mes- mo construto (no caso, uma habilidade específica); e c) o desempenho dos sujeitos
tende a ser avaliado ade- quadamente ao longo do tempo.
72
Fuentes, Malloy-Diniz, Camargo & Cosenza (orgs.) As evidências com base no conteúdo di- zem respeito à verificação de quanto um dado instrumento representa o construto que tende avaliar. Distintamente, as evidên- cias com base na estrutura interna referem- -se à investigação empírica da composição dos estímulos que integram um instrumen- to, considerando o construto que está sendo avaliado. A busca por relações entre as pon- tuações obtidas em um determinado teste e variáveis externas a este (p. ex., outra fer- ramenta de avaliação ou características do indivíduo, como idade ou escolaridade) re- fere-se às evidências com base nas relações com variáveis externas.Ainda, as evidências com base no pro- cesso de resposta dizem respeito à verifi- cação empírica dos processos mentais uti- lizados pelo avaliado ao responder um instrumento de avaliação específico. Por fim, as evidências com ba-
se nas consequências da tes- tagem se referem à investi- gação do impacto do uso de uma ferramenta de avaliação (ou até mesmo do processo como um todo) na vida das pessoas e, mais amplamente, na sociedade.
Após o acúmulo de evidências de- monstrando que o instrumento avalia prio- ritariamente determinado construto e qual construto é esse, é necessário que se estabe- leçam normas para que os respondentes se- jam localizados em determinado nível do construto pelo instrumento. Como coloca- do por Urbina (2007, p. 83),
[...] independentemente de quantas fun- ções estatísticas forem usadas na testagem psicológica, na análise final o significado dos escores dos testes deriva dos referen- ciais que usamos para interpretá-los e do contexto no qual eles serão obtidos [...].
A propriedade psicométrica que está relacionada com esse processo é a norma- tização.
O processo de normatização de uma ferramenta de avaliação diz respeito ao estabelecimen- to de uma escala de medi- da que possibilite locali- zar o sujeito no construto e pode ser realizado com ba- se em distintos referenciais. Tradicionalmente, esse pro- cedimento pode ser realizado
TABELA 5.2
Fontes de evidência de validade