Análise dos itens pela Teoria de Resposta ao Item

Os estudos no âmbito da inteligência realizados nas primeiras décadas do século 20 bem como as controvérsias que os acompanharam levaram ao desenvolvimento da Teoria Clássica dos Testes (TCT). De acordo com Baker e Kim (2004) muitos construtos hoje familiares tais como escore verdadeiro, fidedignidade e validade surgiram do trabalho de Spearman ao desenvolver um modelo matemático para sua teoria de inteligência. Esses autores apontam que a teoria estatística dominante da época baseava-se em conceitos correlacionais. Assim, o elemento básico nessa teoria era o escore no teste; os itens e suas características desempenhavam um papel irrelevante na estrutura da teoria. Ao longo dos anos tanto psicometristas quanto estudiosos do campo prático levantaram discussões postulando que seria mais razoável que uma teoria sobre testes começasse com as características dos itens que compõem um teste do que com o escore resultante.

A teoria dos testes baseada em itens tem suas origens no trabalho de Binet e Simon no início do século 20. Esses pesquisadores utilizaram uma apresentação tabular da relação funcional entre a proporção de resposta correta ao item e a idade cronológica. Por meio desse procedimento eles visavam alocar os itens no teste de inteligência que eles elaboraram. Utilizando essa mesma abordagem, outros pesquisadores plotaram curvas relacionando duas variáveis. Ou seja, eles estavam utilizando curvas características dos itens. Assim, por muitos anos a abordagem da curva característica foi considerada simplesmente como uma técnica alternativa de análise de item (Baker & Kim, 2004).

O marco inicial da teoria de testes baseada em itens foi com o trabalho de Lawley (1943). Em um artigo pioneiro na área o autor mostrou como obter estimativas de máxima verossimilhança dos parâmetros da curva característica do item, definiu o escore verdadeiro em termos dos itens de um teste e mostrou que o coeficiente de fidedignidade clássico pode também ser expresso como uma função desses parâmetros do item. Lord (1952) aprimorou o trabalho de Lawley, mostrando que uma grande quantidade de construtos adicionais da TCT pode ser expressa como funções dos parâmetros das curvas características dos itens do teste. O trabalho desses dois autores estabeleceu os conceitos básicos da teoria psicométrica baseada em itens, agora conhecida como Teoria de Resposta ao Item (TRI) (Baker & Kim, 2004).

Existem muitas possibilidades de modelos de resposta ao item, diferindo na forma matemática da função característica do item e/ou no número de parâmetros especificados no modelo. Todos os modelos de TRI contêm um ou mais parâmetros descrevendo o item e um ou mais parâmetros para descrever o examinando. Assim, o passo inicial em qualquer aplicação da TRI é estimar esses parâmetros (Hambleton, Swaminathan & Rogers, 1991). No presente estudo, foi utilizado o modelo de dois parâmetros.

Modelo de Dois Parâmetros

No modelo de dois parâmetros são consideradas duas informações acerca do item, a dificuldade e a discriminação, como pode ser visto na expressão a seguir:

1 ( ) 1 exp[ ( )] j j j P Da b θ θ = + − −

Pj(θ ): Probabilidade de um indivíduo com habilidade θ responder o item j corretamente

θ: Habilidade ou traço latente

b: Parâmetro de dificuldade do item j a: Parâmetro de discriminação do item

D: Constante que pode assumir os valores: 1,7 quando se está ajustando o modelo logístico, ou 1 quando se está ajustando o modelo da ogiva normal.

De acordo com Crocker e Algina (1986), o modelo de um parâmetro pode ser visto como um caso especial do modelo de dois parâmetros, pois apresenta um parâmetro a menos. Na sequência é apresentado esse modelo.

Modelo de Um Parâmetro

No presente modelo todos os itens têm a mesma discriminação. A probabilidade de resposta é determinada apenas pela diferença entre o nível do traço do indivíduo e a dificuldade do item. O modelo de um parâmetro pode ser descrito da seguinte forma:

1 ( ) 1 exp[ ( )] j j P b θ θ = + − −

No presente estudo foi ajustado o modelo normal de 2 parâmetros para a análise dos 60 itens do SON-R 2½-7[a]. Buscou-se analisar a discriminação dos itens do teste a fim de

verificar sua qualidade psicométrica e a dificuldade com o intuito de verificar se o grau de dificuldade dos itens é crescente (ver Tabela 7.12).

Tabela 7.12 Parâmetros a e b dos 60 itens do SON-R 2½-7[a] (N = 1.200)

Item a b Item a b Mos1 0,88 -2,84 Sit1 2,01 -2,23 Mos2 1,27 -1,58 Sit2 2,00 -1,98 Mos3 1,12 -1,21 Sit3 1,44 -1,72 Mos4 2,20 -1,12 Sit4 1,41 -1,55 Mos5 1,86 -1,03 Sit5 1,15 -0,62 Mos6 2,02 -0,67 Sit6 1,02 -0,71 Mos7 2,12 -0,37 Sit7 0,98 0,12 Mos8 2,24 -0,20 Sit8 1,33 -0,32 Mos9 1,97 0,55 Sit9 0,94 0,21 Mos10 1,95 0,99 Sit10 1,04 0,98 Mos11 2,17 1,25 Sit11 0,98 1,65 Mos12 1,91 1,74 Sit12 1,30 1,64 Mos13 1,77 2,16 Sit13 1,40 1,99 Mos14 2,59 2,04 Sit14 1,98 2,05 Mos15 2,57 2,26 Pad1 1,58 -2,38 Cat1 2,29 -1,70 Pad2 1,46 -2,20 Cat2 2,48 -1,62 Pad3 1,36 -2,58 Cat3 1,78 -1,61 Pad4 1,52 -2,49 Cat4 1,71 -1,25 Pad5 1,17 -2,29 Cat5 1,15 -0,80 Pad6 1,82 -1,34 Cat6 1,48 -0,81 Pad7 1,43 -1,24 Cat7 1,13 -0,38 Pad8 2,06 -0,70 Cat8 1,48 -0,09 Pad9 2,68 -0,47 Cat9 1,50 0,04 Pad10 1,95 0,10 Cat10 1,21 0,59 Pad11 1,94 0,51 Cat11 1,52 0,79 Pad12 1,86 0,62 Cat12 1,41 1,14 Pad13 1,83 1,11 Cat13 1,26 1,27 Pad14 1,77 1,14 Cat14 1,23 1,66 Pad15 2,22 1,56 Cat15 1,25 2,14 Pad16 3,01 1,96

Frente ao exposto nessa tabela quanto à discriminação, parâmetro a, observa-se que quase todos os itens possuem índices satisfatórios. Muitos itens apresentam discriminação superior a 2,0 e o último item do subteste Padrões possui discriminação igual a 3,0, que é um valor bastante elevado para esse parâmetro. Todavia, considerando o fato de que apenas poucos sujeitos da amostra alcançam e acertam esse item, hipotetiza-se que problemas como

falta de informação tenham atrapalhado a estimação da TRI. Ademais, a pequena variabilidade de resposta em alguns itens influencia a estimativa da discriminação.

No que se refere à dificuldade, verifica-se que alguns itens possuem dificuldade inferior ou superior ao esperado para eles. Não obstante, para efetuar mudanças na ordem dos itens é necessário que se façam estudos mais aprofundados. Esse fato já ocorreu em outros estudos com os testes SON e, ao se mudar a ordem dos itens indicados, em outros estudos o mesmo ocorria com outros itens. Dessa forma, é necessário cautela quanto a esse aspecto. Ademais, no procedimento adaptativo os itens de entrada são: 1, 3 ou 5 e o critério de parada são 3 erros em todo o subteste, ou 2 consecutivos na segunda parte dos subtestes de Execução. Dessa forma, as diferenças encontradas na dificuldade não influenciam no resultado do teste.