Teoria de Resposta ao Item

(1)

Teoria de Resposta ao Item (TRI) Principais modelos

Teoria de Resposta ao Item

Introdu¸c˜ao e alguns modelos

Caio L. N. Azevedo, IMECC/Unicamp

Azevedo

(2)

I Teoria psicométrica desenvolvida para suprir necessidades na área educacional. É composta por conjunto de modelos que consideram variáveis latentes.

I Modelos de Resposta ao Item (MRI) : representam o

relacionamento entre tra¸cos latentes de indiv´ıduos e itens de um instrumento de medida (prova, question´ario). Tal modelagem consiste na probabilidade de obter um certo escore em cada item.

I Existe um grande número de classes de MRI : dicotômicos e policotômicos, um e múltiplos grupos, multidimensionais, longitudinais multin´ıveis, dentre outros. MRI apresentam elevado número de parâmetros.

I Aplicada em diversas áreas: educa¸cão, marketing, psiquiatria, genética etc.

I Surgiu, formalmente, a partir dos trabalhos de Lord (1952) e Rasch (1960).

Azevedo

(3)

I No Brasil vem sendo usada extensamente em avalia¸c˜ao educacional SAEB, ENADE, ENEM, ...

I No mundo: TOEFL, GRE, PISA, ...

I Ser´a parte fundamental dos exames vestibulares das universidades federais

I Decreto do MEC fala explicitamente em uso do “modelo log´ıstico de 3 parˆametros”

Azevedo

(4)

I Como em qualquer área da Estat´ıstica, modelo decompõe as observa¸cões em sinal (explicável) e ru´ıdo (não explicável)

Y =µ“ +⁰⁰erro, em que

E(Y) =µ.

I Vamos nos concentrar inicialmente em µ

I Depois cuidaremos do erro (mais f´acil)

Azevedo

(5)

I Relembrando,Y =µ“ +⁰⁰erro eE(Y) =µ.

I Hip´otese 0: µ=θ→proficiˆencia do aluno.

I Nesse caso, estimamosθ de cada aluno pela m´edia (ou soma) das respostas.

I Isso equivale a atribuir a cada aluno seu escore bruto

I E o que fazemos corriqueiramente´

I Isso ´e o melhor que pode ser feito?

Azevedo

(6)

I N˜ao!!!!!

I Indiv´ıduos podem ser submetidos a itens com diferentes n´ıves de dificuldades (diferentes provas).

I Como comparar tais resultados?.

I Como interpretar os escores?.

I Como caracterizar adequadamente os itens?.

I As estimativas do conhecimentos dos indiv´ıduos dependem do particular conjunto de itens (prova).

I As estimativas dos parˆametros dos itens dependem do particular conjunto de indiv´ıduos que respondem `a prova.

Azevedo

(7)

Formaliza¸c˜ao da TRI

I 1^a hip´otese (Rasch,1960): µi =θ−bi.

I bi ´e a dificuldade do ´ıtem i.

I Modelo de Rasch ou de 1 parˆametro.

I 2^a hip´otese: µ_i =a_i(θ−b_i).

I ai ´e a discrimina¸c˜ao do ´ıtem i.

I Modelo de 2 parˆametros.

Azevedo

(8)

I Vamos agora tratar do “erro”

I V´arios tipos de resposta poss´ıveis:

I Dicotˆomica (certo = 1 ou errado = 0).

I Politˆomica: nominal ou ordinal.

I Cont´ınua.

I Contagem.

I Vamos nos concentrar em resposta dicotˆomica (m´ultipla escolha)

Azevedo

(9)

I Existem 2 valores poss´ıveis para Y: 0 e 1

I Logo, usaremos a distribui¸c˜ao de Bernoulli onde P(Y = 1) =p.

I Como E(Y) =p, tender´ıamos a fazer: p=µi =ai(θ−bi).

Azevedo

(10)

I Evidˆencia emp´ırica

Proporção de respostas corretas por escore

0 10 20 30 40 50 60 70 80 90 100

0 5 10 15 20 25 30 35

Azevedo

(11)

I Evidˆencia emp´ırica

Azevedo

(12)

I Problema: 0≤p≤1 e−∞ ≤µ≤ ∞.

I Precisamos transformarµpara [0,1]

I Qualquer f.d.a de v.a. na reta serve a tal prop´osito.

I Principais transforma¸c˜oes usadas: f

I Φ(X) - f.d. da Normal .

I F(x) = 1

1 +e^(−x) - f.d. log´ıstica.

I Vamos nos concentrar na log´ıstica mas as ambas s˜ao muito parecidas.

Azevedo

(13)

I Assim, chega-se ao modelo log´ıstico com 2 parˆametros (L2P) dado pelas equa¸c˜oes:

P(Yij = 1|θ_j,ζ_i) =pij = 1 1 +e^−aⁱ(^θj−b_i) ou, analogamente,

log p_ij

1−pij

=−a_i(θ_j −b_i) em que

I Yij ´e a resposta do indiv´ıduo jao item i.

I ζ_i = (ai,bi).

I θj: tra¸co latente do indiv´ıduoj.

Azevedo

(14)

−4 −2 0 2 4

0.00.20.40.60.81.0

Curvas do modelo L2P

traço latente

probabilidade de resposta correta

a = 0.6 a = 0.8 a = 1 a = 1.2 a = 1.4

Azevedo

(15)

−4 −2 0 2 4

0.00.20.40.60.81.0

traço latente

b = −2 b = −1 b = 0 b = 1 b = 2

Azevedo

(16)

I Questões de múltipla escolha sempre permitem que acerte a questão mesmo aluno que não domine o conhecimento necessárioθ→ ∞.

I Modelar a probabilidade (aproximada) de resposta corretade alunos que respondem ao acaso e/ou tenham baixo n´ıvel de conhecimento.

I Incluir tal probabilidade no modelo de 2 parˆametros.

Azevedo

(17)

I Modelo de resposta ao item: SejaYij a resposta do indiv´ıduoj ao itemi.

Yij|(θj,ζ_i)∼Bernoulli(pij),

pij=P(Yij= 1|θj,ζ_i) =ci+ (1−ci) 1 1 +e^−aⁱ^(θ^j^−bⁱ⁾

I θj: tra¸co latente do indiv´ıduo j.

I ζ_i = (ai,bi,ci)⁰.

I ai: parˆametro de discrimina¸c˜ao (escala) do item i.

I bi: parˆametro de dificuldade (posi¸c˜ao) do item i.

I ci: probabilidade aproximada (assint´otica) de indiv´ıduos com tra¸co latente baixodo item i.

Azevedo

(18)

−4 −2 0 2 4

0.00.20.40.60.81.0

traço latente

a = 0.6 a = 0.8 a = 1 a = 1.2 a = 1.4

Azevedo

(19)

−4 −2 0 2 4

0.00.20.40.60.81.0

traço latente

b = −2 b = −1 b = 0 b = 1 b = 2

Azevedo

(20)

I De uma forma geral, os modelos de resposta ao item podem ser caracterizados por:.

I Y∼Bernoulli(P),

I P=F(θ,ζ,η_F),Fsão fun¸cões de distribui¸cão acumuladas.

I θ: tra¸cos latentes.

I ζ: parˆametros dos itens.

I η_F: parˆametros que carcaterizam a f.d.a (F).

Azevedo

(21)

I Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria da Resposta ao Item: Conceitos e Aplica¸cões. São Paulo: Associa¸cão Brasileira de Estat´ıstica.

I Lord, F.M., Norvick, M.R. (1968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley

I Lord, F.M. (1980). Applications of Item Response Theory to Practical Testing Problems. Hillsdale: Lawrence Erlbaum Associates

I Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991).

Fundamentals of Item Response Theory. Newburry Park: Sage Publications.

Azevedo