Modelos para dados dicotˆomicos.

(1)

Modelagem e Inferˆencia Bayesiana em Dados da Resposta ao Item

M´arcia D’Elia Branco - mbranco@ime.usp.br -

Universidade de S˜ao Paulo Instituto de Matem´atica e Estat´ıstica

http://www.ime.usp.br/ mbranco

Semin´ario - agosto de 2011 -

(2)

I. Introdu¸c˜ao

1. Motiva¸c˜ao e Hist´oria

Teoria dos Tra¸cos Latentes em Psicometria.

Teoria Clássica ×Teoria Moderna dos Testes . Centrar a análise nos itens e não no escore do teste.

Possibilidade de comparar resultados de diferentes testes e diferentes popula¸c˜oes.

Frederic Lord (1952, 1953 e 1968). Artigos na Psychometrika, Educational and Psychological Measurement e livro com Novick .

Georg Rasch (1952-53, 1960 e 1961) - An´alise de dados no Instituto Militar da Dinamarca e artigos.

(3)

2. Caracter´ısticas dos Dados.

Instrumento de avalia¸c˜ao (Teste) composto deI Itens.

Uma amostra de N indiv´ıduos (sujeitos) responde ao Teste.

Os dados formam uma matrixN ×I cujas componentes Y_ji podem ser dicotˆomicas (zeros e uns) ou politˆomica

(1,2,3, . . . , k).

Objetivo: modelar as probabilidades de acertos aos itens como fun¸cão de quantidades (parâmetros) associadas aos itens e quantidades (parâmetros ou variáveis latentes) associadas aos indiv´ıduos.

Interesses: (1) avaliar o instrumento de medi¸c˜ao (Teste) e (2) avaliar as habilidades dos indiv´ıduos.

(4)

3. Aplica¸c˜oes.

Avalia¸c˜oes Educacionais no Brasil (INEP): SAEB, ENEM, ENADE, Prova Brasil.

Avalia¸c˜oes Educacionais Internacional: Pisa.

4. Recursos Computacionais

BILOG-MG e MULTILOG - http://www.ssicentral.com/irt Pacote no R: EstatR.exe -

http://www.inf.ufsc.br/dandrade/AvaliacaoEducacional Pacote no R -ltm - Latent Trait Models

BUGS (Win ou Open) -

http://www.mrc-bsu.cam.ac.uk/bugs/winbugs

(5)

Modelos para dados dicotˆomicos.

1. Modelo de Rasch (1PL) Y_ji|θ_j ∼Bernoulli(p_ji) com

pji = 1

1 +e⁻^(θ^j⁻^βⁱ⁾

0.00.20.40.60.81.0

p0

b=0 b=1 b=2

(6)

Modelos para dados dicotˆomicos.

2. Modelo log´ıstico de trˆes parˆametros (3PL).

P(Yji = 1) =ci+ (1−ci) 1 1 +e⁻^αⁱ^(θ^j⁻^βⁱ⁾ α₁, . . . , αI são os parâmetros de discrimina¸cão dos itens.

β₁, . . . , βI s˜ao os parˆametros de dificuldade dos itens.

θ1, . . . , θN são os parâmetros de habilidades ou proficiência.

c₁, . . . , c_I s˜ao os parˆametros de acerto ao acaso dos itens(entre zero e um).

βi representa a habilidade necess´aria para uma probabilidade de acerto aoi-´esimo item igual a(1 +c)/2.

O parâmetro αé a derivada da tangente da curva no ponto de inflexão.

(7)

Curva Caracter´ıstica do Item - CCI -

−4 −2 0 2 4

0.20.40.60.8

CCI 3PL com b=1, a=1 e c= 0.2

habilidades

prob. acerto

(8)

CCI

−4 −2 0 2 4

0.00.20.40.60.81.0

CCI 2PL com b=0 (a=0.5, 1 e 2)

habilidades

prob. acerto

(9)

CCI

−4 −2 0 2 4

0.20.40.60.81.0

CCI 3PL com b=0 e a=1 (c=0.1, 0.2 e 0.3)

habilidades

prob. acerto

(10)

Modelos para dados dicotˆomicos.

3. Modelo probito (ogiva normal) de trˆes parˆametros (3PN)

P(Yji= 1) =ci+ (1−ci)Φ(αi(θj−βi))

Esse modelo pode ser muito bem aproximado pelo 3PL como d= 1.7

P(Y_ji= 1) =c_i+ 1−c_i 1 +e⁻^dαⁱ^(θ^j⁻^βⁱ⁾

Φé a fun¸cão de distribui¸cão acumulada da normal padrão.

(11)

Modelos para dados dicotˆomicos.

4. Modelo probito assimétrico (ogiva skew-normal) de três parâmetros (3PSN).

P(Yji= 1) =ci+ (1−ci)ΦSN(αi(θj−βi);δi) ΦSN é a f.d.a. da normal assimétrica padrão.

O novo conjunto de parˆametrosδ1, . . . , δI est˜ao associados a assimetria da CCI.

Esses quantidades estão associadas aos itens e são denominados parâmetros de penaliza¸cão.

B´azan, Branco and Bolfarine (2006). Bayesian Analysis.

(12)

-4 -2 0 2 4

0.00.20.40.60.81.0

latent variable

probability of correct response

ICCs with negative asimmetry

d= -0.9

d= -0.7

d= -0.5

d=0

-4 -2 0 2 4

0.00.20.40.60.81.0

latent variable

probability of correct response

ICCs with positive asimmetry

d= 0 d= 0.5

d= 0.7 d= 0.9

(13)

A distribui¸c˜ao de probabilidades normal assim´etrica

Fun¸c˜ao densidade de probabilidade

f(z) = 2φ(z)Φ(δz) δ= √^λ

1+λ ∈[−1,1].

Ent˜ao,X=ψ+τ Z ∼SN(ψ, τ, λ).

E[Z] =δq

2 π

V[Z] = 1− ²_πδ² δ = 0→Z∼N(0,1)

δ >0(δ <0)assimetria positiva (negativa) unimodal

(14)

Estima¸cão dos Parâmetros: Máxima Verossimilhan¸ca.

A fun¸c˜ao de verossimilhan¸ca p(Y|θ, η) =

I

Y

i=1 J

Y

j=1

[pij]^Y^ij[1−pij]¹⁻^Y^ij

em quepij =f(θ, η).

Independˆencia entre indiv´ıduos.

Independˆencia condicional entre os itens (dado θ).

η = (α, β, c) vetor de parˆametros associados aos itens.

Total de parˆametros do modelo 3I+J . Falta de identificabilidade.

Assumindo θj ∼N(0,1), utiliza-se o m´etodo de verossimilhan¸ca marginal.

(15)

Estima¸cão dos Parâmetros: Inferência Bayesiana

Especifica¸c˜ao de distribui¸c˜oes a priori para η.

A suposi¸cãoθ_j ∼N(0,1)é considerada também uma distribui¸cão a priori.

Obten¸c˜ao da distribui¸c˜ao a posteriori para todas as quantidades desconhecidas.

Utiliza-se m´etodos MCMC para obter as distribui¸c˜oes a posteriori marginais aproximadas.

Um algoritmo de dados aumentados combinado com amostrador de Gibbs ´e considerado.

Possibilidade do uso do aplicativo bayesiano WinBUGS.

(16)

Exemplo 1: Fox, J-P (2010). Bayesian Item Response Modeling. Springer.

Teste de matem´atica aplicado a N=200 estudantes com I=5 itens.

Modelos ajustado 2PN com o uso do programa WinBUGS.

(17)

Exemplo 1: Estima¸c˜ao dos parˆametros dos itens

(18)

Exemplo 1: Algumas distribui¸c˜oes a posteriori.

(19)

Exemplo 2: Teste de Matem´atica no Peru

Teste aplicado a 974 estudantes da quarta série primária de escolas publicas da área rural no Peru. O teste contêm 18 itens, cada item categorizado como correto(1) ou incorreto(0).

Estat´ısticas descritivas dos escores:

M´edia=8.27 Mediana=8 desvio padr˜ao=4.20 assimetria=-0.075 curtose= -0.836 .

Distribui¸c˜oes a priori (modelo de 2PSN):

ai ∼N(1; 0.5)I(0; ), bi ∼N(0; 2) eδi∼U₍₋_1,1) i= 1, . . . ,18.

θj ∼N(0,1)ouθj ∼SN(0,1, γ) j = 1, . . . ,974.

(20)

Exemplo 2: Medidas de compara¸c˜ao de modelos.

Tabela: Comparing the PN, SPN and SPSN models using different criteria for Math data

Criterion PN SPN PSN SPSN

Number of parameters 1010 1028 1013 1049 Deviance of the posterior means 16865 15139 16861 15168

Posterior expected deviance 16012 14096 15999 15994 ρ_D effective number of parameters 853 1042 862 -826

DIC 17718 16181 17723 14341

Expected AIC 18885 17195 18887 17266

Expected BIC 26734 25184 26760 25418

SSR posterior mean 17570 12800 17550 12470

(21)

Aplica¸c˜ao: Teste de Matem´atica

Conclus˜oes:

Utilizando diversos crit´erios de compara¸c˜ao de modelos optamos pelo modelo 2SPN.

A m´edia a posteriori de δ14 foi igual a 0.324 indicando assimetria positiva para este item.

A CCI do item 14 possui uma taxa de crescimento maior no inicio e menor no final.

O item 14 discrimina melhor os indiv´ıduos com habilidades baixas, do que os indiv´ıduos com altas habilidades. Portanto,

”‘penaliza”’ indiv´ıduos com altas habilidades.

(22)

Modelos que consideram a limita¸c˜ao de tempo.

Goegebeuret al (2008) prop˜oe o modelo

p_ij =c_i+ (1−c_i)G(m_ij), (1) com

G(mij) =F(mij)Pi(ηj, λj), Pi(ηj, λj) =minn

1, ri(ηj, λj)o

, (2)

e

ri(ηj, λj) =h 1− i

k−ηj

iλ_j

. (3)

(23)

Modelos que consideram a limita¸c˜ao de tempo.

Os dois novos parˆametrosη_j ∈[0,1]e λ_j >0 est˜ao associados aos indiv´ıduos.

ηj representa a tolerance towards speededness(tolerˆancia a press˜ao do tempo).

λj representa apropensity to guessing under speededness.

Goegebeur, et al (2008) propõe estimar os parâmetros via máxima verossimilhan¸ca marginal

Baz´an, Valdivieso e Branco (2011) prop˜oe o uso da metodologia bayesiana.

(24)

Modelos multidimensionais.

Nojosa (2010) propõe uma análise bayesiana com uso de algoritmos MCMC para estimar a dimensão do vetor de habilidades.

E realizado um estudo de simula¸cão para verificar adequa¸cão´ da técnica para recuperar os paâmetros do modelo.

A metodologia ´e aplicada a dados do ENEM, concluindo pela unidimensionalidade da prova.

(25)

Referˆencias

Andrade, Tavares e Valle(2000). Teoria da Resposta ao Item:

Conceitos e Aplica¸c˜oes. ABE.

Jorge Luiz B´azan Guzman (2005) - Tese de doutorado - IME-USP.

Baz´an, Branco e Bolfarine (2010). Extensions of the skew normal ogiva item response model. Submetido.

Baz´an, Branco e Bolfarine (2006). A skew item response model. Bayesian Analysis.

Goegebeur, De Boeck , Wollack e Cohen (2008). A Speeded Item Response Model with Gradual Process Change,

Psychometrika.

Ronald Nojosa(2010). Inferˆencia bayesiana em modelos multidimensionais de resposta ao item. Tese - IME-USP.