Salvador-CONBRATRIII-Dezembrode2011 RonaldNojosaeM´arciaD’EliaBranco Estima¸c˜aodadimensionalidadeemmodelosdaTRI

(1)

Estima¸c˜ ao da dimensionalidade em modelos da TRI

Ronald Nojosa e M´arcia D’Elia Branco

Universidade de S˜ao Paulo Instituto de Matem´atica e Estat´ıstica

mbranco@ime.usp.br

Salvador - CONBRATRI II - Dezembro de 2011

(2)

Introdu¸c˜ ao

Os modelos da TRI podem ser caracterizados por:

Tipo de variável resposta: dicotômica ou politômica.

N´umero de parˆametros de itens: 1P, 2P ou 3P.

Diferentes fun¸cões de liga¸cão ou CCI: log´ıstica, normal ou assimétrica.

Dimensionalidade do instrumento de medida ou do tra¸co latente: uni ou multidimensional.

As três últimas caracter´ısticas são suposi¸cões impostas ao modelo que podem ser testadas estatisticamente com a ajuda de técnicas diagnósticos ou de sele¸cão de modelos.

(3)

Introdu¸c˜ ao

Neste trabalho propomos o uso de um método bayesiano de sele¸cão de modelos para determinar a dimensionalidade do instrumento de medida, ou equivalentemente, a dimensão do vetor de tra¸cos latentes associado ao modelo TRI.

O modelo multidimensional considerado ´e o modelo probito (CCI normal).

A inferˆencia bayesiana ´e baseada em amostras de Monte Carlo com Cadeias de Markov.

O algoritmo utilizado ´e uma adapta¸c˜ao do RJMCMC proposto por Green (1995).

(4)

O modelo probito multidimensional

Respostas dicotˆomicas com CCI normal.

k a dimensionalidade do instrumento de medida.

θ_i = (θ_i1, . . . , θ_ik)^to vetor dos tra¸cos latentes associado ao i-´esimo indiv´ıduo,i= 1, . . . , N.

a_j = (a_j1, a_j2, . . . , a_jk)^t eb_j s˜ao parˆametros associados aos itens. Denoteη_j = (a^t_j, b_j), j = 1, . . . , J.

a_j esta relacionado com o parˆametro de discrimina¸c˜ao e b_j com a dificuldade do item

Φ a fun¸cão de distribui¸cão acumulada da normal padrão, em que

Φ(x) =

x

Z

−∞

(2π)⁻¹²exp

−z² 2

dz.

(5)

O modelo probito multidimensional

Y_ij |θ_i, η_j ∼Bernoulli(p_ij) em que

pij =P(Yij = 1|θi, ηj) = Φ(θ_i^taj−bj) Com as seguintes suposi¸c˜oes de independˆencia:

(a) independˆencia entre as respostas de diferentes indiv´ıduos;

(b) independência local, isto é, dado o vetor de tra¸cos latentes as respostas dos indiv´ıduos aos itens do teste são independentes.

A fun¸c˜ao de verossimilhan¸ca ´e dada por

N

Y

i=1 J

Y

j=1

Φ(θ_i^taj−bj)yij

1−Φ(θ_i^taj−bj)1−yij

(6)

Dificuldade e Discrimina¸c˜ ao multidimensionais

Parˆametro de Dificuldade:

DIF ICMj = bj

(Pk

l=1a²_il)^1/2. Parˆametro de Discrimina¸c˜ao:

DISCM_j =

k

X

l=1

a²_jl

!^1/2 .

(7)

Inferˆ encia Bayesiana com dimens˜ ao fixada

Especifica¸cão das distribui¸cõesà prioripara os parâmetros do itens ηj´s e dos indiv´ıduosθi´s. Para ambos os casos

consideramos normais multivariadas.

A inferênciaà posteriorié baseada em amostras MCMC, as quais nos permitem obter estimativas para todas as

quantidades desconhecidas.

Utilizamos a id´eia do m´etodo de dados aumentados (Tanner and Wong, 1987) com o amostrador de Gibbs (Gelfand and Smith, 1990). Usamos a sigla DAGS (Data Augmentation and Gibbs Sampling) para o nosso algoritmo.

Idéia básica do DAGS: Um conjunto de variáveis auxiliares (não observadas) é considerado de modo a obtermos formas explicitas para as distribui¸cões condicionais completas e permitir o uso do

(8)

Proposi¸c˜ao: O modelo de dados aumentados associado ao modelo probito multidimensional ´e dado por

P(y_ij, v_ij) =φ(v_ij |m_ij,1)I(y_ij, v_ij) comφ(.|µ, σ²) a f.d.p. da N(µ, σ²),m_ij =θ_i^ta_j−b_j e

I(yij, vij) =I(yij = 0)I(vij <0) +I(yij = 1)I(vij ≥0).

Vij ∼N(mij,1)s˜ao as vari´aveis auxiliares.

A fun¸c˜ao de verossimilhan¸ca aumentada resulta de um produto de normais truncadas.

N

Y

i=1 J

Y

j=1

φ(vij |mij,1)I(yij, vij).

(9)

As distribui¸c˜oes a priori consideradas s˜ao ηj ∼Nk+1(µη,Ση)

θ_i ∼N_k(µ_θ,Σ_θ) .

Resultando nas seguintes distribui¸c˜oes condicionais completas:

Para o vetor de tra¸cos latentes, obtemos um produto de normais multivariadas (dimens˜ao k);

Para o vetor de parˆametros dos itens, obtemos um produto de normais multivariadas (dimens˜ao k+1);

Para o vetor de vari´aveis auxiliares, obtemos um produto de normais truncadas unidimensionais.

(10)

Algoritmo 1

1 Adotar valores iniciais para (θ, η)

2 Simular independentemente vij da seguinte forma:

seyij = 0, simula da N(mij,1)I(vij <0);

sey_ij = 1, simula da N(m_ij,1)I(v_ij ≥0)

3 Simular valores do vetorθ_i a partir daN_d(H_ih_i, H_i)

4 Simular valores do vetorηj a partir da N_d+1(Gjgj, Gj)

5 Repetir até que os critérios de convergência sejam atingidos.

em queHi = (Σ⁻¹_θ +A^tA)⁻¹, hi= Σ⁻¹_θ µ_θ+A^tvi+A^tb G_j = (Σ⁻¹_η +X^tX)⁻¹ e g_j = Σ⁻¹_η µ_η+X^tv_j

comA uma matriz J×k e X a matrix N×(d+ 1)cuja i-´esima linha ´e(−1, θ_i).

(11)

Inferˆ encia Bayesiana com dimens˜ ao desconhecida

Considere kdesconhecido e portanto, um novo parˆametro a ser estimado.

Note que não podemos proceder de forma usual para estimar a distribui¸cão a posteriori conjunta pois a quantidade de parâmetros a ser estimado depende do valor dek.

Cada valor de kdefine um modelo diferente.

O algoritmo RJMCMC permite simular de cadeias de Markov

”‘saltando”’ entre espa¸cos de estados de diferentes dimens˜oes.

O algoritmo RJMCMC dado por Green (1995) esta associado com o algoritmo de Carlin e Chib (1995) apresentado no contexto de sele¸c˜ao de modelos.

(12)

Sele¸c˜ ao de modelos usando MCMC

Considere os seguintes poss´ıveis modelos: M₁, M₂, . . . , M_K. Para cada um dos modelos temos um vetor de parˆametros denotado por η_k de dimens˜aod_k,l= 1, . . . , K.

Superparˆametro: η= (η1, η2, . . . , η_K).

Quantidades a serem estimadas: η eM (associada ao modelo).

Idéia: Constuir uma CM para simular da distribui¸cão à posteriori de(η, M). A partir das amostras de MC da distribui¸cão à posteriorimarginal de M, calcular as probabilidade de M =k,k= 1, . . . , K.Escolher o modelo com maior probabilidadeà posteriori.

(13)

Sele¸c˜ ao de modelos em TRI: Nojosa (2010) - IME - USP .

Nosso algoritmo ´e baseado nos trabalhos de Lopes e West (2004) e na vers˜ao metropolizada do algoritmo de Carlin e Chib (1995).

Idéia básica dos algoritmos de Metrópolis:

fixa um valor inicial para o parˆametro;

simula um valor candidato de uma distribui¸c˜ao proposta q(.);

calcula uma probabilidade de aceita¸c˜aor;

simulau∼U nif(0,1).Seu < r aceita o valor simulado e move a cadeia para esse valor, se o valor n˜ao ´e aceito permanece no mesmo lugar.

Repete o processo at´e a convergˆencia.

(14)

Sele¸c˜ ao de modelos em TRI: Nojosa (2010) - IME - USP .

Algoritmo 2

1 Escolher um valor inicial para k, usar o Algoritmo 1 para obter valores iniciais para (θk, ηk).

2 Selecionar um valor candidato k^∗ para ”‘saltar”’ a partir de uma distribui¸c˜ao p(k^∗ |k) .

3 Condicionado a k^∗, simular valores de η_k^∗ a partir de uma proposta q_k^∗(η_k^∗).

4 Calcular a probabilidade de aceita¸c˜ao

r =min

1,L(k^∗, η_k^∗)π(η_k^∗ |k^∗)π(k^∗)q_k(η_k)p(k|k^∗) L(k, ηk)π(ηk|k)π(k)q_k^∗(η^∗_k)p(k^∗ |k)

5 Se o ”‘salto”’ para o modelo k^∗ for aceito, usamosp passos do algoritmo 1 para gerar novos valores dos parˆametros.

(15)

π(η_k|k) e π(k) são distribui¸cõesà priori.

A distribui¸c˜ao proposta q_k(η_k) considerada foi um produto de normais, com parˆametros estabelecidos a partir do uso do algoritmo 1.

A verossimilhan¸ca considerada na probabilidade de aceita¸cão L(k, η_k)é a marginal, obtida pela integra¸cão em rela¸cão ao tra¸co latente θ. Essa foi obtida aproximadamente como uso de métodos numéricos de quadratura Gaussiana.

o uso da verossimilhan¸ca marginal ´e baseado em argumentos dado em Lord(1980): dimensionalidade ´e uma propriedade dos itens.

(16)

Estudo de simula¸c˜ ao

Foram considerados trˆes modelos: unidimensional, bidimensional e tridimensional, respectivamente,M1, M2, M3.

N´umero de itens =40 e Numero de respondentes= 1000.

N´umero de r´eplicas: 10

Tabela: Estimativas das probabilidades`a posteriori

Modelo gerado k=1 k=2 k=3

k=1 0.9628 0.0365 0.0007 k=2 0.0000 0.9884 0.0116 k=3 0.0000 0.0001 0.9999 Todos as r´eplicas indicaram o modelo correto.

(17)

Compara¸c˜ ao com outros crit´ erios de sele¸c˜ ao

Tabela: Sele¸cão de modelo segundo critérios bayesianos Critério modelo gerado k=1 k=2 k=3

EAIC k=1 10 0 0

k=2 0 10 0

k=3 0 0 10

EBIC k=1 10 0 0

k=2 10 0 0

k=3 10 0 0

DIC k=1 0 0 10

k=2 0 0 10

k=3 0 0 10

(18)

Compara¸c˜ ao com outros crit´ erios de sele¸c˜ ao

Tabela: Sele¸cão de modelo segundo critérios clássicos Critério modelo gerado k=1 k=2 k=3

∆G² k=1 0 5 0

k=2 0 0 0

k=3 0 0 0

∆G²_c k=1 0 10 0

k=2 0 9 0

Wilson et. al. (1991) k=3 0 0 0

ID= ^∆G_g.l²^c k=1 8 2 0

k=2 0 10 0

Laros et. al. (2000) k=3 0 0 1

(19)

Aplica¸c˜ ao ENEM

Objetivo: Analisar a dimensionalidade da prova do ENEM.

A prova objetiva do ENEM-2007 era constitu´ıda de 63 itens. As ordens das questões ou op¸cões de respostas são alteradas formando 4 provas distintas: amarela, branca, rosa e verde.

Na nossa an´alise utilizamos uma amostra de 1500 indiv´ıduos selecionados aleatoriamente entre os indiv´ıduos submetidos a prova amarela.

Tabela: Estat´ısticas descritivas dos escores - prova amarela -.

Min q1 Md q3 Max

Popula¸c˜ao 0.0 25.0 32.4 40.0 63.0 Amostra 6.0 25.0 32.4 40.0 62.0

(20)

Aplica¸c˜ ao ENEM: conclus˜ oes

O modelo indicado foi o unidimensional com probabilidade 0.9998.

A conclus˜ao foi a mesma para os crit´erios EAIC, EBIC e ID.

Os critérios DIC e∆G²_c indicaram o modelo tridimensional, e o critério∆G² uma dimensão maior que três.

A prova do ENEM é usualmente citada como uma exemplo de teste multidimensional. No entanto, isso não foi confirmado pela nossa análise.

A partir de 2009 o ENEM foi reformulado. Uma proposta interessante de trabalho ´e aplicar a metodologia para avaliar a dimensionalidade do novo ENEM.

(21)

Aplica¸c˜ ao ENEM: estimativas dos parˆ ametros

Tabela: Estimativas do modelo unidimensional - prova amarela

Parˆametro Min q1 Md q3 Max M´edia

Dificuldade -1.80 -0.85 -0.02 0.68 24.91 0.65 Discrimina¸cão 0.04 0.45 0.56 0.72 1.07 0.57 Dificuldade(2) -1.80 -0.87 -0.05 0.65 5.91 0.26 Discrimina¸cão(2) 0.11 0.45 0.57 0.73 1.07 0.58 Proficiência -2.29 -0.65 -0.11 0.57 3.20 0.00

(2) sem o valor discrepante do item 51

(22)

Coment´ arios

O algoritmo também foi utilizado considerando tra¸cos latentes assimétricos. Um estudo de simula¸cão indicou que mesmo nessa situa¸cão o algoritmo consegue identificar bem a dimensão.

O algoritmo proposto é uma boa alternativa para solu¸cão do problema de determina¸cão da dimensionalidade.

O estudo de simula¸cão indica que o EAIC também é uma alternativa para identifica¸cão da dimensionalidade.

Sob a perspectiva cl´assica, o ID (Laros et. al., 2000) apresentou o melhor resultado para k <3.

(23)

Trabalhos Futuros

Os resultados sugerem um questionamento sobre a

dimensionalidade do ENEM. Trabalhos futuros neste dire¸c˜ao devem ser considerados.

O programa foi desenvolvido em C++ e o gerenciamento do processo foi destinado ao R. O programa deve ser otimizado para possibilitar o uso de banco de dados maiores e estima¸cão de dimensões maiores que três.

Outros modelos multidimensionais deveriam ser considerados.

(24)

Referˆ encias principais

Nojosa, R. (2010). Inferˆencia bayesiana em modelos

multidimensionais da resposta ao item. Tese de doutorado - IME- USP.

Green, P. (1995). Reversible jump Markov chain Monte Carlo computation and Bayesian model determination.

Biometrika,82, 711-732.

Carlin, B.P. and Chib, S.(1995). Bayesian model choice via Markov chain Monte Carlo methods. JRSS- B, 57, 473-484.

Gamerman, D. and Lopes, H. (2006). Markov Chain Monte Carlo. Chapman and Hall/CRC.

(25)

Referˆ encias

Fox (2010). Bayesian Item Response Modeling. Springer.

Gelfand and Smith (1990). Sampling-based approaches to calculing marginal densities. JASA, 85, 398-409.

Laros, J.A., Pasquali, L. e Rodrigues, M. M. (2000). An´alise de unidimensionalidade das provas do SAEB. CPAE, Instituto de Psicologia-UnB.

Lopes, H. and West, M. (2004). Bayesian model assesment in factor analysis. Statistica Science, 14, 41-67.

Tanner, M. and Wong, W.(1987). The calculation of posterior distributions by data augmentation. JASA, 82, 528-550.