Introdução à Teoria de Resposta ao Item

Introdu¸c˜

ao `

a Teoria de Resposta ao Item

Caio L. N. Azevedo, IMECC/Unicamp

Dani Gamerman, DME/UFRJ

I CONBRATRI, Florian´

opolis

9 de dezembro de 2009

Parte II

I Parte 2:

I Implementa¸c˜ao computacional.

I An´alise de dados 1.

I Modelo de 3 parˆametros via Bilog.

I An´alise de dados 2.

I DIF: funcionamento diferencial do item

I Modelos multin´ıveis: estudo de fatores associados.

I Equaliza¸c˜ao.

I Assimetrias.

I Bilog: Desenvolvido para a plataforma Windows, algoritmos j´a implementados

.

I Winbugs: possibilidade de implementa¸c˜ao dos m´etodos (modelo de 1 parˆametro implementado como exemplo)

.

I R: existˆencia de pacotes que permitem o ajuste de diversos modelos

.

I Muitos autores deixam rotinas disponibilizadas em suas p´aginas na internet ou atrav´es de e-mail

.

I Bilog: Desenvolvido para a plataforma Windows I Estima¸c˜ao dos itens: MVM e MMAP.

I Acelerador de Ramsey. I Regress˜ao r´ıgida.

I Estima¸c˜ao dos hiperparˆametros. I Estima¸c˜ao das densidades latentes. I Tra¸cos latentes: MV, EAP e MAP.

I WinBugs: Desenvolvido para a plataforma Windows e Linux I Permite a implementa¸c˜ao de (qualquer?) modelo para se fazer

inferˆencia bayesiana via MCMC

I Disp˜oe de v´arios algoritmos de simula¸c˜ao. I Nem sempre ´e f´acil implementar certos modelos.

I Como implementar Dados aumentados? Reparametriza¸c˜oes em matrizes de covariˆancia?

I “Caixa preta”. I Flexibilidade restrita.

I R: v´arios pacotes, inclusive de modelos recentes da literatura, implementados.

I Dispon´ıvel em Windows e Linux I E poss´ıvel unir R e C++, por exemplo.´

I Alguns desses pacotes, permitem que seus c´odigos sejam modificados/adaptados.

I V´arios modelos: 1,2, 3 parˆametros, nominal, ordinal, multidimensional, multin´ıvel etc.

An´

alise de dados 1

I Programa de Desenvolvimento Escolar (PDE) conduzido pelo Instituto Nacional de Pesquisas Educacionais (INEP), veja (http://www.inep.gov.br/).

I Avaliar a evolu¸c˜ao de crian¸cas, em Portuguˆes e Matem´atica, durante 5 anos letivos.

I Alguns estados brasileiros das regi˜oes Norte, Nordeste e Centro-Oeste.

I Selecionou-se uma amostra aleat´oria de 1000 indiv´ıduos e considerou-se suas respostas `a 33 itens.

I Analisamos apenas a prova de matem´atica.

An´

alise de dados 2

I Programa Nova Escola, do RJ

I Avalia¸c˜ao abrangente da rede estadual

I dados da prova de Matem´atica da 5a s´erie, ensino fundamental 56 quest˜oes (divididas em 7 blocos)

I # alunos: 67.283 (sendo 3998 da capital) amostra aleat´oria com 2000 da capital e 2000 do interior

Resultados da an´

alise de dados 2

Resultados da an´

alise de dados 2

cc

I Algumas limita¸c˜oes dos modelos apresentados:

I Dimens˜ao dos tra¸cos latentes.

I N´umeros de grupos envolvidos: equaliza¸c˜ao.

I Itens (CCI’s) s˜ao imut´aveis perante indiv´ıduos.

I Indiv´ıduos constituem popula¸c˜ao homogˆenea.

I CCI´s s˜ao sim´etricas.

Equaliza¸

c˜

ao

I

Comparar resultados obtidos atrav´

es de provas diferentes

(com itens comuns). Exemplo: SAEB.

I

Indiv´ıduos que pertencem a diferentes grupos, devem possuir

caracter´ısticas diferentes.

I Modelo de grupos m´ulitplos : Seja Yijk a resposta do indiv´ıduo j,

k ao item i

.

Yijk|(θjk, ζi) ∼ Bernoulli(pijk) ,

pijk = P(Yijk= 1|θj, ζi) = ci+ (1 − ci)

1 1 + e−ai(θjk−bi)

DIF - Diferential Item Functioning:

Funcionamento Diferencial do Item

I Alguns ´ıtens parecem se comportar diferentemente para interior e capital

.

I Diferencia¸c˜ao pode ser nos itens e/ou nas popula¸c˜oes

.

I Devemos contemplar ambas

.

Abordagem integrada para DIF

Soares, Gon¸calves e Gamerman (JEBS,2009) I Parˆametros dos itens (a,b,c) variam

.

a

→ a

d

; b

→ b

+ d

d

= 1 e d

= 0, para o grupo de referˆ

encia

I Distribui¸c˜ao das proficiˆencias varia:

I Grupo de referˆencia: θ_j0s s˜ao distribu´ıdos segundo uma N(0,1).

I Grupo focal: θ0_js s˜ao distribu´ıdos como uma N(λ, σ2₎

I E poss´ıvel detectar e explicar DIF´

I Para mais detalhes, ver palestra do Prof. Tufi Soares e apresenta¸c˜ao oral de Fl´avio Gon¸calves.

Assimetria na CCI

CCI’s apresentadas s˜ao sim´etricas.

I Podem ser generalizadas para permitir assimetria I Exemplos:

I Log´ıstica assim´etrica (Samejima, 1997): F (x ) = 1/[1 + exp(−x )]d

I Probito assim´etrica (Bazan, 2005)

I Para mais detalhes, ver apresenta¸c˜oes de Jorge Bazan e Vera Santos.

Assimetria nos tra¸

cos latentes

Normalidade dos tra¸cos latentes pode n˜ao ser razo´avel. Azevedo, Bolfarine & Andrade (2009)

latent traits density −3 −2 −1 0 1 2 0.0 0.1 0.2 0.3 0.4 ●●● ● ● ● ● ●● ● ●● ● ● ● ● ● ● ● ●●●● ● ● ● ● 10 20 30 40 50 60 frequency ● predicted scores central credibility interval observed scores

Modelagem Multin´ıvel

I Suponha que os indiv´ıduos est˜ao agrupados em escolas. I Neste caso os grupos s˜ao escolas.

I A amostra ´e selecionada segundo algum planejamento.

I Estudo de fatores associados: informa¸c˜oes sobre alunos e escolas. I Modelagem Multin´ıvel de dois n´ıveis (Fox and Glas, 2001):

θ

= X

β

+ ξ

β

= W

γ + u

I Estima¸c˜ao: m´etodos Bayesianos, MVM e SEM.

I Incorpora parte das informa¸c˜oes do plano amostral. I Relevante mesmo sob AAS.

I Utiliza um maior n´umero de informa¸c˜oes para estimar os parˆametros de interesse

.

I Existˆencia de um maior n´umero de ferramentes de diagn´ostico

.

I Dificuldades para tornar o modelo identific´avel

.

I Dificuldades para se estimar os parˆametros

.

TRI n˜

ao-param´

etrica

Estrutura n˜ao-param´etrica para a CCI e a distribui¸c˜ao dos tra¸cos latentes. I Forma n˜ao param´etrica para a CCI.

I Suposi¸c˜ao de monotononicidade (CCI).

I Histogramas, Splines, Ondaletas (tra¸cos latentes).

Testes adaptativos

I Os ´ıtens s˜ao apresentados de acordo com o desempenho do indiv´ıduo.

I Menor n´umero de ´ıtens e precis˜ao satisfat´oria para a estima¸c˜ao dos tra¸cos latentes.

I Diversos crit´erios para escolha dos ´ıtens.

I Maiores detalhes na conferˆencia de abertura do Prof. van der Linden.

Muito obrigado!!!

I D´uvidas, cr´ıticas e sugest˜oes:

I Dani: dani @im.ufrj .br