MAE5778 - Teoria da Resposta ao Item
Fernando Henrique Ferraz Pereira da Rosa
Robson Lunardi
11 de janeiro de 2005
Lista 1
1. Realize uma an´alise, utilizando o programa ITEMAN, de cada um dos itens e do teste como um todo, segundo a Teoria Cl´assica.
No Anexo I, temos a sa´ıda da an´alise do question´ario completo no ITE-MAN, utilizando a op¸c˜ao de correla¸c˜ao ponto-bisserial.
A an´alise das sa´ıdas para cada uma das quest˜oes, revelou como mere-cedoras de destaque as quest˜oes 7, 12 e 17. O item 7 apresentou uma correla¸c˜ao ponto-bisserial razoavelmente baixa (39%), al´em de apresen-tar uma correla¸c˜ao ponto-bisserial positiva para uma alternativa incorreta (C).
A quest˜ao 12 foi a que mostrou piores resultados, tendo um coeficiente de correla¸c˜ao ponto-bisserial negativo e pr´oximo de zero, al´em de um ´ındice de discrimina¸c˜ao 0, indicando que o item n˜ao est´a discriminando entre os grupos de alunos. Pode ser poss´ıvel que houve um erro no gabarito, tendo que a alternativa (D) apresenta resultados mais coerentes que a do gabarito (B).
A quest˜ao 17 teve um coeficiente de correla¸c˜ao bisserial muito baixo (19%), al´em de um ´ındice de discrimina¸c˜ao tamb´em bem fraco (20%), indicando que ela n˜ao est´a discriminando bem os grupos e que n˜ao h´a uma boa correla¸c˜ao entre acertos e erros dessa quest˜ao com o escore total do teste. Outras quest˜oes que chamaram a aten¸c˜ao por raz˜oes similares foram a 8 e a 15, mas as evidˆencias de que elas s˜ao inadequadas s˜ao mais fracas. A an´alise das estat´ısticas globais do teste revela que no geral ele est´a apresentando um desempenho razo´avel, com um α de 0.802 e um EPM de 2.01, consideravelmente menor que o desvio bruto dos scores, de 4.752. 2. Refa¸ca a an´alise, ap´os a elimina¸c˜ao de itens que vocˆe julgou n˜ao terem
“funcionado”. Compare os resultados obtidos com aqueles do exerc´ıcio anterior.
Come¸camos tirando os items que apresentaram os piores resultados: 7, 12 e 17. No Anexo II, temos a sa´ıda do ITEMAN para esse caso. Nesta sa´ıda
podemos observar uma pequena melhora nos coeficientes de correla¸c˜ao ponto bisserial e ´ındice de discrimina¸c˜ao na maioria dos itens que ficaram. Notamos tamb´em uma queda nos valores do EPM (1.842) e da variˆancia bruta dos scores (20.470) e um aumento no valor de α (0.834) indicando que houve uma melhora geral da prova.
Procedemos ent˜ao com a retirada dos dois itens que apresentaram os pi-ores resultados (depois dos 3 j´a retirados) devido aos seus coeficientes de correla¸c˜ao ponto bisserial e ´ındice de discrimina¸c˜ao: 8 e 15. No Anexo III, temos a sa´ıda do ITEMAN para esse caso. Verificamos que em mui-tos itens que ficaram houve uma diminui¸c˜ao dos valores do coeficiente de correla¸c˜ao ponto bisserial e ´ındice de discrimina¸c˜ao. Observamos tamb´em que o valor de α com esta elimina¸c˜ao caiu um pouco (0.830) em rela¸c˜ao ao ´ultimo resultado obtido, apesar do EPM e da variˆancia bruta dos es-cores terem ca´ıdo um pouco. Devido a essa leve queda no desempenho geral do teste obtida com a retirada das quest˜oes 8 e 15, conclu´ımos que que a prova que s´o considera a primeira elimina¸c˜ao (Anexo II) ´e a mais adequada.
3. Construa um programa para estimar:
(a) os 5 primeiros itens, os seguintes parˆametros: ´ındice de dificuldade, ´ındice de discrimina¸c˜ao, coeficiente de correla¸c˜ao ponto bisserial (para cada alternativa de resposta) e coeficiente de correla¸c˜ao bisserial (para cada alternativa de resposta).
(b) o coeficiente alfa de fidedignidade e o erro padr˜ao de medida (EPM) do teste.
Constru´ımos um conjunto de fun¸c˜oes em R para realizar a an´alise cl´assica de itens. O c´odigo fonte segue no Anexo IV. Basicamente constru´ımos uma classe trianal, uma fun¸c˜ao construtura para esse m´etodo e fun¸c˜oes para imprimir os resultados e ler os dados.
Para usar o programa, deve-se abrir uma sess˜ao do R no diret´orio em que se encontra o arquivo fonte, e executar:
> source(’tri_class.R’)
Com isso carrega-se as fun¸c˜oes na mem´oria. Lˆe-se ent˜ao um conjunto de dados com a fun¸c˜ao le.dados():
> le01 <- le.dados(’le_01.dat’)
E gera-se um objeto de an´alise com a fun¸c˜ao analise() :
Como argumentos opcionais para analise(), pode-se especificar um ga-barito alternativo ou ainda um subconjunto de quest˜oes que devem ser consideradas. Essas informa¸c˜oes j´a est˜ao dispon´ıveis no arquivo de en-trada, entretanto, para que possa-se fazer a an´alise mudando o gabarito e/ou as quest˜oes consideradas na an´alise sem a necessidade de se editar o arquivo de dados, foi adicionada essa funcionalidade.
O comando abaixo por exemplo faz a an´alise das 4 primeiras quest˜oes somente:
> an2 <- analise(le01,usa.questao=c(T,T,T,T,rep(F,18)))
Para trocar o gabarito, procede-se da mesma forma. Para trocar o gabarito da quest˜ao 12 para ’D’, por exemplo, fazemos:
> gabarito <- le01$gabarito > gabarito[12] [1] "B" > gabarito[12] <- "D" > gabarito[12] [1] "D" > an3 <- analise(le01,gabarito=gabarito)
Onde temos armazenados em an3 os resultados da an´alise. Por fim, basta imprimirmos o objeto resultante da an´alise para verificar os resultados. No item a) pede-se a an´alise para os 5 primeiros itens do teste. Para fazermos isso, basta usarmos a fun¸c˜ao print() no objeto adequado, especificando as quest˜oes que queremos observar:
> print(an1,mostrar.questoes=1:5,global=FALSE)
Question 1
key prop.correct disc.index pt.biss biss A 0.4653179 0.7207283 0.5882265 0.7382484
ind.dif end.low end.high pt.biss biss key A 0.46531792 0.17142857 0.892156863 0.5882265 0.7382484 * B 0.25722543 0.32380952 0.098039216 -0.2091873 -0.2834648 C 0.10404624 0.14285714 0.000000000 -0.2034865 -0.3439407 D 0.02312139 0.03809524 0.000000000 -0.0860195 -0.2362007 E 0.13005780 0.27619048 0.009803922 -0.3127053 -0.4970636 NULO 0.02023121 0.04761905 0.000000000 -0.1543285 -0.4444033
Question 2
key prop.correct disc.index pt.biss biss D 0.3583815 0.6305322 0.5226652 0.6709724
ind.dif end.low end.high pt.biss biss key A 0.09826590 0.1428571 0.00000000 -0.2044972 -0.3513267 B 0.08959538 0.1142857 0.02941176 -0.1075186 -0.1897306 C 0.20809249 0.3333333 0.10784314 -0.2371712 -0.3358655 D 0.35838150 0.1047619 0.73529412 0.5226652 0.6709724 * E 0.18786127 0.1904762 0.10784314 -0.0616127 -0.0893056 NULO 0.05780347 0.1142857 0.01960784 -0.1658558 -0.3345741 Question 3
key prop.correct disc.index pt.biss biss C 0.5433526 0.780112 0.6484235 0.8144313
ind.dif end.low end.high pt.biss biss key A 0.19364162 0.35238095 0.009803922 -0.3488436 -0.5021019 B 0.10404624 0.15238095 0.009803922 -0.1895415 -0.3203703 C 0.54335260 0.19047619 0.970588235 0.6484235 0.8144313 * D 0.05491329 0.13333333 0.000000000 -0.2272230 -0.4659082 E 0.09248555 0.13333333 0.009803922 -0.1952886 -0.3414341 NULO 0.01156069 0.03809524 0.000000000 -0.1771125 -0.6261054 Question 4
key prop.correct disc.index pt.biss biss E 0.66763 0.5210084 0.4611645 0.5981478
ind.dif end.low end.high pt.biss biss key A 0.08381503 0.18095238 0.009803922 -0.2533451 -0.4559380 B 0.12427746 0.21904762 0.029411765 -0.2228462 -0.3585800 C 0.02601156 0.06666667 0.000000000 -0.1520366 -0.4005295 D 0.08959538 0.13333333 0.058823529 -0.1330749 -0.2348280 E 0.66763006 0.38095238 0.901960784 0.4611645 0.5981478 * NULO 0.00867052 0.01904762 0.000000000 -0.1219972 -0.4807907
Question 5
key prop.correct disc.index pt.biss biss A 0.5635838 0.5565826 0.4516993 0.5687642
ind.dif end.low end.high pt.biss biss key A 0.563583815 0.25714286 0.81372549 0.45169926 0.5687642 * B 0.063583815 0.06666667 0.04901961 -0.05409001 -0.1058914 C 0.052023121 0.10476190 0.02941176 -0.13577451 -0.2832665 D 0.161849711 0.22857143 0.07843137 -0.17468867 -0.2624581 E 0.153179191 0.32380952 0.02941176 -0.29247666 -0.4455333 NULO 0.005780347 0.01904762 0.00000000 -0.14493139 -0.6679198
Para fazer o item b, basta chamarmos a fun¸c˜ao print no mesmo objeto de an´alise, mas com o parˆametro global setado para verdadeiro:
> print(an1,mostrar.questoes=NULL,global=TRUE) Global Statistics questoes.efetivas 22.0000000 N 346.0000000 media 9.5317919 variancia 22.6439139 desvio 4.7585622 mediana 9.0000000 alpha 0.8207448 SEM 2.0147056 max.low 6.0000000 N.low 105.0000000 min.high 13.0000000 N.high 102.0000000
4. Para cada um dos 5 primeiros itens, construa um gr´afico de dispers˜ao para representar a rela¸c˜ao entre a propor¸c˜ao de acerto e o escore m´edio, medidos em 7 classes de escore.
Para esse fim, criamos a fun¸c˜ao triplot, com argumentos:
> args(triplot)
function (quest, obj, classes = 7) NULL
Ela recebe o n´umero de uma quest˜ao, um objeto de an´alise e o n´umero de classes que desejamos dividir os dados. Ela ent˜ao retorna um objeto da
classe triplot, que pode ser guardado ou no caso do m´etodo default em modo interativo (print), ´e feito o gr´afico na tela.
Com essa fun¸c˜ao, para gerar os gr´aficos pedidos, basta fazer:
triplot(1,an1) triplot(2,an1) triplot(3,an1) triplot(4,an1) triplot(5,an1) Obtendo as Figuras:
Observamos que os gr´aficos dos itens analisados apresentam o comporta-mento esperado, com a curva lembrando uma curva log´ıstica com a > 0. Devido a generalidade do programa, ´e poss´ıvel facilmente obter-se an´alises mais completas, assim como variar o n´umero de classes de escore para os gr´aficos acima. No Anexo V temos uma an´alise completa das 22 quest˜oes, obtida com o comando:
> print(an1)
as quest˜oes que retiramos do teste no Exerc´ıcio 2 (Itens 7, 12 e 17). Em particular, observamos graficamente porque esses itens n˜ao foram apro-priados. Para o item 12, temos que conforme o escore m´edio aumenta, n˜ao h´a crescimento algum na propor¸c˜ao acerto. Para a quest˜ao 17, temos que o crescimento da curva ´e muito lento, e para a quest˜ao 7, temos uma situa¸c˜ao parecida.
Temos ainda os gr´aficos de escore m´edio por propor¸c˜ao de acerto para a quest˜ao 1, mas com diferentes classes de escore (5, 7 e 12), respectiva-mente. O aumento no n´umero de classes reflete em uma curva cada vez menos suave, conforme esperado.
Por final temos o histograma dos escores, e o gr´afico de barras das pro-por¸c˜oes de acertos, obtidos com os comandos:
> hist(an1$outros$score)
> barplot(an1$outros$prop.acerto)
Sobre
A vers˜ao eletrˆonica desse arquivo pode ser obtida em http://www.feferraz. net
Copyright (c) 1999-2005 Fernando Henrique Ferraz Pereira da Rosa. ´
E dada permiss~ao para copiar, distribuir e/ou modificar este documento sob os termos da Licen¸ca de Documenta¸c~ao Livre GNU (GFDL), vers~ao 1.2,
publicada pela Free Software Foundation;
Uma c´opia da licen¸ca em est´a inclusa na se¸c~ao intitulada "Sobre / Licen¸ca de Uso".
