Consideramos agora dados obtidos a partir de um simulado aplicado a 277 alunos do cursinho pr´e-vestibular ˆAngulo, em S˜ao Paulo. A prova foi composta de 10 itens de m´ultipla-escolha, cada um com 5 alternativas ( Rios 2007). Neste caso, n = 277 e k = 10.
3.2.1
Um estudo sobre a influˆencia do salto na constru¸c˜ao
da amostra MCCM
Os procedimentos para a defini¸c˜ao do salto e do burn in foram os mesmos descritos na subse¸c˜ao anterior. Neste caso o tempo de execu¸c˜ao do programa para gerar 504000 itera¸c˜oes foi aproximadamente 5 horas e 26 minutos , j´a que se trata de uma amostra maior. Para a execu¸c˜ao mais r´apida, com tamanho de amostra m = 5000 e s = 1, foram gastos apenas 5 minutos. Veja os resultados das m´edias para as amostras de tamanho m = 5000 e m = 10000, e dos diferentes valores de s nas tabelas B.1 e B.2.
Observamos que os resultados para todos os saltos considerados est˜ao muito pr´oximos. At´e mesmo para a amostra de tamanho m = 5000, s = 1, o m´odulo da diferen¸ca para s = 50 n˜ao passa de 0,05 para nenhum dos parˆametros dos itens, .
As diferen¸cas entre s = 50 e os demais valores de salto s˜ao bem inferiores `as encontradas para os dados da aplica¸c˜ao I, onde encontramos diferen¸cas superiores a 0,08 entre s = 1 e s = 50. Podemos dizer que a convergˆencia neste caso se d´a com saltos e tamanhos de amostra menores.
No entanto, ao considerarmos as rela¸c˜oes entre os desvios padr˜oes e os valores de Mc erro, estes ainda superam os 5% daqueles para uma grande parte dos parˆametros em estudo. Os percentuais para todos os parˆametros encontram-se na tabela B.3.
Com o objetivo de otimizarmos nossos resultados, tentamos aumentar a amostra para 15000 com o mesmo s = 1, mas n˜ao houve diminui¸c˜ao significativa na raz˜ao Mc erro/dp.
Ao considerarmos s = 5 e m = 5000, notamos que os percentuais Mc erro/dp s˜ao relativamente baixos, todos inferiores a 5%. Para s = 2 e a amostra maior, m = 10000, apenas para um dos parˆametros (β8), o Mc erro chegou a 5% do desvio
padr˜ao. Apesar desta situa¸c˜ao para o parˆametro β8, preferimos adotar estes valores
para s e m. Embora, no segundo caso, o tamanho da amostra seja maior o n´umero de itera¸c˜oes necess´arias do programa ´e 24000, contra 29000 no primeiro caso, quando s = 5 e m = 5000. A economia no tempo de execu¸c˜ao ´e aproximadamente de 4 minutos.
Para s = 2 e tamanho de amostra m = 10000, o tempo gasto para execu¸c˜ao do programa foi aproximadamente 21 minutos. Esta op¸c˜ao nos trouxe resultados muito pr´oximos daqueles obtidos com amostras e s’s maiores.
3.2.2
An´alise de sensibilidade `as distribui¸c˜oes a priori.
Definidos o tamanho de amostra e o salto a serem utilizados passamos `a an´alise de sensibilidade das estimativas a posteriori levando em conta a escolha de diferentes distribui¸c˜oes a priori.
Consideramos para estes dados o mesmo conjunto de oito propostas de dis- tribui¸c˜oes a priori, descritos em 3.1.2, para os parˆametros de discrimina¸c˜ao, difi- culdade e probabilidade de acerto ao acaso. Apenas foram feitos alguns ajustes em P3 e P4, a saber:
• P∗
3 : α ∼ N (1, 0.5)I(0, ); β ∼ N (0, 2); δ ∼ Beta(1, 4)
• P∗
4 : α ∼ N (1, 0.5)I(0, ); β ∼ N (0, 2); δ ∼ Beta(10, 40)
Neste caso os itens tˆem 5 alternativas e n˜ao 4, como nas provas aplicadas no Peru. Portanto, usando o mesmo racioc´ınio anterior, a probabilidade de acerto ao acaso esperada ´e 0,20. Com a escolha da distribui¸c˜ao a priori P4∗, desejamos apenas diminuir a variˆancia (de 0,0266 para 0,0003) a priori para verificar poss´ıvel efeito a posteriori.
Nas tabelas B.4, B.5 e B.6 s˜ao apresentadas as estimativas a posteriori obtidas para cada uma das propostas de distribui¸c˜oes a priori. Na tabela B.7, os percentis 2.5% e 97.5%, bem como o comprimento desses intervalos para as propostas com menores e maiores intervalos m´edios, respectivamente P4 e P1.
Na tabela B.6 notamos que os valores das estimativas dos desvios padr˜oes de grande parte dos parˆametros variam conforme as diferentes propostas de distribui¸c˜oes a priori. O mesmo acontece com rela¸c˜ao `a m´edia e `a mediana, cujas estimativas s˜ao apresentadas respectivamente nas tabelas B.4 e B.5.
As diferen¸cas nas estimativas, tanto para o desvio padr˜ao, quanto para m´edia e mediana, s˜ao maiores quando comparamos os resultados das distribui¸c˜oes a priori pouco informativas e muito informativas.
Observando os valores dos quantis 2.5% e 97.5%, encontramos intervalos de con- fiabilidade mais estreitos para os valores dos δj’s, se compararmos aos intervalos
encontrados para os mesmos parˆametros na aplica¸c˜ao I.
Neste caso devemos levar em conta que todos os valores das estimativas de m´edia e mediana dos δjs s˜ao baixas. Isto leva-nos a concluir que as probabilidades de acerto
ao acaso para todos os itens s˜ao muito pequenas.
Considerando cada priori separadamente, fizemos uma ordena¸c˜ao decrescente das medianas das estimativas obtidas. Em seguida fizemos uma an´alise para verificar se, mesmo que os valores num´ericos n˜ao estivessem concordando sob as diferentes prioris, haveria uma preserva¸c˜ao na ordem dos itens. Veja as tabelas B.8, B.9 e B.10 que mostram os itens em ordem decrescente, conforme os valores das estimativas das medianas dos parˆametros para cada proposta de distribui¸c˜ao a priori. Emb- ora haja certa uniformidade entre os dados, n˜ao h´a concordˆancia completa entre as distribui¸c˜oes a priori com rela¸c˜ao `a ordena¸c˜ao dos itens.
Calculamos o CCK para as oito propostas. Em seguida constru´ımos alguns sub- grupos, seguindo os mesmos crit´erios descritos na aplica¸c˜ao I, a fim de verificar a similaridade entre distribui¸c˜oes a priori.
Diante dos resultados descritos na tabela 3.4, notamos que com rela¸c˜ao aos trˆes parˆametros h´a bastante similaridade nas ordena¸c˜oes dos itens. Todos os valores de CCK superam 0,90. Para α e β∗, os coeficientes s˜ao altos, sobretudo por utilizarmos distribui¸c˜oes a priori semelhantes para os parˆametros de discrimina¸c˜ao e iguais para
Tabela 3.4: Tabela de CCK. priori δ α β∗ Todas 0,908 0,965 0,973 P1, P2, P3∗, P4∗ 0,938 0,977 0,971 P5, P6, P7, P8 0,932 0,957 0,980 P1, P2 0,939 0,939 0,988 P2, P4∗ 0,921 0,921 0,976
os de dificuldade. Com rela¸c˜ao aos parˆametros de probabilidade de acerto ao acaso, os CCK’s s˜ao pouco inferiores aos dos demais parˆametros, e tamb´em indicam influˆencia m´ınima da distribui¸c˜ao a priori na ordena¸c˜ao das estimativas, mesmo quando com- paramos distribui¸c˜oes a priori com caracter´ısticas bem distintas, como P2 e P4∗. O
menor valor de CCK para δ ´e encontrado para o grupo que cont´em todas as dis- tribui¸c˜oes: 0,908.
Pelos dois ´ultimos subgrupos da tabela 3.1 percebemos claramente a similaridade entre a ordena¸c˜ao dos parˆametros δj para P1 e P2 e a diferen¸ca que h´a entre esta
e P4∗, uma distribui¸c˜ao que carrega muita informa¸c˜ao a priori. O maior grau de similaridade para δ encontra-se no subgrupo onde as distribui¸c˜oes a priori propostas para os parˆametros probabilidade de acerto ao acaso s˜ao pouco informativas.
Com base nesses estudos, escolhemos P2 para a an´alise dos parˆametros dos itens.
Embora para esse conjunto de dados, a influˆencia da distribui¸c˜ao a priori seja menor que anteriormente e, portanto, essa escolha ´e menos relevante.
3.2.3
An´alise das estimativas
Considerando as estimativas a posteriori para os parˆametros de item com a proposta de distribui¸c˜ao a priori P2, cujas estimativas de m´edia e mediana apresentamos nas
tabelas 3.5 e 3.6. Os itens est˜ao ordenados pela mediana.
Tabela 3.5: Estimativas a posteriori para os parˆametros α e β, ordenadas pela medi- ana.
Discrimina¸c˜ao (α) Dificuldade (β)
Item Mediana M´edia Item Mediana M´edia 10 1,626 1,671 2 1,391 1,433 6 1,496 1,539 5 0,534 0,558 1 1,442 1,485 9 0,291 0,293 7 1,324 1,376 6 0,105 0,110 9 0,991 1,046 4 -0,015 0,015 3 0,854 0,879 8 -0,014 0,009 5 0,739 0,764 1 -0,0398 -0,032 4 0,735 0,758 7 -0,255 -0,246 8 0,716 0,776 3 -0,266 -0,243 2 0,567 0,582 10 -0,431 -0,421
Pela tabela 3.5 vemos que os itens 10 e 2 s˜ao os extremos das classifica¸c˜oes das estimativas para os parˆametros α e β. O item 10 ´e o item que mais discrimina entre os respondentes e o considerado menos dif´ıcil, enquanto o 2 ocupa posi¸c˜oes extremo-opostas.
Com rela¸c˜ao `a probabilidade de acerto ao acaso, o item 9 ´e o que apresenta a maior estimativa e o 2, o que possui menores chances de ser acertado casualmente.
Tabela 3.6: Resumo das estimativas a posteriori para os parˆametros de acerto ao acaso (δ), ordenadas pela mediana.
item Mediana M´edia Intervalo 95 %
9 0,130 0,131 0,089-0,293 8 0,123 0,147 0,0238-0,403 7 0,073 0,093 0,030-0,278 3 0,068 0,093 0,000-0,299 10 0,062 0,083 0,000-0,266 4 0,056 0,084 0,0139-0,289 1 0,046 0,061 0,0144-0,191 6 0,045 0,054 0,0017-0,164 5 0,035 0,054 0,009-0,195 2 0,017 0,031 0,004-0,131
Notamos para todos os itens valores de δ muito baixos para as estimativas de m´edia e mediana. Apenas dois itens (8 e 9) utrapassam 0,1. Lembrando que os itens s˜ao de m´ultipla-escolha, com 5 alternativas cada, a probabilidade de acerto ao acaso esperada seria 0,2. Pela tabela 3.6 notamos que os intervalos de confiabilidade para as estimativas dos δj’s s˜ao consideravelmente estreitos.
Vimos que o item 2, com alto ´ındice de dificuldade, apresenta baixa probabilidade de acerto ao acaso e discrimina pouco entre os indiv´ıduos. J´a o item 10, discrimina bem, ´e considerado f´acil e ocupa a posi¸c˜ao mediana com rela¸c˜ao `a probabilidade de acerto ao acaso. Apenas os itens 8 e 9 apresentam probabilidades de acerto ao acaso superiores a 0,1.