Deteção da existência de conhecimento prévio de questões de escolha múltipla utilizando o modelo DGM

(1)

Universidade de Aveiro Departamento de Matem´atica, 2015

Fernanda

Pereira

Dete¸

c˜

ao da existˆ

encia de conhecimento pr´

evio de

quest˜

oes de escolha m´

ultipla utilizando o modelo

(2)

(3)

Universidade de Aveiro Departamento de Matem´atica, 2015

Fernanda

Pereira

Dete¸

c˜

ao da existˆ

encia de conhecimento pr´

evio de

quest˜

oes de escolha m´

ultipla utilizando o modelo

DGM

Disserta¸cão apresentada à Universidade de Aveiro para cumprimento dos requisitos necessários à obten¸cão do grau de Mestre em Matemática e Aplica¸cões, realizada sob a orienta¸cão cient´ıfica de Isabel Pereira, Professora do Departamento de Matemática da Universidade de Aveiro e coorienta¸cão cient´ıfica de Magda Monteiro, Professora da Escola Superior de Tecnologia e Gestão de Águeda

(4)

(5)

Ao Milton `

A Clara Aos meus Pais

(6)

(7)

o j´uri / the jury

presidente / president Doutor Pedro Filipe Pessoa Macedo

Professor Auxiliar da Universidade de Aveiro (por delega¸c˜ao da Reitora da Univer-sidade de Aveiro)

vogais / examiners committee Doutora Sandra Cristina de Faria Ramos

Professora Adjunta do Instituto Superior de Engenharia do Porto

Doutora Isabel Maria Sim˜oes Pereira

(8)

(9)

agradecimentos / acknowledgements

`

As Professora Doutora Isabel Pereira e Professora Doutora Magda Monteiro pela competência com que orientaram esta minha tese e o tempo que generosamente me dedicaram transmitindo-me os melhores e mais úteis ensinamentos, com paciência, lucidez e confian¸ca.

`

A Professora Maria Amélia Ferreira por me ter dados a possibilidade de trabalhar na área da educa¸cão médica e em especial na realiza¸cão de estat´ıstica educacional.

Ao Milton Severo, por sua extensa paciˆencia, pelo seu amor, por sempre estar disposto a ajudar-me em qualquer situa¸c˜ao e principalmente pelo seu apoio que me conforta e me deixa mais forte para superar os desafios a que me proponho.

`

A Clara Barros pela paciˆencia para me perdoar quando lhe dizia que n˜ao podia ir brincar com ela naquele momento.

Aos meus pais, que me deram não somente a vida, mas principal-mente a minha educa¸cão e condi¸cões de estudo.

Ao meu irmão Zé e à Dina pelo companheirismo. Aos meus sogros por todo o apoio que me têm dado.

A todos que contribu´ıram de algum modo para que a realiza¸c˜ao desta tese fosse poss´ıvel.

(10)

(11)

Palavras-chave Teoria de Resposta a Itens, Fraude acad´emica, Modelo DGM, MCMC. Resumo A teoria de resposta a itens (TRI) engloba uma fam´ılia de modelos n˜ao

lineares que fornecem uma estimativa da probabilidade de responder cor-retamente a uma pergunta de escolha múltipla (item) de um teste. Esta fam´ılia de modelos caracteriza-se em fun¸cão da capacidade dos estudantes e das caracter´ısticas dos itens, como sejam a dificuldade e a discrimina¸cão. Os modelos TRI têm como variáveis dependentes itens dicotómicos e como variáveis independentes uma ou mais variáveis latentes. Um dos mode-los TRI habitualmente utilizado para análise de testes com perguntas de escolha múltipla é o modelo log´ıstico com 1 parâmetro (1-PL). Uma das problemáticas associada a perguntas de escolha múltipla é a facilidade do es-tudante cometer fraude. A fraude académica é definida como uma atividade na qual existe uma viola¸cão das regras durante o processo de avalia¸cão. A maior parte da investiga¸cão na área de dete¸cão de fraude académica tem-se focado na dete¸cão de fraude através da cópia das respostas a partir de ou-tros estudantes. No entanto, a literatura é mais escassa em rela¸cão à fraude através do conhecimento prévio dos itens. Este último tipo de fraude ocorre na maioria das vezes pela exposi¸cão ou memoriza¸cão de perguntas pelos es-tudantes. Os modelos TRI referidos anteriormente não permitem a dete¸cão deste tipo de fraude académica. Para dar resposta a esta problemática foi proposto o modelo DGM (Deterministic, Gated Item Response Theory Mo-del ) (Shu et al., 2013), que consiste numa mistura de dois moMo-delos 1-PL, que incorpora a divisão dos estudantes em dois grupos. O modelo DGM classifica os estudantes como fraudulentos ou não fraudulentos pelo condi-cionamento a dois tipos de perguntas; o primeiro tipo inclui os itens que provavelmente estão comprometidos e o segundo tipo os itens não compro-metidos. O modelo DGM permite a dete¸cão de fraude através da análise da diferen¸ca entre a capacidade de um estudante cometer este tipo de fraude e a sua verdadeira capacidade. Neste trabalho faz-se a aplica¸cão do modelo DGM com o objetivo de estimar a prevalência de estudantes que cometeram fraude devido ao conhecimento prévio dos itens a partir de seis exames de escolha múltipla da unidade curricular de Anatomia Cl´ınica da Faculdade de Medicina da Universidade do Porto. Cada exame consistiu em 100 questões com cerca de 20% de perguntas repetidas realizado em média por 200 estudantes. Foi utilizada a metodologia Bayesiana para a estima¸cão dos parâmetros do modelo DGM utilizando métodos de Monte Carlo via Cadeias de Markov. As distribui¸cões a priori para os parâmetros do modelo foram definidas utilizando distribui¸cões Normais. A estima¸cão da sensibilidade e especificidade do modelo DGM foi baseada num estudo de simula¸cão, onde se avaliou a propor¸cão dos estudantes que são correta-mente classificados como sendo fraudulentos - sensibilidade - e a propor¸cão dos estudantes que são corretamente classificados como não fraudulentos -especificidade. Tendo em conta as estimativas para a sensibilidade e especi-ficidade estimou-se a prevalência real dos estudantes que cometeram fraude

(12)

(13)

Keywords Item Response Theory, Academic Fraud, DGM Model, MCMC.

Abstract The item response theory (IRT) comprises a family of nonlinear models that provide an estimate of the probability of correctly answer to a ques-tion (item) of a multiple choice test. This models family is characterized according to students ability and items characteristics such as difficulty and discrimination. The IRT models have dichotomous items as dependent vari-ables and as independent varivari-ables one or more latent varivari-ables. One of the commonly IRT model used for examination analysis with multiple choice questions is the logistic model with one parameter (1-PL). One of the pro-blems associated with multiple choice questions is the easiness for a student to commit fraud. Academic fraud is defined as an activity in which there is a violation of the rules during the evaluation process. Most of the research in academic fraud detection area has been focused on fraud detection due to students copying of responses from other students. However, the literature is scarce in relation to fraud through prior knowledge of the items. This type of fraud occurs most often by exposure or memorization of questions by students. The IRT models mentioned above do not allow the detection of this type of fraud. To address this issue DGM Model (Deterministic, Gated Item Response Theory Model ) (Shu et al., 2013) was proposed, con-sisting of a two 1-PL models mixture which splits the students into two groups. The DGM model classifies students as fraudulent or not fraudulent by conditioning them to two types of questions; the first type includes the items that are probably committed and the second type the uncommitted items. The DGM model allows fraud detection by the analysis of the va-riation between the student fraud ability to commit this type of fraud and its true ability. In this work the DGM model was applied in order to es-timate the prevalence of students who committed fraud due to item prior knowledge from six multiple choice examimations of the Clinical Anatomy course at Faculty of Medicine of University of Porto. Each examination consisted of 100 questions with an average of 200 students and 20% of repeat questions per examination. Bayesian methodology was used to esti-mate DGM model parameters using Monte Carlo Markov Chain Methods. The a priori distributions were defined as Normal distributions. The esti-mation of the sensibility and specificity was based on a simulation study, which evaluated the proportion of students who are correctly classified as fraudulent - sensibility - and the proportion of students who are correctly classified as non-fraudulent - specificity. The estimates of sensibility and specificity were used to estimate true prevalence of fraudulent students in the UC examinations under study.

(14)

(15)

Conte´

udo

Conte´udo i

Lista de Figuras iii

Lista de Tabelas v

Nomenclatura vii

Nota introdut´oria 1

1 Modelos 3

1.1 Teoria Cl´assica de Testes . . . 5

1.2 Teoria de Resposta a Itens . . . 8

1.2.1 Modelo Log´ıstico de 2 parˆametros (2-PL) . . . 9

1.2.2 Modelo Log´ıstico de 1 parˆametro (1-PL) . . . 10

1.3 Modelo DGM . . . 12

2 Abordagens de estima¸c˜ao 15 2.1 Abordagem cl´assica . . . 16

2.1.1 Estima¸c˜ao das capacidades dos estudantes conhecidos os parˆametros dos itens . . . 16

2.1.2 Estima¸c˜ao dos parˆametros dos itens conhecidas as capacidades dos es-tudantes . . . 18

2.1.3 Todos os parˆametros do modelo desconhecidos . . . 19

2.1.3.1 A solu¸c˜ao Bock e Lieberman . . . 19

2.1.3.2 Solu¸c˜ao Bock e Aitkin . . . 23

2.1.3.3 Solu¸c˜ao alternativa - Abordagem EM da Solu¸c˜ao Bock e Aitkin 25 2.2 Abordagem bayesiana . . . 27

2.2.1 Modelo TRI 2-PL . . . 29

2.2.2 Modelo DGM . . . 29

3 Aplica¸cão Prática 31 3.1 Descri¸cão dos dados reais . . . 32

3.2 Aplica¸c˜ao dos modelos TRI . . . 35

3.3 Aplica¸c˜ao do Modelo DGM . . . 42

3.3.1 Estudo de Simula¸c˜ao . . . 43

(16)

Conclus˜oes 53 Bibliografia 54 A Tabelas 57 A.1 TCT . . . 58 A.2 IRT . . . 60 A.3 DGM . . . 76

B Comandos do modelo DGM no Winbugs 89

(17)

Lista de Figuras

1.1 Curva CCI para 3 itens de um teste . . . 11

2.1 Modelo TRI . . . 28

3.1 ´Indice de dificuldade e ´ındice de discrimina¸c˜ao de cada teste . . . 33

3.2 Índice de dificuldade e ´ındice de discrimina¸cão por número de repeti¸cões . . . 34

3.3 Estimativas das curvas caracter´ısticas dos itens dos testes de 2008 . . . 37

3.7 Estimativas das capacidades dos estudantes nos testes de 2008 . . . 39

3.11 Estimativas dos ´ındices de dificuldade dos testes de 2009 . . . 41

3.14 Exemplo de ´arvore de classifica¸c˜ao . . . 45

3.15 Exemplo do ganho efetivo dos estudantes fraudulentos versus estudantes n˜ao fraudulentos . . . 47

3.16 Diagnóstico do parâmetro θtpara o estudante 117 na simula¸cão 1 e na simula¸cão 20 no teste da época normal de 2010 . . . 48

3.17 Diagnóstico do parâmetro θc para o estudante 117 na simula¸cão 1 e na si-mula¸cão 20 no teste da época normal de 2010 . . . 48

3.18 Diagnóstico do parâmetro bi para o item 67 na simula¸cão 1 e na simula¸cão 20 no teste da época normal de 2010 . . . 49

3.19 Percentagem de respostas certas por tipo de pergunta e tipo de estudante para o teste da ´epoca normal de 2011. . . 50

(18)

(19)

Lista de Tabelas

1.1 Padr˜oes de resposta e respetivas frequˆencias absolutas . . . 4

1.2 Percentagem de acerto `as 4 perguntas . . . 4

1.3 Tabela de contingˆencia para as perguntas 2 e 3 . . . 5

1.4 Recomenda¸c˜oes sobre a fiabilidade do teste. . . 6

1.5 Recomenda¸c˜oes sobre ´ındice de dificuldade dos itens. . . 7

1.6 Recomenda¸c˜oes sobre ´ındice de discrimina¸c˜ao dos itens. . . 7

1.7 Caracter´ısticas dos itens com ´ındice de discrimina¸c˜ao fixo e igual a 1 . . . 11

1.8 Caracter´ısticas dos itens com ´ındice de dificuldade fixo e igual a 1 . . . 11

1.9 Dados observados para os quatro modelos condicionais. . . 13

3.1 Descri¸c˜ao dos dados de acordo com a TCT . . . 32

3.2 Modelo de efeitos mistos para medir o efeito das repeti¸c˜oes nos ´ındices de dificuldade e discrimina¸c˜ao calculado utilizando TCT. . . 34

3.3 Compara¸c˜ao do ajustamento dos modelos 1-PL e 2-PL aos dados reais. . . 35

3.4 Estimativas dos ´ındices de dificuldade e de discrimina¸c˜ao dos testes entre 2009 e 2011 . . . 36

3.5 Condi¸c˜oes do estudo de simula¸c˜ao . . . 44

3.6 Correla¸cões obtidas no estudo de simula¸cão (média(DP)) . . . 44

3.7 Valores obtidos no estudo de simula¸c˜ao (m´edia(DP)) . . . 46

3.8 Valores médios obtidos para a prevalência aparente e para a verdadeira pre-valência para os testes de 2009 a 2011 utilizando os pontos de corte definidos no estudo de simula¸cão para os cenários 1 e 2. . . 50

A.1 ´Indice de dificuldade de cada uma das 100 perguntas dos 8 testes utilizando a TCT1 . . . 58

A.1 ´Indice de dificuldade de cada uma das 100 perguntas dos 8 testes utilizando a TCT1 . . . 59

A.2 Dificuldade e discrimina¸c˜ao de cada pergunta do teste 1 de 2008 utilizando o modelo 1-PL e o modelo 2-PL . . . 60

(20)

A.6 Dificuldade e discrimina¸c˜ao de cada pergunta do teste 1 de 2010 utilizando o

modelo 1-PL e o modelo 2-PL . . . 68

A.10 Prevalˆencia de 35% e efic´acia elevada . . . 76

A.11 Correla¸cões - Prevalência de 35% e eficácia elevada . . . 77

A.12 Prevalˆencia de 70% e efic´acia moderada . . . 78

A.13 Correla¸cões - Prevalência de 70% e eficácia moderada . . . 79

A.14 Prevalˆencia de 35% e efic´acia elevada (ponto de corte definido por Shu) . . . 80

A.15 Prevalˆencia de 70% e efic´acia moderada (ponto de corte definido por Shu). . . 81

A.16 Prevalˆencia de 35% e efic´acia moderada . . . 82

A.17 Correla¸cões - Prevalência de 35% e eficácia moderada . . . 83

A.18 Prevalˆencia de 70% e efic´acia elevada . . . 84

A.19 Correla¸cões - Prevalência de 70% e eficácia elevada . . . 85

A.20 Prevalˆencia de 35% e efic´acia moderada (ponto de corte definido por Shu) . . 86

A.21 Prevalˆencia de 70% e efic´acia elevada (ponto de corte definido por Shu) . . . 87

A.22 Valores médios obtidos para a prevalência aparente e para a verdadeira pre-valência para os testes de 2009 a 2011 utilizando os pontos de corte definidos no estudo de simula¸cão para os cenários 3 e 4. . . 88

(21)

Nomenclatura

S´ımbolo Descri¸c˜ao

PEM Pergunta de escolha m´ultipla

Item Pergunta

i = 1, ..., I Itens

m = 1, ..., M Estudante

ymi= 1, 0 Resposta do estudante m ao item i

Ym= (ym1, ym2, ..., ymI) Vetor resposta do estudante m

ai, bi Parˆametros do item i

bi ´Indice de dificuldade

b∗_i Índice de dificuldade padronizado ai, a Índice de discrimina¸cão

a∗_i ´Indice de discrimina¸c˜ao padronizado

θm Capacidade do estudante m

θtm Capacidade ”verdadeira”do estudante m

θcm Capacidade ”de fraude”do estudante m

φi, Φ Vetor/Matriz dos ”verdadeiros”parˆametros dos itens

∆ Ganho efetivo na classifica¸c˜ao

SEN Sensibilidade

ESP Especificidade

TCT Teoria Cl´assica de Teste

TRI Teoria de Resposta a Itens

1-PL Modelo Log´ıstico de 1 parˆametro ou Modelo Rasch 2-PL Modelo Log´ıstico de 2 parˆametros

CCI Curva Caracter´ıstica do Item

(22)

(23)

Nota introdut´

oria

“Good test consist of good items” Thomas Haladyna

A Faculdade de Medicina da Universidade do Porto (FMUP) dispõe, desde o ano letivo 2006/07, de um sistema de corre¸cão de testes através de leitura ótica e procede à avalia¸cão da qualidade desses mesmos testes. O servi¸co foi disponibilizado para os docentes que lecionem no Curso de Mestrado Integrado em Medicina e que realizem testes de escolha múltipla como método de avalia¸cão dos estudantes (Severo et al., 2012). No ano letivo 2013/2014 usufru´ıam deste sistema de corre¸cão 41(68%) UC (ciclo básico e ciclo cl´ınico) da FMUP.

Na aprendizagem na área da medicina os testes de perguntas de escolha múltipla fazem parte de todas as fases da forma¸cão de um estudante e fornecem informa¸cão importante sobre a progressão do estudante durante o percurso da sua forma¸cão. Consideremos a situa¸cão habi-tual decorrente da realiza¸cão de um teste. Um professor fornece um teste escrito de escolha múltipla a uma turma de estudantes de uma faculdade. Todas as perguntas do teste são novas, mas o teste foi desenhado para medir exatamente os mesmos conteúdos que o teste do ano anterior. O professor nota que as classifica¸cões dos estudantes neste ano são considera-velmente mais baixas do que as dos estudantes do ano anterior. O que pode ter acontecido? O teste deste ano é mais dif´ıcil do que o teste do ano passado? Os estudantes da turma deste ano são menos capazes, isto é, não tão competentes, que os da turma do ano passado? A avalia¸cão da qualidade dos testes e a obten¸cão da classifica¸cão verdadeira do estudante não podem ser dissociados da análise da existência de fraude académica e uma das problemáticas associada a perguntas de escolha múltipla é a facilidade do estudante cometer fraude. A fraude académica pode ser definida como a atividade na qual existe uma viola¸cão das regras durante o processo de avalia¸cão. A investiga¸cão na área de dete¸cão de fraude académica foca-se essencialmente na dete¸cão de fraude através da cópia das respostas a partir de outros estudantes; no entanto a existência do conhecimento prévio dos itens – que ocorre maio-ritariamente pela exposi¸cão (repeti¸cão das mesmas perguntas em diferentes testes) e pela memoriza¸cão de perguntas pelos estudantes - não tem sido muito desenvolvida na literatura. Duas teorias utilizadas para construir e avaliar testes são a Teoria Clássica de Testes (TCT) e a Teoria de Resposta a Itens (TRI). O conhecimento prévio das perguntas, que se vai também designar por fraude académica (num outro contexto do habitualmente considerado) não é de-tetado pelos modelos de TRI.

Para dar resposta a esta problemática, em 2013 Shu et al. propuseram o Modelo DGM (De-terministic, Gated Item Response Theory Model ), que consiste numa mistura de dois modelos TRI que incorpora a divisão dos estudantes em dois grupos. Os estudantes são classifica-dos pelo modelo DGM como fraudulentos ou não fraudulentos pelo condicionamento a dois

(24)

tipos de perguntas: itens que provavelmente estão comprometidos (por exemplo, perguntas repetidas) - primeiro tipo; itens não comprometidos - segundo tipo. O modelo DGM permite a dete¸cão de fraude através da análise da diferen¸ca entre a sua verdadeira capacidade e a capacidade de um estudante cometer este tipo de fraude.

Como o modelo DGM ´e uma mistura de modelos da TRI e por forma a percebermos melhor as caracter´ısticas dos itens os modelos da TCT e da TRI foram tamb´em analisados e aplicados aos dados em estudo.

Nenhuma classifica¸cão obtida num teste é perfeita pois todas as classifica¸cões contêm erros de medi¸cão. Os modelos de TCT são necessários para ajudar a compreender o processo de medi¸cão e como este é afetado pelas fontes de erro. Cada estudante tem um conhecimento associado que não é poss´ıvel ser observado, ou seja, ser medido diretamente. Um dos modelos de TCT tenta explicar a rela¸cão existente entre a classifica¸cão verdadeira pelo estudante e a sua classifica¸cão observada. A TRI tem como foco o estudo individualizado dos itens de um teste enquanto que a TCT tem como objetivo a determina¸cão dos parâmetros métricos do teste. A TCT tem como foco a interpreta¸cão do que a classifica¸cão obtida por um determi-nado estudante num teste diz sobre ele e a análise dos itens visa escolher os melhores itens avaliando duas das suas caracter´ısticas: a dificuldade e a discrimina¸cão. Por seu lado, a TRI mede a capacidade do estudante de acordo com as respostas dadas a cada item; permite ana-lisar o teste com apoio na análise individualizada de cada um dos itens e procura determinar qual a probabilidade e quais os fatores que afetam a probabilidade de acertar ao item de um teste (Pasquali, 2009).

A TCT tem várias limita¸cões, bastante significativas, o que levou ao aparecimento da TRI que as procura superar e que traz vários avan¸cos em compara¸cão com a TCT segundo Ham-bleton et al. (1991). Ao contrário do que ocorria na TCT, onde a classifica¸cão obtida pelo estudante dependia e variava segundo o grau de dificuldade e precisão do teste aplicado, a TRI considera que o estudante possui um tra¸co latente ”verdadeiro”espec´ıfico que varia com os itens utilizados, desde que estes estejam a medir o mesmo tra¸co latente. Na TRI, o cálculo dos parâmetros dos itens é independente da amostra de estudantes utilizada, enquanto que na TCT os parâmetros dependem dos indiv´ıduos da amostra possu´ırem maior ou menor n´ıvel no tra¸co latente, no entanto, a amostra necessária para realizar a avalia¸cão por TRI necessita ser grande. A TRI permite ainda posicionar os itens (através da dificuldade) e os estudantes (através da sua classifica¸cão) numa mesma escala do tra¸co latente que está a ser avaliado e torna-se poss´ıvel estabelecer uma rela¸cão entre os itens e os n´ıveis do tra¸co latente dos estu-dantes, identificando os itens que melhor avaliam cada n´ıvel do tra¸co. Outro avan¸co prende-se com o facto de a TRI utilizar um modelo que não precisa fazer suposi¸cões improváveis, tais como a de que os erros de medi¸cão são iguais para todos os indiv´ıduos e não obriga a que se trabalhe com testes estritamente paralelos para avaliar a fiabilidade tal como exige a TCT. O aumento da utiliza¸cão de modelos TRI na últimas décadas demonstra a sua importância no desenvolvimento e análise dos testes. Os modelos TRI são utilizados para vários fins incluindo a análise da qualidade dos itens (perguntas), constru¸cão e equipara¸cão de testes.

O objetivo deste trabalho é estimar a prevalência de estudantes que cometeram fraude de-vido ao conhecimento prévio dos itens a partir de seis testes de escolha múltipla da unidade curricular de Anatomia Cl´ınica da FMUP através da aplica¸cão do modelo DGM.

O Cap´ıtulo 1 descreve os modelos TCT, TRI e DGM. No Cap´ıtulo 2 apresentamos os prin-cipais métodos de estima¸cão quer na abordagem clássica quer na abordagem Bayesiana. A aplica¸cão aos dados reais é apresentada no Cap´ıtulo 3. A tese finaliza com a discussão dos resultados obtidos e respetivas conclusões.

(25)

Cap´ıtulo 1

Modelos

Análises tendo por base TRI não irão resolver automaticamente o dilema do professor, mas a TRI possui um conjunto de procedimentos estat´ısticos fáceis de implementar de modo a colocar as classifica¸cões numa escala comum de modo que a interpreta¸cão dessas classifica¸cões seja sempre idêntica (Downing, 2003).

Suponhamos que pretendemos avaliar as quest˜oes, bem como os resultados dos estudantes nesse teste.

Perante um teste com I perguntas que ´e realizado por M estudantes, considere-se ymi,

m = 1, · · · , M e i = 1, · · · , I, a resposta que o estudante m deu à pergunta i. A resposta a cada item por cada um dos indiv´ıduos é classificada como certo/errado, ou seja, cotada dicotómicamente. Por conven¸cão é habitual usar o 1 para indicar o ”sucesso”ou uma resposta correta e 0 para o insucesso ou resposta errada. As respostas que os estudantes dão a todas as perguntas são armazenadas numa matriz de dados Y = [ymi], com M linhas e I colunas,

que apenas possui zeros e uns. Quando se pretende referir a todas as respostas ao item i, que corresponde a todos os elementos da coluna i da matriz de dados utilizar-se-´a a nota¸c˜ao yi, i = 1, · · · , I. Por sua vez, quando houver necessidade de referir todas as respostas do

estudante m iremos usar a nota¸c˜ao ym. A soma de cada linha da matriz Y representa o

número de respostas corretas de cada estudante que permite obter a sua classifica¸cão. Em cada coluna estão todas as respostas da respetiva pergunta e a soma dos seus elementos re-presenta o número total de respostas corretas a essa pergunta.

Uma linha t´ıpica da matriz de dados com 11 questões então será: 01000111101.

Os métodos que serão descritos come¸cam todos a partir de uma matriz de dados constitu´ıda por um conjunto de linhas tal como a anterior para cada um dos estudantes. No entanto, quando o número de itens é relativamente pequeno, a restri¸cão a dados dicotómicos por vezes torna poss´ıvel expressar os resultados de um modo mais compacto e informativo através de uma tabela de frequências para todos os casos poss´ıveis de respostas às perguntas.

Cada conjunto de respostas poss´ıveis a todas as perguntas é referido como padrão de resposta ou padrão de classifica¸cão. Se tivermos p questões existem 2p padrões de resposta poss´ıveis. Quando p = 4, por exemplo, temos

0000, 0001, 0010, 0011, 0100, 0101, 0110, 0111, 1000, 1001, 1010, 1011, 1100, 1101, 1110, 1111.

(26)

Este tipo de tabela de frequências é utilizado sempre que o tamanho da amostra é elevado. Caso algum padrão de resposta não ocorra este é omitido da tabela para poupar espa¸co (Galbraith et al., 2002).

Como exemplo utilizaram-se as respostas a 4 perguntas de escolha múltipla do teste da época normal de 2008 de Anatomia Cl´ınica dadas por 208 estudantes. Em cada um dos itens quando o estudante não respondeu à pergunta foi considerado que não acertou à pergunta.

A tabela de frequências de padrões de resposta é dada na Tabela 1.1.

Tabela 1.1: Padrões de resposta e respetivas frequências absolutas Padrão Frequência

0000 9 0001 26 0010 3 0011 3 0100 3 0101 15 0110 3 0111 10 1000 10 1001 23 1010 1 1011 5 1100 15 1101 34 1110 8 1111 40

A percentagem de acerto a cada uma das 4 perguntas pode ser verificada na Tabela 1.2. Tabela 1.2: Percentagem de acerto `as 4 perguntas

0 (%) 1 (%) P1 34,62 65,38 P2 38,46 61,54 P3 64,90 35,10 P4 25,00 75,00

Através da utiliza¸cão de tabelas de contingência 2x2 podemos verificar a associa¸cão entre 2 perguntas em estudo. Na Tabela 1.3 e com base no teste χ2 podemos concluir que quem acerta à pergunta 2 tem maior probabilidade de acertar à pergunta 3 e portanto podemos concluir que as perguntas estão associadas. Interessa-nos saber se essa associa¸cão pode ser atribu´ıda a um fator comum.

(27)

Tabela 1.3: Tabela de contingˆencia para as perguntas 2 e 3 0 N(%) 1 N(%) 0 68 (85,0%) 12 (15,0%) 1 67 (52,3%) 61 (47,7%)

1.1 Teoria Cl´

assica de Testes

O princ´ıpio central da Teoria Clássica de Testes (TCT) é que a classifica¸cão obtida por cada estudante num teste (X), pode ser decomposta na sua classifica¸cão verdadeira (T ) e uma componente de erro (E):

X = T + E. (1.1)

A classifica¸cão verdadeira de um estudante (T) é definida como o valor esperado da classi-fica¸cão observada caso o estudante realizasse um número infinito de vezes testes semelhantes. Podemos pensar na classifica¸cão verdadeira de cada estudante como a classifica¸cão que seria obtida caso não existisse erro de medi¸cão. Na prática isto nunca acontece portanto, torna-se importante avaliar até que ponto a classifica¸cão atual de cada estudante reflete o seu verda-deiro conhecimento dos temas avaliados pelo teste.

O coeficiente de fiabilidade permite-nos calcular uma estimativa da correla¸cão entre a clas-sifica¸cão verdadeira e observada dos estudantes, ou seja fornece uma estimativa do n´ıvel de precisão da classifica¸cão do estudante em rela¸cão à sua verdadeira classifica¸cão.

Considerando as classifica¸cões de 2 testes paralelos x e y então a correla¸cão entre a classi-fica¸cão verdadeira e observada dos estudantes ao quadrado é igual à correla¸cão entre os 2 testes:

rxy = rty× rtx= r2tx, (1.2)

pois como os testes s˜ao paralelos rty = rtx.

´

E claro que na vida real não é poss´ıvel fazer 2 versões paralelas do mesmo teste, mas é poss´ıvel dividir o teste em 2 partes aleatoriamente (Split-half reliability coefficient, (Flanagan, 1937) e (Rulon, 1939)) e estimar

r_tx2 ≈ r_sh= 4r12× σ1× σ2

σ_X2 , (1.3)

onde σ1 e σ2 os desvios padrão de cada metade, σ_X2 é a variância total do teste e r12 é a

correla¸c˜ao entre as duas partes.

O coeficiente de fiabilidade mede a propor¸cão da variância da classifica¸cão observada (σ2_X) que é partilhada ou atribu´ıda à variância da classifica¸cão verdadeira (σ2_T) que é devida à varia¸cão entre estudantes. Como a fiabilidade foca a exatidão da medi¸cão torna-se necessário definir o princ´ıpio sobre o qual a classifica¸cão do estudante pode ser reprodut´ıvel. Em rela¸cão a testes constitu´ıdos por perguntas de escolha múltipla (PEM) é muito usual utilizar o alfa de Cronbach (α) (Cronbach, 1951) para fornecer uma estimativa do coeficiente de fiabilidade. O alfa de Cronbach é definido pela média das correla¸cões entre todas as divisões poss´ıveis em duas partes iguais.

Suponhamos que queremos calcular a quantidade que é a soma de I componentes, X = Y1+ ... + YI, como os itens estão classificados como 0 e 1, o alfa de Cronbach (α) é definido

(28)

como: α = I I − 1 1 − PI i=1σY2i σ_X2 ! , (1.4)

onde σ_X2 é a variância das classifica¸cões observadas e σ_Y2

i = Pi× Qia variância da componente i para a amostra atual de estudantes e Pi é a propor¸cão de respostas corretas do item i e

Qi = 1 − Pi.

O coeficiente de fiabilidade garante que a classifica¸cão do estudante está associada à sua classifica¸cão verdadeira.

Dizemos que um teste tem boa fiabilidade se o alfa de Cronbach que lhe está associado for superior a 0,8; no entanto, para testes com menos de 50 itens e mais de 15 o valor limite é 0,7; caso estejamos na presen¸ca de um teste com menos de 15 itens esse limiar é de 0,5. As recomenda¸cões sobre a fiabilidade (Kehoe, 1995) do teste encontram-se na Tabela 1.4.

Tabela 1.4: Recomenda¸c˜oes sobre a fiabilidade do teste. Alfa de Cronbach

No de itens Boa fiabilidade

10 a 15 0,5

16 a 49 0,7

> 50 0,8

´

E também importante calcular o erro esperado que pode ser obtido através do erro padrão de medi¸cão (SEM) dado por:

σE = σX

p

1 − ρXY, (1.5)

onde σX = desvio padr˜ao (DP) da classifica¸c˜ao total do teste, e ρXY = estimativa do

coefi-ciente de fiabilidade.

Se fosse poss´ıvel fornecer um número infinito de vezes testes semelhantes ao mesmo estudante (assumindo que não existia aprendizagem entre a realiza¸cão dos teste) a média de todas as classifica¸cões deveria ser igual à sua classifica¸cão verdadeira enquanto que o DP deveria cor-responder ao SEM. O SEM é tipicamente utilizado para estabelecer um intervalo de confian¸ca para a classifica¸cão verdadeira do estudante.

Quando analisamos as perguntas à luz da TCT é usual utilizar as caracter´ısticas do item, dificuldade e discrimina¸cão.

Na TCT, a dificuldade do item é dada pela propor¸cão de estudantes que respondem correta-mente ao item, no caso de itens dicotómicos. O ´ındice de dificuldade varia entre 0 e 1; quando é igual a zero, então nenhum estudante respondeu ao item corretamente; pelo contrário, se for igual a 1, então todos os estudantes responderam corretamente. Uma pergunta é considerada dif´ıcil se o seu ´ındice de dificuldade for inferior ou igual a 0,30, com dificuldade média se for superior a 0,30 e inferior a 0,80 e fácil se for superior a 0,80. As recomenda¸cões para avaliar o ´ındice de dificuldade (Tavakol and Dennick, 2011) encontram-se na Tabela 1.5.

A discrimina¸cão na TCT tem por objetivo distinguir o grupo de estudantes que tiveram classifica¸cão elevada dos que tiveram classifica¸cão baixa no teste e é calculada utilizando a correla¸cão biserial1 entre a pergunta e o número de respostas corretas das outras perguntas.

1_{A correla¸}_c˜_{ao biserial r}

(29)

O ´ındice de discrimina¸cão pode assumir qualquer valor entre -1 e +1, correspondendo à di-feren¸ca entre o ´ındice de dificuldade dos estudantes que obtiveram uma classifica¸cão elevada no teste e o ´ındice de dificuldade dos estudantes que obtiveram uma classifica¸cão baixa no teste. Quanto mais próximo de 1 for o seu valor mais o item é discriminativo. Se a pergunta tiver um ´ındice de discrimina¸cão entre -1,00 e -0,20 considera-se que tem discrimina¸cão ne-gativa e deve ser verificada pois pode ter sido indicada a chave errada ou então caso tal não suceda deve ser descartada. Para ´ındices de discrimina¸cão entre -0,19 e 1,19 dizemos que a pergunta tem fraca discrimina¸cão; entre 0,20 e 0,29 discrimina¸cão suficiente; entre 0,30 e 0,39 boa discrimina¸cão; e entre 0,40 e 1,00 muito boa discrimina¸cão. Devemos rejeitar os itens com discrimina¸cão negativa e considerar para revisão ou rejei¸cão os itens com discrimina¸cão fraca e os itens com ´ındices de dificuldade muito altos ou muito baixos, digamos acima de 0,90 ou abaixo de 0,10. As recomenda¸cões para avaliar o ´ındice de discrimina¸cão (Ebel, 1979) encontram-se na Tabela 1.6.

Tabela 1.5: Recomenda¸c˜oes sobre ´ındice de dificuldade dos itens. ´Indice de dificuldade Pergunta

[0, 00; 0, 30] Dif´ıcil ]0, 30; 0, 80] Dificuldade m´edia ]0, 80; 1, 00] F´acil

Tabela 1.6: Recomenda¸cões sobre ´ındice de discrimina¸cão dos itens. Índice de Discrimina¸cão Discrimina¸cão

[−1, 00; −0, 20] Negativa ] − 0, 20; 0, 19] Fraca

]0, 19; 0, 29] Suficiente

]0, 29; 0, 39] Boa

]0, 39; 1, 00] Muito Boa

As recomenda¸cões indicadas para os ´ındices de dificuldade e de discrimina¸cão são aplicáveis tanto na TCT como na TRI que será abordada na seçcão seguinte.

dicotómica artificial X e a variável continua Z e pode ser calculada através da fórmula rbis= Z1_S−Z0

Z

n1n0

un2

! , onde Z1 a média dos X que responderam corretamente à pergunta, Z0 a média dos X que responderam

erradamente à pergunta, SZdesvio padrão de todos os Z, n1 o número de estudantes em X que responderam

corretamente à pergunta, n1 o número de estudantes em X que responderam erradamente à pergunta, n =

n1+ n0e u é a ordenada da distribui¸cão N (0, 1) na probabilidade comulativa de p1= n_n1, isto é a propor¸cão

(30)

1.2 Teoria de Resposta a Itens

A teoria de resposta a itens (TRI) engloba uma fam´ılia de modelos não lineares que fornecem uma estimativa da probabilidade de responder corretamente num item (pergunta) de um teste em fun¸cão das caracter´ısticas desse item (por exemplo: dificuldade e discrimina¸cão) e da capacidade dos estudantes.

Os modelos TRI têm então como variáveis dependentes itens dicotómicos e como variável independente uma ou mais variáveis latentes. Estes modelos também são chamados modelos de tra¸co latente devido à principal aplica¸cão para a qual foram idealizados, a saber, medi¸cão de tra¸cos psicológicos que não se conseguem medir diretamente. Os principais objetivos da TRI são:

• Observar as inter-rela¸c˜oes entre as respostas observadas;

• Determinar se as inter-rela¸c˜oes podem ser explicadas por apenas uma vari´avel latente (capacidade do estudante);

• Atribuir uma classifica¸c˜ao a cada estudante tendo em conta os padr˜oes de resposta. ´

E natural pensar em tratar os dados binários como se fossem métricos, no entanto, tal análise é inapropriada pois é baseada num modelo que assume que os vetores observados (y1, .., yI)

são métricos e não dicotómicos. Para comprovar vejamos o modelo de análise factorial. O modelo é escrito como:

yi= αi0+ αi1x + ei (i = 1, · · · , I), (1.6)

onde I denota o número de itens observados, yi denota as respostas ao i-ésimo item métrico

observado, x denota o vetor da vari´avel latente e ei o vetor dos erros. Assumimos que o

vetor dos erros segue uma distribui¸cão normal com média 0 e variância σ_i2 e é independente do vetor da variável latente que segue uma distribui¸cão normal x ∼ N (0, 1). Uma vez que x e ei são independentes e podem tomar qualquer valor o mesmo acontece com cada yi.

Por-tanto, a análise fatorial linear é imprópria para vetores categóricos, em geral, e para vetores dicotómicos, em particular.

Podemos pensar num modelo de regress˜ao apropriado para cada yi na vari´avel latente. O

método de regressão habitual utilizado para uma variável de resposta dicotómica num con-junto de variáveis explicativas é conhecido como regressão log´ıstica. O seu nome provem da fun¸cão log´ıstica utilizada na equa¸cão de regressão.

A fim de explicar a escolha desta fun¸cão relembremos que a regressão de yi na variável

la-tente, isto é, o valor esperado de yi dado x. Uma vez que yi é dicotómico, o valor esperado

de yi dado x ´e o mesmo que P (yi = 1|x) = Pi(x). Portanto temos de especificar a forma da

probabilidade Pi(x) em fun¸cão de x. A fun¸cão escolhida é conhecida como fun¸cão de liga¸cão

e pode ser definida como

Pi(x) = αi0+ αi1x(i = 1, .., I). (1.7)

O lado esquerdo da equa¸cão 1.7 é uma probabilidade que toma valores entre 0 e 1, e o lado direito da equa¸cão não é restringido e pode tomar qualquer valor real.

Os modelos lineares generalizados vieram solucionar este problema, em particular o modelo de regressão apropriado para vetores de respostas dicotómicas num conjunto de vetores ex-plicativos que é conhecido como regressão log´ıstica.

(31)

Para garantir que as probabilidades de sucesso são valores compreendidos entre zero e um, a fun¸cão usada é a logit. Desta forma

ln Pi(xm) 1 − Pi(xm) = αi0+ αi1xm, (m = 1, · · · , M, i = 1, · · · , I). (1.8)

A equa¸c˜ao anterior pode ser escrita na forma Pi(xm) = eαi0+αi1xm 1 + eαi0+αi1xm = 1 1 + e−(αi0+αi1xm), (1.9) (m = 1, · · · , M, i = 1, · · · , I, ).

Dois modelos TRI habituais para testes com PEM cotadas dicotómicamente são o modelo log´ıstico com 1 parâmetro (1-PL) e o modelo log´ıstico com 2 parâmetros (2-PL), cujas probabi-lidades de resposta aos itens dependem da capacidade de cada estudante e das caracter´ısticas do item. Consideremos bi a dificuldade do item i, ai o parâmetro de discrimina¸cão desse item

e θm a capacidade do estudante m, que ´e uma vari´avel latente que vai ser medida tendo em

conta o conjunto de itens no teste.

1.2.1 Modelo Log´ıstico de 2 parˆametros (2-PL)

O modelo 2-PL assume que os itens possuem dois parâmetros que os distinguem entre si, que são os n´ıveis de dificuldade e de discrimina¸cão. Neste modelo, a probabilidade do estudante m responder corretamente ao item i é dada pela expressão:

Pi(θm) =

1

1 + e−ai(θm−bi) (m = 1, · · · , M, i = 1, · · · , I, ). (1.10) A express˜ao 1.10 pode tamb´em ser definida como

Pi(θm) =

eai(θm−bi)

1 + eai(θm−bi). (1.11) Se reescrevermos a equa¸c˜ao anterior obteremos a fun¸c˜ao logit:

ln Pi(θm) 1 − Pi(θm)

!

= ai(θm− bi). (1.12)

Este modelo deriva da express˜ao 1.9 onde a capacidade do estudante, θm, desempenha neste

contexto o papel de xm, o n´ıvel de discrimina¸c˜ao aique corresponde ao declive da reta tangente

no ponto de inflexão correspondente a uma probabilidade de resposta correta de 50%. De modo a facilitar a leitura podemos padronizar o declive de forma a obter a correla¸cão entre a capacidade do estudante e a probabilidade de acertar à pergunta utilizando a seguinte fórmula

a∗_i = _q ai (a2_i + 1)

. (1.13)

O parâmetro bi (bi ∈ R) é de localiza¸cão, expresso em unidades de θm, que indica o ponto,

na escala de θm, no qual a probabilidade da resposta correta ao item i ´e de 50%, enquanto

(32)

O parˆametro bi tamb´em pode ser padronizado de forma a variar entre 0 e 1 calculando a

probabilidade de resposta correta ao item para para θm = 0. O vetor de θ dos estudantes ´e

desconhecido e considerado uma variável latente. A distribui¸cão de θ, por regra, é a distri-bui¸cão normal com média nula e variância 1, E(θ) = 0 e V ar(θ) = Im, onde Im representa a

matriz identidade de ordem m.

1.2.2 Modelo Log´ıstico de 1 parˆametro (1-PL)

O modelo 1-PL é um caso particular do modelo 2-PL em que se considera que todos os itens têm o mesmo parâmetro de discrimina¸cão.

Assim, neste modelo o parâmetro de discrimina¸cão ai referido na equa¸cão 1.10 é igual para

todos os itens. Considerando então ai = a na equa¸cão 1.10 obtemos então o modelo 1-PL

dado por

Pi(θm) =

1

1 + e−a(θm−bi) (m = 1, · · · , M, i = 1, · · · , I). (1.14)

O modelo Rasch é um caso especial do modelo 1-PL no qual consideramos que a = 1. Uma forma de representar os modelos 1-PL e 2-PL para um determinado item é através de um gráfico denominado de curva caracter´ıstica do item (CCI). Este gráfico indica a probabilidade da resposta correta ao item em fun¸cão da capacidade do estudante e que é representada por uma das equa¸cões 1.10 e 1.14. Se os parâmetros de discrimina¸cão e de dificuldade do item forem conhecidos, podemos representar a CCI percorrendo todos os valores de θ. Usualmente o eixo das abcissas varia entre -4 e 4, porque se assume que θ é normalmente distribu´ıdo. Nas Figuras 1.1(a) e 1.1(b) apresentam-se, a t´ıtulo ilustrativo, as CCI de 3 itens cujas carac-ter´ısticas estão definidas nas Tabelas 1.7 e 1.8. Os parâmetros de dificuldade são os pontos de inflexão das curvas e que correspondem aos valores das abcissas marcados a tracejado na Fi-gura 1.1(a), ou seja, fixando a probabilidade em 50% representamos os valores da capacidade para cada uma das curvas. Na Figura 1.1(a), o item 3 é mais dif´ıcil que os restantes pois para se atingir uma percentagem de acerto de 50% a capacidade dos estudantes tem de ser superior quando comparada com os itens 1 e 2. No item 1 um estudante teria de ter uma capacidade de -1,00, no item 2 de 0,00 enquanto que no item 3 terá de ser de 1,00. Relativamente à discri-mina¸cão esta é a mesma nos três itens. Valores elevados de θm estão associados a estudantes

com maior capacidade e com o aumento de θm deve existir um aumento correspondente na

propor¸cão de respostas corretas, a discrimina¸cão do item. Na Figura 1.1(b) os três itens têm a mesma dificuldade, 1,00. Relativamente à discrimina¸cão podemos dizer que o item 3 é mais discriminativo relativamente aos outros dois itens pois quanto mais ´ıngreme é a CCI maior é o aumento na propor¸cão de respostas corretas em fun¸cão da capacidade do estudante e melhor é o item capaz de discriminar as capacidades dos estudantes.

(33)

(a) Índice de discrimina¸cão fixo e igual a 1 (b) Índice de dificuldade fixo e igual a 1

Figura 1.1: Curva CCI para 3 itens de um teste

Tabela 1.7: Caracter´ısticas dos itens com ´ındice de discrimina¸c˜ao fixo e igual a 1

item i 1 2 3

bi -1,00 0,00 1,00

b∗_i 0,73 0,50 0,27 ai 1,00 1,00 1,00

a∗_i 0,71 0,71 0,71

Tabela 1.8: Caracter´ısticas dos itens com ´ındice de dificuldade fixo e igual a 1

item i 1 2 3

bi 1,00 1,00 1,00

b∗_i 0,44 0,38 0,32 ai 0,25 0,50 0,75

a∗_i 0,24 0,45 0,60

Na prática, as caracter´ısticas dos itens bem como a capacidade dos estudantes são desconhe-cidas e têm de ser estimadas através de um método de estima¸cão e portanto as curvas CCI que são usualmente apresentadas têm no eixo dos xx os valores estimados para a capacidade dos estudantes θm e no eixo dos yy a probabilidade estimada de uma resposta correta

consi-derando o n´ıvel de desempenho do estudante.

Um dos pressupostos dos modelos TRI ´e a independˆencia local no sentido que as respostas dadas pelo estudante m (m = 1, · · · , M ), condicionadas pelo seu n´ıvel de capacidade, θm,

são independentes. É também assumido que as respostas dadas por estudantes diferentes são independentes.

(34)

tˆem em linha de conta a possibilidade dos estudantes poderem cometer fraude pelo facto de, eventualmente, terem sido expostos a algumas quest˜oes do teste. O modelo que se apresenta de seguida tem em linha de conta este facto.

1.3 Modelo DGM

O modelo DGM (Deterministic, Gated Item Response Theory Model ) ´e um modelo que uti-liza a verdadeira capacidade para caracterizar a competˆencia real, θtm, do estudante m,

m = 1, · · · , M , e a sua capacidade de fraude, θcm, para estimar a efic´acia da fraude.

Este modelo classifica os estudantes como fraudulentos ou não fraudulentos pelo condiciona-mento em dois conjuntos mutuamente exclusivos de perguntas; o primeiro conjunto inclui os itens que provavelmente estão comprometidos (perguntas repetidas,...) e o segundo conjunto é constitu´ıdo pelos itens não comprometidos, também designados de itens seguros. É a partir da diferen¸ca entre os n´ıveis de conhecimento do estudante nos itens comprometidos e nos itens não comprometidos que é feita a classifica¸cão do estudante. A cada item é associada uma variável que indica se o item em causa é ou não comprometido. Estas variáveis são dicotómicas e dadas por

Gi=

1, quando o item i est´a comprometido

0, caso contrário (i = 1, · · · , I). (1.15) Assumindo que se conhece a verdadeira capacidade de um estudante e a sua capacidade de cometer fraude, esse estudante é classificado de fraudulento se a sua verdadeira capacidade for inferior à sua capacidade de cometer fraude. Portanto, a cada estudante m é associada a seguinte variável

Tm=

1, quando θtm< θcm

0, caso contr´ario (m = 1, · · · , M ). (1.16) Quando Tm= 1 o estudante m ´e classificado como fraudulento.

Neste modelo existem duas vari´aveis latentes que se podem escrever como o vetor θm =

(θtm, θcm) e portanto escrevemos a probabilidade do estudante m responder corretamente ao

item i da seguinte forma

Pi(θm) = P (ymi= 1|θtm, θcm, bi), (m = 1, · · · , M, i = 1, · · · , I, ). (1.17)

Tanto Gi como Tm s˜ao definidos dicot´omicamente e, portanto, o modelo pode ser definido em

quatro modelos condicionais

Quando o estudante m ´e classificado como n˜ao fraudulento, Tm = 0, as respostas a todos

os itens s˜ao baseadas apenas na sua verdadeira capacidade, θtm e portanto as probabilidades

de acerto não dependem do parâmetro θcm. No entanto, quando Tm = 1, isto é, quando o

estudante é fraudulento é necessário ter em conta se os itens são expostos ou não. As respos-tas do estudante aos itens não expostos (G = 0) são baseados na sua verdadeira capacidade

(35)

(θtm) enquanto que as respostas aos itens expostos (G = 1) s˜ao baseadas na sua

capaci-dade de cometer fraude (θcm). Portanto a capacidade de cometer fraude apenas influencia a

probabilidade de resposta de estudantes fraudulentos nos itens expostos.

Tabela 1.9: Dados observados para os quatro modelos condicionais.

G=0 G=1

T=0 θt θt

T=1 θt θc

Tendo em conta Gi e Tm, a probabilidade do estudante m responder corretamente ao item i

pode ser definida segundo a equa¸c˜ao:

Pi(θm) =

(

Pi(θcm) quando Tm = 1, Gi = 1

Pi(θtm) caso contr´ario,

(1.19)

onde Pi(θcm) e Pi(θtm) s˜ao probabilidades usando o modelo Rasch definido na equa¸c˜ao 1.14

considerando para o n´ıvel de discrimina¸c˜ao o valor 1, a = 1, ou seja Pi(θtm) = 1 1 + eθtm−bi, (1.20) Pi(θcm) = 1 1 + eθcm−bi. (1.21)

O modelo DGM descrito na equa¸cão 1.19 pode ser escrito através de uma única equa¸cão com a forma:

Pi(θm) = Pi(θtm)1−Tm× [(1 − Gi) × Pi(θtm) + Gi× Pi(θcm)]Tm. (1.22)

O modelo DGM foca-se essencialmente em detetar estudantes fraudulentos que obtiveram um ganho significativo na classifica¸cão dos itens expostos em rela¸cão aos itens não expostos e portanto o ganho é utilizado como evidência de fraude nos itens expostos. Existem dois casos extremos em que o modelo não consegue classificar os estudantes como fraudulentos ou não fraudulentos pois não consegue fazer o confronto das duas capacidades do estudante. O primeiro caso ocorre quando todos os itens são classificados como itens expostos onde o modelo apenas estima a capacidade de cometer fraude para cada estudante. O outro caso ocorre quando todos os itens são seguros e, nesta situa¸cão o modelo DGM apenas estima a verdadeira capacidade.

(36)

(37)

Cap´ıtulo 2

Abordagens de estima¸

c˜

ao

Os modelos definidos no cap´ıtulo anterior assumem que entre estudantes as suas respostas são independentes e, que os modelos são localmente independentes, isto é uma vez conhecidas as capacidades de cada estudante as suas respostas são independentes. Para um teste com I questões que é realizado por M estudantes, ymi, m = 1, · · · , M e i = 1, · · · , I, é uma

experiˆencia de Bernoulli com parˆametro Pi(θm), onde θm representa apenas as capacidades

do estudante m. Quando trabalhamos com os modelos 1-PL ou 2-PL θm = θm, no entanto,

se trabalharmos com o modelo DGM ent˜ao θm ´e um vetor composto pelas duas capacidades

descritas na seçcão 1.3 θm = (θtm, θcm). Os parâmetros dos itens são a = (a1, · · · , aI) e

b = (b1, · · · , bI). Nesta situa¸cão a fun¸cão de probabilidade de ymié dada por

f (ymi|θm, a, b) = Pi(θm)ymiQi(θm)1−ymi, (2.1)

onde Qi(θm) = 1 − Pi(θm) e Pi(θm) ´e definido por uma das express˜oes 1.10, 1.14 ou 1.22.

Sob a suposi¸cão de independência local o sucesso de um item é estatisticamente independente do sucesso dos outros itens dado θm e assim a distribui¸cão conjunta de todos os itens para o

estudante m pode ser escrita como

f (ym|θm, a, b) = I

Y

i=1

Pi(θm)ymiQi(θm)1−ymi. (2.2)

A express˜ao 2.2 representa a probabilidade do vetor resposta do estudante m, ym,

condicio-nado a um valor conhecido de θm e aos parˆametros dos itens.

Mantendo o pressuposto de independˆencia entre estudantes, a verosimilhan¸ca das respostas dadas pelos estudantes a todos os itens ´e dada por

L = f (Y |θm, a, b) = M

Y

m=1

f (ym|θm, a, b). (2.3)

Tendo em conta que o logaritmo é uma fun¸cão crescente, na maioria das vezes, por questões de simplicidade, trabalha-se com o logaritmo da verosimilhan¸ca. Neste caso o logaritmo da verosimilhan¸ca é log L = log f (Y |θm, a, b) = M X m=1 log f (ym|θm, a, b), (2.4)

(38)

onde log f (ym|θm, a, b) = I

X

i=1

[ymilog Pi(θm) + (1 − ymi) log Qi(θm)].

Os parâmetros dos itens designam-se por parâmetros estruturais cujo número é fixo tendo em conta o tamanho do teste, e os parâmetros dos estudantes designam-se por parâmetros inci-dentais que dependem do número de estudantes que realiza o teste. Na próxima seçcão iremos abordar os diversos métodos de estima¸cão para os modelos descritos no cap´ıtulo 1.

2.1 Abordagem cl´

assica

No contexto dos modelos apresentados no cap´ıtulo 1 existem 3 metodologias que podem ser aplicadas dependendo do objetivo do problema em análise. Podemos conhecer os parâmetros associados aos itens e estarmos interessados em estimar apenas as capacidades dos estudantes; podemos estar mais interessados nos parâmetros dos itens e partimos do pressuposto que co-nhecemos as capacidades dos estudantes ou podemos estar na situa¸cão, a mais comum, em que desconhecemos quer os parâmetros dos itens quer as capacidades dos estudantes. Em qual-quer das situa¸cões é usual aplicar o método da máxima verosimilhan¸ca. Os parâmetros que maximizam a verosimilhan¸ca são os mesmos que maximizam o logaritmo da verosimilhan¸ca pois esta fun¸cão é crescente.

Por uma questão de simplicidade vai ser exposta a estima¸cão clássica do modelo TRI 2-PL expresso pela equa¸cão 1.10, uma vez que o modelo 1-PL é um caso particular e a estima¸cão do modelo DGM apenas será feita através da abordagem bayesiana. Assim, o parâmetro θm

nas express˜oes 2.4 e 2.3 ´e univariado θm, com m = 1, · · · , M .

2.1.1 Estima¸c˜ao das capacidades dos estudantes conhecidos os parˆametros dos itens

Assumindo que os parâmetros dos itens ai e bi são conhecidos, existem M parâmetros para

serem estimados. De acordo com Baker and Kim (2004), para um dado estudante, a estima¸cão da capacidade será a estima¸cão da fun¸cão de verosimilhan¸ca da sua capacidade (desconhecida) tendo por base as suas respostas aos I itens do teste e os valores dos parâmetros desses itens. A probabilidade do vetor de respostas aos itens para um dado estudante é dada pela fun¸cão de verosimilhan¸ca referida na expressão 2.2 e que pode ser simplificada como

P (Ymi|θm) = I

Y

i=1

Pi(θm)ymiQi(θm)1−ymi, (2.5)

aplicando o logaritmo obtemos

L = log P (Ymi|θm) = I X i=1 ymilog Pi(θm) + (1 − ymi) log Qi(θm) . (2.6)

Uma vez que os parâmetros dos I itens são assumidos como conhecidos e são os ”verdadeiros valores”, apenas as derivadas do logaritmo da fun¸cão de verosimilhan¸ca respeitantes a um determinado estudante têm de ser calculadas

(39)

∂L ∂θm = I X i=1 ymi 1 Pmi(θm) ∂Pmi(θm) ∂θm + I X i=1 (1 − ymi) 1 Qmi(θm) ∂Qmi(θm) ∂θm . (2.7)

Tendo em conta que ∂Pmi

∂θm = aiPmi(θm)Qmi(θm) e

∂Qmi(θm)

∂θm = −aiPmi(θm)Qmi(θm) então a equa¸cão 2.7 fornece a primeira derivada do logaritmo da fun¸cão da verosimilhan¸ca para θm e

esta ´e ∂L ∂θm = I X i=1 ymi 1 Pmi(θm) (aiPmi(θm)Qmi(θm)) + I X i=1 (1 − ymi) 1 Qmi(θm) (−aiPmi(θm)Qmi(θm)) = I X i=1 ai(ymi− Pmi(θm)). (2.8)

Podemos então escrever a equa¸cão de verosimilhan¸ca para cada um dos m estudantes que permitem estimar o parâmetro

θm: I

X

i=1

ai(ymi− Pmi(θm)) = 0. (2.9)

A equa¸cão de máxima verosimilhan¸ca apresentada em 2.9 não pode ser resolvida diretamente para obter as estimativas do parâmetro do estudante e tem de ser resolvida através de pro-cessos iterativos até o critério de convergência ser atingido.

O método de Newton-Raphson poderá ser utilizado para obter a estimativa do parâmetro da capacidade por via iterativa. Para um dado estudante, a equa¸cão 2.9 pode ser resolvida iterativamente para a estima¸cão da verosimilhan¸ca da capacidade do estudante

[ˆθm]t+1= [ˆθm]t− " ∂2L ∂θ2 m #−1 t " ∂L ∂θm # t , (2.10)

sendo a segunda derivada do logaritmo da fun¸c˜ao da verosimilhan¸ca para θm

∂2L ∂θ2 m = − I X i=1 a2_iPmi(θm)Qmi(θm). (2.11)

Quando o procedimento de Newton-Raphson ´e realizado um estimador da capacidade do estudante θm ´e obtido.

Substituindo a equa¸c˜ao 2.11 na equa¸c˜ao 2.10 obtemos [ˆθm]t+1 = [ˆθm]t− " − I X i=1 a2_iPmi(θm)Qmi(θm) #−1 t " _I X i=1 aiPmi(θm)Qmi(θm) ymi− Pmi(θm) Pmi(θm)Qmi(θm) !# t = [ˆθm]t−       I P i=1 aiPmi(θm)Qmi(θm) ymi−Pmi(θm) Pmi(θm)Qmi(θm) − I P i=1 a2_iPmi(θm)Qmi(θm)       t , (2.12)

que num determinado estado ser´a resolvida iterativamente para o valor de θm para cada

(40)

2.1.2 Estima¸c˜ao dos parˆametros dos itens conhecidas as capacidades dos estudantes

Assumindo que as capacidades θm dos estudantes s˜ao conhecidas, existem 2I parˆametros

para serem estimados. As respostas dos estudantes a cada item i vão permitir estimar os dois parâmetros associados a esse item. As estimativas de máxima verosimilhan¸ca para os parâmetros são os valores dos parâmetros do item que maximizam a expressão 2.4 dadas as respostas observadas aos itens. Este valores são obtidos igualando as primeiras derivadas parciais da fun¸cão de verosimilhan¸ca a 0.

Teremos de resolver I sistemas da forma ∂

∂ai

(log L) = 0, ∂ ∂bi

(log L) = 0. (2.13)

Para obter estas derivadas necessitamos de determinar as derivadas parciais de primeira ordem de log f (ym|θm, a, b), m = 1, · · · , M que s˜ao dadas por

∂ ∂ai (log f (ym|θm, a, b)) = ymi ∂ ∂aiPi(θm) Pi(θm) + (1 − ymi) ∂ ∂aiQi(θm) Qi(θm) , (2.14) ∂ ∂bi (log f (ym|θm, a, b)) = ymi ∂ ∂biPi(θm) Pi(θm) + (1 − ymi) ∂ ∂biQi(θm) Qi(θm) . (2.15)

As express˜oes anteriores necessitam das derivadas parciais das probabilidades Pi(θm) e Qi(θm)

que s˜ao dadas por ∂ ∂ai Pi(θm) = (θm− bi)e−ai(θm−bi) (1 + e−ai(θm−bi))2 = (θm − b_i)Pi(θm)Qi(θm), (2.16) ∂ ∂bi Pi(θm) = (−ai)e−ai(θm−bi) (1 + e−ai(θm−bi)₎2 = −aiPi(θm)Qi(θm), (2.17) ∂ ∂ai Qi(θm) = − ∂ ∂ai Pi(θm) = −(θm− bi)Pi(θm)Qi(θm), (2.18) ∂ ∂bi Qi(θm) = − ∂ ∂ai Pi(θm) = aiPi(θm)Qi(θm). (2.19)

Usando estas derivadas nas expressões 2.14 e 2.15 e procedendo a algumas simplifica¸cões obtém-se as seguintes derivadas parciais para cada um dos I itens.

∂ ∂ai

(log f (ym|θm, a, b)) = [ymi− Pi(θm)](θm− bi), (2.20)

∂ ∂bi

(log f (ym|θm, a, b)) = (−ai)[ymi− Pi(θm)]. (2.21)

A partir daqui podemos escrever as equa¸cões de máxima verosimilhan¸ca para cada um dos I itens que permitem estimar os parâmetros

ai : M

X

m=1

(41)

bi: (−ai) M

X

m=1

[ymi− Pi(θm)] = 0. (2.23)

As equa¸cões de máxima verosimilhan¸ca apresentadas em 2.22 e 2.23 não podem ser resolvidas diretamente para obter as estimativas dos parâmetros dos itens e por esse motivo são resolvi-das utilizando processos iterativos até o critério de convergência ser atingido. Assumindo θm

conhecido, os dois parâmetros para o i-ésimo item são estimados simultaneamente utilizando as equa¸cões 2.22 e 2.23. Uma vez que a estima¸cão dos parâmetros de um item em particular não depende dos parâmetros dos restantes itens a estima¸cão é realizada para cada um dos itens individualmente.

2.1.3 Todos os parˆametros do modelo desconhecidos

De acordo com Baker and Kim (2004), uma forma de estimar os parâmetros do modelo é através da estima¸cão de máxima verosimilhan¸ca conjunta, JMLE (Joint Maximum Likelihood Estimator), mas este procedimento produz estimativas para os parâmetros estruturais que não são consistentes na presen¸ca de parâmetros incidentais (parâmetros do estudante θm) e a forma

de contornar este problema é através do método de máxima verosimilhan¸ca marginal. Para tal assume-se que os estudantes representam uma amostra aleatória da popula¸cão na qual a capacidade do estudante é distribu´ıda de acordo com uma determinada fun¸cão densidade g(θ|τ

e

), onde τ

e

representa o vetor de parâmetros da distribui¸cão g. O objetivo é obter a verosimilhan¸ca marginal dos parâmetros dos itens através da integra¸cão da fun¸cão densidade de θm, estimar os parâmetros dos itens que maximizam essa verosimilhan¸ca e considerar

que essas estimativas são as verdadeiras para depois estimar as capacidades dos estudantes. Existem várias solu¸cões para aplicar este método; a primeira solu¸cão foi introduzida por Bock and Lieberman (1970) e as restantes são reformula¸cões desta solu¸cão para ultrapassar problemas computacionais.

2.1.3.1 A solu¸c˜ao Bock e Lieberman

A solu¸cão proposta corresponde a um modelo ANOVA de efeitos mistos, considerando os itens como um efeito fixo e as capacidades como um efeito aleatório. A essência da solu¸cão sugerida por Bock and Lieberman é integrar a fun¸cão de densidade da capacidade e por conseguinte remover os parâmetros incomodativos da fun¸cão de verosimilhan¸ca. Em contraste com a solu¸cão JMLE, nesta solu¸cão os parâmetros do item são estimados através da distribui¸cão marginal e deste modo estão livres da sua dependência sobre a estima¸cão da capacidade de cada estudante embora não estejam livres da dependência da fun¸cão de distribui¸cão da capacidade. Isto produz estimativas consistentes dos parâmetros do item para amostras de qualquer tamanho, uma vez que aumentar o tamanho da amostra não requer a estima¸cão adicional de parâmetros do estudante.

Tendo em conta que θm passou a ser aleat´orio passamos a ter a distribui¸c˜ao conjunta de ym

com θm, f (ym, θm|a, b, τ e ), dada por f (ym, θm|a, b, τ e ) = f (ym|θm, a, b) × g(θ|τ e ), (2.24)

(42)

com f (ym|θm, a, b) definida na express˜ao 2.2.

Para um estudante retirado aleatoriamente da popula¸cão com uma fun¸cão de distribui¸cão continua para a capacidade g(θ|τ

e

), a probabilidade (marginal) não condicionada do seu vetor resposta ym em rela¸cão aos parâmetros do item e fun¸cão densidade da popula¸cão é

f (ym|a, b) =

Z

f (ym|θ, a, b) × g(θ|τ e

)dθ. (2.25)

Embora este método não seja considerado bayesiano é necessário definir a distribui¸cão de θm

condicional ao vetor ym, que atendendo ao teorema de Bayes resulta na express˜ao

Assumindo a independˆencia local, f (ym|θm, a, b) representa a probabilidade do vetor de

res-posta ym, condicionada `a capacidade de um estudante e aos parˆametros do item, e g(θ|τ e

) representa a fun¸cão densidade de probabilidade da capacidade dos estudantes. A expressão 2.26 distribui os dados de um estudante na escala de capacidade em propor¸cão com a probabi-lidade a posteriori combinada de estarem naquele ponto, dado o seu vetor resposta. Portanto, o número de respostas corretas para cada item em cada valor θm é representado por uma

dis-tribui¸c˜ao a posteriori e n˜ao por um valor singular como no caso do JMLE.

De acordo com Bock and Lieberman (1970), a fun¸c˜ao de verosimilhan¸ca marginal ´e

L = M Y m=1 f (ym|a, b). (2.27) O logaritmo de L ´e log L = M X m=1 log f (ym|a, b). (2.28)

Para encontrar as estimativas que maximizam a verosimilhan¸ca marginal necessitamos de derivar log L em ordem a ai e a bi:

∂ ∂ai

(log L) = 0 ; ∂ ∂bi

(log L) = 0. (2.29)

Iniciemos pelo parˆametro ai:

∂ ∂ai (log L) = M X m=1 ∂ ∂ai (log f (ym|a, b)) = M X m=1 [f (ym|a, b)]−1 Z _∂ ∂ai [f (ym|θ, a, b)]g(θ|τ e )dθ. (2.30)

(43)

O termo entre parênteses retos é a distribui¸cão de θ|ymque aparece na equa¸cão 2.26 e portanto

∂ ∂ai (log L) = M X m=1 Z _∂ ∂ai [log f (ym|θ, a, b)]f (θ|ym, a, b, τ e )dθ. (2.33)

A express˜ao da derivada parcial _∂a∂

i[log f (ym|θ, a, b)] já foi calculada na seçcão 2.1.2, em que se considerou conhecidas as capacidades dos estudantes, e é dada pela expressão 2.20, que substituindo na equa¸cão 2.33 obtém-se

∂ ∂ai (log L) = M X m=1 Z [ymi− Pi(θ)](θ − bi)f (θ|ym, a, b, τ e )dθ.

O mesmo racioc´ınio pode ser aplicado para obter a derivada parcial do logaritmo da verosi-milhan¸ca marginal em ordem a bi, obtendo-se

∂ ∂bi (log L) = M X m=1 Z −a_i[ymi− Pi(θ)]f (θ|ym, a, b, τ e )dθ.

Para encontrar as estimativas de máxima verosimilhan¸ca dos parâmetros ai e bi têm de ser

resolvidas as equa¸c˜oes ∂ ∂ai (log L) = 0 ⇔ M X m=1 Z [ymi− Pi(θ)](θ − bi)f (θ|ym, a, b, τ e )dθ = 0, (2.34) ∂ ∂bi (log L) = 0 ⇔ −ai M X m=1 Z [ymi− Pi(θ)]f (θ|ym, a, b, τ e )dθ = 0 (2.35)

As equa¸cões 2.34 e 2.35 envolvem o cálculo de integrais que não conseguem ser calculados analiticamente e têm de ser aproximados numericamente. A técnica numérica chamada qua-dratura de Hermite-Gauss pode ser utilizada para estimar este tipo de integrais. Se g(θ|τ

e

(44)

uma distribui¸cão cont´ınua com momentos finitos esta pode ser aproximada para um determi-nado grau de exatidão por uma distribui¸cão discreta sobre um número finito de pontos, isto é através de um histograma. Com a abordagem da aproxima¸cão da quadratura, o problema de encontrar área sob a curva é substitu´ıdo pelo problema mais simples de encontrar a soma das áreas de um número finito de retângulos que aproximam a área sob a curva. A escala de capacidade θ é dividida em q intervalos e o ponto médio de cada retângulo na escala de capacidade, Xk (k = 1, 2, ...q) é chamado de ”nó”. Cada nó tem um peso associado A(Xk)

que tem em conta a altura da fun¸c˜ao de densidade g(θ|τ

e

) na vizinhan¸ca de Xk e a largura

dos retˆangulos e que aproxima g(θ|τ

e

) no respetivo intervalo. Os valores de Xk e A(Xk) s˜ao

encontrados resolvendo o conjunto de equa¸cões que envolvem a distribui¸cão continua a ser aproximada e o número especifico de nós. Uma tabela com os valores de Xk e A(Xk) é dada

por Stroud and Secrest (1966). Para aproximar a distribui¸c˜ao que necessitamos, g(θ|τ

e

), os n´os Xk s˜ao multiplicados por

√

2 e os A(Xk) s˜ao divididos por

√

π. Não é necessário que g(θ|τ

e

) tenha uma distribui¸c˜ao normal; em geral podem ser definida empiricamente.

Seja f (ym|Xk, a, b) a forma da quadratura da probabilidade condicional de ymdado θm= Xk

e os parˆametros do item

f (ym|Xk, a, b) = I

Y

i=1

Pi(Xk)ymiQi(Xk)1−ymi. (2.36)

Então a quadratura da expressão 2.26 é dada por f (Xk|ym, a, b, τ e ) = _qf (ym|Xk, a, b)A(Xk) X k=1 f (ym|Xk, a, b)A(Xk) , (2.37)

que substituindo nas express˜oes 2.34 e 2.35 resulta em

ai: q X k=1 M X m=1 [ymi− Pi(Xk)](Xk− bi) × f (Xk|ym, a, b, τ e ) = 0, (2.38) bi : (−ai) q X k=1 M X m=1 [ymi− Pi(Xk)] × f (Xk|ym, a, b, τ e ) = 0. (2.39)

As equa¸cões 2.38 e 2.39 representam a quadratura das equa¸cões da verosimilhan¸ca marginal de Bock e Lieberman para o modelo 2-PL. De acordo com a abordagem de Bock and Lieberman (1970), a técnica de Newton-Raphson deve ser utilizada para estimar os 2I parâmetros do item do teste simultaneamente. Tal como no caso do JMLE os valores observados de ymi

na segunda derivada da fun¸cão logaritmo da máxima verosimilhan¸ca são substitu´ıdos pelos seus valores esperados. No entanto, o método não é muito bom computacionalmente porque requer a inversão de uma matriz 2I × 2I. Por esse motivo, o processo de estima¸cão é limitado a um número muito pequeno de itens. Adicionalmente, as estimativas dos parâmetros do item não são independentes da amostra um vez que o método requer que a distribui¸cão da capacidade da amostra seja conhecida antecipadamente.

(45)

2.1.3.2 Solu¸c˜ao Bock e Aitkin

Baker and Kim (2004) ainda refere a reformula¸cão das equa¸cões de verosimilhan¸ca de Bock e Lieberman que foi realizada por Bock and Aitkin (1981) e mostra uma solu¸cão que é compu-tacionalmente realizável, e sob o pressuposto de que a distribui¸cão da popula¸cão é conhecida ou é atualmente estimada com as especifica¸cões corretas, obtém estimativas consistentes para os parâmetros do item. É assumido que os itens são independentes, a capacidade dos estu-dantes e os itens e as capacidades dos estuestu-dantes são independentes. Consequentemente os parâmetros dos itens podem ser estimados um de cada vez com a capacidade do estudante a ser estimada por estudante.

Se nas equa¸cões 2.38 e 2.39 se aplicar a propriedade associativa da multiplica¸cão e a proprie-dade distributiva relativamente à soma obtém-se

ai : q X k=1 (Xk− bi) " _M X m=1 ymif (Xk|ym, a, b, τ e ) − Pi(Xk) M X m=1 f (Xk|ym, a, b, τ e ) # = 0, (2.40) bi : (−ai) q X k=1 M X m=1 [ymif (Xk|ym, a, b, τ e ) − Pi(Xk)f (Xk|ym, a, b, τ e )] = 0. (2.41) Colocando a equa¸c˜ao 2.26 na sua quadratura obtemos

f (Xk|ym, a, b, τ e ) = I Q i=1 Pi(Xk)ymiQi(Xk)1−ymiA(Xk) q P k=1 I Q i=1 Pi(Xk)ymiQi(Xk)1−ymiA(Xk) , (2.42)

que ´e a probabilidade a posteriori de um estudante ter um n´ıvel de capacidade Xk, e

Pi(Xk) = _1+eeai(xk−bi)_ai(xk−bi). Como Qi(Xk) = 1 − Pi(Xk) ent˜ao podemos definir mike rike mikpode

ser interpretado como o número de estudantes na popula¸cão de tamanho M que se espera ter com o n´ıvel de capacidade Xk e rik pode ser interpretado como o número de estudantes com

n´ıvel de capacidade Xk que se espera que respondam corretamente ao item i:

mik = M X m=1 f (Xk|ym, a, b, τ e ) = M X m=1       f (ym|Xk, a, b)A(Xk) q X k=1 f (ym|Xk, a, b)A(Xk)       = M X m=1        I Q i=1 Pi(Xk)ymiQi(Xk)1−ymiA(Xk) q X k=1 I Y i=1 Pi(Xk)ymiQi(Xk)1−ymiA(Xk)        , (2.43)