Modelo Compensatório Logístico de três parâmetros (MCL3P) O MCL3P é uma generalização do modelo logístico de três

parâmetros (LORD, 1980), em que a expressão matemática da probabilidade de um avaliado com proficiência responder corretamente o item é dada por

)] ( exp[ 1 1 ) 1 ( ) | 1 ( i j i i i j ij d a c c X P          (5) tal que:

é uma variável dicotômica que assume valor 1, quando o avaliado acerta o item e 0, quando o avaliado erra o item , sendo e j1,2,...,p;

é o vetor de traços latentes (proficiências) do avaliado, tal que k=1,2,...,m, suas proficiências;

é o vetor parâmetro referente à discriminação do item ;

é um escalar que representa a dificuldade do item ;

é um parâmetro de acerto ao acaso (probabilidade de um avaliado com baixa proficiência responder a um item ).

Nos modelos multidimensionais há uma superfície para cada item, relacionando a probabilidade de acerto ao item e as proficiências de cada avaliado.

Apresenta-se a seguir, a superfície de um item sob o modelo de duas dimensões que é representada de duas formas distintas. Na Figura 2, o gráfico de uma superfície tridimensional destaca a monotonicidade do modelo; na Figura 3 apresentam-se as linhas de contorno de igual probabilidade de resposta correta. Essas linhas indicam a natureza compensatória do modelo.

Figura 2 – Superfície de Resposta de item de parâmetros ) 2 , 0 , 1 ; 4 , 1 ; 3 , 1 (a1 a2 d c Fonte: Reckase (2009, p. 91).

Figura 3 – Gráfico de contorno da Superfície de Resposta de item de parâmetros (a11,3;a21,4;d1,c0,2)

Fonte: Reckase (2009, p. 91).

Conforme os dois gráficos, a probabilidade de resposta correta do avaliado aumenta monotonicamente com o aumento em um ou ambos os componentes do vetor de proficiência .

45

Segundo Nojosa (2002), as dimensões podem não possuir interpretação esclarecedora, mas são fundamentais para a definição do modelo a ser utilizado. O número de dimensões necessário para a modelagem de dados é definido pela análise fatorial de informação completa, explicitada na seção 2.2.2.

Nos modelos multidimensionais, os parâmetros de discriminação do vetor estão associados à inclinação da superfície de resposta do item em todos os eixos das proficiências (FRAGOSO, 2010). Esses parâmetros indicam a sensibilidade do item para distinguir as proficiências (NOJOSA, 2002).

Para medir a intensidade de transição de baixa para alta probabilidade de acertar o item utiliza-se o parâmetro de discriminação multidimensional , também chamado de poder de discriminação do de um item multidimensional. Ele é representado pela norma do vetor de discriminação , que é dado por:





a

A

A discriminação de um item está ligada à inclinação da superfície de resposta ao item . Essa inclinação diferencia-se de acordo com a posição no espaço  e da direção referente à superfície naquela posição (NOJOSA, 2002).

Na TRI unidimensional, no modelo de três parâmetros, o parâmetro de dificuldade representa a proficiência necessária para uma probabilidade de acerto ao item de:

2

)

1

(

c

Esse parâmetro, que se encontra na mesma escala da proficiência , é determinado pelo ponto de inflexão da curva característica do item (NOJOSA, 2002). Nos modelos multidimensionais, o parâmetro de dificuldade não possui essa característica. Assim, para representar a dificuldade de um item multidimensional, utiliza-se o indicado por Reckase (2009), que é dado por:

i i i

A

d

B





Nessa equação, equivale ao termo no modelo unidimensional e possui significado análogo a no modelo unidimensional, sendo que é a distância da origem ao ponto de maior inclinação da superfície (NOJOSA, 2002). Desta forma, valores positivos altos de indicam itens difíceis, ou seja, os indivíduos que realizam o teste precisam ter valores altos dos componentes de para atingirem probabilidade de resposta correta maior que 0,5 (RECKASE, 2009).

Os parâmetros de resposta ao acaso ( ), nos modelos multidimensionais, apontam a probabilidade de resposta correta ao item de avaliados com baixa proficiência em todas as dimensões (NOJOSA, 2002).

Os parâmetros de proficiência do vetor são usualmente representados na escala de média 0 e desvio padrão 1. Segundo Nojosa (2002), assim como nos modelos unidimensionais, nos modelos multidimensionais não importa quais valores são escolhidos para as medidas de posição e dispersão da proficiência, o que importa são os vínculos de ordem entre seus pontos. (NOJOSA, 2002).

Nos itens analisados o e são analisados da mesma forma que os respectivos parâmetros do modelo unidimensional, assim, espera- se valores de entre 0 e 3,0 e valores entre -3,0 e 3,0 para . Já para os parâmetros de acerto ao acaso , os valores recomendados para itens com cinco alternativas, independentemente da escala utilizada, estão entre (0,1; 0,3) (NOJOSA, 2002).

O modelo apresentado tem como pressuposto que a dimensionalidade do espaço esteja adequadamente determinada, assegurando a independência condicional. Isso significa que dada a proficiência do indivíduo, suas respostas aos itens do teste são independentes, desde que todas as proficiências do vetor que influenciam no seu desempenho sejam admitidas (NOJOSA, 2002).

47

3 METODOLOGIA

Neste capítulo será apresentada a metodologia utilizada na análise da dimensionalidade e modelagem multidimensional, bem como os dados, métodos e procedimentos estatísticos utilizados para interpretação, estudo da dimensionalidade e estimação de parâmetros. Essa metodologia foi utilizada para cumprir as seguintes etapas:

 Interpretação do número de dimensões por intermédio da análise fatorial de informação completa.

 Associação dos itens com seus respectivos fatores (dimensões).

 Identificação das dimensões pela comparação das competências relacionadas no quadro de referência ENEM (2001) com os fatores pela análise dos itens da prova.

 Calibração e estimação dos parâmetros dos itens da amostra de 10.000 respondentes da prova amarela do ENEM 2001.

 Modelagem dos dados dos respondentes que obtiveram acerto de 40, 50 e 60 itens na prova objetiva do ENEM 2001, utilizando o modelo multidimensional compensatório logístico de três parâmetros para a estimação das proficiências.

3.1 PROCEDIMENTOS ESTATÍSTICOS

Nesta seção são explicitados os procedimentos estatísticos utilizados para a verificação do número de dimensões, interpretação das dimensões e modelagem multidimensional dos dados dos 63 itens da prova objetiva do ENEM 2001. Foi realizada a interpretação da dimensionalidade com o objetivo de verificar o número de dimensões mais adequado ao modelo e ajustamento de cada item às dimensões. Em seguida foram modelados os dados, utilizando o modelo multidimensional compensatório logístico de três parâmetros.

A análise dimensional dos 63 itens foi realizada utilizando o método análise fatorial de informação completa. Para Laros, Pasquali e Rodrigues (2000), a análise fatorial tem a vantagem de se poder testar a significância estatística dos fatores adicionados sucessivamente ao modelo.

Como a utilização da análise fatorial clássica (JOHNSON; WICHERN, 2007; LAWLEY; MAXWEL, 1971) fica restringida pelo fato de as variáveis observadas serem de natureza dicotômica, utilizou- se o método da Análise Fatorial de Informação Completa (AFIC)

(BOCK; AITKIN, 1981; BOCK; GIBBONS; MURAKI, 1988). Para a aplicação deste método foi utilizado o pacote mirt (CHALMERS, 2012) implantado no software R (R CORE TEAM, 2014).

A AFIC é embasada no ajuste de modelos TRIM com diferentes dimensões (BARBETTA et al., 2014), na qual, pela comparação feita pela estatística do qui-quadrado de modelos com e dimensões, pode-se verificar o número de dimensões que melhor se ajusta aos dados. Neste trabalho, a verificação do número de dimensões pela AFIC foi feita com base nos resultados do critério do índice de dimensionalidade (ID) e o critério da análise das cargas fatoriais, explicitados na subseção 2.2.3. Devido ao fato de o AIC e BIC tenderem respectivamente a superestimar e subestimar o número de dimensões optou-se por não utilizar esses critérios nesta análise.