Procedimento SIBTEST

A grande inovação do Método Multidimensional de DIF (MMD), proposto por Robin T. Shealy e William F. Stout, no ano 1993, está na suposição de que

a presença do DIF implica em reconhecer a existência de um ou mais construtos secundários, ademais do construto principal medido pelos itens, nos quais os grupos comparados possuem diferentes magnitudes (GIERL; KHALIQ, 2001; HATTIE; KRAKOWSKI; ROGERS; SWAMINATHAN, 1996; STOUT, 1987, 1990; SHEALY; STOUT, 1993 ab; WALKER; BERETVAS, 2001). O reconhecimento da multidimensionalidade do DIF implica aceitar dois supostos:



I

. O item mede um construto secundário, ademais da dimensão

principal que tem como objetivo avaliar. Neste caso concreto deve-se destacar que o construto secundário pode ter duas características: (a) ser uma dimensão auxiliar ao construto principal, isto é, algo que é inerente ao próprio conteúdo do item. Por exemplo, um item para avaliar a aprendizagem de matemática que utiliza um pequeno texto para contextualizar o problema. Ademais do construto principal - aprendizagem de matemática - está sendo avaliando um construto secundário - capacidade de compreensão de un texto escrito - que, neste caso, é uma dimensão auxiliar; (b) ser uma dimensão não desejada. Por exemplo, itens que apresentam situações ou termos muito familiares a determinados grupos de indivíduos; itens que apresentam situações emocionais inapropriadas, que podem inibir certos indivíduos utilizar os processos cognitivos adequados à sua resolução (ROUSSOS; STOUT, 1996 a).



II

. O construto secundário pode produzir vantagens ou desvantagens para os grupos estudados. Por exemplo, no caso de que o item contenha conteúdos mais familiares a um ou outro grupo, se pode produzir vantagens para o grupo de referência ou focal (ROUSSOS; STOUT,, 1996 a). Como destacam Roussos e Stout (1996 a), se estes dois supostos existem, então pode-se dizer que o item possui DIF.

No entanto, para a compreensão da sua formulação matemática é necessário o conhecimento de alguns conceitos ou supostos fundamentais (STOUT, 1990). Seja  uma variável latente unidimensional, que o teste em foco tenta medir, denominado construto principal, e  uma variável latente secundária, possivelmente multidimensional, que também está sendo medida pelo mesmo teste (LI; STOUT, 1996). O modelo MMD utiliza, assim, duas funções:

 Uma função relacionando a probabilidade de responder corretamente ao item, considerando-se as dimensões  e , que é denominada

P(, );

 Uma função de probabilidade condicionada de  para os indivíduos

com o valor  fixado, que é denominada fG (), onde G representa

o grupo ao qual o indivíduo pertence (GR ou GF).

Neste âmbito, as funções marginais dos padrões de resposta a um item estudado para dois grupos de indivíduos (GR e GF), com respeito ao construto principal, vêm dadas por:

Onde:

 fF(  ) e fR(  ) são as funções condicionadas de densidade de ,

dado , para o grupo focal e de referência, respectivamente.

No caso de que a função marginal de resposta a um item, dado um determinado valor , satisfaça a condição ()  PR () – PF ()  0, o item terá

DIF (STOUT, 1990; JIANG; STOUT, 1998).

No quadro 4 se encontra uma exemplificação muito didática, dada por Roussos e Stout (1996 a), de quando se pode afirmar que existe DIF.

η ) θ η ( ) η , θ ( ) θ ( P d P_F 



f_F  η ) θ η ( ) η , θ ( ) θ ( P d P_R 



f_R 

Quadro 4. Condições para a existência de DIF, conforme o Modelo MMD.

Função de probabilidade condicionada

Probabilidade de acerto P(, ) P() fF ()  fR () DIF Não DIF

fF () = fR () Não DIF Não DIF

Fonte: Roussos e Stout (1996a).

Como se pode observar no quadro 4, na perspectiva do Modelo MMD, um item terá DIF somente se:

I. estiver medindo um construto secundário (), ademais do principal ();

II. ao ser condicionado ou fixado um valor , existir diferenças

significativas entre os grupos comparados (GR e GF), em suas respectivas distribuições no construto secundário ().

O modelo proposto por Shealy e Stout (1993 ab) também serve para o estudo de um conjunto (bundle) de itens. Neste caso,  representa um parâmetro global, que indica o funcionamento diferencial do conjunto de itens (differential bundle functioning - DBF), a partir da soma das funções marginais dos itens que o compõem (NANDAKUMAR; STOUT, 1993). A hipótese nula é H0:  = 0, e no caso de que o índice  seja negativo, o DIF favorece ao GF,

enquanto valores positivos indicam que o DIF favorece ao GR (SHEALY; STOUT, 1993 ab).

Segundo Nandakumar (1993), o modelo MMD, proposto por Shealy e Stout (1993), introduz um conceito innovador no âmbito da psicometría moderna: a idéia de amplificação do DIF. O termo refere-se a posibilidade de que um conjunto de itens (item bundle) possua DIF favorável a um determinado grupo; no caso de que os itens componentes desse mesmo conjunto fossem analisados isoladamente, isto é, um a um, poderia ocorrer uma diminuição na

magnitude do DIF ou, por outro lado, a posibilidade de diagnosticar-se a ausência do DIF quando, de fato, este esteja presente (NANDAKUMAR, 1991; NARAYANAN; SWAMINATHAN, 1996).

Segundo Gerl e Khaliq (2001), na análise do DBF, os itens são divididos em dois grupos: o subteste principal, que é utilizado no cálculo da pontuação dos indivíduos formado pelos itens 1 a n, por exemplo e o subteste estudado formado pelos itens n + 1 a N, por exemplo. O subteste estudado contém o item ou conjunto de itens (item bundle) que se acredita estar medindo ao mesmo tempo os construtos principal () e secundário (). A pontuação obtida no subteste principal é utilizada para a composição dos grupos de referência (GR) e focal (GF).

Os indivíduos dos grupos estudados (GR e GF) são, então, agrupados em K categorias, baseados na pontuação obtida no subteste principal

pontuações X e, posteriormente, se efetua a comparação das suas pontuações no subteste estudado pontuações Y. O cálculo de X e Y vem dado por:







n i i

U

X

0



 



N n i i

U

Y

1 Onde:

 Ui denota a resposta ao ítem i (0 = erro; 1 = acerto) de cada indivíduo.  X é a pontuação total no subteste principal;

A diferença na pontuação média do GR e GF, no subteste estudado em cada K subgrupo, vem dada por:







K K K K

d

p

0



Onde:

 pk é a proporção de indivíduos do GF no subgrupo K;

 dk = Y*Rk – Y*Fk, que é a diferença entre as médias ajustadas 8 das

pontuações em cada subgrupo K, do GR e GF, respectivamente, no subteste estudado.

Shealy e Stout (1993 b) propuseram uma categorização para os valores de , que é adotada pelo Educational Testing Service (ETS), para que o DIF possa ser classificado:

  0,033 não existirá DIF;

 0,033  0,066 o DIF é considerado moderado;

  0,066 o DIF é considerado severo.

Stout e Roussos (1996) desenvolveram o pacote estatístico conhecido como SIBTEST (Simultaneous Item Bias Test), que permite o cálculo do coeficiente  para sua posterior interpretação, em termos de presença ou ausência de DIF, em um item isoladamente ou em um conjunto de itens (bundle) tomado como um subteste (GIERL; BISANZ; BISANZ; BOUGHTON; KHALIQ, 2001).

8

No artigo de Jiang e Stout (1998) há uma excelente descrição do procedimento para o ajuste das médias das pontuaçoes do GR e GF, no subteste estudado.

No documento Funcionamento Diferencial do Item (DIF): indicador de justiça das avaliações em larga escala (páginas 127-133)