Fiat justitia, pereat mundus.11 (Autor anônimo).
Ao longo da presente Tese enfatizamos a avaliação educacional como sendo uma atividade recente e cercada de controvérsias filosóficas e conceituais. Ainda assim, é considerada uma ação relevante, pois um grande número de países, sobretudo os mais desenvolvidos, a tem como um procedimento científico, que permite à sociedade civil exercer certo tipo de controle sobre o Sistema Educacional, em todos os níveis deste. Possibilita às autoridades educacionais prestar contas acerca dos seus êxitos e discutir as causas do seus fracassos, ação esta que os norteamericanos denominaram
accountability. A avaliação concebida com atividade científica possui fases
hierárquicas e peculiaridades, dentre as quais a valoração dos resultados a partir do uso de critérios escolhidos a priori.
Posteriormente, ressaltamos a dificuldade em aceitar uma definição consensual de qualidade educacional, sendo necessário adotarmos algum modelo teórico suficientemente objetivo, que nos permita definir e caracterizar referido construto. Mencionamos que a eficácia escolar é um poderoso indicador da qualidade de um centro educacional e que a maneira mais sensata, econômica, fácil e rápida de determinr sua magnitude é através do emprego de sistemáticas de avaliação do aprendizado dos alunos.
Sob tal prisma, apresentamos uma revisão histórica das várias concepções sobre o construto aprendizagem e propusemos sua caracterização e definição baseados numa concepção cognitivista. Também enfatizamos a complexidade do processo de avaliação da aprendizagem e apresentamos um poderoso procedimento que é o mais empregado pelos docentes: a prova ou o
teste de rendimento. Detalhamos algumas nuances que distinguem o teste
referido à norma do teste referido ao critério e destacamos a importância do uso dos testes de rendimento nos Estados Unidos e no Brasil.
Mais adiante, contextualizamos o surgimento dos estudos sobre o viés dos instrumentos de medida da aprendizagem e diferenciamos as definições de viés e de funcionamento diferencial do item (DIF). Enfatizamos a noção de
grupo como sendo fundamental aos estudos sobre o DIF e notificamos que,
geralmente, é organizado um grupo de referência (GR) que é comparado a um
grupo focal (GF). Com base nessa organização dos grupos, surgiu a
categorização de DIF benigno, quando é benéfico ao GR, e DIF adverso, quando é benéfico ao GF. Ressaltamos alguns dos problemas ocasionados pela presença do DIF em testes de rendimento empregados em processos de avaliação educacional em larga escala. Finalmente, descrevemos e diferenciamos dois tipos de DIF: DIF uniforme ou consistente, que é observado quando as Curvas Características dos Itens (CCI) são paralelas entre si; DIF
ademais, se cruzam em algum ponto do contínuo da habilidade, isto é, não são paralelas entre si.
Apresentamos as fases da análise do DIF e algumas classificações, destacando: métodos que adotam critérios internos e externos; métodos incondicionais, que se fundamentam no suposto de que o grupo de respondentes e os itens têm algum tipo de interação; métodos condicionais, que se baseam no suposto de que os parâmetros do item são diferentes para os sujeitos com a mesma magnitude na variável latente, e que são oriundos de distintos grupos demográficos. Nesta última categoria, destacam-se os métodos de invariância condicional observada - que consideram a pontuação dos sujeitos no teste - e os de invariância condicional não observada - que consideram a estimativa da habilidade dos respondentes no construto latente medido pelo teste.
Descrevemos o suposto central dos métodos condicionais: o paradoxo
de Simpson, que defende a idéia de condicionar a probabilidade de acerto ao
item a uma determinada pontuação no teste - invariância condicional observada - ou nível de habilidade no construto latente - invariância condicional não observada. Essa é a premissa central no estudo do DIF. Finalmente, apresentamos alguns dos mais utilizados métodos de detecção do DIF: Delta
Gráfico, que foi proposto por W. Angoff, em 1972; Comparação das áreas entre as CCI’s; Comparação das probabilidades; Comparação dos parâmetros dos itens; Qui-quadrado de Lord, que foi proposto por F.M. Lord, em 1980; Qui- quadrado de Pearson ou Total; Qui-quadrado de Scheuneman, que foi
proposto por J. D. Scheuneman, em 1979; Regressão Logística, que foi adaptado ao estudo do DIF em testes unidimensionais por H. Swaminathan e H. J. Rogers, em 1990; Mantel-Haenszel, que foi adaptado ao estudo do DIF por P. W. Holland e D. T. Thayer, em 1988; Método da Padronização; Método
Logístico (Iterative Logit Method), proposto por F. B. Baker no início dos anos
80; o Método da Regressão Logística, que pode ser utilizado no tratamento de dados politômicos e, por fim, o procedimento SIBTEST, que tem como suposto central a idéia de que os itens com DIF são multidimensionais.
Mais adiante, detalhamos a metodologia empregada na pesquisa; apresentamos o problema de pesquisa decorrente das lacunas detectadas após a revisão da literatura acerca do tema central da Tese; as duas hipóteses submetidas ao teste empírico, que foram derivadas das várias pesquisas descritas na presente Tese; o método empregado para detectar o DIF no presente estudo; os dados empregados no presente estudo, decorrentes do uso de dois instrumentos de medida do aprendizado de alunos egressos do Ensino Médio e candidatos às vagas ofertadas pelos cursos de graduação da Universidade Federal do Ceará (UFC); as principais características demográficas da amostra dos alunos submetidos aos dois instrumentos referidos.
Finalmente, apresentamos os principais resultados decorrentes do teste empírico das duas hipóteses de estudo, a partir do uso do método escolhido para detectar o DIF nos itens componentes das Provas de Língua Portuguesa e de Matemática. Consoante os resultados obtidos, nos quais foi identificada a presença do DIF em proporções elevadas dentre o total de itens das duas provas analisadas, há que se adotarem estratégias para evitar tal problema nas provas ou testes de rendimento a serem empregados em avaliações de larga escala, de modo a coibirem-se injustiças e iniquidades no processo avaliativo. Destarte, a determinação do DIF, portanto, se constitui em etapa absolutamente imprescindível de análise dos itens, que antecede ao emprego efetivo destes através das provas ou dos testes de rendimento. Assim sendo, ao proceder-se como aconselhado, se dotará de justiça e equidade os processos de avaliação em larga escala que empregam provas de rendimento como instrumentos de medida do nível de aprendizado do alunado.
Dessa forma, para arrematar o relato da pesquisa apresentado em forma de Tese, desejamos empregar um último adágio, como foi recorrente ao longo do trabalho. Uma prova, mesmo quando bem concebida, provavelmente conte com itens com DIF, pois como asseverou o filósofo e poeta romano Quinto Horácio Flaco (65 a 8 a. C.): nam vitiis nemo sine nascitur (ninguém nasce sem defeitos).