Considerando a necessidade de avaliações que possam fornecer características consistentes, periódicas e comparáveis sobre o desempenho dos indivíduos que as realizam, este trabalho tem como objetivo demonstrar o funcionamento da Teoria de Resposta ao Item (TRI), que vem sendo gradativamente introduzida em nosso meio e já é uma realidade em muitas avaliações educacionais brasileiras. Esta teoria tem a vantagem de se aproximar de uma conclusão verdadeira sobre o verdadeiro conhecimento de um indivíduo. A realização do trabalho mostrou que as avaliações com a TRI, especialmente o ENEM, proporcionam um grande ganho de qualidade, pois sua utilização pode aproximar-se o mais possível de uma conclusão real sobre o verdadeiro conhecimento de um indivíduo. Afinal, a preocupação da TRI está baseada no item (pergunta) e não no teste como um todo, mostrando que quanto maior a habilidade de quem aplica o teste, maior a probabilidade de essa pessoa responder corretamente ao item.
Neste contexto, é essencial implementar e manter um sistema de avaliação da aprendizagem que possa fornecer informações periódicas, comparáveis e consistentes sobre o desempenho dos alunos. Um grande problema por trás da psicometria é a dificuldade de avaliar o traço latente1, ou seja, como avaliar as capacidades de um indivíduo. Para chegar mais perto de uma conclusão real sobre o verdadeiro conhecimento de um indivíduo, a Teoria de Resposta ao Item (TRI) foi desenvolvida com base na Teoria Clássica dos Testes (TCT), onde a ênfase está principalmente no item (a questão) e não no teste como um todo.
O objetivo deste trabalho é investigar o funcionamento da teoria de resposta a tarefas (TRI), que foi introduzida gradativamente em nosso país, como no exame estadual do ensino médio (ENEM), que começou a ser utilizado em 2009. em suas notas. A TRI é um conjunto de modelos matemáticos que tentam representar a probabilidade de um indivíduo responder corretamente a um item (pergunta) em função dos parâmetros do item e da habilidade (ou habilidades) do respondente. Portanto é um conjunto de modelos matemáticos que relacionam a probabilidade de acertar cada questão (ou item) com o nível de habilidade da pessoa que está sendo testada, ou seja, quanto maior a habilidade do aluno, maior a probabilidade de ele responder ao objeto.
No quarto capítulo temos alguns pontos sobre a média do Enem, com base na utilização da Teoria de Resposta ao Item da prova de 2009, como é realizado seu cálculo e como o resultado do Enem é afetado pelas médias dadas pelo participante obtidas na prova .
Breve Histórico
No Brasil, a primeira aplicação dessa teoria ocorreu em 1995 na análise do Sistema Nacional de Avaliação da Educação Básica (SAEB). Até 1993, o SAEB utilizava a Teoria Clássica dos Testes (TCT) para construir instrumentos, atribuir pontuações e analisar resultados, sem planejamento de comparação de resultados. A partir de 1995, foi introduzida a utilização da TRI para a construção de instrumentos, a atribuição de pontuações e a análise, de forma a permitir a comparação de resultados.
Os resultados obtidos com a TRI são independentes dos grupos e não são afetados pela dificuldade dos testes, como será discutido na Seção 2.3 quando explorarmos as características da TRI. Desde então, o uso da TRI na avaliação educacional brasileira tem sido apreciado e incentivado por autoridades públicas como o Ministério da Educação, que por meio de avaliações como o Sistema de Avaliação do Desempenho Escolar do Estado de São Paulo (SARESP) e o O Exame Nacional do Ensino Médio (ENEM) realizou e planejou suas questões para serem analisadas através do TRI. Teoria Clássica de Testes (TCT) x Teoria de Resposta a Tarefas (TRI) O que diferencia a Teoria Clássica de Testes (TCT) da Teoria de Resposta a Tarefas.
Teoria Clássica dos Testes (TCT) x Teoria de Resposta ao Item (TRI)
Isso torna a TRI mais proeminente e amplamente utilizada atualmente, pois também é possível construir um banco de itens válidos para avaliar traços latentes. Portanto, é um tanto incongruente avaliar a qualidade de um item, uma vez que o próprio item contribui para a sua qualidade e, além disso, aceitar uma pontuação agregada pressupõe que os itens já são adequados. Ao analisarmos sua pontuação total através de teorias, temos: através da TCT, é difícil concluir sobre a qualidade de um item individual, pois a pontuação dessa pontuação não é analisada através dos itens, mas sim como um todo, o que significa que não podemos concluir se esses itens estão corretos, se foram fáceis ou pesados; Isso não acontece com o TRI porque a nota atribuída ao aluno é baseada na dificuldade do curso.
Características da TRI
A Figura 2.1 mostra que à medida que o valor de θ aumenta, a probabilidade de acertar o item também aumenta (relação monotonicamente crescente entre aptidão e probabilidade de acertar). Ou seja, sujeitos com maior aptidão têm maior probabilidade de responder corretamente ao item e sujeitos com menor aptidão têm menor probabilidade de responder corretamente ao item.
Pressupostos da TRI
Unidimensionalidade
A teoria da resposta ao item pressupõe o postulado da unidimensionalidade do teste, ou seja, da homogeneidade do conjunto de itens que supostamente medem um único traço latente (ANDRADE, TAVARES, & VALLE, 2000). Ou seja, deve haver apenas uma habilidade ou habilidade responsável pela execução de todos os itens do teste. Pasquali (2011) afirma que esta questão da unidimensionalidade de um conjunto de testes está resultando em dificuldades para os pesquisadores de TRI.
Porém, a TRI unidimensional é a mais utilizada no estudo de testes, portanto o postulado da unidimensionalidade ainda é importante.
Independência Local
Em outras palavras, a probabilidade de responder a um conjunto de itens é igual aos produtos das probabilidades de respostas do examinado a cada item individual. Por exemplo, se um sujeito acertou os itens 1 e 3 e errou o item 2, a configuração de suas respostas, ou seja, 1 0 1, e a independência local implicam que, . Quando consideramos a probabilidade de todos os indivíduos ao mesmo tempo na expressão acima, temos o que chamamos de função de probabilidade.
Modelos matemáticos de resposta ao item
Modelo logístico de 1 parâmetro
Se não houver resposta aleatória e tivermos todos os itens com o mesmo poder de discriminação, temos o chamado modelo logístico unidimensional uniparâmetro, também conhecido como modelo Rasch, mas que foi descrito para o modelo logístico por Wright . o que permitiu um tratamento matemático mais fácil. O parâmetro dificuldade do item corresponde ao ponto da escala de habilidade onde a probabilidade de resposta é 0,50. Observando a figura 2.2, vemos que os valores costumam ser colocados entre -3, que são considerados itens fáceis, e +3, que são itens difíceis.
Com isso notamos que o item 1 exige uma aptidão de cerca de 0 e o item 2 uma aptidão de quase 1, concluindo assim que o item 2 é mais difícil que o item 1.
Modelo logístico de 2 parâmetros
Pela Figura 2.3 podemos perceber através do parâmetro que o item 2 é mais difícil que o item 1 com o parâmetro, porém menos discriminativo, pois a inclinação da curva do parâmetro é menor que a do item 1 com o parâmetro.
Modelo logístico de 3 parâmetros
Vemos na Tabela 2.1 que o item 1, por possuir o parâmetro , é considerado um item extremamente fácil, e o sujeito que possui habilidade acima da média (θ=1,00) tem 100% de probabilidade de acertar o item. O modelo de avaliação do Enem foi desenvolvido com ênfase na mensuração das estruturas mentais com as quais construímos constantemente o conhecimento e não apenas a memória, que, de extrema importância na constituição dessas estruturas, por si só não pode nos tornar capazes de compreender o mundo em que vivemos . . De 1998 a 2008, a prova do ENEM foi realizada em apenas um dia e era composta por uma redação e 63 questões (que diziam respeito a 5 competências gerais e 21 habilidades).
Desde o início de sua implantação, os resultados do ENEM foram construídos com base na Teoria Clássica das Provas. Os pressupostos subjacentes às recentes alterações visam permitir a comparabilidade de resultados entre anos, agilizar a vida académica, colocar a educação como uma referência importante no mundo do trabalho, facilitar o processo de inclusão social e promover a cidadania para incentivar e no futuro permitir a aplicação do ENEM diversas vezes ao ano. O modelo TRI logístico utilizado no ENEM é um modelo de três parâmetros que leva em conta o poder de discriminação, o nível de dificuldade e a probabilidade de acertar por acaso para calcular a proficiência do aluno.
A avaliação da habilidade do aluno está, portanto, relacionada à capacidade de distinguir (parâmetro), ao grau de dificuldade (parâmetro) e à probabilidade de ele acertar por acaso (parâmetro). Neste capítulo vamos esclarecer alguns pontos sobre a média do Enem utilizando a teoria das respostas. ao item da prova de 2009, como é realizado seu cálculo e como o resultado do Enem é afetado pelas médias obtidas pelo participante da prova. Antes de entender como é realizado o cálculo da média, é necessária uma reflexão mais aprofundada sobre a composição da nota do Enem e seus valores máximo e mínimo.
Com base nisso, a média do Enem é dada pela nota obtida entre as quatro provas objetivas que abrangem áreas do conhecimento como ciências naturais, humanidades, linguagens e códigos e matemática, e a redação, que é a parte discursiva do exame. . É importante ressaltar mais uma vez que a parte objetiva do ENEM não avalia o número de acertos do participante, mas sim o seu nível de conhecimento, fato decorrente da Teoria de Resposta ao Item (TRI). Numa situação como essa, o sistema julga, portanto, que a probabilidade do acerto ser fruto da sorte, o famoso “palpite”, é alta.
Dessa forma, os participantes poderão comparar as notas máximas e mínimas do Enem com os números que o INEP informa por meio do Relatório Individual de Desempenho do Enem. Por fim, vale esclarecer que as médias individuais do Enem são utilizadas e calculadas de diferentes formas dependendo da finalidade para a qual serão utilizadas pelo participante. As médias do Enem por escola são calculadas pelo INEP somando as notas das quatro provas objetivas e dividindo o resultado por quatro.
Isso significa que mesmo que a prova do ENEM seja realizada em uma segunda aplicação, os candidatos não serão prejudicados mesmo com questões diferentes. As habilidades que compõem cada uma das 7 competências estão dispostas conforme tabela abaixo:
