Universidade Federal de Pernambuco

(1)

Universidade Federal de Pernambuco

Centro de Inform´

atica

Teoria de Resposta ao Item como classifica¸

c˜

ao do desempenho

dos alunos nos trˆ

es primeiros anos do ensino fundamental em

escolas municipais do estado de Pernambuco

Trabalho de Conclus˜

ao de Curso de Gradua¸c˜

ao

por

Bruno Jos´

e das Chagas Cavalcanti

Orientador: Prof. Ricardo Massa

(2)

Bruno Jos´e das Chagas Cavalcanti

Teoria de Resposta ao Item como classifica¸c˜ao do desempenho dos alunos nos trˆes primeiros anos do ensino fundamental em escolas municipais do

estado de Pernambuco

Trabalho apresentado ao Programa de Gradua¸cão em Ciência da Computa¸cão do Centro de Informática da Universidade Federal de Pernambuco como requisito parcial para obten¸cão do grau de Bacharel em Ciência da Computa¸cão.

Orientador: Prof. Ricardo Massa

Recife 2019

(3)

Agradecimentos

Primeiramente a Deus que permitiu que tudo isso acontecesse, ao longo de minha vida, e n˜ao somente nestes anos como universit´ario, mas que em todos os momentos foi o maior mestre do qual tive oportunidade de conhecer.

Agrade¸co minha m˜ae Eliene, hero´ına que me deu apoio, incentivo nas horas dif´ıceis, de desˆanimo e cansa¸co.

Ao meu pai que, apesar de todas as dificuldades, me fortaleceu em momentos im-portantes.

Ao meu avô, que desde muito cedo me acostumei a vê-lo como uma fortaleza e agora enfrenta um grave problema de saúde, sinto por ele um amor que levarei pelo resto da minha vida.

Ao meu orientador, Prof. Ricardo Massa, pela orienta¸cão, dedica¸cão e paciência durante todo processo de escrita deste trabalho.

A toda equipe da Viitra Inova¸cões que me desafiou a fazer este trabalho tão impor-tante para ajudar os educadores das escolas públicas.

Meus agradecimentos aos meus amigos desbravadores do pastel, Isaac e Wellington, companheiros de trabalhos e irmãos na amizade que fizeram parte da minha forma¸cão e que vão continuar presentes em minha vida com certeza.

Agrade¸co ainda aos meus amigos do grupo UFPE da Alegria que ao longo desta etapa me fizeram ser uma pessoa mais feliz.

(4)

Qualquer tecnologia suficientemente avan¸cada ´e indistingu´ıvel de magia.

(5)

RESUMO

A Teoria da Resposta ao Item (TRI) é um conjunto de modelos matemáticos que tentam representar as chance de um indiv´ıduo dar uma determinada resposta a um item em fun¸cão dos parâmetros do item e tra¸co latente do respondente. O objetivo deste trabalho é aplicar a TRI nos exames realizados no 1o_{, 2}o _{e 3}o _{ano fundamental em escolas municipais}

do estado de Pernambuco. A finalidade não é avaliar a qualidade das avalia¸cões em si, mas que conclusões a respeito das habilidades dos alunos podem ser obtidas a partir das proficiências encontradas, assim como também a constru¸cão de um painel anal´ıtico para exibi¸cão dos resultados. Com este trabalho, espera-se que os educadores de Pernambuco tenham mais informa¸cões a respeito do desempenho dos estudantes e consigam realizar redirecionamentos de a¸cões pedagógicas para trabalhar conteúdos ou habilidades em que os alunos apresentem maiores dificuldades.

(6)

ABSTRACT

Item Response Theory (IRT) is a set of mathematical models that attempt to represent an individual’s chances of give a certain answer to an item based on the item’s parameters and the respondent’s latent trait. The aim of this paper is to apply the IRT in the exams performed on the 1st, 2nd and 3rd basic year of some Pernambuco schools. The purpose is not to judge the quality of the tests, but what conclusions about student skills can be drawn from the proficiency found, as well as the construction of an analytical dashboard for displaying the results. With this undergraduate thesis, it is expected that educators of Pernambuco state have more information about student performance and can redirect pedagogical actions to improve the classes or students skills.

(7)

LISTA DE FIGURAS

Figura 1 Curva Caracter´ıstica do Item . . . 16

Figura 2 Etapas da Pesquisa . . . 22

Figura 3 Curvas caracter´ıstica dos itens . . . 29

Figura 4 Curvas de informa¸c˜ao dos itens . . . 30

Figura 5 Curvas de informa¸c˜ao da avalia¸c˜ao . . . 30

Figura 6 Estima¸c˜ao da densidade das habilidades . . . 31

Figura 7 Dispers˜ao do resultado das estimativas . . . 32

Figura 8 Percentual de alunos em cada faixa de Proficiˆencia . . . 35

Figura 9 Exibi¸cão da mediana das habilidades e classifica¸cão das questões no Analytics EDU . . . 38

Figura 10 Gr´afico de classifica¸c˜ao dos estudantes nos n´ıveis da escala ANA . . . 39

Figura 11 Compara¸c˜ao da habilidade mediana dos estudantes de uma turma . . . 39

(8)

LISTA DE TABELAS

Tabela 1 Modelo da folha resposta dos alunos . . . 21

Tabela 2 Modelo dicotomizado de respostas dos alunos . . . 24

Tabela 3 Classifica¸c˜ao das quest˜oes de acordo com sua dificuldade . . . 34

(9)

LISTA DE ALGORITMOS E RESULTADOS

4.1 Sa´ıda da fun¸c˜ao descript() . . . 27

4.2 Fun¸c˜oes tpm() e coef.tpm() . . . 28

4.3 Sa´ıda da fun¸c˜ao coef.tpm() . . . 28

(10)

LISTA DE SIGLAS

TRI Teoria de Resposta ao Item

ML3 Modelo Log´ıstico de 3 Parâmetros CCI Curva Caracter´ıstica do Item CII Curva de Informa¸cão do Item ENEM Exame Nacional do Ensino Médio ANA Avalia¸cão Nacional de Alfabetiza¸cão SAEB Sistema de Avalia¸cão da Educa¸cão Básica MDE Minera¸cão de Dados Educacionais

(11)

SUM ´ARIO

1 INTRODUC¸ ˜AO . . . 12

2 TEORIA DA RESPOSTA AO ITEM: PRINCIPAIS CONCEITOS 14 2.1 O modelo log´ıstico de 3 parˆametros . . . 15

2.2 Estima¸cão . . . 17 3 METODOLOGIA DE PESQUISA . . . 20 3.1 Visão Geral . . . 20 3.2 Popula¸cão da pesquisa . . . 20 3.3 Objetivos . . . 21 3.4 Aplica¸cão da metodologia . . . 22 3.4.1 Defini¸cão e planejamento . . . 23 3.4.2 Desenvolvimento . . . 23 3.4.3 O ambiente R . . . 24

3.4.4 Exibi¸c˜ao dos resultados . . . 25

4 DESENVOLVIMENTO . . . 27

4.1 Implementa¸c˜ao do ML3. . . 27

4.2 Classifica¸c˜ao das habilidades . . . 31

4.3 Mudan¸ca de escala . . . 32

4.3.1 Interpreta¸c˜ao da escala da proficiˆencia . . . 33

5 EXIBIC¸ ˜AO DOS RESULTADOS . . . 36

5.1 Sobre o Analytics EDU . . . 36

5.2 Importa¸c˜ao e estrutura da base de dados . . . 37

5.3 Visualiza¸c˜oes definidas . . . 37

5.3.1 Habilidade mediana . . . 37

5.3.2 Classifica¸c˜ao das quest˜oes . . . 38

5.3.3 Classifica¸c˜ao dos estudantes . . . 38

5.3.4 Compara¸c˜ao das habilidades . . . 39

(12)

6 CONSIDERAC¸ ˜OES FINAIS . . . 41 6.1 Trabalhos futuros . . . 41

(13)

12 1 INTRODUC¸ ˜AO

A educa¸cão brasileira vem sendo posta em debate. Nesse cenário, surgiu a neces-sidade de se utilizar modelos de avalia¸cão que medissem as caracter´ısticas individuais dos alunos que não podem ser observadas diretamente como, por exemplo, a proficiência em determinado conteúdo [1].

Dentre os modelos de avalia¸c˜ao, destaca-se a Teoria de Resposta ao Item - TRI, difundida nos anos 50 por Frederic Lord1_{. A TRI ´}_{e proveniente da psicometria, uma ´}_area

que une a psicologia e estat´ıstica e tem como objetivo a cria¸c˜ao de instrumentos para medida de conhecimento do indiv´ıduo e aluno.

O princ´ıpio básico da TRI é o de que a probabilidade de acerto de um item depende do n´ıvel de dom´ınio do aluno em um determinado assunto. Portanto, é esperado que ele acerte os itens cujo grau de dificuldade seja menor ou igual ao seu dom´ınio, e erre aqueles com um grau maior.

No Brasil, a TRI é conhecida por ser adotada em 1995 pelo SAEB (Sistema de Ava-lia¸cão da Educa¸cão Básica), em 2013 pelo ANA (Avalia¸cão Nacional de Alfabetiza¸cão) e em 2009 ENEM (Exame Nacional do Ensino Médio), possibilitando tirar conclusões mais interessantes e fundamentadas sobre o desempenho dos estudantes brasileiros, com-parando os resultados ano a ano [2].

O presente trabalho propõe-se apresentar a aplica¸cão da Teoria de Resposta ao Item, com a linguagem de programa¸cão R, para classificar o n´ıvel de desempenho dos alunos nas avalia¸cões realizadas nos três primeiros anos do ensino fundamental em escolas municipais do estado de Pernambuco.

Em seguida será montado um painel anal´ıtico para representar as classifica¸cões obtidas. O dashboard estará dispon´ıvel para consulta na plataforma Analytics Edu, uma plataforma de análise de desempenho educacional, e poderá ser acessado por todos edu-cadores que possuem alguma rela¸cão com as escolas que forneceram os dados utilizadas neste trabalho.

Para atingir o objetivo deste trabalho, far-se-á primeiro uma pesquisa bibliográfica. Em seguida, será aplicado a Teoria de Resposta ao Item nos dados. Posteriormente, será

1_{Frederic M. Lord (1912 - 2000), nascido em Hanover foi um psicometrista. Ele foi fonte de grande}

parte da pesquisa sobre a teoria de resposta ao item, incluindo dois livros importantes: Mental Test Scores (1968, com Melvin Novick, e dois cap´ıtulos de Allen Birnbaum), e Applications of Item Response Theory to Practical Testing Problems (1980).

(14)

13

feita a classifica¸cão das questões, em seus n´ıveis de dificuldade, de acordo com a escala de proficiência adotada pelo ANA, assim como também a classifica¸cão dos alunos em cada um desses n´ıveis. Após a classifica¸cão, será realizado uma análise dos resultados obtidos e por fim, será montado um conjunto de visualiza¸cões no Analytics EDU para exibi¸cão dos resultados.

(15)

14

2 TEORIA DA RESPOSTA AO ITEM: PRINCIPAIS CONCEITOS

A TRI é definida como a representa¸cão de modelos matemáticos que tentam re-tratar as chances de um indiv´ıduo dar uma determinada resposta a um item em fun¸cão dos parâmetros do item e da habilidade do respondente. [1].

Os modelos definidos para itens dicotomizados (corrigidos como certo ou errado) são os mais utilizados atualmente e se dividem basicamente em três tipos, que se diferen-ciam pela quantidade de parâmetros utilizados para descrever o item. Eles são conhecidos como modelos de 1, 2 e 3 parâmetros. O modelo de 1 parâmetro, por vezes, também é conhecido como modelo Rasch. Os parâmetros considerados são, respectivamente:

i. discrimina¸cão (a) - consiste na capacidade de um item discriminar os estudantes que têm a proficiência requisitada daqueles quem não a têm;

ii. dificuldade (b) - ´e representada na mesma escala do n´ıvel de habilidade e trata-se da habilidade m´ınima que o respondente precisa ter para acertar o item;

iii. acerto ao acaso (c) - também conhecido como “chute”, indica a probabilidade de que alguém que não tenha nenhum dom´ınio do conteúdo abordado, acerte o item.

Esses modelos da TRI procuram medir as variáveis de habilidade (θ) ou proficiência do respondente, que são os tra¸cos latentes, utilizando a aferi¸cão das variáveis observáveis (respostas aos itens). Portanto, a TRI estabelece uma rela¸cão entre a habilidade do respondente e os parâmetros do item com a probabilidade de acerto no item, de tal forma que, quanto maior a proficiência do indiv´ıduo, maior é a sua probabilidade de responder corretamente o item [2].

O modelo log´ıstico de 3 parâmetros (ML3) geralmente apresenta o melhor ajuste (goodness-of-fit ) aos dados dicotômicos de testes de múltipla escolha, enquanto que o modelo de 2 parâmetros deve ser usado quando o parâmetro de escolha ao acaso não faz muito sentido como, por exemplo, num questionário de exame cl´ınico. Já o modelo de 1 parâmetro pressupõe que todos os itens possuem igual discrimina¸cão e o interesse reside apenas na estimativa da dificuldade [3].

Muitos autores afirmam que o modelo de 1 parâmetro possui estat´ıstica o suficiente para medir o tra¸co latente (lei da parcimônia), utilizando apenas a dificuldade do item e a habilidade do respondente. Porém o modelo de 3 parâmetros oferece a possibilidade

(16)

15

de medir o acerto ao acaso dos itens, sendo mais flex´ıvel que os outros modelos log´ısticos e possuindo o melhor ajuste nos dados. Quanto maior o número de parâmetros, menor será a probabilidade de vieses em suas estimativas como resultados de mal ajuste. Porém, amostras reduzidas podem levar a inacurácia dos parâmetros. Lord (1983) assume que uma quantidade pequena de dados podem justificar a utiliza¸cão do modelo de 1 parâmetro [3].

Como no Brasil o modelo mais utilizado é o de 3 parâmetros [2] e, devido ao fato de que avalia¸cões utilizadas neste trabalho são de múltipla escolha, com itens corrigidos como certo ou errado, assim também como o alto número de dados dispon´ıveis para aplica¸cão deste modelo, esse trabalho aplicará a abordagem das principais caracter´ısticas do ML3, para medir a proficiência dos respondentes.

2.1 O modelo log´ıstico de 3 parˆametros

De acordo com Andrade, D. F. e Tavares Valle (2000), o modelo log´ıstico de 3 parˆametros ´e dado por:

P (Uij = 1|Θj) = ci+ (1 − ci)

1

1 + e−Dai(Θj−bi),

com i = 1, 2, ..., l, e j = 1,2, ..., n, onde:

Uij é uma variável dicotômica que assume os valores 1, quando o indiv´ıduo

j responde corretamente o item i, ou 0 quando o indiv´ıduo j n˜ao responde corretamente ao item i.

Θj representa a habilidade (tra¸co latente) do j-´esimo indiv´ıduo.

P (Uij) ´e a probabilidade de um indiv´ıduo j com habilidade j responder

corre-tamente o item i e ´e chamada de Fun¸c˜ao de Resposta do Item – FRI.

bi é o parâmetro de dificuldade (ou de posi¸cão) do item i, medido na mesma

(17)

16

ai é o parâmetro de discrimina¸cão (ou de inclina¸cão) do item i, com valor

proporcional `a inclina¸c˜ao da Curva Caracter´ıstica do Item — CCI no ponto bi.

ci ´e o parˆametro do item que representa a probabilidade de indiv´ıduos com

baixa habilidade responderem corretamente o item i (muitas vezes referido como a probabilidade de acerto casual).

D é um fator de escala, constante e igual a 1. Utiliza-se o valor 1,7 quando deseja-se que a fun¸cão log´ıstica forne¸ca resultados semelhantes ao da fun¸cão ogiva normal.

Na interpreta¸c˜ao do modelo log´ıstico de 3 parˆametros, temos P (Uij = 1|Θj) como

a propor¸c˜ao de respostas corretas para o item i dentre todos os indiv´ıduos da popula¸c˜ao com habilidade Θj [4].

A rela¸cão existente entre os parâmetros do modelo e a propor¸cão de respostas corretas ao item i dentre todos os indiv´ıduos da popula¸cão com habilidade Θj é chamada

de Curva Caracter´ıstica do Item - CCI.

Figura 1: Curva Caracter´ıstica do Item

Podemos interpretar a partir do gráfico da CCI que respondentes com maior tra¸co latente possuem maior probabilidade de acertar o item e que esta rela¸cão não é linear pois o gráfico tem formato de “S”com deslocamento e inclina¸cão definidos pelos parâmetros do item [1].

(18)

17

A escala de habilidade é arbitrária, não importando sua magnitude e sim a rela¸cão de ordem existente entre seus pontos. O parâmetro b é medido na mesma escala que a unidade de habilidade, enquanto que o parâmetro c não depende de escala alguma, por se tratar de uma probabilidade, assumindo valores entre 0 e 1 [1].

O parˆametro c ´e conhecido como probabilidade de acerto casual, correspondendo `

a probabilidade de um aluno com um baixo tra¸co latente (habilidade) responder correta-mente um determinado item. Os modelos que não usam o parâmetro c são chamados de Modelos Log´ısticos de 2 parâmetros ou Modelo Rasch [4].

Podemos pensar no parâmetro b como o n´ıvel m´ınimo de habilidade necessária para determinado respondente ter uma alta probabilidade de acertar um item. Essa probabilidade alta de acerto no ML3 será igual a 1+c₂ , onde c é o parâmetro de acerto ao acaso. Se desconsideramos o acerto ao acaso (c = 0), a dificuldade do item fica definida como a habilidade m´ınima que um respondente precisa para ter a probabilidade de 50% de acertar o item [2].

O parâmetro a é encontrado no ponto de inflexão da curva, tendo uma valor pro-porcional a sua inclina¸cão. Espera-se que o parâmetro a seja sempre positivo pois, caso contrário, a CCI indicaria que, quanto maior a proficiência de um indiv´ıduo, menor a sua probabilidade de responder corretamente o item. Valores baixos para esse parâmetro indicam que um item tem pouco poder de discrimina¸cão, implicando em alunos com ha-bilidade bastante distintas possu´ırem a mesma probaha-bilidade de responder corretamente o item. Valores muito altos indicam itens com curvas caracter´ısticas muito “ingrimes”, discriminando os alunos basicamente em dois grupos: os que possuem habilidade abaixo do parâmetro b e os que possuem habilidade superior ao parâmetro b [1].

2.2 Estima¸c˜ao

Uma das etapas mais importantes da TRI é a estima¸cão dos parâmetros do item e tra¸co latente. Como já foi visto, a probabilidade de um respondente acertar um item depende somente da sua habilidade e dos parâmetros que caracterizam o item. Em geral, apenas as respostas dos indiv´ıduos ao teste são conhecidas [1].

Existem vários métodos para se realizar a estima¸cão desses parâmetros. Os mais utilizados são o Método da Máxima Verossimilhan¸ca e os Métodos Bayesianos. Na es-tima¸cão dos parâmetros do item, conhecida na TRI como calibra¸cão, é usual a aplica¸cão de

(19)

18

algoritmos de Máxima Verossimilhan¸ca Marginal, enquanto que na estima¸cão dos tra¸cos latentes é aplicado o Método Bayesiano. A aplica¸cão desses métodos requer a utiliza¸cão de ferramentas matemáticas e algoritmos bastantes complexos, que necessita de um alto recurso computacional a depender do tamanho da base a ser analisada [4].

Na estima¸cão em que apenas as respostas são conhecidas, os parâmetros de todos os itens estão na mesma escala. É poss´ıvel colocar outros itens na mesma escala que os itens originais a partir de planejamento e outras testagens. Pode-se então construir um banco de dados de itens na mesma escala.

De acordo com Hambleton (1994) [5], a proficiência de um aluno é a mesma inde-pendente do subconjunto de itens utilizado, porém suas estimativas variam por causa do erro de medida, sendo algumas estimativas melhores que outras devido ao uso de itens mais ou menos apropriados nos testes para ele.

´

E cada vez maior a necessidade de estimar a proficiência dos alunos. Com isso, é necessário construir bancos de dados de itens cada vez melhores, com estratégias de manuten¸cão e substitui¸cão de itens, de constru¸cão de critérios para sele¸cão de testes adequados a uma popula¸cão e de desenvolvimento de plataformas de testes adaptativos no computador [6].

A equa¸cão de máxima verossimilhan¸ca para o modelo de 3 parâmetros é dada por:

m X j=1 ajΨ(Daj(Θ − bj)) = m X j=1 ωj(Θ) D uj, onde ωj(Θ) = DajΨ(Daj(Θ − bj) − log(cj)) = Daj 1 + cje−Daj(Θ−bj)

No modelo de 3 parâmetros, dado um conjunto de itens, o estimador de máxima verossimilhan¸ca da proficiência depende dos 3 parâmetros do itens ajustados através da fun¸cão “peso”ωj(Θ) [6].

A fun¸cão peso cresce com o aumento do parâmetro de discrimina¸cão, aumentando a estimativa de proficiência. Essa mesma fun¸cão decresce com o aumento dos parâmetros b e c diminuindo a estimativa de proficiência [6].

O acerto ao acaso poderá ser penalizado no ML3. Nesse modelo, é melhor os alunos acertar os itens fáceis que os mais dif´ıceis. O acerto apenas de itens considerados dif´ıceis

(20)

19

aumentar´a a probabilidade de uma baixa proficiˆencia.

Alguns programas computacionais para calculo da TRI s˜ao bastante conhecidos, como: BILOG [7], BILOG MG [8], PARSCALE [9], MULTILOG [10].

(21)

20

3 METODOLOGIA DE PESQUISA

Esse cap´ıtulo tem como objetivo descrever a metodologia utilizada no trabalho. Será apresentada respectivamente uma visão geral da metodologia, informa¸cões sobre a popula¸cão da pesquisa, objetivos do trabalho e uma descri¸cão detalhada da aplica¸cão da metodologia.

3.1 Vis˜ao Geral

Foi utilizado o método de pesquisa descritiva com a finalidade de classificar o desempenho dos alunos através de um estudo sobre os principais conceitos da Teoria de Resposta ao Item, partindo de uma revisão bibliográfica composta de artigos, monografias, teses e s´ıtios eletrônicos sobre a TRI.

Os principais autores que contribu´ıram para este trabalho foram Leonardo da Silva Gomes, Dalton Francisco de Andrade, Heliton Ribeiro Tavares e Raquel da Cunha Valle. Entretanto, ´e importante salientar que o corpus de autores tende a aumentar na medida em que a leitura vier sendo desenvolvida.

O estudo terá caráter essencialmente quantitativo, mensurando, através da coleta e processamento estat´ıstico dos dados, o n´ıvel de proficiência dos estudantes.

3.2 Popula¸c˜ao da pesquisa

Algumas escolas municipais do estado de Pernambuco realizam 4 testes de acom-panhamento de aprendizagem ao longo do ano escolar. As questões nesses exames são referentes as disciplinas de l´ıngua portuguesa e matemática.

O gabarito com respostas dos alunos são processados e agrupados em planilhas no formato como mostra a tabela abaixo. Essas planilhas são processadas para análises do desempenho dos estudantes com o objetivo de auxiliar o redirecionamento das a¸cões pedagógicas junto aos professores e escolas.

(22)

21 Código do Aluno Q1 Q2 Q4 Q5 ... Código do aluno 1 A B A D ... Código do aluno 2 A D B D ... Código do aluno 3 A B D A ... ... ... ... ... ... ... Tabela 1: Modelo da folha resposta dos alunos

São realizadas análises de desempenho por munic´ıpio, escola, turma e estudante de acordo com as disciplinas e eixo temáticos abordados por elas. Essas análises estão dispon´ıveis na plataforma Analytics Edu (analyticsedu.com.br) e podem ser acessadas pelos diretores, coordenadores, professores ou pelos próprios alunos analisados.

Para este trabalho, os dados considerados foram as respostas de 16.067 estudantes nas avalia¸c˜oes de l´ıngua portuguesa e matem´atica do 1o_{, 2}o _{e 3}o _{ano fundamental. Esses}

números são muito substanciais para a pesquisa da TRI e, portanto, permitem a estimativa de parâmetros de itens com um alto n´ıvel de precisão.

3.3 Objetivos

Os objetivos desse trabalho foram divididos em objetivos gerais e espec´ıficos:

1. Objetivos gerais

(a) Classificar o n´ıvel de desempenho dos alunos nas avalia¸cões realizadas nos três primeiros anos do ensino fundamental em escolas municipais de Pernambuco através da Teoria de Resposta ao Item.

(b) Construir um painel anal´ıtico para representar as classifica¸cões obtidas através da aplica¸cão da Teoria de Resposta ao Item.

2. Objetivos espec´ıficos

(a) Conceituar Teoria de Resposta ao Item.

(b) Aplicar a Teoria de Resposta ao Item na popula¸c˜ao definida para este trabalho. (c) Definir visualiza¸c˜oes para representar o desempenho dos alunos.

(23)

22

(d) Disponibilizar as visualiza¸c˜oes definidas para todos os educadores relacionados aos dados utilizados neste trabalho.

3.4 Aplica¸c˜ao da metodologia

A metodologia de pesquisa aplicada nesse trabalho foi dividida em trˆes partes para melhor visualiza¸c˜ao:

• Parte 1 - Defini¸c˜ao e planejamento: – Escolha do tema

– Revis˜ao da literatura – Defini¸c˜ao da metologia

• Parte 2 - Desenvolvimento: – Coleta dos dados – Tratamento dos dados – Implementa¸c˜ao da TRI – An´alise dos resultados

• Parte 3 - Exibi¸cão dos resultados: – Importa¸cão dos resultados obtidos – Defini¸cão das visualiza¸cões

– Constru¸c˜ao do painel anal´ıtico

A figura abaixo mostra o fluxo que a metodologia desse trabalho segue:

(24)

23

3.4.1 Defini¸c˜ao e planejamento

Na primeira parte, a escolha do tema foi a primeira etapa a ser discutida e pensada. O tema foi escolhido no in´ıcio do per´ıodo em parceria com o orientador do trabalho, conseguindo satisfazer o gosto pessoal e agregando valor para trabalhos futuros, pois é um tema que vem ganhando espa¸co na área de educa¸cão. Na revisão bibliográfica foram realizadas pesquisas, análises e estudos sobre a Teoria de Resposta ao Item e da sua literatura, para maior aprofundamento e entendimento. As pesquisas abrangeram artigos, monografias, teses e s´ıtios eletrônicos, com o objetivo de criar uma base de dados rica e sólida para o desenvolvimento do trabalho.

3.4.2 Desenvolvimento

Na segunda parte, coletou-se os dados fornecidos pelas escolas atrav´es do banco de dados da plataforma Analytics Edu. Esses dados foram agrupados nas seguintes catego-rias:

1. Respostas dos alunos no 1o _{ano em matem´}_atica;

2. Respostas dos alunos no 1o _{ano em l´ıngua portuguesa;}

3. Respostas dos alunos no 2o _{ano em matem´}_atica;

4. Respostas dos alunos no 2o ano em l´ıngua portuguesa; 5. Resposta dos alunos no 3o _{ano em matem´}_atica;

6. Resposta dos alunos no 3o ano em l´ıngua portuguesa.

O primeiro tratamento aplicado nos dados foi desconsiderar respostas que tivessem campos vazios. Como alguns alunos acabam não preenchendo a alternativa completamente e com nitidez, a máquina de escanear o gabarito não consegue identificar a resposta escolhida. Considerar essas respostas não preenchidas como incorretas poderia enviesar a estimativa de parâmetros da TRI. Após este tratamento a base perdeu 12,9% dos dados originais.

Para aplicar o modelo de 3 parâmetros da TRI, fez-se necessário também dico-tomizar os dados. O processo de dicotomitiza¸cão consiste em transformar o valor das

(25)

24

respostas em dois grupos de variáveis: aqueles que respondem corretamente e aqueles que erram o item. As respostas foram então mapeadas para 1, em caso de acerto do item e 0, caso contrário.

O processo de dicotomitiza¸cão foi feito através da cria¸cão de um script utilizando Ruby como linguagem de programa¸cão. Ruby é uma linguagem de programa¸cão inter-pretada e de tipagem dinâmica. Ela funciona com uma infinidade de plataformas como o Windows, Mac Os e várias versões do UNIX. Para realizar o download do Ruby, basta acessar a página de download da linguagem e seguir o tutorial de instala¸cão. Essa lingua-gem foi escolhida devido ao fato de que todo o backend da plataforma do Analytics Edu é constru´ıdo no framework Ruby on Rails.

O script constru´ıdo recebe como entrada como entrada o conjunto de respostas do qual se deseja realizar o processo de dicotomitiza¸cão e a disciplina da avalia¸cão realizada pelos respondentes. O retorno do algoritmo será as respostas dicotomizadas associadas ao código do aluno.

Em seguida, planilhas CSV foram geradas, para cada uma das categorias definidas, com as respostas dicotomizadas como mostra a tabela a seguir. Essas planilhas foram usadas nas fun¸cões de aplica¸cão do modelo log´ıstico de 3 parâmetros.

C´odigo do Aluno Q1 Q2 Q4 Q5 ... Cod. Aluno 1 1 1 1 1 ... Cod. Aluno 2 1 0 0 1 ... Cod. Aluno 3 1 1 0 0 ... ... ... ... ... ... ... Tabela 2: Modelo dicotomizado de respostas dos alunos

Para o processo de implementa¸cão do modelo de 3 parâmetros da TRI, adotou-se R como linguagem de programa¸cão e o RStudio como IDE de desenvolvimento.

3.4.3 O ambiente R

R é uma linguagem de programa¸cão estat´ıstica que vem passando por diversas evolu¸cões e se tornando linguagem com amplos objetivos. Podemos entender R também como um conjunto de pacotes e ferramentas estat´ısticas, munido de fun¸cões que facilitam

(26)

25

sua utiliza¸cão, desde a cria¸cão de simples rotinas até análises de dados complexos, com visualiza¸cões bem acabadas [11].

Para fazer o download do R, é necessário escolher um espelho CRAN para que seja feito o download da versão mais atual. Os espelhos CRAN são servidores distribu´ıdos em diversos pa´ıses que armazenam o software R. Assim, permite-se que o usuário defina o servidor mais próximo de sua localiza¸cão, reduzindo o tempo de tráfego.

O RStudio é um ambiente de desenvolvimento integrado (IDE) para o R e está dispon´ıvel em duas edi¸cões: RStudio Desktop e RStudio Server. O RStudio possui um apelo visual muito maior que o R usual, e também busca melhorar a experiência do usuário com o ambiente R [11].

Para realizar a instala¸cão do RStudio, basta acessar a página principal da ferra-menta e realizar o download de acordo com a versão do seu sistema operacional e licen¸ca de uso.

O R foi escolhido porque possui milhares de pacotes dispon´ıveis para análises es-tat´ısticas. Muitos desses pacotes são agrupados por área comum. Esses agrupamentos são conhecidos como Tasks Views e estão dispon´ıveis para consulta no site do R. Há um conjunto de pacotes organizados da área de Psicometria chamado Psychometrics que pode ser acessado em http://cran-r.c3sl.ufpr.br/web/views/Psychometrics.html. [12]

Um dos pacotes desse conjunto de Psychometrics é o ltm - Latent Trait Models, que será utilizado fortemente nesse trabalho. O ltm é proposto para a análise de dados dicotômicos e polinômicos multivariantes, utilizando modelos de caracter´ısticas latentes sob a abordagem da Teoria de Resposta ao Item. O pacote inclu´ı o modelo Rasch assim como também os modelos de 2 e 3 parâmetros.

A popula¸c˜ao escolhida para demonstrar a aplica¸c˜ao da TRI neste trabalho foram os alunos do 1o _{ano e suas respectivas respostas em matem´}_{atica. ´}_{E importante ressaltar}

que o TRI (ML3) foi aplicado para todos os alunos, nas turmas do 1o, 2o e 3o ano, em ambas as disciplinas de l´ıngua portuguesa e matemática. Maiores detalhes sobre o ltm e fun¸cões utilizadas para implementa¸cão do ML3 serão explorados no próximo Cap´ıtulo.

3.4.4 Exibi¸c˜ao dos resultados

Na terceira e última parte realizou-se o processo de importa¸cão dos resultados obtidos com a implementa¸cão da TRI para a plataforma do Analytics Edu. Foi definido

(27)

26

quais conjuntos de visualiza¸c˜oes seriam mais interessantes para serem exibidos aos os educadores relacionados com os dados analisados e, por fim, construiu-se o painel anal´ıtico para representar essas visualiza¸c˜oes.

(28)

27

4 DESENVOLVIMENTO

Neste cap´ıtulo será mostrado o desenvolvimento da implementa¸cão do modelo log´ıstico de 3 parâmetros da TRI. Como demonstra¸cão, serão exibidos os resultados da classifica¸cão de desempenho dos alunos do 1o _{em matem´}_atica.

4.1 Implementa¸c˜ao do ML3

O pacote ltm é um dos mais completos dentro do R para uso com TRI. Ele provê uma estrutura flex´ıvel para análises da Teoria de Resposta ao Item para dados dicotômicos e polinômicos utilizando a abordagem de Máxima Verossimilhan¸ca Marginal [13]. Como passo inicial, uma análise descritiva pode ser feita aplicando a fun¸cão descript() aos dados dicotomizados dos alunos do 1o _{ano e suas respostas em matem´}_atica:

1 > l i b r a r y( ltm )

2 > d e s c r i p t ( r e s p o n s e s_m a t h )

1 D e s c r i p t i v e s t a t i s t i c s for the ’ r e s p o n s e s _ m a t h ’ data - set 2 3 S a m p l e : 4 10 i t e m s and 4 2 0 4 s a m p l e u n i t s ; 0 m i s s i n g v a l u e s 5 6 P r o p o r t i o n s for e a c h l e v e l of r e s p o n s e : 7 0 1 l o g i t 8 Q1 0 . 0 8 4 0 0 . 9 1 6 0 2 . 3 8 9 6 9 Q2 0 . 1 1 4 7 0 . 8 8 5 3 2 . 0 4 4 1 10 Q3 0 . 2 8 2 1 0 . 7 1 7 9 0 . 9 3 4 0 11 Q4 0 . 4 7 2 2 0 . 5 2 7 8 0 . 1 1 1 4 12 Q5 0 . 4 2 8 9 0 . 5 7 1 1 0 . 2 8 6 4 13 Q6 0 . 3 0 2 8 0 . 6 9 7 2 0 . 8 3 4 0 14 Q7 0 . 1 7 3 9 0 . 8 2 6 1 1 . 5 5 8 4 15 Q8 0 . 3 7 3 9 0 . 6 2 6 1 0 . 5 1 5 4 16 Q9 0 . 0 4 7 6 0 . 9 5 2 4 2 . 9 9 6 7 17 Q10 0 . 3 2 4 7 0 . 6 7 5 3 0 . 7 3 2 3 18 19 F r e q u e n c i e s of t o t a l s c o r e s : 20 0 1 2 3 4 5 6 7 8 9 10 21 F r e q 2 11 61 120 220 357 508 610 852 832 631

4.1: Sa´ıda da fun¸c˜ao descript()

Como podemos observar pelo resultado da fun¸cão descript(), a questão 9 (linha 16) obteve um maior número de acertos, enquanto que a questão 4 (linha 11) foi a mais errada pelos estudantes. A maior propor¸cão de frequência do escore total fica entre 8 ou 9 acertos, correspondendo a cerca de 40% das respostas.

(29)

28

A fun¸cão que permite a estima¸cão de parâmetros no modelo de 3 parâmetros da TRI é conhecida como tpm. O IRT.param = true define que os parâmetros sejam estimados através da aproxima¸cão marginal de máxima verossimilhan¸ca.

1 > ML3 < - tpm ( r e s p o n s e s_math , IRT . p a r a m = T R U E ) 2 > c o e f. tpm ( ML3 )

4.2: Fun¸c˜oes tpm() e coef.tpm() ´

E poss´ıvel extrair os parâmetros estimados do modelo com a fun¸cão coef.tpm() como mostra a sa´ıda abaixo. Com ampla margem, a questão 4 (linha 5) teve o maior parâmetro de dificuldade e também a maior chance de acerto ao acaso (colunas Diffclt e Dscrmn respectivamente). A questão 8 (linha 9) apresenta a maior capacidade para discriminar alunos com habilidades distintas (coluna Dscrmn).

1 G u s s n g D f f c l t D s c r m n 2 Q1 0 . 0 0 0 4 2 3 4 0 7 4 - 2 . 2 4 9 6 7 0 7 7 1 . 3 6 5 0 8 3 3 Q2 0 . 0 0 0 1 0 8 0 0 3 3 - 1 . 9 6 6 4 5 3 8 5 1 . 3 4 1 7 2 5 4 Q3 0 . 1 1 7 1 9 7 2 4 5 5 - 0 . 8 4 4 9 6 3 6 8 1 . 1 0 7 6 0 1 5 Q4 0 . 3 6 2 5 9 6 7 3 7 3 1 . 1 0 0 0 1 8 1 0 1 . 2 2 2 4 6 2 6 Q5 0 . 1 1 1 2 9 7 4 6 5 2 - 0 . 0 6 0 7 0 5 0 9 1 . 5 3 0 7 4 6 7 Q6 0 . 3 4 6 4 1 3 7 7 0 9 - 0 . 1 2 2 5 8 8 7 4 1 . 7 7 3 2 0 6 8 Q7 0 . 0 0 0 1 0 1 4 6 7 1 - 1 . 3 4 3 9 9 3 9 9 1 . 6 7 9 1 9 4 9 Q8 0 . 3 6 0 0 2 1 3 8 9 7 0 . 2 6 6 1 5 9 0 4 2 . 4 0 5 5 8 8 10 Q9 0 . 0 0 0 1 2 2 1 2 4 0 - 2 . 3 1 2 6 2 6 8 9 1 . 8 9 3 5 8 9 11 Q10 0 . 1 6 0 6 8 1 9 3 7 1 - 0 . 4 0 1 4 1 4 8 9 1 . 6 9 8 5 8 8

4.3: Sa´ıda da fun¸c˜ao coef.tpm()

Podemos observar melhor o resultado da estima¸cão dos parâmetros na Figura 2. A partir da imagem vemos que os itens 4, 6 e 8 possuem intercepta¸cões em y bem maiores que zero, portanto, mesmo em n´ıveis de habilidades muito baixo, há alguma chance dos respondentes acertarem esse itens (acerto ao acaso). Os itens 1 e 9 (preto) são os mais fáceis, possuindo uma boa chance de acerto mesmo para indiv´ıduos com tra¸co latente muito baixo (Θ < −2).

(30)

29

Figura 3: Curvas caracter´ıstica dos itens

A Curva de Informa¸cão do Item - CII (Figura 3) demonstra que alguns itens fornece mais informa¸cões sobre a capacidade latente para diferentes n´ıveis de habilidade. Quanto maior a discrimina¸cão de um item, mais informa¸cões ele traz a respeito sobre os n´ıveis de habilidade em torno do ponto em que há 50% de chances de acertar o item (o ponto mais ´ıngreme da CCI).

Por exemplo, o item 1 (preto) claramente fornece mais informa¸cões em baixos n´ıveis de habilidade (em torno de Θ = −2) e quase nenhuma informa¸cão sobre altos n´ıveis de habilidade porque o item já é muito fácil para esses participantes. Por outro lado, o item 3 (verde), que tem uma baixa discrimina¸cão, não fornece muitas informa¸cões no geral, mas consegue abranger uma ampla variedade de n´ıveis de habilidade.

(31)

30

Figura 4: Curvas de informa¸c˜ao dos itens

A CII para todo o exame de matemática é a soma de todas as CII individuais mostradas na Figura 3. Idealmente é prefer´ıvel um teste que ofere¸ca cobertura razoável para uma ampla gama de n´ıveis de habilidades. Caso contrário, o exame é bom apenas para identificar uma gama limitada de n´ıveis de tra¸cos latentes. A Figura 4 demonstra que o teste provê informa¸cão abrangente para variados tipos de habilidade, porém, não fornece muita informa¸cão para respondentes com alto grau de habilidade por não apresentar questões de dificuldade alta o suficiente.

(32)

31

A estimativa de cada tra¸co latente é feita pela fun¸cão factor.scores(). Na curva da estimativa das habilidade (Figura 5) podemos notar que os escores estão bem estimados, com média 0 e 1 aproximadamente de desvio padrão. Isso significa que nossas estimativas de habilidades estão padronizadas com o ML3.

Figura 6: Estima¸c˜ao da densidade das habilidades

4.2 Classifica¸c˜ao das habilidades

O parâmetro de habilidade para cada pessoa pode ser estimado de diferentes ma-neiras, sendo o Método Bayesiano e Método a Posteriori os mais conhecidos. Ambos estão presentes no pacote ltm e sua correla¸cão extremamente alta entre as estimativas indicam que os métodos levam às mesmas conclusões para o presente conjunto de dados. Para mais detalhes sobre o processo de cálculo de convergência de ambos os métodos, consultar a referência RIZOPOULOS, Dimitris (2006) [13].

No algoritmo abaixo, podemos calcular as estimativas de habilidades através da fun¸cão factor.scores(), passando como argumento o modelo log´ıstico, o método de estima¸cão e as respostas dos alunos. Na linha 1 o parâmetro “EB”indica que a estimativa deverá ser feita através do Método Bayesiano e o parâmetro “EAP”na linha 6 através do Método a Posteriori. A correla¸cão entre os resultados das estimativas pelos dois métodos é feita através da fun¸cão cor() na linha 9.

(33)

32 2 r e s p . p a t t e r n s = r e s p o n s e s_m a t h ) 3 > p r i o r i < - f a c t o r. s c o r e s ( ML3 , m e t h o d = " EAP ", 4 r e s p . p a t t e r n s = r e s p o n s e s_m a t h ) 5 6 > e s t i m a t i v e s < - d a t a.f r a m e( EB = b a y e s i a n o$s c o r e . dat$z1 , 7 EAP = p r i o r i$s c o r e . dat$z1 ) 8 9 > cor( e s t i m a t i v e s )

4.4: Estimativa das habilidades dos respondentes

O resultado da correla¸cão das estimativas foi de 99%. Além disso, podemos plotar o gráfico de dispersão das estimativas como mostra a Figura 6. O relacionamento é linear e podemos observar apenas em alguns pontos randômicos do gráfico uma acentuada queda do resultado da estima¸cão tanto para o Método Bayesiano como a Priori.

Figura 7: Dispers˜ao do resultado das estimativas

4.3 Mudan¸ca de escala

Como dito anteriormente, a escala de uma habilidade pode ser definida com valores no intervalo de −∞ a +∞. Por esse motivo, é necessário escolher uma origem, represen-tada pelo valor médio das proficiências dos indiv´ıduos que responderam os itens e uma

(34)

33

unidade de medida, representada pelo desvio-padr˜ao das habilidades dos respondentes do exame.

A Avalia¸cão Nacional de Alfabetiza¸cão - ANA, que tem como objetivo avaliar os estudantes matriculados no Ciclo de Alfabetiza¸cão da rede pública de ensino, apresenta seus resultados de desempenho numa escala que possui média de proficiência 500 e 100 de desvio padrão. Nessa escala, os estudantes são distribu´ıdos, de acordo com seu desem-penho, em 4 n´ıveis de proficiência, gerando informa¸cões sobre os graus de alfabetiza¸cão em l´ıngua portuguesa e matemática [14].

Já o pacote ltm utiliza uma escala com média igual a 0 e desvio-padrão 1. Inde-pendente da escala adotada os resultados encontrados serão os mesmos. Por exemplo, um respondente com habilidade 2 na escala do pacote ltm corresponde a uma habilidade de 700 no ANA, pois ambos representam 2 devios-padrão acima da média [2].

Uma f´ormula para fazer a mudan¸ca de escala da habilidade de um indiv´ıduo ´e:

x = y − 500 100 ,

onde x representa a proficiˆencia na escala (0, 1) e y representa a proficiˆencia na escala (500, 100).

Através da fórmula acima, podemos converter nossas estimativas de habilidades e dificuldade das questões para o padrão utilizado pelo ANA e classificar nossos itens de acordo com os 4 n´ıveis de interpreta¸cão adotados pelo exame. Quanto maior for o n´ıvel de uma questão, maior será a habilidade necessária para que um aluno possua uma alta probabilidade de acertá-la.

4.3.1 Interpreta¸c˜ao da escala da proficiˆencia

A interpreta¸cão pedagógica dos 4 n´ıveis depende dos descritores com qual as questões estão associadas. No campo da educa¸cão, denomina-se descritor o detalhamento de uma competência ou das habilidades que a compõem. Tomando o termo ‘leitura’ como um exemplo de competência, podemos dizer que ela engloba um conjunto de descritores como, por exemplo, identificar elementos e partes de diferentes gêneros textuais, escrever palavras, emitir opinião sobre uma situa¸cão, diferenciar versos e estrofes, etc. A Tabela 3 apresenta as classifica¸cões das questões no teste avaliado, e seus respectivos descritores,

(35)

34

de acordo com a escala de proficiência definida pelo ANA em matemática. N´ıvel Questões e descritores associados

N´ıvel 1

(At´e 424 pontos)

Q1 - Identificar a localiza¸c˜ao e/ou deslocamentos de objetos e/ou pessoas com base em pontos de referˆencia.

Q2 - Comparar grandezas (comprimento, massa e capacidade)

com ou sem medi¸c˜ao.

Q3 - Reconhecer eventos prov´aveis, improv´aveis ou imposs´ıveis.

Q7 - Ler dados representados em tabelas ou em gr´aficos de coluna simples.

Q9 - Identificar a localiza¸c˜ao e/ou deslocamentos de objetos e/ou pessoas com base em pontos de referˆencia.

N´ıvel 2

(Entre 425 e 524)

Q5 - Determinar elementos ausentes em uma sequˆencia; Q6 - Identificar e utilizar unidades de medida de tempo para resolver situa¸c˜oes relacionadas a per´ıodos do dia, dias da semana ou meses do ano.

Q8 - Quantificar elementos de uma cole¸c˜ao por meio de estimativa, contagem um a um pareamento e

agrupamento.

Q10 - Ler, escrever e comparar n´umeros naturais. N´ıvel 3 (Entre 525 e 574 pontos) N˜ao consta N´ıvel 4 (maior que 574)

Q4 - Comparar e ordenar números naturais, utilizando caracter´ısticas do sistema de numera¸cão decimal. Tabela 3: Classifica¸cão das questões de acordo com sua dificuldade

(36)

35

cada um dos n´ıveis de dificuldade dos itens descritos na tabela acima. Interpreta-se que os alunos possuem capacidade de responder as quest˜oes de dificuldade igual ou menor que sua faixa de habilidade.

Figura 8: Percentual de alunos em cada faixa de Proficiˆencia

O gráfico da Figura 7 mostra que 17% dos alunos possuem habilidades suficientes apenas para responder questões classificadas no primeiro n´ıvel de dificuldade. A maioria dos estudantes (41,2%) possuem habilidades para responder questões do segundo n´ıvel da escala, enquanto que 20% dos respondentes demonstram ter habilidades para responder questões com N´ıvel 3 de dificuldade, ainda que as mesmas não tenham sido abordadas. Cerca de 22% dos respondentes possuem uma alta probabilidade pontuar no descritor relacionado a comparar e ordenar números naturais utilizando caracter´ısticas do sistema de numera¸cão decimal.

(37)

36

5 EXIBIC¸ ˜AO DOS RESULTADOS

O foco deste cap´ıtulo será na constru¸cão de uma base para exibi¸cão dos resultados que foram extra´ıdos a partir da aplica¸cão da TRI nos dados dos respondentes. Para isso, será repetido todo o processo realizado no Cap´ıtulo 3 com as popula¸cões do 1o_{, 2}o _{e 3}o

ano em l´ıngua portuguesa e do 2o e 3o ano em matemática. A arquitetura do Analytics EDU será aproveitada, sendo necessário uma reestrutura¸cão no banco de dados, cria¸cão de queries de consultas ao banco, novas rotas e defini¸cão das fun¸cões que exibirão os resultado no frontend.

5.1 Sobre o Analytics EDU

Com o surgimento de tecnologias de apoio ao processo de ensino e aprendizagem, um grande volume de dados pode ser gerado a partir da intera¸cão de estudantes com as avalia¸cões escolares [15]. Nesse contexto, emergiram, no campo da Ciência dos Dados Educacionais, a Minera¸cão de Dados Educacionais - MDE e Learning Analytics - LA. O MDE busca tratar e processar os dados, enquanto que o LA tem como propósito a análise dos dados para compreensão e otimiza¸cão do processo de aprendizado [16].

Nesse cenário, o Analytics EDU se apresenta como uma plataforma de visualiza¸cão dos dados educacionais, buscando fornecer representa¸cões visuais de vários indicadores, ajudando os gestores educacionais com insights sobre os processos de aprendizagem, di-ficuldades e comportamento de cada estudante. A plataforma contém indicadores de 80 escolas, 726 turmas e 16.067 alunos.

A aplica¸cão possui uma interface que divide todas as informa¸cões em uma série de componentes gráficos, cujo os filtros principais são relativos ao bimestre, munic´ıpio, turma, escola e aluno. Dentro de cada se¸cão principal, é poss´ıvel ainda filtrar os indicadores por disciplina e ano escolar. Alguns exemplos de indicadores são: frequência dos estudantes nas avalia¸cões realizadas, compara¸cão do desempenho nas disciplinas, eixos temáticos abordados, distribui¸cão de acertos por questão, etc.

(38)

37

5.2 Importa¸c˜ao e estrutura da base de dados

O primeiro passo para a utiliza¸cão dos dados da TRI no Analytics EDU foi exporta-los para CSV, em seguida realizou-se uma reestrutura¸cão na base de estudantes para armazenar os resultados da estima¸cão de habilidades como mostra a Tabela 4. Por fim, foi criado um script para importa¸cão desses parâmetros já normalizados pela escala (500, 100). O mesmo procedimento foi realizado para importa¸cão da estima¸cão de dificuldade das questões.

Campo Tipo

Cod. N´umero

Nome Texto

Cod. cidade N´umero

Cod. escola N´umero

Cod. turma N´umero

Habilidade em matemática Número Habilidade em l´ıngua portuguesa Número

Campo Tipo Quest˜ao Texto Dificuldade N´umero Disciplina Texto N´ıvel Texto

Tabela 4: Estrutura da base de dados dos estudantes e quest˜oes

5.3 Visualiza¸c˜oes definidas

Foi definido então quais seriam as visualiza¸cões necessárias para exibi¸cão dos re-sultados no Analytics EDU em cada filtro principal. Elas poderão ser acessadas por todos os diretores, gestores, coordenadores e professores relacionados as escolas municipais que forneceram dados para este trabalho.

Para cada visualiza¸c˜ao definida foram criadas rotas parametrizadas, queries de consulta ao banco e fun¸c˜oes de processamento dos dados no backend.

5.3.1 Habilidade mediana

A mediana foi um indicador escolhido para analisar a tendência central das distri-bui¸cões numéricas das habilidades. A vantagem da mediana em rela¸cão a média é que a mediana pode dar uma ideia melhor de um valor t´ıpico porque não é tão distorcida por valores de proficiência extremamente altos ou baixos. Como desvantagem, temos o fato

(39)

38

de que, por precisar realizar ordena¸cão dos elementos analisados, o custo computacional é maior do que a média aritmética.

A habilidade mediana é o primeiro indicador da se¸cão sobre TRI e é exibida nos filtros de cidade, escola e turma em um espa¸co como mostra a Figura 8.

5.3.2 Classifica¸c˜ao das quest˜oes

Em seguida, é exibido a classifica¸cão das questões em seus respectivos n´ıveis uti-lizando a escala ANA para as disciplinas de matemática e l´ıngua portuguesa. Baseado na mediana da turma, o educador poderá entender em quais descritores os alunos estão atingindo um bom desempenho.

A tabela de classifica¸cão das questões também é exibida nos filtros de cidade, escola e turma. Assim como é definido na ANA, a classifica¸cão das questões possui escala diferente dependendo da disciplina selecionada no filtro secundário.

Figura 9: Exibi¸cão da mediana das habilidades e classifica¸cão das questões no Analytics EDU

5.3.3 Classifica¸c˜ao dos estudantes

O último indicador comum aos 3 primeiros filtros principais é um gráfico de dis-persão dos alunos nos n´ıveis de proficiência definidos pela escala ANA. Essa visualiza¸cão é importante porque define a porcentagem dos alunos que possuem capacidade de responder questões em cada uma das faixas de habilidade de definidas.

Nesse indicador é poss´ıvel selecionar n´ıveis de escala a serem desconsideradas na distribui¸cão dos estudantes. Ao clicar na escala “Acima de 574”, por exemplo, a popula¸cão

(40)

39

dos estudantes nesse n´ıvel seria desconsiderada e a distribui¸c˜ao se daria apenas entre os 3 primeiros n´ıveis (“Entre 525 e 574”, “Entre 425 e 524”e “Menor que 425”).

Figura 10: Gr´afico de classifica¸c˜ao dos estudantes nos n´ıveis da escala ANA

5.3.4 Compara¸c˜ao das habilidades

As se¸cões de escola e turma contém informa¸cões a respeito da compara¸cão de suas habilidades medianas em rela¸cão ao munic´ıpio e em rela¸cão ao munic´ıpio e escola no caso da se¸cão turma. Por exemplo, a turma da Figura 10 possui uma habilidade mediana 15,79% superior em compara¸cão com a habilidade de todos os estudantes de sua escola e 50,88% superior em compara¸cão com a habilidade de todos os alunos da rede municipal.

Figura 11: Compara¸c˜ao da habilidade mediana dos estudantes de uma turma

5.3.5 Visualiza¸c˜ao na se¸c˜ao do estudante

Para a se¸cão de estudante pensou-se em uma visualiza¸cão que permitisse destacar sua habilidade na avalia¸cão realizada e uma compara¸cão do seu desempenho em outros contextos. A habilidade do aluno fica destacada em um card e no texto em seguida é descrito a compara¸cão da sua habilidade com toda a rede municipal, sua escola e turma.

(41)

40

Figura 12: Visualiza¸c˜ao da TRI na se¸c˜ao de estudantes

O estudante mostrado na Figura 11 possui uma habilidade estimada em 479.93 em matem´atica. Com essa habilidade o aluno posiciona-se a frente de 37,02% de todos os estudantes da rede municipal, 10.53% a frente de todos os estudantes de sua escola e 16.67% a frente de todos os estudantes da sua turma.

(42)

41

6 CONSIDERAC¸ ˜OES FINAIS

O estudo da Teoria de Resposta ao Item mostrou-se de grande importância por apresentar novas formas de avaliar o conhecimento em rela¸cão a Teoria Clássica dos Testes, cujo o desempenho dos respondentes é definido simplesmente pela soma do número de questões acertadas e questões com diferentes n´ıveis de dificuldade podem ter diferentes valores pré-estabelecidos, ou pesos [2].

´

E importante destacar que os professores, conhecendo melhor os principais concei-tos da TRI, podem elaborar testes educacionais mais v´alidos, proporcionando tamb´em um retorno sobre as principais habilidades adquiridas e quais habilidades devem ser melhor trabalhadas.

No entanto, como assinala Valle et al. (2000), a TRI ainda está em cont´ınuo apri-moramento. Após ser adotada como método de avalia¸cão pelo Exame Nacional do Ensino Médio e pelo Sistema de Avalia¸cão da Educa¸cão Brasileira, do qual a Avalia¸cão Nacional de Alfabetiza¸cão faz parte, os modelos estat´ısticos baseados na Teoria da Resposta ao Item estimularam o interesse de muitos pesquisadores e professores que trabalham com processos de avalia¸cão em larga escala.

A análise do desempenho dos alunos em escolas municipais de Pernambuco através da TRI permitiu, na prática, acompanhar como os resultados de um processo de avalia¸cão do ensino fundamental pode contribuir para melhor prepararmos os estudantes. Com esses resultados dispon´ıveis para todos os educadores através de um painel anal´ıtico, é poss´ıvel compor um plano de a¸cão para trabalhar conteúdos ou habilidades que os alunos mais apresentam dificuldades, melhorando a qualidade das aulas e realizando uma melhor forma¸cão para os sujeitos envolvidos no processo de ensino e aprendizagem.

6.1 Trabalhos futuros

Para aprimorar os planos de a¸cões pedagógicas, é interessante ser criado no Analy-tics EDU uma se¸cão para avaliar as questões abordadas nas provas nos aspectos de difi-culdade, discrimina¸cão e chance de acerto ao acaso. Também é poss´ıvel parametrizar as escalas adotadas para classificar os itens, ampliando as interpreta¸cões dos desempenhos em outros contextos como, por exemplo, na escala adotada pelo SAEB no 5o ano ou em alguma outra escala definida pelos educadores que melhor se ajuste aos dados.

(43)

42

REFERˆENCIAS

[1] ANDRADE, D. F. de; TAVARES, H. R.; VALLE, R. da C. Teoria da Resposta ao Item: Conceitos e Aplica¸c˜oes. [S.l.]: Sinape, 2000.

[2] GOMES, L. da S. A TEORIA DE RESPOSTA AO ITEM NA AVALIAÇ ÃO EM LARGA ESCALA: um estudo sobre o Exame Nacional de Acesso do Mestrado Pro-fissional em Matemática em Rede Nacional – PROFMAT 2012. 290 p. Disserta¸cão (Mestrado) — Instituto Nacional de Matemática Pura e Aplicada, Rio de Janeiro, 2014.

[3] LINDEN, W. J. van der. Handbook of Item Response Theory. [S.l.]: CRC Press, 2016. [4] ANDRADE, D. F. de; ARA´uJO, E. A. C. de; BORTOLOTTI, S. L. V. Teoria da

Resposta ao Item. Revista Escola de Enfermagem USP, Out 2009.

[5] HAMBLETON, R. . Item response theory: A broad psychometric framework for me-asurement advances. Psicothema, 1994.

[6] KLEIN, R. Alguns aspectos da Teoria de Resposta ao Item relativos à estima¸cão das proficiências. 2013.

[7] RJ, B. R. M. BILOG 3: Item Analysis and Test Scoring with Binary Logistic Models. Chicago: Scientific Software, 1990.

[8] MF MURAKI E, M. R. B. R. Z. BILOG-MG: Multiple-Group IRT Analysis and Test Maintenance for Binary Items. Chicago: Scientific Software, 1996.

[9] E, B. R. M. PARSCALE : IRT Based Test Scoring and Item Analysis for Graded Open-Ended Exercises and Performance Tasks. Chicago: Scientific Software, 1997. [10] D., T. MULTILOG user’s guide: Multiple categorical item analysis and test scoring

using item response theory. Chicago: Scientific Software, 1991.

[11] OLIVEIRA, P. F. de; GUERRA, S.; MCDONNELL, R. Ciˆencia de Dados com R -Introdu¸c˜ao. [S.l.]: IBPAD, 2018.

(44)

43

[12] ANJOS, A. dos; ANDRADE, D. F. de. Teoria da Resposta ao Item com uso do R. 290 p. Disserta¸c˜ao (Mestrado), Jo˜ao Pessoa, PB, 2012.

[13] RIZOPOULOS, D. ltm: An R Package for Latent Variable Modeling and Item Res-ponse Theory Analyses. Journal of Statistical Software, Nov 2006.

[14] MEC, M. da E. RELAT ´ORIO SAEB/ANA 2016: panorama do Brasil e dos Estados. Instituto Nacional de Estudos e Pesquisas Educacionais An´ısio Teixeira., 2018.

[15] COSTA, E. et al. Minera¸cão de Dados Educacionais: Conceitos, Técnicas, Ferra-mentas e Aplica¸cões. Jornada de Atualiza¸cão em Informática na Educa¸cão - JAIE, 2012.

[16] VAZ, J. C. et al. Proposta de adequa¸cão da arquitetura do AVA Openredu para suporte a técnicas de análise quantitativa de dados educacionais. 22nd Journey of Sci-entific Initiation - 50th Anniversary of Pedagogy of the Oppressed., 2018.