Testes Adaptativos Informatizados Baseados em Teoria de Resposta ao Item Utilizados em Ambientes Virtuais de Aprendizagem

(1)

Universidade Federal de Goiás

Escola de Engenharia Elétrica e de Computação

Programa de Pós-Graduação em Engenharia Elétrica e de Computação

Testes Adaptativos Informatizados Baseados em

Teoria de Resposta ao Item Utilizados em

Ambientes Virtuais de Aprendizagem

Por

Fabrícia Damando Santos

Orientadores:

Prof. Dr. Leonardo Guerra de Rezende Guedes Prof. Dr. Weber Martins

(2)

Estrutura da Apresentação

Introdução

Educação a Distância, Teorias de

Aprendizagem e Avaliações

Informatizadas

Teoria de Resposta ao Item

Modelos Implementados

Ferramenta Computacional

Análise dos Resultados

(3)

Introdução

Comunicação Progresso da humanidade_FUNDAMENTAL

Era do Conhecimento = Era do Conhecimento = (Druker, 1993) (Druker, 1993) Conhecimento Comunicação Comunicação

(4)

Conhecimento e atualização fazem parte da integração social e profissional do mundo atual. C

o

nh

eci

men

to

e

A

t

ua

liz

a

ç

ã o C o nh ec

im

en

to

e Atu

alizaç

_ão

C o nh eci men to e A t ua l iza ç ã o C o nh ec im ent

(5)

Tecnologia

Com a utilização dos

computadores e a

popularização da Internet, ampliou-se as possibilidades de comunicação entre as

(6)

Educação a Distância

e/ou

Ensino Não-Presencial

São MODALIDADES de ensinoMODALIDADES

Não excluem e nem substituem o ‘presencial’

Computação e Internet - amplamente utilizadas

Aluno _Professor

Ajus

tado ao _n

ovo

s te _mpos

Possibilita a disseminação do conhecimento através da

(7)

Educação a Distância

e/ou

Ensino Não-Presencial

Incentiva autonomia no processo

ensino-aprendizagem

As pessoas não aprendem com um simples clique do mouse

e sim: Pesquisando Analisando Avaliando Organizando Discutindo Sintetizando Testando Decidindo e APLICANDO IDÉIAS (Horton, W.K., 2000)

(8)

A Educação a Distância de modo

algum é um distanciamento da educação.

É educação.

Estimula o pensamento crítico

Participa da construção do

(9)

Objetivos

Desenvolvimento de uma Ferramenta

Computacional que poderá ser usada com o

apoio da Internet, em cursos a distância ou não.

É uma ferramenta destinada ao professor.

É realizado nesta ferramenta um

acompanhamento para avaliação da habilidade dos alunos, assim como, o

acompanhamento dos níveis de dificuldade das questões.

Baseada em Testes Adaptativos

Informatizados e Teoria de Resposta ao Item

(10)

TEORIAS DE APRENDIZAGEM

TRADICIONAL

Ensino centrado no professor Aluno - receptor passivo

Não possibilita trabalhos de cooperação

Avaliação – capacidade de acumular informações

COMPORTAMENTALISTA

Empirista – conhecimento é resultado direto da

experiência

Processo de ensino-aprendizagem = direcionado Comportamentos desejados são mantidos por

elogios, notas, graus, diplomas, status.

(11)

HUMANISTA

Professor – cria condições para aprendizagem Professor - facilitador

Ensino é centrado no aluno

Avaliação – defensora da auto-avaliação

COGNITIVISTA (Piaget)

Interacionista

Participa da construção do conhecimento – contínuo Provoca a busca de soluções

Avaliação – não é mensurável.

Verificam o rendimento através de reproduções livres,

(12)

SÓCIO-CULTURAL (Paulo Freire)

O homem é sujeito de sua práxis – capaz de ação

e reflexão.

Relação horizontal entre professor e aluno Capacidade crítica do homem.

(13)

As Teorias do Conhecimento e

a Informática

Não existem métodos universalmente

aceitos e consagrados

Correntes de trabalho – Miscelânea

DICOTOMIA

(14)

Avaliações Informatizadas

Um teste informatizado utiliza o

computador como meio de

Apresentar as questões

Coletar e Armazenar Respostas

Calcular e Interpretar Resultados

Métodos convencionais

(15)

TESTES ADAPTATIVOS

INFORMATIZADOS

Características:

Nível de dificuldade da questão (item): b

Habilidade individual do aluno:

θ

Discriminação da questão (item): a

Fator adivinhação da questão (item): c

(16)

Nível de Dificuldade de uma Questão

Por definição, o Nível de Dificuldade b de uma

questão (item) é igual a média de acerto desta questão a partir de um certo universo de

(17)

Habilidade

Por definição, um aluno de Habilidade

θ

= x

em determinada disciplina, ou campo do

saber, possui 50% de probabilidade de acertar uma questão (item) desta disciplina cujo

(18)

Fator de Adivinhação

Por definição, o Fator Adivinhação c de uma

questão (item) é igual a probabilidade da alternativa correta ser selecionada por um grupo de alunos com ‘habilidade baixa’ na disciplina ou campo do saber.

(19)

Índice de Discriminação

Por definição, o Índice de Discriminação a de

uma questão (item) representa a capacidade desta questão ser mais precisa e exata na

avaliação de um aluno dada sua Habilidade em uma determinada disciplina o campo do saber.

(20)

Testes diferenciados para cada aluno

A seqüência das questões podem variar de

acordo com a habilidade de cada aluno.

(21)

TRI

–

Teoria de Resposta ao Item

São modelos estatísticos que descrevem:

Itens de um teste

Suas características

Índice de dificuldade Índice de adivinhação Índice de discriminação

TRI + Banco de Itens

Possibilita aplicar Possibilita aplicar testes a diferentes testes a diferentes alunos, considerando alunos, considerando as dificuldades e as dificuldades e facilidades de cada facilidades de cada aluno aluno

(22)

TRI propõe modelos que representam:

Probabilidade de uma resposta certa a um item

Dado a Habilidade do aluno

Avaliação personalizada

Estudantes responderão itens referentes

às suas habilidades

(23)

Modelos de Resposta de um Item

Modelo de Crédito Parcial (Partial Credit Model) Resposta de Classificação (Graded Response) Resposta Nominal (Nominal Response)

Respostas Subjetivas

Modelo de Distância Latente (Latent Distance) Modelo de Escala Perfeita (Perfect Scale) Modelo Linear (Latent Linear)

Modelo Logístico de 4 Parâmetros (Four-Parameter Logistic) Modelo Logístico de 1, 2 e 3 parâmetros (One, Two-, Tree

Parameer Logistic)

Modelo Normal de 1, 2 e 3 parâmetros (One, Two-, Tree Parameter Normal)

Respostas Objetivas

Modelo Tipos de Respostas

(24)

Modelo logístico de

Três Parâmetros

( )

(

)

₍ ₎

[

D ai bi

]

i i i

c

P

− −

+

−

+

=

_θ

θ

. .

exp

1

O índice c, não varia de acordo com a

habilidade.

O índice c, pode ser atribuído a um item por meio das funções distratoras (funções atrativas, porém incorretas).

(25)

Modelo Logístico

de Dois

Parâmetros

( )

₍ ₎ i i b a D i P − − + = _θ

θ

_. _. exp 1 1 Vantagem – facilidade de trabalhar com a equação.

(26)

é a probabilidade de um determinado aluno com habilidade , responder um item corretamente; índice de dificuldade

( )

θ i P

θ

i

b

( )

(

b_i

)

i

P

− − + = θ

θ

1 exp 1 1

Modelo Logístico de Um Parâmetro

-The Rasch.

(27)

Proposta - Estimação da Habilidade

A Habilidade varia de -2 a +2.

Para fins didáticos, utilizamos a transformação

abaixo da variável de habilidade, tal que esta agora varia no intervalo de 0 a 10.

Onde o nível de dificuldade das questões

também variam de 0 a 10.

A Habilidade é então obtida pelo cálculo da

Mediana dos níveis de dificuldade das questões respondidos.

(

)

[

2 ,

5 −

2 ]

=

med

_niveis

(28)

Estimação da Habilidade

A estimativa da Habilidade é obtida pela Mediana

dos níveis de dificuldade das questões respondidos, nos modelos que propomos (modelos de busca).

Isso se justifica, pois, como já definido, a

probabilidade de um aluno acertar uma questão de mesmo nível de dificuldade de sua habilidade é 50%.

(29)

Para o procedimento de Pontuação, utilizamos a

Esperança Normalizada, igual à esperança dos itens respondidos corretamente dividido pela esperança de todos os itens aplicados.

A Esperança define o valor médio resultado ao

observarmos muitas vezes uma variável, no caso, os Níveis de Dificuldade das questões aplicadas ao aluno, e por ele respondidas corretamente.

(30)

Esperança Normalizada

( )

∑

= = = = ₌ = n i i i n i i i j n i j n i j j P b P b R x E x E R 1 1 1 1 . . . ) ( ) ( . θ θ π

Pontuação

(31)

Modelos Implementados

Implementamos dois modelos para a

avaliação da habilidade do aluno, que irá oferecer apoio pedagógico ao professor,

podendo acompanhar o desenvolvimento do aluno e ao mesmo tempo realizar o

(32)

Modelos Estudado

O aluno é submetido ao teste

Há um banco de itens previamente

cadastrado, com questões de vários níveis entre (0 a 10)

Todos alunos iniciam o teste com uma

pergunta no mesmo nível de dificuldade

Questões de 0 a 10

5

(33)

Seleciona um item após o outro.

A escolha do próximo item é feita logo após um

item ser respondido.

Sempre que o aluno responder corretamente um

item, o próximo item a ser apresentado será um item de nível de dificuldade maior

Sempre o aluno responder incorretamente um

item, o próximo a ser apresentado será um item de nível de dificuldade menor.

(34)

Respostas ao Teste 0 1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8 9 10 11 Quantidade de itens N ív e l d a s Q u e s tõ e s Registro de Resposta de um Aluno

(35)

Variação dos Níveis de Dificuldade de

uma Questão

O nível de dificuldade de um item é cadastrado

inicialmente pelo professor SEGUNDO SUA

PERCEPÇÃO

À medida em que uma questão passa a ser

administrada aos alunos e submetida as

respostas, o nível de dificuldade da questão pode variar.

(36)

No decorrer do “teste”, assumimos que quanto mais alunos

acertarem a uma determinada questão, esta poderá ser

considerada fácil, e seu nível de dificuldade deverá diminuir.

Quanto mais alunos errarem a uma determina questão,

significa que ela é uma questão mais difícil.

O novo nível é então calculado através da fórmula:

                    − = *10 _ _ 10 acessos num acertos num nível

(37)

Alunos iniciam o teste com um item de

nível de dificuldade 5

Este modelo também seleciona um item

após o outro.

Resposta Correta:

O próximo item a ser administrado será dado

pela média do nível do item atual e o nível máximo admitido no teste.

Modelo Proposto

2

máx atual novo

n

₌

+

(38)

Resposta incorreta

Caso 1 – primeiro erro

Calculamos o próximo nível a ser administrado,

fazendo uma média entre o nível do item atual e o nível do item anterior.

Caso 2 – erro consecutivo

O próximo item a ser administrado será calculado

pela média entre o nível do item atual e o nível do item mínimo.

2

anterior atual novo

n

₌

+

2 mín atual novo n n n ₌ +

(39)

Respostas ao Teste 0 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 10 11 Quantidade de Itens N ív e l d a s Q u e s tõ e s Registro de Respostas de um Aluno

(40)

Variação dos Níveis de Dificuldade de

uma Questão (Item)

O nível de dificuldade dos itens pode

variar de acordo com o número de acertos

e acessos ao item

Usa-se no Modelo I e II a mesma fórmula:









































−

=

*

10 _

_

10 acessos

num

acertos

num

nível

(41)

Ao final, o professor poderá confrontar os

valores cadastrados por ele para os níveis

das questões e os valores atuais das

questões. Isso facilita:

o diagnóstico dos pontos fortes e fracos da

turma e de cada aluno em relação a turma ou a história das turmas ao longo do tempo;

as deficiências didático-pedagógicas;

a percepção da influência das disciplinas

consideradas como ‘pré-requisitos’.

(42)

Se dois alunos fizerem o teste ao mesmo

tempo, ambos provavelmente não

responderão as mesmas questões, pois

elas serão administradas de acordo com a

habilidade de cada um.

A escolha da questão de um determinado

nível, será feito aleatoriamente, e não há

repetição da mesma questão no mesmo

teste.

(43)

Conclusões

Um sistema automatizado de Avaliação

coopera no sentido de:

Correções Correções Armazenamento no Armazenamento no BD BD Histórico dos Histórico dos alunos (Notas) alunos (Notas) Nível de Nível de Dificuldade das Dificuldade das questões questões Habilidade dos Habilidade dos alunos alunos

(44)

Ferramenta Computacional

Propomos junto aos Modelos

Implementados, o desenvolvimento de

uma Ferramenta Computacional para

apoio pedagógico baseado em TAI e TRI,

que irá auxiliar ao professor identificar as

habilidades dos aluno e fazer

acompanhamento das questões no teste.

Os Modelos Avaliativos desenvolvidos

forma implementados junto à Ferramenta

Computacional descrita.

(45)

A ferramenta desenvolvida pode ser usada

tanto em ensino presencial, quanto a

distância ou não-presencial.

É de fácil manipulação, o que proporciona

aos professores e alunos um meio

eficiente manipular um teste

informatizado.

(46)

Administrador

Cadastra professores e alunos

Cadastra quantidade de questões por

questionário (modelos I ou II)

Cadastra disciplina

Cadastra níveis de dificuldade que

poderão existir para as questões

inicialmente inseridas

(47)

Professor

Cadastra questões e seus respectivos

níveis de dificuldade segundo sua

percepção inicial

Altera questões

Exclui questões

Obtém resultados de cada aluno no curso.

Faz acompanhamento dos níveis de

(48)

Aluno

Altera dados pessoais

Realiza o teste

Modelo I – Questionário I

Modelo II – Questionário II

Feedback – lista das questões que foram

respondidas incorretamente.

(49)

Criação e Edição de Questões

Professor – “logar” no sistema

Tela - Cadastrar questão

Código

Descrição

Nível

Gabarito

(50)

Aplicação e Correção de um Teste

Aluno - “logar” no sistema

Escolhe o teste – questionário I ou II

Formulário de Questões

Número da questão Nome do aluno Enunciado Opções de respostas Botão confirmação

(51)

Apresentação dos Resultados - Feedback

Aluno

Questões respondidas incorretamente

Entende-se que o aluno não respondeu

corretamente a questões onde apresenta

deficiência de aprendizado, necessitando

de maior dedicação e estudo.

(52)

Professor

Visualiza o desempenho do aluno

Habilidade

Aproveitamento na disciplina (nota)

Listagem dos níveis atuais das questões

(53)

Referências Técnicas

Linguagem de Programação – ASP

Interface – HTML (para Internet)

Validação – JavaScript

(54)

Teste da Língua Inglesa

Conhecimento em Informática

Questões de múltipla escolha

Dois grupos de 10(dez) alunos

Cada questionário – 15 questões

Banco de questões – 186 questões cadastradas

(55)

Notas – Sistema I

0 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 10

Notas dos alunos - Sistema I

Questionário I Questionário II

(56)

Notas – Sistema II

0 2 4 6 8 10 1 2 3 4 5 6 7 8 9 10

Notas dos alunos Sistema II

Questionário I Questionário II

(57)

Tempo médio

10 11 12

Tempo médio para realização do teste

Questionário I 11,2

Questionário II 11,7

media 10

12 14

Tempo médio para realização do teste -Sistema II

Questionário I 13,1

Questionário II 11,2

(58)

Conhecimento em Inglês Admitido pelo

Aluno – Sistema I

Conhecimento em Inglês 40% 50% 10% Básico Médio Avançado

(59)

Conhecimento em Inglês Admitido pelo

Aluno – Sistema II

Conhecim ento em Inglês - Sistem a II

20% 60% 20% Básico Médio Avançado

(60)

Nível de Dificuldade Admitido pelo

Aluno – Sistema I

Nível de dificuldade dos questionários

40% 40% 20% Questionário I Questionário II Igual

(61)

Nível de Dificuldade Admitido pelo

Aluno – Sistema II

Nível de dificuldade dos questionários - Sistem a II 10% 80% 10% Questionário I Questionário II Igual

(62)

Teste Fixo e Sistema I

0 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 10 Notas Questionário I Questionário II Fixo

(63)

Teste Fixo e Sistema II

0 1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 9 10 Notas Questionário I Questionário II Fixo

(64)

Habilidade – Sistema I

0 1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 9 10 Habilidades - Sistema I Habilidade - QI Habilidade - QII

(65)

Habilidade – Sistema II

0 1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 9 10 Habilidades - Sistema II Habilidade - QI Habilidade - QII

(66)

Correlação

Sistema I

Notas e Habilidades Questionário I – 0,94 Questionário II – 0,97

Sistema II

Notas e Habilidades Questionário I – 0,87 Questionário II - 0,97

(67)

Estudo de Caso

0,00 2,00 4,00 6,00 8,00 10,00 12,00 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Questionário I Questionário II Aluno - 1

(68)

Estudo de Caso

-2,00 0,00 2,00 4,00 6,00 8,00 10,00 12,00 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Questionário I Questionário II Aluno - 7