Avaliação do conhecimento

O conhecimento do usuário sobre os diversos conceitos do modelo do domínio é a fonte principal do processo de adaptação. O sistema deve atualizar dinamicamente o modelo do usuário, identificando a cada momento possíveis alterações do nível de conhecimento sobre determinado assunto.

Como já foi visto no capítulo três, dois métodos são normalmente utilizados nos SHA para avaliar o conhecimento do usuário: o método da sobreposição (pverlay) baseado na estrutura de conceitos, e o método baseado em estereótipos que classifica os usuários de acordo com suas características.

O método da sobreposição é o mais utilizado por permitir uma avaliação mais fina. O método de estereótipos pode ser utilizado de forma conjunta para inicializar as variáveis do método da sobreposição. Na literatura há estudos aprofundados sobre o assunto que não pertencem ao escopo deste trabalho. Para efeito de simplificação, nessa abordagem é proposta a utilização de pelo menos dois estereótipos, classificando os usuários de acordo com o nível de conhecimento em relação ao assunto do curso e em relação a sua experiência no uso de sistemas do tipo hipermídia. Poderíamos ter, por exemplo, usuários nas classes: iniciante,

intermediária e avançada. Um aluno poderia ser classificado na classe iniciante em relação ao assunto do curso e na classe intermediária em relação à experiência em ambientes hipermídia.

No método de sobreposição, para determinar o conhecimento do usuário em relação a

conceitos do modelo do domínio, podem ser utilizadas diferentes abordagens que tem como base o monitoramento da navegação realizada pelo usuário, verificando quais as páginas visitadas e o seu desempenho em testes de avaliação e nas demais atividades pedagógicas.

Uma abordagem interessante trabalha com fatores de confiança (ANJANEYULU,

1996). Para um determinado usuário, o atributo conhecimento será representado por um coeficiente de confiança (CF) que indicará o quanto o usuário sabe sobre o conceito, usando faixa de valores entre -1 (usuário não conhece o conceito) e 1 (usuário sabe o conceito). O valor inicial de CF é zero.

O professor autor deverá, na fase de implantação do curso, indicar para cada teste/ou atividade previstos no esquema pedagógico, quais conceitos da estrutura do domínio correspondente serão avaliados, e o fator de confiança na avaliação (tem-se uma relação entre testes e conceitos). Por exemplo, se o aluno vai bem no teste A, qual é o fator de confiança em afirmar que o aluno conhece determinado conceito B? Ou ainda, inversamente, se o aluno vai mal no teste A, qual é o fator de confiança em afirmar que o aluno não conhece o conceito B? Para apurar valores, tem-se então dois fatores de confiança: CF_sabe indica a confiança em afirmar que o usuário conhece o conceito, e CF_nãosabe indica a confiança em afirmar que o usuário não conhece o conceito. Estes dois coeficientes serão usados na composição do cálculo do coeficiente geral CF, e possuem valores na faixa de 0 a 1.

O sistema, baseado em técnicas desenvolvidas no Modelo Mycin (Sistema Especialista), usa uma das seguintes fórmulas para calcular o novo CF (CFnovo) para um conceito, baseado no antigo CF (CFvelho), sendo CFq dado por C F sabe ou por CF nãosabe. Se o estudante acerta a questão o CF será CF sabe e se erra a questão CF será -CFnaõsabe.

CFnovo= CFvelho + CFq (1-CFvelho) quando (CFvelho, CFq > 0) (1)

CFnovo= CFvelho + CFq (l+CFvelho) quando (CFvelho, CFq < 0) (2)

CFnovo= (CFvelho + CFq)/ (1 - min ( |CFvelho|, |CFq| )) caso contrario (3)

Este modelo incrementará o CF cada vez que o usuário acertar uma questão e diminuirá cada vez que o usuário errar. Pode-se considerar, por exemplo, que o aluno conhece um

Adicionalmente a lógica fuzzy pode ser utilizada para uma abstração das faixas de variação.

Teste Conceito CFsabe CFnsabe

1 01 0,2 0,2 2 01 0,6 0,6 CF - (-1,1) - inicio CF = 0 Aluno Conceito CF 0001 01 0,6 0001 02 1,0 0002 01 0,4

Utilizando coeficientes de segurança

CFsabe = 0,2 Teste 1 _{CFnsabe = 0,2 \} . / > ^ Teste 2

^ s < /

(

Figura 14 - Avaliação do conhecimento através de coeficientes de confiança.

O mesmo procedimento pode ser feito utilizando a fórmula de Bayes para cálculo de probabilidade na relação entre eventos dependentes: se A ocorre qual à probabilidade de B ocorrer, e vice-versa. As técnicas citadas podem ser utilizadas também em relação a objetivos de aprendizagem.

Uma segunda abordagem é a de usar o conceito de Redes Bayesianas, que estende o teorema de Bayes para arquitetura de redes, com propagação para os nós da rede. A utilização plena dessa técnica requer a determinação das probabilidades de ocorrência (condições) entre os conceitos de toda a rede. Essa técnica tem sido utilizada em alguns sistemas adaptativos, como por exemplo, KBS- Hiperboock, já citado na revisão bibliográfica. Como vantagem principal dessa técnica temos uma precisão maior no processo de determinação do conhecimento do aluno, pois ocorre, a cada instância da aplicação do método, a propagação na rede das probabilidades determinadas. Como desvantagem, existe a questão da autoria e da possível sobrecarga de processamento em redes maiores. O professor autor deverá definir as relações de probabilidade condicional entre os nós da rede, processo esse que pode ser complicado e extenso para determinados tipos de cursos. Além disso, é preciso considerar que

num ambiente de aprendizagem poderá ocorrer diversidade de autores com formações diferentes, não familiarizados com o processo.

Uma terceira abordagem parte do princípio que o relacionamento entre conceitos na hierarquia é definida em termos percentuais pelo usuário autor da aplicação hipermídia, ou seja, fica definido o quanto o conhecimento de um determinado conceito contribui para o conhecimento de um conceito relacionado. Por exemplo, na figura abaixo se tem que as páginas PI e P2 contribuem em 50% cada para o conhecimento de Cl e C l contribui em 40% para o conhecimento de C. Caso a página PI seja lida, uma regra de adaptação seta o conhecimento de PI para 100% e dispara uma outra regra (outra instância) que atualiza o conhecimento de Cl para 50%. Em seguida, esta última regra dispara mais uma regra (outra instância) que seta o conhecimento de C em 20% (ou 40% de 50%). Neste caso o mecanismo de inferência deve permitir que a execução de uma regra possa disparar outra regra.

Figura 15 - Propagação do conhecimento em estrutura de conceitos