Aplicação de Learning Analytics para Modelagem do Aluno de acordo com a Taxonomia de Bloom Revisada

(1)

Universidade Federal da Paraíba Centro de Informática

Programa de Pós-Graduação em Informática

Aplicação de Learning Analytics para Modelagem do Aluno de acordo com a Taxonomia de Bloom Revisada

Janalívia do Nascimento Carneiro

Dissertação submetida à Coordenação do Curso de Pós-Graduação em Informática da Universidade Federal da Paraíba como parte dos requisitos necessários para obtenção do grau de Mestre em Informática.

Área de Concentração: Ciência da Computação Linha de Pesquisa: Sinais, Sistemas Digitais e Gráficos

Prof. Dr. Clauirton Siebra (Orientador) Profa. Dra. Danielle R.D. Silva (Co-orientadora)

João Pessoa, Paraíba, Brasil

Janalívia do Nascimento Carneiro, 01 de Maio de 2018c

(2)

C289a Carneiro, Janalivia do Nascimento.

Aplicação de Learning Analytics para Modelagem do Aluno de acordo com a Taxonomia de Bloom Revisada / Janalivia do Nascimento Carneiro. - João Pessoa, 2018.

76 f. : il.

Orientação: Clauirton de Albuquerque Siebra.

Coorientação: Danielle R D da Silva.

Dissertação (Mestrado) - UFPB/CI.

1. Educação Adaptativa, Sistemas de Aprendizagem Adap.

I. Siebra, Clauirton de Albuquerque. II. da Silva, Danielle R D. III. Título.

UFPB/BC

(3)

iii

(4)

Resumo

Os Ambientes Virtuais de Aprendizagem (AVAs) são recursos de tecnologia educacional, que fornecem uma alternativa para maximizar a capacidade da educação virtual online.

No entanto, a grande maioria dos AVAs são utilizados de modo passivo, principalmente para transmitir documentos multimídia e fornecer formas de avaliar os alunos através de questionários e envios de atividade, não oferecendo um material instrucional personalizado para os diferentes tipos de aluno. Um exemplo de tais sistemas é o Ambiente de Apren- dizagem Dinâmico Orientado a Objetos Modulares (Moodle). Uma possível maneira de abordar esse problema é através do uso de Sistema de Aprendizagem Adaptativo, do inglês Adaptive Learning System(ALS). Os sistemas ALSs levam em consideração as informações acumuladas em modelos individuais dos aprendizes para poder se comportar diferentemente para estudantes diferentes. A modelagem de alunos desempenha um papel crucial em um ALS, pois fornece informações sobre o perfil de aprendizagem dos alunos, o que permite que os sistemas sejam altamente individualizados. A adaptação do sistema pode se dar de diferentes formas e níveis, oferecendo aprendizagem personalizada. Este trabalho de pesquisa propõe um modelo adaptativo que leva em consideração os perfis cognitivos dos aprendizes. O modelo proposto utiliza uma combinação deLearning Analytics, técnica de extração de dados acadêmicos com o objetivo de prover visualização sobre o processo de ensino-aprendizagem, para prover uma representação do perfil de aprendizagem do aluno, de acordo com a Taxonomia de Bloom Revisada, que é uma metodologia para classificação dos diferentes níveis de cognição humana de pensamento, aprendizagem e compreensão.

Através da aplicação de Learning Analytics, a trajetória de aprendizagem do aluno será avaliada de modo dinâmico utilizando-se os indicadores da Taxonomia de Bloom Revisada, que podem servir de base para uma posterior adaptação do nível da aprendizagem oferecida aos diferentes níveis de aprendizagem dos alunos.

Palavras-chave: Educação Adaptativa, Sistemas de Aprendizagem Adaptativos, Modelos do Aluno, Learning Analytics, Taxonomia de Bloom Revisada.

iv

(5)

Abstract

Virtual Learning Environments (VLEs) are educational resources resulting from tech- nological development which can be an alternative to maximize the capacity of virtual online education. However, the vast majority of learning environments that are available to students are used in a passive way, mainly to transmit multimedia documents (videos, audios, texts, images, etc.) and provide ways to evaluate students through questionnaires and activity submissions, not offering a customized instructional material for the different types of student. An example of such systems is the Modular Object Oriented Dynamic Learning Environment (Moodle). One possible way to address this problem is through the usage of Adaptive Learning System (ALS). ALS systems take into account the information accumulated in individual learners’ models in order to behave differently for different kinds of students. Student modeling plays a crucial role in an ALS because it provides information about the student’s learning profile, which allows the systems to be highly individualized. The adaptation of the system can happen in different ways and levels, offering personalized teaching. This research proposes an adaptive model that takes into account the cognitive profiles of the learners. The proposed model uses a combination of Learning Analytics (LA), which is a technique for extracting academic data in order to provide visualization about the learning process, to provide a representation of the student’s learning profile, according to the Revised Bloom Taxonomy (RBT), which is a framework for classifying the different levels of human cognition of thought, learning and understanding. Through the application of LA, the learner’s learning trajectory will be evaluated dynamically using the indicators of the RBT, which later on can be used as basis for adaptation of the teaching level offered to the different learning level of the students.

Keywords: Adaptive Education, Adaptive Learning Systems, Student Models, Learn- ing Analytics, Revised Bloom Taxonomy.

v

(6)

Agradecimentos

Agradeço primeiramente a Deus, por mais essa oportunidade de aprendizado e por Sua pre- sença em minha vida. Minha imensa gratidão ao meu esposo Luca e minha filha Laila por todo amor, paciência e compreensão e ajuda nas horas em que precisei me ausentar nesses dois anos de curso. Agradeço à meus orientadores, os professores Clauirton e Danielle, primeiramente por sua amizade, parceria, estímulo e disponibilidade e também por seus di- recionamentos durante essa pesquisa. Minha imensa gratidão à minha família, em especial a meus pais, Adeilda e Benedito e a meus irmãos Benedito Júnior e Benilda, pelo apoio e incentivo, e amigos, principalmente a Nadja, Fernanda, Camila e Clistenes por seu compan- heirismo. Agradeço aos professores da banca de qualificação, os professores Eudisley dos Anjos e Thereza Padilha por sua contribuição à esta pesquisa. Agradeço também aos professores que disponibilizaram os dados de suas disciplinas para nosso estudo de caso desta pesquisa, e a Hercílio que tornou possível a entrega desses dados. Agradeço a Tarsio, meu colega de pesquisa, pelas partilhas de conhecimento. Meus agradecimentos também aos professores do PPGI por seus valiosos ensinamentos e também secretária do PPGI Maria Alice por ter sido sempre atenciosa e prestativa e por fim, a todos os que contribuíram para a re- alização desta pesquisa. Se por acaso esqueci de mencionar alguém, mesmo assim, o meu muito obrigada.

vi

(7)

Conteúdo

1 Introdução 1

1.1 Contexto . . . 1

1.2 Motivação . . . 1

1.3 Objetivos . . . 4

1.3.1 Objetivo Geral . . . 4

1.3.2 Objetivos Específicos . . . 4

1.4 Metodologia . . . 5

1.5 Publicações deste projeto de pesquisa . . . 7

1.6 Estrutura da Dissertação . . . 8

2 Fundamentação Teórica 9 2.1 Sistema de Aprendizagem Adaptativo . . . 9

2.2 Modelo do Aluno . . . 10

2.3 Taxonomia de Bloom . . . 11

2.4 Taxonomia de Bloom Revisada . . . 12

2.4.1 Verbos RBT . . . 14

2.5 Business Intelligence . . . 15

2.6 Learning Analytics . . . 17

2.7 Considerações Finais . . . 18

3 Revisão da Literatura 19 3.1 Revisão Sistemática em ALS . . . 19

3.1.1 Resultados da Revisão em ALS . . . 21

3.1.2 Discussões da Revisão em ALS . . . 24

vii

(8)

CONTEÚDO viii

3.1.3 Conclusões da Revisão Sistemática em ALS . . . 25

3.2 Comparação e escolha de abordagens de modelos do estudante . . . 26

3.3 Revisão da Literatura sobre RBT . . . 27

3.4 Revisão da Literatura sobre LA . . . 28

3.4.1 Revisões e Mapeamentos sistemáticos em LA . . . 29

3.4.2 Estudos sobre a aplicação de LA em AVAs . . . 30

3.5 Estudo sobre características de LA no Moodle . . . 31

3.5.1 Análise comparativa LA plugins Moodle . . . 32

3.5.2 Moodle LA Plugins . . . 33

3.5.3 Descobertas revisão LA Moodle . . . 35

3.5.4 Conclusões da Revisão Sistemática LA Moodle . . . 35

3.6 Trabalhos Relacionados . . . 36

4 Proposta da Modelagem Analítica 37 4.1 Modelo Proposto . . . 37

4.2 Desenvolvimento . . . 38

4.2.1 Dados do Aluno . . . 39

4.2.2 Dados do Ambiente . . . 40

4.2.3 Dados de Uso do ambiente educacional . . . 41

4.3 Analisador . . . 43

4.3.1 Ambiente de Construção do Analisador . . . 44

4.4 Modelo Dimensional . . . 45

5 Resultados 48 5.1 Ambiente do Estudo de Caso . . . 48

5.1.1 Expansão da lista de verbos RBT para o curso LC-EAD . . . 49

5.1.2 Classificação de Questões de acordo com a RBT . . . 50

5.2 Distribuição de Questões por nível RBT . . . 52

5.2.1 Grupos de Alunos . . . 55

5.3 Estudos de Caso . . . 56

5.3.1 Utilização do Modelo . . . 56

(9)

CONTEÚDO ix

5.3.2 Ferramenta de BI Qlik Sense . . . 57

5.3.3 Aluno 133 - Nota acima da média . . . 57

5.3.4 Aluno 58 - Nota abaixo da média . . . 60

5.4 Validação . . . 64

5.5 Discussões sobre a Aplicação do Modelo . . . 64

6 Conclusão 66 6.1 Considerações . . . 66

6.2 Contribuições e Conclusão . . . 66

6.3 Discussão dos Resultados . . . 69

6.4 Desafios Encontrados . . . 69

6.5 Trabalhos Futuros . . . 70

Referências Bibliográficas . . . 76

(10)

Lista de Símbolos

AVA :Ambiente Virtual de Aprendizagem ALS :Adaptive Learning System

API :Application Programming Interface BI :Business Intelligence

BKT :Bayesian Knowledge Tracing EAD :Educação a Distância

EDM :Educational Data Mining

FSLSM :Felder-Silverman Learner Style Model IA :Inteligência Artificial

KC :Knowledge Component LC :Licenciatura em Computação LA :Learning Analytics

LALA :Learning Analytics Latin America LIP :Learner Information Packaging MDA :Model Driven Assessment MOOC : Massive Open Online Courses

MOODLE : Ambiente de Aprendizagem Dinâmico Orientado a Objetos Modulares x

(11)

xi

PIAT :Personal Intelligent Assessment using Test RBT :Revised Bloom Taxonomy

TNPS :Techno Neuro Pedagogy System

(12)

Lista de Figuras

1.1 Mapa da Pesquisa . . . 7

2.1 Perfil e Modelo do aluno em ALS . . . 11

2.2 Pirâmide Níveis Cognitivos Bloom . . . 14

3.1 Componententes do Sistema de LA Moodle. Fonte: [Dalton 2018] . . . 32

3.2 Arquitetura API LA Moodle. Fonte: [Moodle 2016] . . . 32

4.1 Modelo proposto . . . 38

4.2 Alunos do Curso . . . 40

4.3 Questões . . . 40

4.4 Questionário acertado . . . 42

4.5 Arquitetura do Analisador . . . 43

4.6 Tabelas RBT . . . 45

4.7 Modelo Dimensional . . . 46

5.1 Distribuição de Questões RBT por todas as Disciplinas . . . 52

5.2 Distribuição de Questões RBT contidas em Avaliações . . . 52

5.3 Distribuição Questões RBT por Disciplina . . . 53

5.4 Distribuição Questões Avaliações RBT por Disciplina . . . 53

5.5 Distribuição Questões Avaliações RBT Acertadas por disciplina . . . 54

5.6 Gráfico grupo média alta . . . 55

5.7 Gráfico grupo média baixa . . . 56

5.8 Aluno133 . . . 57

5.9 Percentual Acertos Aluno 133 - Qlik Sense . . . 59

5.10 Nota Aluno 58 . . . 60 xii

(13)

LISTA DE FIGURAS xiii

5.11 Situação Aluno 58 - Qlik Sense . . . 61 5.12 Acertos aluno 133 em duas disciplinas - Qlik Sense . . . 63

(14)

Lista de Tabelas

2.1 Matriz Bidimensional RBT - Fonte: [ANDERSON et al., 2001] . . . 13

3.1 Resultados da Revisão Sistemática ALS . . . 21

4.1 Propriedades Estados Questões . . . 41

5.1 Lista de verbos RBT-LC-EAD . . . 50

5.2 Exemplos da classificação de questões . . . 51

xiv

(15)

Capítulo 1 Introdução

Este capítulo contextualiza nossa pesquisa, apresentando os objetivos e etapas em que ela foi conduzida.

1.1 Contexto

A área de estudo da nossa pesquisa está relacionada com Aprendizagem Adaptativa, que pode ser definida como aprendizagem que se adapta ao nível de aprendizagem do aluno.

Essa área de pesquisa também pode ser definida como o desenvolvimento de vários modelos, métodos e ferramentas que suportem a adaptação e personalização do conteúdo de ensino de acordo com o perfil de diferentes estudantes, através da associação de conceitos de Psicologia, Pedagogia e Ciência da Computação [Lane e Roschelle 2014].

1.2 Motivação

De acordo com as Nações Unidas, a qualidade da educação é um dos principais problemas globais, juntamente com o aumento da desigualdade, segurança alimentar / da água, crise de refugiados (mais de 65 milhões), qualidade da saúde, mudanças climáticas, privacidade de dados e outros [Dougiamas 2017].

Atualmente, a realização de aulas com várias dezenas de estudantes e apenas um professor é comum em muitas faculdades e universidades. Essa falta de recursos na educação torna o ensino individual muito desafiador. O Ambiente Virtual de Aprendizagem (AVA) é

1

(16)

1.2 Motivação 2

um dos recursos que veio com o desenvolvimento tecnológico, sendo uma alternativa para maximizar a capacidade da educação virtual. No entanto, a grande maioria dos ambientes de aprendizagem que estão disponíveis para os alunos são usados de modo passivo, principalmente para armazenar documentos multimídia (vídeos, áudios, textos, imagens, etc.) e fornecer formas de avaliar esses alunos, não oferecendo suporte adaptativo, de acordo com o perfil dos alunos [Segedy, Loretz e Biswas 2013]. Um exemplo de tais ambientes é o Ambi- ente de Aprendizagem Dinâmico Orientado a Objetos Modulares, do inglêsModular Object Oriented Dinamic Learning Environment (Moodle). Apesar de incorporar algumas ferramentas básicas de adaptação da aprendizagem, o Moodle não oferece adaptação automática dos conteúdos ao perfil de cada aprendiz. Um exemplo de adaptatividade básica presente no Moodle é o "activity locking”, que permite ao professor/tutor de um curso ocultar ou apresentar determinados recursos e atividades, adaptando desta forma, a estrutura do curso ao seu público-alvo. [Bechara e Haguenauer 2010].

Exibir o conteúdo educacional, de acordo com as necessidades dos alunos, ainda é um desafio. Desta forma, existe uma barreira para que os estudantes atinjam o seu potencial devido à falta, por exemplo, de tarefas de aprendizagem personalizadas de acordo com o nível de proficiência de cada aluno [Andersen et al. 2016]. De fato, vários estudos mostram que o ensino personalizado é o principal aspecto para alcançar o potencial de aprendizagem de um aluno [Andersen et al. 2016]. Uma possível maneira de abordar esse problema é através do uso de Sistema de Aprendizagem Adaptativos, do inglêsAdaptive Learning System(ALS).

Os sistemas ALS são sistemas que levam em consideração as informações acumuladas em modelos individuais dos alunos para poder se comportar de modo diferente para estudantes diferentes [Bechara e Haguenauer 2010]. O modelo do aluno desempenha um papel crucial em um ALS, pois fornece informações sobre o perfil de aprendizagem dos alunos, o que permite que os sistemas sejam altamente individualizados [Li et al. 2010].

Assim como outros trabalhos de pesquisa na literatura (apresentados no capítulo 3), a presente pesquisa tem como foco principal a modelagem do perfil cognitivo de aprendizagem do aluno. O modelo do aluno é a estrutura de dados que pode representar fatores não somente relacionados a inteligência do aluno, como por exemplo, as preferências dos alunos e o perfil cognitivo de aprendizagem dos alunos. Esse modelo pode representar também a trajetória de aprendizagem do aluno, como também representar as características dinâmicas

(17)

1.2 Motivação 3

e estáticas do aluno no processo de aprendizagem. Sua função é fornecer os dados do andamento do aprendizado para o sistema de aprendizagem adaptativa, a fim de conduzir a tomada de decisão estratégica de aprendizado [Li et al. 2010]. Por essas razões, um estudo e elaboração de um modelo do aluno robusto são de fundamental importância para que edu- cação personalizada possa ser oferecida ao aluno. Dentre as abordagens de modelagem do aluno existentes, duas abordagens foram selecionadas pelo presente estudo para auxiliar na representação do perfil cognitivo de aprendizagem do aluno, são elas: (1) Learning Analy- tics (LA), que é uma técnica de extração de dados acadêmicos com o objetivo de prover visualização sobre o processo de aprendizagem e (2) Taxonomia de Bloom Revisada, do in- glês Revised Bloom Taxonomy(RBT), que é uma taxonomia que apresenta um framework para classificação dos diferentes níveis de cognição humana de pensamento, aprendizagem e compreensão. Esses conceitos serão apresentados no capítulo 2. Em nosso estudo, o perfil de aprendizagem do aluno representa o estágio de desenvolvimento cognitivo do aluno, de acordo com RBT. O modelo proposto utiliza a combinação das abordagens de LA e RBT.

Esse modelo será apresentado no capítulo 4.

Na Universidade Federal da Paraíba (UFPB), existem atualmente quatorze cursos ofer- tados na modalidade Educação a Distância (EAD) desde 2008. O curso de Licenciatura em Computação é um deles e está sendo ofertado na modalidade EAD desde 2013. O Moodle é o AVA utilizado nos cursos EAD da UFPB, de modo que esta instituição já dispõe de uma grande base de dados dos estudantes. Esses dados foram utilizados para extração de informa- ção relativa às trajetórias de aprendizagem dos alunos desse curso. As informações obtidas possibilitaram um estudo efetivo do perfil de aprendizagem desses alunos. Para esta pesquisa foram disponibilizados dados de duas disciplinas do curso de Licenciatura em Computação (LC), modalidade EAD, que daqui para a frente chamaremos de LC-EAD. As disciplinas que iremos analisar serão Introdução a Programação e Matemática Elementar, por apresentarem uma quantidade elevada de retenção e reprovação. Os dados dessas disciplinas do curso serão utilizados no estudo de caso apresentado no capítulo 5.

Esta pesquisa apresenta como problema, elaborar um modelo capaz de representar o perfil de aprendizagem de aprendizagem cognitiva do aluno no contexto do curso LC-EAD.

Pois, é a partir do conhecimento do perfil de aprendizagem do aluno, que educação personalizada pode ser oferecida, contribuindo para que o aluno alcance seu potencial de apren-

(18)

1.3 Objetivos 4

dizagem. A hipótese é que é possível caracterizar os alunos criando perfis de aprendizagem, através da utilização das abordagens de modelagem Learning Analytics e Taxonomia de Bloom Revisada.

Esta dissertação descreve a metodologia utilizada para investigar como modelar o perfil de aprendizagem cognitivo do aluno remoto e para a construção do mesmo. O modelo proposto se baseia na extração e análise das trajetórias de aprendizagem do aluno em um ambiente de ensino e aprendizagem na Web, tendo como estudo de caso o curso de LC-EAD no Moodle.

1.3 Objetivos

O objetivo deste estudo é propor um modelo de perfil cognitivo do aluno para representar sua trajetória de aprendizagem em cursos EAD. Após investigação dos modelos usados em ALS atualmente, nos aprofundaremos nas abordagens de Learning Analytics e na Taxonomia Revisada de Bloom para implementar um novo modelo do aluno.

1.3.1 Objetivo Geral

Desenvolvimento de um modelo para representação do perfil cognitivo de aprendizagem do aluno, a partir da extração de dados que representam sua trajetória de aprendizagem.

1.3.2 Objetivos Específicos

Os objetivos específicos estão definidos de acordo com as seguintes perguntas de pesquisa que buscamos responder: (1) “Como conhecer o perfil de aprendizagem do aluno ?”;(2)

“Como automatizar o diagnóstico do perfil cognitivo de aprendizagem do aluno remoto no curso no Moodle”? Para responder a essas perguntas, apresentamos os seguintes objetivos específicos para esta pesquisa:

• Identificação dos indicadores associados às trajetórias de aprendizagem que podem ser extraídos a partir da observação dos dados do aluno que podem levar ao conhecimento sobre o perfil cognitivo de aprendizagem do aluno;

(19)

1.4 Metodologia 5

• Investigação das possíveis técnicas computacionais capazes de gerar um modelo de representação do perfil cognitivo de aprendizagem do aluno;

• Utilização do modelo proposto, tendo como estudo de caso algumas disciplinas do curso LC-EAD.

1.4 Metodologia

Visando delinear de forma lógica e cronológica os procedimentos metodológicos desta pesquisa, as etapas desta pesquisa serão detalhadas a seguir. A primeira fase desta pesquisa, denominada de fase exploratória, foi constituída dos seguintes passos:

1. Desenvolvimento de uma revisão sistemática da literatura relacionado à Aprendizagem Adaptativa em AVAs, visando a identificação do estado da arte nessa área (capítulo 3, seção 3.2);

2. Análise detalhada e seleção da modelagem do aluno, que resultou na escolha das abordagens de modelagem LA e RBT (capítulo 3, seção 3.3);

3. Revisão da literatura em RBT, visando identificar como essa taxonomia tem sido apli- cada nas pesquisas atuais (capítulo 3, seção 3.4);

4. Revisão da literatura em LA, visando identificar como essa abordagem vem sido utilizada nas pesquisas atuais (capítulo 3, seção 3.5);

5. Estudo do Moodle, a fim de determinar as características do ambiente Moodle que possibilitam a modelagem do aluno através das abordagens escolhidas e também dos dados disponíveis sobre a trajetória de aprendizagem do aluno do curso LC-EAD nesse ambiente (capítulo 3 e 4);

6. Estudo sobre os recursos de LA do Moodle (capítulo 3, seção 3.6) 7. Construção do modelo proposto (capítulo 4)

A segunda fase desta pesquisa, denominada de projeto, construção e análise, foi consti- tuída dos seguintes passos:

(20)

1.4 Metodologia 6

1. Análise manual dos verbos RBT do curso LC-EAD, a fim de identificar a ocorrência dos verbos da lista RBT nas questões de avaliações das disciplinas do curso em questão (capítulo 5, seção 5.1.1);

2. Construção da lista de verbos RBT-LC-EAD contendo os verbos RBT identificados no passo anterior, realizada manualmente através do resultado do passo anterior (capítulo 5, seção 5.1.1);

3. Projeto da base de dados do modelo, especificando os dados necessários para a repre- sentação do perfil do aluno (capítulo 4, seção 4.4);

4. Desenvolvimento da base de dados do modelo, realizada em um primeiro momento, através da importação de quatro disciplinas, bem como dos alunos participantes das mesmas, do curso LC-EAD, que foram disponibilizadas como fonte de análise para esta pesquisa, e posteriormente através da criação das tabelas de acordo com o projeto realizado no passo anterior (capítulo 4);

5. Formatação dos dados obtidos para armazenamento no modelo dimensional apresentado neste capítulo;

6. Scripts de extração dos dados do Moodle, para alimentar as tabelas que formam o modelo do aluno construído;

7. Categorização de questões RBT na fase exploratória, esse passo serviu como base para a observação do perfil cognitivo do aluno, pois para essa observação, as respostas do aluno às questões categorizadas foram levadas em consideração (capítulo 4);

8. Extração dos acertos dos alunos, visando identificar questões de avaliações acertadas pelo aluno (capítulo 4);

9. Categorização RBT dos acertos dos alunos, visando identificar os níveis RBT equiva- lentes das questões de avaliações acertadas pelo aluno (capítulo 4);

10. Discussão e análise de resultados, que foi realizada após a extração e observação das informações obtidas do modelo do aluno (capítulo 5).

(21)

1.5 Publicações deste projeto de pesquisa 7

A figura 1.1 ilustra as etapas desta pesquisa de forma compacta.

Figura 1.1: Mapa da Pesquisa

1.5 Publicações deste projeto de pesquisa

O presente trabalho já obteve alguns de seus resultados formalmente reconhecidos. O mapeamento sistemático sobre Modelagem em ALS foi publicado assim como o estudo com- parativo dos modelos utilizados atualmente em ALS, contendo a proposta de abordagem de modelagem que será apresentada nesta dissertação.

Carneiro, J., R.D. da Silva, D., Siebra C., An Analysis on Student Profiles in Learning Virtual Environments. 2017 XII Latin American Conference on Learning Objects and Tech- nology (LACLO). IEEE Conference Proceedings LACLO, 2017.

Carneiro, J., R.D. da Silva, D., Gomides, T., Siebra C., An Study on the Use of Student Models as Support to Virtual Adaptive Learning. Sánchez, J. (2017) Editor. Nuevas Ideas

(22)

1.6 Estrutura da Dissertação 8

en Informática Educativa, Volumen 13, p. 391 - 396. Santiago de Chile. ISBN: 978-956-19- 1043-0

1.6 Estrutura da Dissertação

Esta dissertação está organizada da seguinte forma. No Capítulo 2 é realizada uma apre- sentação dos principais conceitos relacionados a nossa pesquisa. No Capítulo 3 a revisão da literatura relacionada a esta pesquisa é apresentada. No Capítulo 4 exploramos de modo aprofundado a proposta deste trabalho. No Capítulo 5 são apresentados os resultados e dis- cussões. No capítulo 6 são oferecidas as conclusões e os apontamentos para futuras pesquisas. No presente capítulo apresentamos a motivação, os objetivos e as publicações deste projeto de pesquisa.

(23)

Capítulo 2

Fundamentação Teórica

O capítulo anterior introduziu nossa pesquisa, contextualizando e apresentando a motivação e objetivos da mesma. Este capítulo apresenta as referências teóricas na qual esta pesquisa se baseia.

2.1 Sistema de Aprendizagem Adaptativo

O Sistema de Aprendizagem Adaptativa, do inglêsAdaptive Learning System(ALS) é uma classe importante de sistemas de educação a distância. Os sistemas ALS vem se tornando uma tendência em sistemas de e-learning por sua enorme capacidade de oferecer persona- lização das trajetórias de aprendizagem, de acordo com as necessidades, pré-requisitos e características de aprendizagem dos alunos. A maioria dos ALS constroem um modelo de aprendizagem baseado nas características do aprendiz. Este modelo é utilizado como base para oferta de material instrucional específico para o aluno, de acordo com o modelo cons- truído anteriormente, o que cria no final, uma trajetória de aprendizagem específica para cada aluno [Elghouch et al. 2015].

Sistemas adaptativos são diferentes de sistemas inteligentes no que se refere aos seus objetivos. Os sistemas adaptativos são aqueles que buscam ser diferentes para estudantes diferentes, levando em consideração as informações acumuladas em modelos individuais dos aprendizes. Já os sistemas inteligentes são aqueles que aplicam técnicas do campo da Inteligência Artificial (IA) para oferecer um apoio mais amplo e melhor aos usuários de sistemas educativos baseados na web. As diferentes tecnologias de adaptação por hipermídia

9

(24)

2.2 Modelo do Aluno 10

e sistemas web adaptativos são: (1) Seleção adaptativa de conteúdo, onde o sistema pode adaptativamente selecionar e priorizar os itens mais importantes quando o usuário realizar a busca de uma informação relevante; (2) Navegação adaptativa, onde o sistema pode ma- nipular os links para oferecer um apoio adaptativo à navegação, quando o usuário navegar de um item para outro. A navegação adaptativa pode guiar os aprendizes tanto direta como indiretamente. Na orientação direta, por exemplo, os sistemas podem adaptativamente ocultar, ordenar ou comentar links; (3) Apresentação adaptativa, onde o sistema pode apresentar seu conteúdo adaptativamente quando o usuário alcançar uma página específica [Bechara e Haguenauer 2010].

2.2 Modelo do Aluno

A construção do modelo do aluno é uma questão de central importância no planejamento de sistemas ALS adaptativos, pois esse modelo é o núcleo de um ALS. O modelo do aluno é a estrutura de dados que pode representar fatores não somente relacionados a inteligência do aluno, como por exemplo, as preferências dos alunos e o perfil cognitivo de aprendizagem dos alunos. Esse modelo pode representar também a trajetória de aprendizagem do aluno, como também representar as características dinâmicas e estáticas do aluno no processo de aprendizagem. Sua função é fornecer os dados do andamento do aprendizado para o sistema de aprendizagem adaptativa, a fim de conduzir a tomada de decisão estratégica de aprendizado [Li et al. 2010].

O estudo em [Greer e McCalla 1994] apresenta duas classificações para os modelos de aluno. De acordo com essas classificações, existem basicamente dois tipos de modelo do aluno: modelo implícito e modelo explícito. O modelo de aluno explícito é uma representa- ção do aluno no sistema de aprendizagem que é usado para direcionar a tomada de decisões instrucionais. Um modelo de estudante implícito é estático, no sentido de que o modelo de estudante se reflete no design de decisões inerentes ao sistema e são derivadas do ponto de vista de um designer. Por sua vez, um modelo de aluno explícito é dinâmico. No modelo explícito, uma representação do aluno é usada para conduzir as decisões de instrução. Com base nessas definições, a principal diferença entre os modelos implícito e explícito é que o modelo explícito se baseia principalmente em um modelo de aluno, enquanto o implícito, se

(25)

2.3 Taxonomia de Bloom 11

baseia principalmente no ponto de vista do especialista que projetou o sistema.

As terminologias: o modelo do aluno e o perfil do aluno são usados de forma intercam- biável, porém eles apresentam uma sutil diferença. O perfil do aluno contém informações pessoais sem inferência ou interpretação, já o modelo do aluno tem um nível mais alto do que o perfil, pois ele expressa uma visão geral abstrata do aluno. Além disso, o modelo é capaz de deduzir informações adicionais sobre o aluno do modelo [Nguyen e Do 2008]. A figura 2.1 ilustra as características dessas terminologias em sistemas adaptativos de aprendizagem.

Figura 2.1: Perfil e Modelo do aluno em ALS Fonte: [Nguyen e Do 2008]

2.3 Taxonomia de Bloom

A Taxonomia dos Objetivos Educacionais, conhecida também por Taxonomia de Bloom é um framework para classificar declarações do que se espera ou pretende que os alunos apren- dam como resultado da instrução. Esse framework foi concebido como meio de facilitar o intercâmbio de itens de avaliação entre professores de várias universidades, a fim de criar bancos de itens de avaliação, cada um medindo o mesmo objetivo educativo. A Taxonomia de Bloom apresenta um modelo que classifica os diferentes níveis de cognição humana de pensamento, aprendizagem e compreensão. Ela foi criada nos anos 50 pelo psicólogo educacional Benjamim Bloom e seus colegas. Além de facilitar o intercâmbio de questões de testes, essa taxonomia objetiva ajudar no planejamento, organização e controle dos objetivos de aprendizagem [Anderson e Krathwohl 2001].

Na Taxonomia de Bloom, os objetivos educacionais foram divididos em três domínios:

(26)

2.4 Taxonomia de Bloom Revisada 12

cognitivo, afetivo e psicomotor. A classificação hierárquica dos processos cognitivos está dividida em seis níveis de complexidade, que são: (1) Avaliação, (2) Síntese, (3) Análise, (4) Aplicação, (5) Compreensão e (6) Conhecimento. Para cada categoria desta Taxonomia é exibida uma lista de verbos imperativos relacionados que são usados como suporte ao planejamento sistêmico dos cursos e ou disciplinas na estruturação dos seus objetivos, estratégias e avaliações [Costa et al. 2013].

A Taxonomia de Bloom do domínio cognitivo fornece um framework pedagógico para determinar quão difícil cognitivamente é uma questão. Usando esse framework, se pode determinar se as habilidades cognitivas atuais de um aluno são apropriadas para a tarefa que o aluno está executando. [Peckham e McCalla 2012].

2.4 Taxonomia de Bloom Revisada

No final dos anos 90, a Taxonomia de Bloom foi revisada por Anderson e Krathwohl [Ander- son e Krathwohl 2001] para torná-la relevante para a aprendizagem no século XXI. A nova versão da taxonomia é conhecida como Taxonomia de Bloom Revisada, do inglês Revised Bloom Taxonomy (RBT). Segundo os autores, mesmo mantendo parte da estrutura original, a taxonomia revisada é mais adequada para suportar as novas formas de aprendizagem e consequentemente tirar um melhor proveito de objetivos educacionais.

Em [Jesus e Raabe 2009], as principais características da RBT são explicadas, como a seguir. A RBT consiste em duas dimensões: (1) A dimensão do conhecimento, que abrange as subcategorias da categoria conhecimento na taxonomia original, (2) A dimensão dos processos cognitivos que abrange as seis categorias da taxonomia original. As mudanças mais significativas do processo cognitivos foram:

• as seis categorias foram renomeadas, para melhor representar a forma como são utilizadas pelos docentes na definição de seus objetivos;

• os aspectos verbais utilizados nas categorias Conhecimento e Compreensão foram mantidos, porém, renomeados, Conhecimento tornou-se Lembrar e Compreensão foi mudado para Entender;

• a categoria Síntese tornou-se Criar. Aplicação, Análise, e Avaliação tornaram-se res-

(27)

pectivamente Aplicar, Analisar e Avaliar;

• as categorias Síntese e Avaliação (Criar e Avaliar) foram trocadas de lugar.

A matriz bidimensional que representa a RBT pode ser visualizada na tabela 2.1. Essa tabela deve ser utilizada com o intuito de melhor estruturar os objetivos educacionais e auxiliar os educadores na melhor elaboração do planejamento e na escolha adequada de estratégias e tecnologias educacionais. Na matriz bidimensional, a coluna vertical corresponde à di- mensão conhecimento a coluna horizontal corresponde ao processo cognitivo. Os objetivos são inseridos nas células, formadas pela intersecção das dimensões. Um mesmo objetivo pode ser inserido em mais de uma célula e o preenchimento de todas as células consecu- tivas não é necessário, como ilustra a situação hipotética representada na tabela. Um dos desafios para se utilizar esse modelo é a dificuldade que alguns educadores encontram na utilização adequada da matriz proposta. Os verbos de ação da taxonomia original podem ser perfeitamente inseridos nas categorias correspondentes; entretanto para descrever como será alcançado esse objetivo, como também para a escolha das estratégias e tecnologias educacionais, deve-se pensar no gerúndio do verbo. Pensando os objetivos em termos de verbos, substantivos e gerúndios possibilita a escolha de estratégias, conteúdos e instrumentos de avaliação eficazes e efetivos. A montagem da matriz deve se iniciar a partir da definição dos objetivos específicos da disciplina, curso ou conteúdo [Ferraz e Belhot 2010].

Tabela 2.1: Matriz Bidimensional RBT - Fonte: [ANDERSON et al., 2001]

Observe a figura 2.2, onde a as habilidades cognitivas estão representadas. Na base da pirâmide está ilustrada a habilidade mais básicas e no topo, a mais avançada. Para que o aluno possa desenvolver uma certa habilidade de nível mais alto, ele deverá ter o domínio de habilidades de níveis inferiores a qual ele deseja atingir [Santos 2016].

(28)

Figura 2.2: Pirâmide Níveis Cognitivos Bloom

O que torna a utilização da Taxonomia de Bloom um instrumento adequado para ser utilizado no ensino de terceiro grau é que ela, nos últimos anos, foi avaliada e atualizada considerando os avanços estratégicos e tecnológicos incorporados ao meio educacional [Fer- raz e Belhot 2010]. Esta pesquisa se foca apenas no domínio cognitivo da RBT, pois o estilo cognitivo tende a estar muito próximo da personalidade, se comparado com outros tipos de estilos. O perfil cognitivo é definido como as formas de cognição da informação, como por exemplo se o aprendiz tende a dividir a informação em partes, ou tenderá a agrupar a in- formação, ou ainda ir direto às conclusões a respeito da informação ou, ao contrário, ser reflexivo sobre o assunto [Souto 2003].

2.4.1 Verbos RBT

Anderson e Krathwohl [Anderson e Krathwohl 2001] criaram uma lista de verbos para cada nível cognitivo dentro da RBT, de modo que tais verbos direcionam o modo como uma questão deve ser respondida [Peckham e McCalla 2012].

Baseados em [Ferraz e Belhot 2010], exemplos de verbos pertencentes a cada categoria da RBT são listados a seguir:

• Lembrar - enumerar, definir, descrever, identificar, denominar, listar, nomear, combinar, realçar, apontar, relembrar, recordar, relacionar, reproduzir, solucionar, declarar, distinguir, rotular, memorizar, ordenar e reconhecer;

• Entender - alterar, decodificar, defender, definir, descrever, distinguir, discriminar, estimar, dar exemplos, ilustrar, inferir, reformular, prever, classificar, discutir, identificar,

(29)

2.5 Business Intelligence 15

reconhecer, redefinir, selecionar;

• Aplicar - aplicar, alterar, organizar, prever, produzir, usar, esboçar, escolher, escrever, praticar;

• Analisar - analisar, reduzir, classificar, comparar, contrastar, determinar, deduzir, dia- gramar, distinguir, diferenciar, identificar, ilustrar, apontar, inferir, subdividir, calcular;

• Avaliar - Avaliar, comparar, concluir, contrastar, criticar, justificar, relatar, resolver, validar, julgar;

• Criar - categorizar, combinar, compilar, compor, conceber, construir, criar, desenhar, elaborar, estabelecer, explicar, formular.

2.5 Business Intelligence

Antes de apresentar o conceito de Learning Analytics é necessária uma introdução sobre o tema Business Intelligence. Ralph Kimball[Kimball et al. 1998] define Business Intelli- gence(BI) como "cópia dos sistemas transacionais, especialmente estruturados para consultas e análises”. Outra definição clara e concisa de BI está em [J.Power e Sharda 2015], onde os autores dizem que BI é: "sistema de suporte à decisão baseado em dados. Para entender melhor o funcionamento de um BI iremos introduzir algumas definições relacionados com o tema.

Os Sistemas de Processamento de Transações em Tempo Real, do inglês textitOn-Line Transaction Processing (OLTP) são sistemas de bases de dados operacionais criados para re- gistar todas as operações que fazem parte do dia a dia de uma instituição, como por exemplo, matrículas, oferta de disciplina, encomendas, faturas, vendas, etc.

O papel principal desses sistemas é assegurar a consistência dos dados. A maioria dos sistemas transacionais tem uma infraestrutura baseada em bases de dados relacionais, especialmente concebidas para o bom funcionamento desses sistemas. O modelo de dados em que esses sistemas são baseados é representado no diagrama Entidade-Relacionamento (ER), que conduz a uma estrutura normalizada, em quais as informações relativas a uma determinada entidade são armazenadas em uma única tabela, e a ligação entre as entidades é feita através de relacionamentos.

(30)

2.5 Business Intelligence 16

O modelo relacional, e os princípios que implementa, provou ser uma solução muito boa para sistemas transacionais, sendo implementados e utilizados mesmo atualmente, pela maioria das organizações. Esses sistemas reúnem informações em um único lugar, remo- vendo a redundância quando possível, para que os dados possam ser facilmente encontrados e atualizados, para suportando o grande número de transações diárias [Costa 2012].

Em contrapartida, os Sistemas de Processamento Analítico On-Line, do inglês textitOn- line Analitical Processing(OLAP) são direcionados para dar suporte a decisão nas organiza- ções, e, portanto, são considerados sistemas analíticos, cuja característica principal é apresentar informação consolidada, histórica e resumida. Um sistema de BI baseia-se, em 90%

dos casos, sobre a implementação de um banco de dados diferente do transacional, que se chama Modelo Dimensional [Nedelcu 2013].

Em [Kimball et al. 1998], o Modelo Dimensional é definido como uma disciplina espe- cífica para modelagem de dados que apresenta uma modelagem alternativa ao modelo E-R.

O modelo dimensional contém as mesmas informações do modelo E-R, porém diferencia-se deste no modo como os dados são empacotados. No modelo dimensional os dados são empacotados em um formato simétrico, cujo design objetiva facilitar o entendimento do usuário, aumentar as performances das consultas e aumentar à resiliência a mudanças. Os principais componentes do Modelo Dimensional são: (1) tabelas de fatos e (2) tabelas de dimensões, cujas características são explicadas a seguir.

• Tabela de fatos - tabela principal de um modelo dimensional que contém as medidas do negócio que se deseja analisar. Essa tabela representa um relacionamento vários para vários com as tabelas de dimensões e possuem um conjunto de duas ou mais chaves estrangeiras para unir com suas respectivas tabelas de dimensões.

• Tabela de dimensões - tabelas acompanhantes da tabela de fatos cuja chave primária serve como base para referência de integridade com a tabela de fatos.

"Datawarehouse é a fonte de consultas de uma organização"[Kimball et al. 1998]. O Datawarehouse é um repositório de dados preparado especialmente para dar apoio as deci- sões. As informações contidas nele são extraídas de bancos de dados transacionais através de Operações de Extração Transformação e Carga, do inglês Extract, Tranform and Load (ETL).

(31)

2.6 Learning Analytics 17

As operações ETL extraem os dados que são necessários para análise e os transformam para carga, efetuando limpeza e transformação desses dados para que eles sejam compatíveis e relevantes, para o fim a que se destinam, e enfim os gravam nos datawarehouses [Costa 2012].

2.6 Learning Analytics

Learning Analytics(LA) é descrito em [Valdiviezo-Diaz et al. 2015] como sendo um projeto deBusiness Intelligence, no domínio educacional, que utiliza diversos dados de organizações educacionais (dos estudantes, do processo de aprendizagem, etc.) para construir modelos educacionais. LA refere-se à interpretação de uma grande variedade de dados coletados de estudantes (ou produzido por eles), a fim de avaliar seu desenvolvimento acadêmico, prever seu sucesso futuro e identificar problemas potenciais. LA é diferente do campo de Mineração de Dados Educacionais, do inglês Educational Data Mining (EDM). Embora considerado como um campo interdisciplinar, EDM é normalmente mais relacionada a pesquisas desenvolvidas no âmbito da ciência da computação. De acordo com [Romero e Ventura 2012], a EDM está interessada no desenvolvimento, investigação e aplicação de métodos informa- tizados para detectar padrões em grandes conjuntos de dados educacionais. Algumas das diferenças e semelhanças entre EDM e LA são que, ambos os campos buscam a melhoria da qualidade da análise de dados educacionais em larga escala e visam apoiar tanto a pesquisa básica como as práticas educacionais. No entanto, esses campos diferem no fato de que EDM enfatiza a redução de dados para componentes e análises destes componentes individuais e as relações entre eles (abordagem reducionista), enquanto que o LA procura entender o sistema como um todo (abordagem holística).LA se concentra em ajudar professores e estudantes a atingir seus objetivos de ensino e aprendizagem [Santos et al. 2017], sendo assim LA é a área que interessa à esta pesquisa.

Os três conceitos principais de BI que é preciso apresentar são: alvos (targets), indicadores (indicators) e como eles são analisados a partir de um processo de LA baseado em BI.

Normalmente, os alvos são as questões estratégicas que a organização deve responder, por exemplo, "É possível identificar o perfil cognitivo de aprendizagem do aluno ?". Os alvos de- finem os indicadores a serem obtidos. Os indicadores em um sistema de BI normalmente são

(32)

2.7 Considerações Finais 18

obtidos de tarefas de extração de dados. O principal aspecto aqui é especificar os principais indicadores para a construção do modelo, que permitem analisar os alvos.

De acordo com [Chauhan e A. 2017], existem duas formas principais de suporte LA para os usuários de um AVA: (1) visualização e (2) recomendação. A visualização fornece aos alunos autoreflexão e fornece aos professores/tutores ajuda para interpretar as informações para a tomada de decisões. Recomendação, sobre quais recursos podem ser mais adequados para o aprendizado dos alunos, pode ser fornecida por recomendadores automáticos ou sistemas adaptativos sem exigir qualquer interferência de aluno ou instrutor. Esta pesquisa se foca no suporte que LA pode oferecer para os professores/tutores, com o objetivo de fornecer visualização sobre a trajetória de aprendizagem dos alunos.

2.7 Considerações Finais

Este capítulo apresentou os conceitos teóricos relacionados com esta pesquisa, como também introduziu a relevância das abordagens de LA e RBT para esta pesquisa. O estudo sobre essas abordagens será aprofundado no capítulo 3, através de uma revisão da literatura sobre cada um desses temas, que irão compor a modelagem de aluno proposta no capítulo 4.

(33)

Capítulo 3

Revisão da Literatura

Este capítulo aborda tanto a fundamentação teórica quanto os trabalhos relacionados. Este capítulo apresenta a revisão da literatura abordando os temas ALS, LA e RBT. Essa revisão foi realizada nas seguintes etapas: (1) Revisão sistemática sobre o estado da arte em Sistemas Adaptativos de Aprendizagem; (2) Comparação e escolha de abordagens de modelos do estudante para nossa proposta; (3) Revisão da literatura sobre trabalhos relacionados a RBT; (4) Revisão da literatura sobre trabalhos relacionados a LA; (5) Estudo sobre as características de LA disponíveis no Moodle.

3.1 Revisão Sistemática em ALS

Nossa revisão da literatura iniciou-se com uma revisão sistemática sobre sistemas ALS. Os estudos obtidos nessa etapa foram analisados e comparados no que se refere aos modelos de estudantes utilizados em tais sistemas. Após esta análise, duas abordagens de modelos estudantis (LA e RBT) foram escolhidos para nossa proposta de pesquisa, o que gerou a necessidade de uma revisão da literatura sobre as duas abordagens. Durante a realização da revisão sistemática em LA, o Moodle lançou sua versão 3.4 com suporte a LA, o que motivou um estudo sobre o suporte para LA no Moodle, visto que este é ambiente no qual o estudo de caso desta pesquisa foi realizado. Nossa revisão sistemática relacionada com os Sistemas de Aprendizagem Adaptativa foi realizada com o objetivo de encontrar respostas para as seguintes questões de pesquisa:

• QP1: Quais são os modelos propostos para modelar o perfil do aluno?

19

(34)

3.1 Revisão Sistemática em ALS 20

• QP2: Quais são as técnicas computacionais utilizadas para determinar o perfil de aprendizagem do aluno em ambientes virtuais de aprendizagem?

• QP3: Quais os tipos de recomendações ou ações do sistema após a determinação do perfil do aluno?

Essa revisão foi realizada em três fases (planejamento, realização e análise de resultados), de acordo com os seguintes critérios:

• Fase 1 - Seleção dos estudos obtidos pela string de busca

– estudos que contêm a string de busca pré-definida no título ou resumo – escritos em Inglês

– datados entre 2011 e 2016

– e que não são editoriais, prefácio, discussões, comentários, sumários de tutoriais, workshops, resumos, painéis ou cópias;

• Fase 2 - Análise do título e resumo

– checagem rápida dos estudos para verificar se eles realmente cobrem aspectos da nossa área de pesquisa. Consideramos apenas estudos primários. Isso significa que revisões informais ou sistemáticas não são consideradas para a próxima fase;

• Fase 3 – Análise da Relevância

– texto completo, que pôde ser recuperado na base, é analisado durante a extração de dados para verificar se o estudo traz bastante informação para responder pelo menos duas das questões de pesquisa.

Esses critérios foram utilizados para filtrar os estudos recuperados nos seguintes mecanismos de busca: ACM Digital Library e o IEEE Xplore Digital Library, que são os principais mecanismos de busca em tecnologia; e no WebOfScience que reúne pesquisas em diversas áreas.

A string de pesquisa utilizada foi a seguinte:

(35)

((adaptive OR customized OR personalized) AND (learning OR education) AND (course OR environment) AND (on-line OR virtual) AND (student OR learner) AND (intelligence OR cognitive) AND ("profile"OR "model"OR "technique"))

É importante enfatizar que, o objetivo aqui foi selecionar artigos considerando sua re- levância para nossa análise. Todos os artigos nas revisões sistemáticas foram publicados, assim, a qualidade é teoricamente garantida pela revisão por pares. Em outras palavras, a avaliação de significância, sobre o objetivo da revisão sistemática, foi destinada a garantir que os artigos incluídos estivessem realmente focados na aprendizagem adaptativa e conti- vessem detalhes suficientes para responder às questões de pesquisa pré-definidas.

3.1.1 Resultados da Revisão em ALS

Os resultados da revisão são mostrados na tabela 3.1. Essa tabela mostra que 96 artigos foram retornados inicialmente. Dos documentos que poderiam ser recuperados dos bancos de dados, apenas 12 foram realmente importantes para nossa análise.

A seguir, apresentamos as respostas para as perguntas QP1 e QP2 para alguns dos estudos obtidos. A resposta à questão de pesquisa QP3 também é mostrada para alguns estudos da revisão. Neste contexto, alguns dos modelos de estudantes dos artigos analisados são mostrados abaixo.

Tabela 3.1: Resultados da Revisão Sistemática ALS

Considerando as respostas a QP1, o trabalho apresentado em [Eagle et al. 2016] uti-

(36)

liza uma variação do modelo Traceamento do Conhecimento Bayesiano, do inglêsBayesian Knowledge Tracing (BKT), modelo que divide o currículo de ensino em diferentes unida- des, chamadas de Componentes do Conhecimento, do inglêsKnowledge Component(KC), e aplica parâmetros para estimar a probabilidade do estudante haver aprendido ou não um determinado KC. A variação proposta difere do padrão BKT porque individualiza estimativas de parâmetros para aprendizes em vez de individualizar parâmetros para os KC. Na variação do BKT mostrado, chamadoIndividualized BKT, os pesos de diferenças individuais (IDW) por aluno, através de seu desempenho em atividades anteriores em um curso online, são incorporados no modelo. Este estudo analisa quão bem os parâmetros de BKT podem ser individualizados com base no desempenho anterior dos alunos na leitura de texto instrucional, realização de uma avaliação realizada previamente e conclusão de uma lição anterior. O estudo em [Wang et al. 2016] também utiliza variações do modelo BKT. Neste estudo, o BKT Multi-granulado e o BKT Histórico são apresentados para modelagem de KC nesses modelos. O BKT Multi-granulado é usado para modelar a hierarquia entre os KCs, enquanto o BKT Histórico captura as relações entre vários envios de questionários, considerando vários envios para um questionário e cada envio é considerado como uma fatia de tempo.

Em resposta a QP1, O estudo em [Al-Rajhi, Salama e Gamalel-Din 2014] propõe um modelo para avaliação eletrônica chamado de Avaliação Pessoal Inteligente usando Teste, do inglês Personal Intelligent Assessment using Test (PIAT), com o objetivo de descobrir os conhecimentos e habilidades prévios do aluno. O PIAT é baseado no Modelo de Es- tilo de Aprendizagem Felder-Silverman, do inglês Felder-Silverman Learning Style Model (FSLSM) [Graf et al. 2006] e na RBT [Anderson e Krathwohl 2001]. Enquanto o FSLSM é utilizado como base para descrever o estilo de aprendizagem de um aluno considerando suas preferências em três dimensões: entrada (visual / verbal), percepção (sensível / intui- tiva), compreensão (sequencial / global); A teoria RBT é usada para determinar o domínio cognitivo do aluno em um determinado assunto.

Respondendo QP1, em [Segedy, Loretz e Biswas 2013], um modelo chamado Avaliação Guiada à Modelo, do inglêsModel Driven Assessment(MDA) é apresentado. A parte cognitiva do MDA consiste em 3 classes de processos cognitivos, para interpretar e acessar como os alunos usam as ferramentas do sistema para construção / avaliação de soluções. São eles:

(1) busca/aquisição de informação, (2) construção de soluções e (3) avaliação de soluções.

(37)

Neste modelo, as variáveis para o sistema de classificação do usuário são representadas por duas métricas, calculadas para cada classe de processos cognitivos de cada aluno: (1) "uso de habilidade", que é a média numérica das questões de avaliação, questionários e explicações feitas pelo usuário por minuto; e (2) "efetividade", que significa a porcentagem de ações que ajudaram o aluno a atingir o objetivo da tarefa.

Em resposta a QP1, o estudo [Silva-Lopez et al. 2015] apresenta o sistema instrucional chamado de Sistema de Pedagogia Tecno Neuro, do inglês Techno Neuro Pedagogy Sys- tem(TNPS) para uma determinação do estilo de aprendizagem e pensamento do aluno. A determinação do estilo de aprendizagem do aluno (visual, auditivo e cinestésico), nesse sistema, baseia-se na teoria de programação VARK Neurolinguística [Fleming 2001], enquanto a determinação do estilo de pensamento estudantil é baseada na teoria neurocientíficaTotal Brain[Herrmann 1989], que propõe a divisão do cérebro em quatro quadrantes (software, processos, relacionais e criativos).

Considerando QP1, no estudo [Andersen et al. 2016], o comportamento do aluno é mo- delado utilizando a técnica de seleção do nó vizinho, com base em estimativas empíricas da curva de aprendizado dos alunos. O nível de habilidade é uma aproximação do conhecimento do aluno e é representado como um valor decimal.

Respondendo QP1, no trabalho de [Kostadinova, Totkov e Indzhov 2012], é mostrada uma modelagem explícita de alunos que é baseada em demarcações pré-estabelecidas das habilidades cognitivas com componentes da dimensão de conhecimento dentro da RBT [An- derson e Krathwohl 2001]. Nessa abordagem adaptativa, o modelo de aluno armazena a pontuação obtida pelo estudante na realização de tarefas pré-determinadas pela RBT.

Considerando as resposta a QP1 e QP2, o estudo em [Chellatamilan e Suresh 2012] tam- bém usa o modelo de aluno explícito para apoiar a classificação e recuperação de objetos de aprendizagem de diferentes repositórios de acordo com as preferências do aluno. Nesse estudo, o classificadorNaive Bayes(classificador probabilístico baseado no Teorema de Bayes) é utilizado para a classificação de objetos de aprendizagem, sob a abordagem de aprendizado de máquina supervisionado. O classificador considera os seguintes elementos de metadados do objeto de aprendizagem :( 1) Título / Tópico; (2) palavra-chave; (3) Resumo/Descrição.

Respondendo QP1 e QP3, outro exemplo de modelagem explícita de estudantes é descrito em [Bremgartner e Netto 2012], onde um modelo de ontologia baseada em competência,

(38)

derivado do padrão Learner Information Packaging (LIP) é apresentado. O padrão LIP é, segundo os autores, o padrão mais utilizado atualmente para descrever o histórico dos alunos em AVAs. A ontologia desenvolvida é usada para apoiar um sistema no qual as competências do aluno são formadas por um conjunto de habilidades específicas para cada assunto que o aluno está aprendendo. Essa solução adaptativa é capaz de identificar problemas que o aluno está enfrentando e oferecer apoio na forma de sugerir um colega que já tenha a competência esperada e seja capaz de ajudar com esse assunto.

Em resposta a QP1, no estudo [Hettiarachchi, Huertas e Mor 2014], é apresentado um modelo de avaliação formativa, baseado no modelo formal JISC. O modelo JISC é um modelo para avaliações de aprendizado que integra avaliações eletrônicas e aprendizado efetivo através do feedback de cada aluno sobre suas habilidades e compreensões atuais no final de cada módulo. As variáveis que ajudam na detecção do perfil do aluno são as respostas das avaliações do aluno nas avaliações.

Como resposta a QP1, o estudo em [Valdiviezo-Diaz et al. 2015] sugere o uso de Lear- ning Analytics para construir modelos educacionais. Esses modelos são divididos em modelos descritivos e preditivos. O modelo descritivo utiliza variáveis como a quantidade de tarefas definidas, quantidade de participação em chats, mensagens recebidas, quantidade de comentários do professor para o aluno, etc., e o modelo preditivo usa variáveis como etnia, gênero, estado civil, local de registo, etc.

3.1.2 Discussões da Revisão em ALS

Até pouco tempo atrás, a recuperação de dados de usuários por empresas e universidades enfrentava muitas limitações, como a autenticidade dos dados, o tempo necessário e o es- copo. A principal forma de coleta de dados era por meio da aplicação de questionários ou entrevistas com um grupo representativo de partes interessadas. As informações extraídas com mineração de dados são realmente precisas em termos de captura de comportamento de usuário real e ininterrupto. Os dados coletados através da mineração de dados podem ser comparados com a recuperação de dados observacionais em vez da recuperação de dados por meio de métodos invasivos. Ele não substituirá entrevistas e questionários, mas fortalecerá a percepção de possíveis inconsistências entre o entendimento do usuário e o comportamento do usuário [Greller e Drachsler 2012].

(39)

O estudo em [Valdiviezo-Diaz et al. 2015] levanta uma pertinente discussão sobre ques- tões de ética e segurança que devem ser consideradas para a coleta e análise de dados. Pois, apesar de atualmente, a coleta de dados haver se tornado uma tarefa mais acessível com a ajuda de projetos de mineração de dados, reunir esses dados não é uma tarefa simples, porque, razões de ética e segurança devem ser consideradas para a coleta de dados e análise de dados. Um dos maiores desafios para as pesquisas em LA é a disponibilidade de conjuntos de dados públicos acessíveis para avaliar seus métodos. Esse desafio se deve ao fato de que a maioria dos dados dos alunos produzidos por instituições de ensino é protegida. Além disso, a aplicação de LA na educação origina novas questões éticas e de privacidade, que são assuntos extremamente sensíveis relacionados à coleta de dados e integração de bases de dados educacionais. Ameaças à privacidade podem criar resistência a evolução em LA e, para evitar esses problemas, é preciso elaborar regras e políticas para evitar o abuso do uso de dados. Por exemplo, os dados devem ser anonimizados antes do uso. Outra questão ética é a interpretação dos dados coletados, pois as conclusões retiradas da análise dos dados podem gerar conflito entre os valores e interesses dos stakeholders associados. Por exemplo, se resulta dos dados obtidos que, crianças estrangeiras têm mais dificuldade em ler do que crianças não estrangeiras, isso pode levar a uma variedade de decisões que podem ir da criação de apoio extracurricular a classes separadas e até racismo.

3.1.3 Conclusões da Revisão Sistemática em ALS

Existe uma variedade de abordagens de modelagem de estudantes e algumas delas podem ser encontradas em mais de um dos estudos acima mencionados, tais como, RBT [Kostadinova, Totkov e Indzhov 2012] e [Al-Rajhi, Salama e Gamalel-Din 2014]; BKT [Eagle et al. 2016]

e [Wang et al. 2016]; e mineração de dados [Kardan e Conati 2015] e [Valdiviezo-Diaz et al.

2015].

Outra distinção entre os modelos é que alguns modelos concentram a análise do perfil do aluno nas habilidades de aprendizagem do aluno, como no estudo [Kostadinova, Totkov e Indzhov 2012]; enquanto outros se concentram mais no conteúdo do material de aprendizagem, como no estudo [Chellatamilan e Suresh 2012]. Os dados pessoais do aluno também são considerados para o modelo do aluno nos artigos [Al-Rajhi, Salama e Gamalel-Din 2014]

e [Valdiviezo-Diaz et al. 2015].

(40)

3.2 Comparação e escolha de abordagens de modelos do estudante 26

Soluções adaptativas para o Moodle estão presentes em cinco estudos [Bremgartner e Netto 2012]; [Hettiarachchi, Huertas e Mor 2014]; [Kostadinova, Totkov e Indzhov 2012];

[Valdiviezo-Diaz et al. 2015] e [Chellatamilan e Suresh 2012] .

Apesar de o Moodle ser o AVA mais utilizado atualmente [Dougiamas 2017], não foi identificada uma consistência na modelagem do aluno para este ou outro ambiente.

A área de educação adaptativa parece ainda estar aberta e pode oferecer muitas oportu- nidades de pesquisa. Como forma de instigar a comunidade científica, apresentamos uma direção de pesquisa que podem ser exploradas para avançar no estado da arte.

Uma direção possível é a criação de um modelo de aluno que registre o perfil de aprendizagem do aluno. Combinando os melhores aspectos dos modelos estudados, o modelo de aluno, que será proposto no capítulo 4, será um modelo de estudante explícito que é capaz de extrair informações observando a interação do estudante com o sistema e fatores pré-existentes, como o nível cognitivo de aprendizagem do aluno.

3.2 Comparação e escolha de abordagens de modelos do estudante

Uma característica de alguns modelos de estudantes é que a extração de dados que suporta o modelo se concentra principalmente no feedback do aluno, como em [Hettiarachchi, Huertas e Mor 2014]. Em vez disso, seria mais interessante se o perfil de aprendizagem do aluno pudesse ser detectado dinamicamente através da observação de sua interação com o sistema, como em [Silva-Lopez et al. 2015].

A abordagem adaptativa em [Kostadinova, Totkov e Indzhov 2012] concentra-se nas habilidades cognitivas dos estudantes combinadas com os objetivos de aprendizagem de acordo com o RBT. O acúmulo de atividades digitais e o modelo hierárquico de objetivos de aprendizagem delimitam as dimensões dos processos cognitivos, bem como os componentes da dimensão do conhecimento (conceitual, processual e metacognitivo) do RBT. As atividades digitais de aprendizagem podem ser ordenadas em diferentes níveis cognitivos da taxonomia de Bloom de acordo com seus níveis de dificuldade. Projetar um curso de acordo com essa taxonomia é uma tarefa mais complexa do que se poderia pensar, porque, para atingir esse objetivo, é necessário que os objetivos instrucionais, os objetivos de atitudes e os objetivos

(41)

3.3 Revisão da Literatura sobre RBT 27

de habilidades cognitivas sejam conhecidos antes do início do curso [Ferraz e Belhot 2010].

O perfil do aluno pode ser dinamicamente detectado através da observação de sua inte- ração com o sistema, bem como, observando as características pessoais do aluno, conforme demonstrado no estudo [Valdiviezo-Diaz et al. 2015], através de técnicas de mineração de dados que facilitam a extração de dados.

Após examinar as soluções adaptativas do Moodle nos trabalhos do mapeamento siste- mático em ALS, a combinação de dois modelos foi selecionada para formar uma base robusta para o nosso modelo. Os modelos selecionados foram LA [Valdiviezo-Diaz et al. 2015] e RBT [Kostadinova, Totkov e Indzhov 2012], porque a RBT tem se mostrado um instrumento adequado para ser utilizado no ensino de terceiro grau por haver sido avaliada e atualizada considerando os avanços estratégicos e tecnológicos incorporados ao meio educacional [Fer- raz e Belhot 2010] enquanto LA pode oferecer suporte para os professores/tutores, no sentido de oferecer visualização sobre a trajetória de aprendizagem dos alunos.

Desta forma, os modelos escolhidos vão se completar. O dinamismo da recuperação dos dados do estudante oferecida pela abordagem de LA apoiará a cobertura dos aspectos cognitivos do estudante de acordo com a RBT, na representação do perfil de aprendizagem do estudante. Finalmente, nossa proposta é o desenvolvimento, verificação e implementação da combinação das abordagens LA e RBT para o modelo do aluno, onde o banco de dados multidimensional da abordagem de LA (apresentado no capítulo 4) será construído com base na dimensão do domínio cognitivo da matriz RBT.

Após a escolha das abordagens de modelagem para esta pesquisa, uma revisão da literatura sobre o estado da arte em LA e RBT, se fez necessário para um aprofundamento nestes temas. Essas revisões serão exibidas nas seções seguintes.

3.3 Revisão da Literatura sobre RBT

A revisão sobre estudos relacionadas à aplicação de RBT em ALS resultou nos seguintes estudos:

O estudo em [Peckham e McCalla 2012] utiliza clusterização multidimensional k-means (técnica de mineração de dados) para determinar o conjunto de características positivas e negativas na realização da tarefa de interpretação de textos. Nesse estudo, o aluno é avaliado

(42)

3.4 Revisão da Literatura sobre LA 28

em um ambiente contendo textos e questões de interpretação sobre o mesmo. Ao fim de cada texto, o aluno responde questões de interpretação sobre o texto lido. As questões foram desenvolvidas utilizando os verbos de ação da RBT.

Já o trabalho em [Costa et al. 2013] resulta na implementação um sistema para inserir o processo de avaliação no Mapa de Dependências (MD), que é uma ferramenta constituída de um conjunto de objetivos educacionais relacionados entre si, usando a hierarquia definida na Taxonomia de Bloom. Esse sistema objetiva criar um ambiente que possa, utilizando as ferramentas avaliativas já desenvolvidas em um AVA, classificar de forma cognitiva cada uma dessas atividades e associá-las aos objetivos educacionais definidos no MD, durante o planejamento do curso ou disciplina. Através desse sistema, o professor pode planejar o desenvolvimento da disciplina, e ainda escolher as atividades avaliativas (Chat, Fórum, Esco- lha, Glossário, Diário, Questionário, tarefa, etc.) que irá usar para que o aluno possa atingir o objetivo educacional por ele definido. Em seguida o aluno é analisado no desempenho das atividades classificadas, possibilitando o entendimento do professor sobre o que o aluno estava compreendendo e se sua compreensão estava ou não conforme o objetivo educacional traçado.

Por sua vez, a pesquisa em [Santos 2016] aplica a RBT para dar suporte a novas formas de projetar cursos MOOC (Massive Open Online Courses). O resultado é a implementação de uma plataforma e uma ferramenta pedagógica para guiar o professor no planejamento de um curso que atinja os objetivos educacionais esperados.

Como pudemos observar, nos estudos acima citados, a preparação de um ambiente de estudo contendo material instrucional de acordo com a RBT foi usado tanto para guiar o professor na elaboração do curso online, como também como base para avaliação do perfil cognitivo do aluno em tais ambientes. Nenhum dos estudos aqui citados utiliza a RBT para determinar o perfil de aprendizagem cognitivo do aluno em ambientes que não foram construídos de acordo com as diretrizes dessa taxonomia.

3.4 Revisão da Literatura sobre LA

Existem alguns estudos que apresentam o estado da arte do Learning Analytics em sistemas de aprendizagem em diferentes partes do mundo. Alguns desses estudos são mapeamentos

(43)

3.4 Revisão da Literatura sobre LA 29

ou revisões sistemáticas em LA e outros se referem à sistemas que implementam LA para análise de dados. Os estudos resultantes dessa revisão são exibidos a seguir.

3.4.1 Revisões e Mapeamentos sistemáticos em LA

O estudo em [Santos et al. 2017], realiza um mapeamento sistemático de Learning Analytics em países da América Latina. Nesse trabalho, a maioria dos artigos encontrados foram focados apenas em aspectos teóricos de LA e alguns deles analisam a aplicação e implantação de ferramentas ou produtos LA. Há também um relatório Jisc, que apresenta uma revisão sobre o uso de LA no ensino superior no Reino Unido e a prática internacional de LA [Sclater, Pe- asgood e Mullan 2016]. O estudo em [Chauhan e Goel 2017] enfoca os recursos do Learning Analytics nos Sistemas de Gestão de Aprendizagem para o aluno. Neste estudo, 11 plataformas de e-learning são analisadas de acordo com a presença de características específicas de LA. Entre as plataformas selecionadas haviam duas plataformas de código aberto, que eram Open edX e MooKIT; três AVAs que foram Canvas Network, Sakai e Moodle; e seis plataformas proprietárias que foram edX, Coursera, Udacity, FutureLearn, NovoEd e Iver- sity. Projetos de LA foram iniciados em diferentes países, como Estados Unidos, Austrália e no Reino Unido com o objetivo de usar os dados de LA para melhorar a aprendizagem e ensino [Sclater, Peasgood e Mullan 2016]. Também na América Latina, existe uma proposta para criar uma rede Latino-Americana de Pesquisa relacionada ao Learning Analytics, Le- arning Analytics Latin American (LALA). A LALA conta com a participação de 7 países da América Latina (Argentina, Brasil, Chile, Colômbia, Equador, México e Venezuela) e é representada por um grupo de pesquisadores de 13 instituições desses países. Essa rede acadêmica compartilha um interesse comum que é encontrar soluções para problemas se- melhantes através da gestão do conhecimento. O objetivo principal LALA é compartilhar experiências com o uso de LA, como por exemplo, a identificação de padrões e estabelecer indicadores sobre as trajetórias de aprendizagem, que sejam capazes (juntamente com as informações básicas e tradicionais) de servir para a predição de aspectos reprovação, baixo rendimento, entre outros [Sprock et al. 2017].