PROPOSTA DE UM MODELO PARA ACOMPANHAMENTO DA APRENDIZAGEM SIGNIFICATIVA POR MAPAS CONCEITUAIS

VAGNER DA SILVA

PROPOSTA DE UM MODELO PARA ACOMPANHAMENTO DA APRENDIZAGEM SIGNIFICATIVA POR MAPAS CONCEITUAIS

São Paulo

2018

PROPOSTA DE UM MODELO PARA ACOMPANHAMENTO DA APRENDIZAGEM SIGNIFICATIVA POR MAPAS CONCEITUAIS

Tese de Doutorado apresentada à Coordena- ção do Programa de Pós-Graduação em En- genharia Elétrica e Computação da Universi- dade Presbiteriana Mackenzie como parte dos requisitos para obtenção do grau de Doutor em Engenharia Elétrica e Computação.

ORIENTADOR: Prof. Dr. Nizam Omar

São Paulo

2018

149 p. : il. (algumas color.) ; 30 cm.

Orientador: Prof. Dr. Nizam Omar

Tese (Doutorado) – Universidade Presbiteriana Mackenzie , 2018.

1. Mapas Conceituais. 2. Aprendizagem Significativa. 2. Aprendizagem. I. Prof.

Dr. Nizam Omar II. Universidade Presbiteriana Mackenzie. III. Programa de Pós-

Graduação em Engenharia Elétrica e Computação. IV. Proposta de um Modelo para

Acompanhamento da Aprendizagem Significativa por Mapas Conceituais.

Primeiramente, a Deus, por permitir saúde física e, principalmente, mental, pois sem ela muitos de nossos objetivos não seriam alcançados e, consequentemente, não proporcionaríamos oportunidades para outros também poderem atingir os seus.

Ao meu Orientador, Professor Dr. Nizam Omar, pela compreensão, ajuda, orien- tações e o feeling em perceber os momentos difíceis durante o processo percorrido até aqui.

Aos Professores membros que compõem a Banca, pela leitura, observações e sugestões para melhoria desta Tese.

À Professora e professores do PPGEEC, particularmente, Pollyana Notargiacomo, Ismar Frango Silveira, Paulo Batista Lopes, Pedro Paulo, Maurício Marengoni, Leandro Augusto da Silva.

À secretária Kelly Armonas Seide e ao secretário Yopanan Rocha.

Ao professor Luciano Silva, da Faculdade de Computação e Informática do Mac- kenzie.

À minha família, pelo apoio, ajuda e compreensão: Cleide da Silva, Gustavo Henrique da Silva, Guilherme Henrique da Silva, Johnny, Maria Aparecida, José Augusto, Elisangela, Valdi e Marcia.

Às amigas e aos amigos do Mackenzie, pela ajuda, pelos bons e pelos momentos difíceis e pela força em diversos momentos especiais, particularmente Alcides Barbosa, Everton Knihs, Vanessa Lessa, Fábio Modesto, Julião Braga, Ana Leda Silva Moraes, Jéssica Ribas, Douglas Almendro.

A todos(as) os(as)professores(as) e profissionais que de alguma forma contribuíram com a minha formação.

Agradeço ao Fundo Mackenzie de Pesquisa da Universidade Presbiteriana Mac-

kenzie (UPM) pela bolsa de isenção de taxa/mensalidades e à Universidade Cruzeiro do

Sul, particularmente aos Professores Ismar Frango Silveira e Luis Naito Bezerra, pela

compreensão e pela flexibilização de meu horário de trabalho para que eu pudesse cursar o

Doutorado.

Madre Tereza de Calcutá

Os métodos de avaliações usados, na modalidade de Cursos presenciais e em Ambientes Vir- tuais de Aprendizagem ou ensino a distância tendem a fornecer informações insuficientes ou incompletas sobre o desenvolvimento da aprendizagem. Dentre os instrumentos usados nas avaliações, estão questões de múltipla escolha, fórum, projetos e chat, muitas vezes focando apenas a Avaliação Somativa, de caráter classificatório e, consequentemente, fornecendo dados incompletos a respeito da aprendizagem. Muitos desses ambientes dificultam, pelas ferramentas oferecidas, o desenvolvimento de avaliações capazes de apresentar informações o mais precisas possíveis sobre o conhecimento construído pelo aluno. Proporcionar aos alunos atividades que possam ser avaliadas por instrumentos baseados no processo, como a organização conceitual, tende a fortalecer o processo ensino/aprendizagem. Essas ativida- des, devem complementar os instrumentos de avaliações baseados em questões de múltipla escolha, teste ou projetos. Este trabalho apresenta um modelo que permite acompanhar a aprendizagem pelo uso de Mapas Conceituais Individuais e Colaborativos, fornecendo índices e utilizando medidas para acompanhamento da evolução da aprendizagem. Nesse modelo, os Mapas Conceituais são avaliados qualitativamente e os resultados são usados para, dentre outros, informar o índice de organização conceitual do aluno e definir a divisão dos grupos para desenvolvimento do Mapa Conceitual Colaborativo. Além disso, o modelo fornece informações para alunos e professores a respeito do desenvolvimento da aprendizagem; assim, eles terão condições de tomar decisões individuais ou em conjunto para alcançar o objetivo de aprendizagem proposto.

Palavras-chave: Mapas conceituais, avaliação, aprendizagem, colaborativo.

The assessment methods used in the modality of courses and in virtual learning or distance learning environments tend to provide insufficient or incomplete information about the development of learning. Among instruments used in evaluations there are questions of multiple choice, forum, projects and chats, often focusing only on the summative evaluation, of classification feature; consequently, providing incomplete data regarding the learning. Many of these environments make it difficult through the offered tools to develop assessments capable of presenting as accurate information as possible about the knowledge constructed by the student. Providing students with activities that can be assessed by process-based instruments, such as the conceptual organization, tend to strengthen the teaching/learning process. These activities should complement assessment tools based on multiple-choice, test, or project questions. This work presents a model that allows following the learning through the use of individual and collaborative conceptual maps, providing indexes and using measures to follow learning evolution. In this model, the conceptual maps are assessments qualitatively and, among others, the results are used to inform students’ conceptual organization index and to define groups division for collaborative conceptual map development. In addition, the model provides information for students and teachers regarding the development of learning, so, they will be able to make individual or joint decisions to achieve the proposed learning objective.

Keywords: Concept Maps, assessment, learning, collaborative.

Figura 1 – Quantidade de publicações por ano . . . . 35

Figura 2 – Nuvem de Palavras dos Artigos . . . . 36

Figura 3 – Modelo de Acompanhamento . . . . 47

Figura 4 – Quantidade de Conceitos e Proposições . . . . 52

Figura 5 – Índice da Organização Conceitual . . . . 53

Figura 6 – Reconciliação Integrativa e Diferenciação Progressiva . . . . 54

Figura 7 – Exemplos de Mapas Conceituais e ligações cruzadas . . . . 55

Figura 8 – Representação do conhecimento do aluno . . . . 56

Figura 9 – Zona de Desenvolvimento Proximal . . . . 60

Figura 10 – Arquitetura Geral do Ambiente Computacional . . . . 66

Figura 11 – Questionário para levantamento do grau de confiança . . . . 74

Figura 12 – Exemplo de questão da Pré-avaliação Metacognitiva . . . . 76

Figura 13 – Gráfico dos resultados IOC . . . . 80

Figura 14 – Gráfico Índice do Mapa Conceitual Individual . . . . 82

Figura 15 – Gráfico de Comparação entre Índice do Mapa Conceitual Individual e Avaliação . . . . 83

Figura 16 – Gráfico da Avaliação do Conhecimento . . . . 85

Figura 17 – Gráfico Índice do Mapa Conceitual Colaborativo . . . . 87

Figura 18 – Critérios para responder ao questionário de comparação dos Mapas Conceituais . . . . 88

Figura 19 – Questões para levantamento do Conhecimento Prévio . . . . 93

Figura 20 – Questionário de previsão do conhecimento . . . . 95

Figura 21 – Questões para cálculo do índice KMA . . . . 96

Figura 22 – Conceitos para desenvolvimento do Mapa Conceitual . . . . 99

Figura 23 – Gráfico do Índice de Organização Conceitual . . . 100

Figura 24 – Gráfico do Índice do Mapa Conceitual Individual . . . 103

Figura 25 – Gráfico comparativo entre conhecimento prévio e IMCI . . . 104

Figura 26 – Resultado da Avaliação . . . 107

Figura 27 – Comparação entre Avaliação e Conhecimento Prévio . . . 108

Figura 28 – Comparação entre Avaliação e IMCI . . . 108

Figura 29 – Código para agrupamento pelo SOM . . . 112

Figura 30 – Agrupamento pelo SOM . . . 112

Figura 31 – Gráfico dos resultados das avaliações propostas - Grupo 1 . . . 113

Figura 32 – Gráfico dos resultados das avaliações propostas - Grupo 8 . . . 114

Figura 33 – Gráfico dos resultados dos grupos . . . 114

Figura 35 – Gráfico dos resultados do IMCI e IMCCE . . . 116 Figura 36 – Critérios para responder ao questionário de comparação dos Mapas

Conceituais . . . 117 Figura 37 – Comparação entre as avaliações . . . 119 Figura 38 – Comparação entre IMCI e IMCCE . . . 120 Figura A.1.1– - Mapa Conceitual Individual desenvolvido pelo aluno 1 - Redes de

Computadores . . . 134 Figura A.1.2– - Mapa Conceitual Individual desenvolvido pelo aluno 2 - Programação

de Computadores . . . 135 Figura A.1.3– - Mapa Conceitual Individual desenvolvido pelo aluno 5 - Programação

de Computadores . . . 135 Figura A.1.4– - Mapa Conceitual Individual desenvolvido pelo aluno 16 - Programação

de Computadores . . . 136 Figura A.1.5– - Mapa Conceitual Individual desenvolvido pelo aluno 18 - Programação

de Computadores . . . 136 Figura A.1.6– - Mapa Conceitual Individual desenvolvido pelo aluno 4 - Programação

de Computadores . . . 136 Figura A.1.7– - Mapa Conceitual Individual desenvolvido pelo aluno 24 - Programação

de Computadores . . . 137 Figura A.2.1– - Mapa Conceitual Colaborativo desenvolvido pelo Grupo 2 - Redes de

Computadores . . . 138 Figura A.2.2– - Mapa Conceitual Colaborativo desenvolvido pelo Grupo 1 - Progra-

mação de Computadores . . . 138 Figura A.2.3– - Mapa Conceitual Colaborativo desenvolvido pelo Grupo 4 - Progra-

mação de Computadores . . . 139 Figura A.3.1– - Mapa Conceitual Desenvolvido por um Especialista - Redes de Com-

putadores . . . 140 Figura A.3.2– - Mapa Conceitual Desenvolvido por um Especialista - Programação de

Computadores . . . 140

Figura B.1.1– - Questões para levantamento do conhecimento prévio - Parte 1 . . . . 141

Figura B.1.2– - Questões para levantamento do conhecimento prévio - Parte 2 . . . . 141

Figura B.1.3– - Questões para levantamento do conhecimento prévio - Parte 3 . . . . 142

Figura B.1.4– - Questões para levantamento do conhecimento prévio - Parte 4 . . . . 142

Figura B.2.1– - Questões para levantamento do conhecimento prévio - Parte 1 . . . . 142

Figura B.2.2– - Questões para levantamento do conhecimento prévio - Parte 2 . . . . 143

Figura B.2.3– - Questões para levantamento do conhecimento prévio - Parte 3 . . . . 143

Figura B.2.4– - Questões para levantamento do conhecimento prévio - Parte 4 . . . . 143

Figura B.3.2– - Questões para levantamento do conhecimento prévio - Parte 2 . . . . 144

Figura B.3.3– - Questões para levantamento do conhecimento prévio - Parte 3 . . . . 145

Figura B.3.4– - Questões para levantamento do conhecimento prévio - Parte 4 . . . . 145

Figura B.3.5– - Questões para levantamento do conhecimento prévio - Parte 5 . . . . 146

Figura B.4.1– - Questões da avaliação final - Parte 1 . . . 147

Figura B.4.2– - Questões da avaliação final - Parte 2 . . . 147

Figura B.4.3– - Questões da avaliação final - Parte 3 . . . 148

Figura B.4.4– - Questões da avaliação final - Parte 4 . . . 148

Figura B.4.5– - Questões da avaliação final - Parte 5 . . . 149

Tabela 1 – Matriz de inter-relações dentro de um Mapa Conceitual. Fonte:Schaal

(2008) . . . . 30

Tabela 2 – Protocolo da Revisão Sistemática . . . . 33

Tabela 3 – Processo de busca de Artigos Científicos. . . . 34

Tabela 4 – Características dos Artigos selecionados . . . . 37

Tabela 5 – KMA - Classificação e Interpretação. Fonte: adaptado de Gama (2004) 48 Tabela 6 – KMB - Classificação e Interpretação - adaptado de Gama (2004) . . . 49

Tabela 7 – Exemplos de cálculo do IOC . . . . 54

Tabela 8 – Relação da solução do Especialista x solução do Grupo. . . . 63

Tabela 9 – Cronograma para aplicação do modelo proposto. . . . . 72

Tabela 10 – Critérios para responder ao questionário Grau de Confiança do Conhe- cimento Prévio . . . . 74

Tabela 11 – Média do Grau de Confiança . . . . 75

Tabela 12 – Análise do Grau de Confiança dos alunos . . . . 75

Tabela 13 – Critérios para responder ao questionário de Pré-avaliação Metacognitiva 75 Tabela 14 – Análise da Pré-avaliação Metacognitiva . . . . 76

Tabela 15 – Análise do Índice KMA e KMB dos alunos . . . . 77

Tabela 16 – Análise do Conhecimento Prévio e da Pré-Avaliação Metacognitiva dos alunos . . . . 79

Tabela 17 – Critérios do Conhecimento Prévio . . . . 79

Tabela 18 – Análise do Índice de Organização Conceitual dos alunos . . . . 80

Tabela 19 – Análise geral. . . . 81

Tabela 20 – Análise geral . . . . 84

Tabela 21 – Análise geral . . . . 86

Tabela 22 – Formação dos grupos conforme IOC . . . . 86

Tabela 23 – Comparação entre o Mapa Conceitual Colaborativo e o Mapa Conceitual do Especialista . . . . 89

Tabela 24 – Avaliações e índices dos Mapas individuais e Colaborativos . . . . 89

Tabela 25 – Avaliações e Índices dos Mapas Individuais e Colaborativos . . . . 91

Tabela 26 – Cronograma para aplicação do modelo proposto . . . . 92

Tabela 27 – Conhecimento Prévio. . . . 94

Tabela 28 – Média e Desvio Padrão por questão . . . . 94

Tabela 29 – Análise do Índice KMA e KMB dos alunos . . . . 95

Tabela 30 – Análise do Conhecimento Prévio e Pré-avaliação Metacognitiva dos alunos 97 Tabela 31 – Critérios do Conhecimento Prévio . . . . 99

Tabela 32 – Índice de Organização Conceitual . . . 100

Tabela 34 – Análise do conhecimento prévio, pré-avaliação Metacognitiva, IOC e

IMCI . . . 104

Tabela 35 – Análise geral . . . 108

Tabela 36 – Formação dos grupos . . . 113

Tabela 37 – Avalações e Índices dos Mapas Individuais e Colaborativos . . . 117

Tabela 38 – Avalações e índices dos Mapas Individuais e Colaborativos . . . 119

Tabela 39 – Resultado da avaliação - Grupo de controle . . . 121

AC Avaliação do Conhecimento EAD Ensino a Distância

IKAS Intelligent Knowledge Assessment System - Sistema Inteligente de Ava- liação do Conhecimento

IMCI Índice do Mapa Conceitual Individual

IMCCE Índice do Mapa Conceitual Colaborativo pelo Especialista IOC Índice de Organização Conceitual

KMA Knowledge Monitoring Accuracy - Previsão no Monitoramento do Co- nhecimento

KMB Knowledge Monitoring Bias - Desvio no Monitoramento do Conheci- mento

LA Learning Analytics - Análise da Aprendizagem LTM Long-Term Memory - Memória de Longo Prazo PLN Processamento da Linguagem Natural

SOM Self Organizing Maps - Mapa Auto-organizável

WM Working Memory - Memória de Trabalho

ZDP Zona de Desenvolvimento Proximal

1 INTRODUÇÃO . . . 18

1.1 Caracterização do problema . . . . 18

1.2 Justificativa . . . . 20

1.3 Hipótese . . . . 23

1.4 Objetivos . . . . 23

1.5 Questões de pesquisa . . . . 25

1.6 Organização da tese . . . . 26

1.7 Síntese . . . . 26

2 FUNDAMENTOS CONCEITUAIS . . . 27

2.1 Aprendizagem e avaliação . . . . 27

2.2 Mapas Conceituais . . . . 28

2.3 Aprendizagem Colaborativa . . . . 32

2.4 Revisão sistemática . . . . 33

2.5 Considerações a partir da revisão . . . . 45

2.6 Síntese . . . . 45

3 MODELO DE ACOMPANHAMENTO DA APRENDIZAGEM . . . 46

3.1 Desenvolvimento do Mapa Conceitual Individual . . . . 46

3.2 Índices . . . . 47

3.2.1 Índices KMA e KMB . . . . 48

3.2.2 Índice de organização conceitual . . . . 49

3.2.3 Índice do Mapa Conceitual Individual . . . . 56

3.3 Formação dos grupos para Atividade Colaborativa . . . . 57

3.3.1 Zona de Desenvolvimento Proximal . . . . 59

3.3.2 Mapas Auto-organizáveis - SOM . . . . 60

3.4 Desenvolvimento do Mapa Conceitual Colaborativo . . . . 62

3.4.1 Índice do Mapa Conceitual Colaborativo . . . . 62

3.4.2 Pós-avaliação Metacognitiva . . . . 63

3.5 Síntese . . . . 64

4 ARQUITETURA DO MODELO . . . 65

4.1 Arquitetura para acompanhamento da Avaliação Diagnóstica, For- mativa, Somativa e Colaborativa . . . . 65

4.1.1 Questionários e Mapa Conceitual . . . . 66

4.1.2 Módulo de Acompanhamento Individual . . . . 67

4.1.4 Módulo de acompanhamento colaborativo . . . . 70

4.2 Síntese . . . . 70

5 PROVA DE CONCEITOS E RESULTADOS . . . 72

5.1 Experimento e resultados (Redes de Computadores) . . . . 72

5.1.1 Avaliação diagnóstica . . . . 73

5.1.1.1 Análise dos resultados da Avaliação Diagnóstica . . . . 73

5.1.2 Avaliação Metacognitiva . . . . 75

5.1.2.1 Índices KMA e KMB . . . . 76

5.1.3 Avaliação Mapa Conceitual Individual . . . . 78

5.1.4 Avaliação do Índice do Mapa Conceitual Individual - IMCI . . . . 81

5.1.5 Avaliação do Conhecimento . . . . 84

5.1.6 Formação dos grupos para elaboração do Mapa Conceitual Colaborativo . . 85

5.1.7 Avaliação do Mapa Conceitual Colaborativo . . . . 85

5.1.8 Pós-Avaliação Metacognitiva . . . . 88

5.1.9 Desempenho da Avaliação após Mapa Conceitual Colaborativo . . . . 91

5.2 Estudo de Caso e resultados (Programação de Computadores) . . . 91

5.2.1 Avaliação Diagnóstica . . . . 92

5.2.2 Avaliação Metacognitiva . . . . 94

5.2.3 Avaliação do Mapa Conceitual Individual . . . . 99

5.2.3.1 Índice de Organização Conceitual - IOC . . . . 99

5.2.3.2 Índice do Mapa Conceitual Individual - IMCI . . . . 103

5.2.4 Avaliação do Conhecimento - AC . . . . 107

5.2.5 Agrupamento para Atividade Colaborativa . . . . 112

5.2.6 Desenvolvimento do Mapa Conceitual Colaborativo. . . . . 115

5.2.7 Pós-Avaliação Metacognitiva . . . . 116

5.2.8 Desempenho da Avaliação depois do Mapa Conceitual Colaborativo . . . . 118

5.2.9 Desempenho da Avaliação - Grupo de Controle . . . . 120

5.3 Síntese . . . . 120

6 CONCLUSÕES E TRABALHOS FUTUROS . . . 122

6.1 Conclusões . . . . 122

6.2 Trabalhos futuros . . . . 124

REFERÊNCIAS . . . 126

APÊNDICE A – MAPAS CONCEITUAIS DESENVOLVIDOS . . . 134

A.1 Mapa Conceitual Individual . . . . 134

A.2 Mapa Conceitual Colaborativo . . . . 138

A.3 Mapa Conceitual desenvolvido por um Especialista . . . . 140

APÊNDICE B – QUESTIONÁRIOS . . . 141

B.1 Conhecimento Prévio - Aluno com nenhum Conhecimento Prévio . 141 B.2 Conhecimento Prévio - Aluno que declarou ter conhecimento prévio 142 B.3 Avaliação Final da Etapa 1 - Aluno 1 . . . . 143

B.4 Avaliação Final da Etapa 2 . . . . 147

1 INTRODUÇÃO

Este capítulo introdutório está organizado da seguinte forma: na Seção 1.1, apresenta- se uma contextualização sobre o tema da pesquisa, focando em explicar a necessidade e a importância de um modelo para monitorar a evolução da aprendizagem em Ambientes de Aprendizagem Virtual e ensino a distância.

A justificativa para a investigação desta temática de tese é descrita na Seção 1.2.

A Seção 1.3 mostra a hipótese presente nesta tese, a ser provada ou refutada. A descrição dos objetivos encontra-se na Seção 1.4 e, para finalizar, na Seção 1.5, estão descritos as questões de pesquisa e o que deve ser feito para respondê-las.

1.1 Caracterização do problema

Segundo Kollöffel e Jong (2013), estimular a aquisição do entendimento conceitual melhora os resultados da resolução de problemas complexos. Ao estruturar os conceitos de forma significativa, a possibilidade de os alunos desenvolverem capacidade para a solução de problemas aumenta em relação à forma tradicional de ensino com o uso de livros didáticos, textos e fórmulas.

Avaliar o entendimento conceitual de acordo com a estrutura conceitual apresentada pelo aprendiz se faz necessário no acompanhamento da aprendizagem; portanto, ao avaliar a aprendizagem, é importante criar processos para fornecer dados, os quais permitam, também, verificar alterações na estrutura conceitual. Devem ser criados processos para avaliar se houve aquisição de novas informações e seu uso em resolução de problemas.

Conforme Shute e Rahimi (2017), a Avaliação do Conhecimento devem ser estimu- lada para o desenvolvimento de novas técnicas de avaliação, no sentido de determinar sua eficácia. Para estabelecer as melhores práticas para avaliar a aprendizagem, é importante entender como ela ocorre.

Avaliar a aprendizagem implica acompanhamento e reorientação permanente da aprendizagem. A avaliação se realiza por ato rigoroso e diagnóstico, permitindo a reori- entação da aprendizagem, tendo em vista a obtenção dos melhores resultados possíveis, frente aos objetivos que se tenha adiante.

Avaliação não é sinônimo de ensino individualizado, mas sim de um rigoroso acompanhamento e reorientação das atividades, tendo em vista resultados bem-sucedidos (LUCKESI, 2000).

Pimentel (2006, p. 36) define em sua Tese que

o que tem sido considerado como definição de aprendizagem inclui condici- onamento, aquisição de informação (aumento do conhecimento), mudança comportamental estável, uso do conhecimento na resolução de problemas, construção de novos significados, de novas estruturas cognitivas, revisão de modelos mentais.

No entanto, os dados gerados por ferramentas de Educação a Distância ainda são utilizados pelos administradores para encontrar padrões de comportamentos característicos para a evasão ou a retenção dos alunos.

Segundo Baepler e Murdoch (2010), a análise acadêmica é frequentemente pensada como hipótese dirigida, usando um conjunto de dados particular para resolver problemas acadêmicos, como o nível crescente de retenção dos estudantes.

Norris, Baer e Offerman (2009) dão ênfase ligeiramente diferente ao uso da análise.

Eles gostariam de usar os resultados para medir, comparar e melhorar a evolução dos indivíduos, não apenas para melhorar a experiência, mas também para facilitar melhores resultados para as atividades.

Blikstein (2011) descreve os instrumentos de avaliações atuais como incompletos, pois são baseados em produtos (um exame, um projeto, um portfólio), e não sobre os processos (o desenvolvimento cognitivo e intelectual real durante a execução de uma atividade de aprendizagem), devido às dificuldades intrínsecas na captura detalhada dos dados do processo para um grande número de estudantes.

A avaliação é uma ferramenta essencial para o docente e, devido à complexidade oferecida, não se pode ter como base apenas a mensuração quantitativa pelo uso de provas ou instrumentos atribuindo notas. Sendo ela aplicada na modalidade presencial ou em ensino a distância, devem ser oferecidos mecanismos para avaliar quantitativa e qualitativamente o desenvolvimento da aprendizagem.

Na avaliação cognitiva, a qualidade de sua estrutura deve ser verificada, pois, assim, é possível identificar o nível cognitivo do aprendiz num domínio de conhecimento. Visto que o conhecimento de uma pessoa está sempre mudando, é importante proporcionar monitorações em busca de alterações em sua estrutura cognitiva.

Os dados gerados no processo de avaliação devem ser usados para identificar se os principais conceitos estão bem estruturados e se há alguma deficiência na estrutura conceitual do aprendiz. Nesse processo de avaliação é fundamental estabelecer uma medida capaz de identificar qual conhecimento o aprendiz possui.

Mesmo sendo usados outros instrumentos de avaliações, como conceitos (A, B, C,

D, E) ou valores contínuos (1, 2, 3, 4...., 10), uma medida para avaliar a estrutura dos

conceitos permitiria verificar a evolução do conhecimento pela estrutura dos conceitos de

um aprendiz.

Portanto, há um cenário em que são aplicados os métodos tradicionais de avaliações, proporcionando o acompanhamento do aprendiz sem considerar aspectos relacionados à sua estrutura conceitual, o qual poderia auxiliar professores e tutores na análise referente a evolução da aprendizagem. Esta lacuna abre espaços para pesquisas em outros métodos de avaliações que proporcionem o acompanhamento da aprendizagem considerando aspectos relacionados à estrutura cognitiva.

1.2 Justificativa

Avaliar a aprendizagem ainda é uma tarefa difícil; os instrumentos de avaliação, cujo objetivo é apenas mensurar, segundo Luckesi (2000), não são adequados para avaliar.

Conforme Duemke (1984), a avaliação do aprendizado dos alunos é um instrumento importante no sentido de conduzir o que foi proposto no planejamento instrucional ou para mudar o curso da proposta a fim de chegar ao objetivo planejado. A ideia básica é aproveitar ao máximo as potencialidades individuais, numa constante aferição e revisão do próprio ensino em seus planos e na sua execução.

O processo de avaliação, geralmente, é realizado pela aplicação de testes e exercícios com o objetivo de quantificar o desenvolvimento do aluno. Entretanto, devido à sobrecarga imposta por essa tarefa, torna-se difícil para o docente acompanhar de maneira efetiva e gradual o processo de aprendizado do estudante (CALDAS; FAVERO, 2009).

De acordo com Araújo, Menezes e Cury (2002), testes objetivos (múltipla escolha, verdadeiro-falso), mesmo quando relativamente bem projetados, tendem a encorajar a memorização arbitrária de informação, sacrificando, em geral, aqueles aprendizes que construíram, de maneira própria, conhecimento sobre um dado domínio.

Assim, a avaliação automática de questões objetivas não fornece uma análise efetiva sobre o processo de aprendizado do aluno, pois não demonstra se o estudante entendeu a respeito de um assunto e nem como construiu esse conhecimento (CALDAS; FAVERO, 2009).

Avaliar é um processo com várias etapas que se auto-organizam. As atividades criadas devem propiciar reflexão por parte do aluno e permitir o desenvolvimento de uma comunicação interativa. Avaliar é analisar o nível de conhecimento adquirido pelo aluno (RODRIGUES, 2015).

A avaliação, há muito tempo, vem sendo utilizada exclusivamente como forma de

atribuir notas, visando à aprovação ou à reprovação do aluno (RODRIGUES, 2015). Nesse

sentido, faz-se necessário ter instrumentos para avaliar a evolução do aprendizado em

relação a aspectos cognitivos, e uma das formas de fazer isso é por meio das estruturas

conceituais demonstradas pelos alunos.

A preocupação com a avaliação se estende aos Ambientes Virtuais de Aprendizagem (AVA), pois nesses ambientes o contato direto entre docente e discente, geralmente, não ocorre, dificultando ainda mais a identificação de algumas características que possivelmente seriam percebidas presencialmente. Segundo Prata (2003), os instrutores não têm os identificadores informais visuais e verbais dos alunos.

Conforme Rodrigues (2015), com o advento das novas ferramentas de ensino e aprendizagem, faz-se necessário analisar e discutir a eficácia e a eficiência da Avaliação do Conhecimento no sistema EAD, seus instrumentos e tipos de avaliações.

Em Educação a Distância online, é importante garantir tanto atividades individuais quanto colaborativas. É preciso garantir aos sujeitos envolvidos vivências e diversos desafios sociocognitivos e político-culturais (SILVA, 2006).

Avaliar o desenvolvimento cognitivo, considerado processo de construção e recons- trução das estruturas mentais (PIAGET, 2007), é um desafio para a área de educação.

Direcionado à linha de pesquisa defendendo a aprendizagem como a construção de novos significados e de novas estruturas cognitivas está a Teoria da Aprendizagem Significativa de AUSUBEL e NOVAK (1980).

Ao descrever características da Aprendizagem Significativa, mais especificamente quando trata de subsunçores, a Teoria de Ausubel (2003) tem similaridade na construção de esquemas definidos na Teoria da Carga Cognitiva (SWELLER; MERRIENBOER;

PAAS, 1998), ou seja, a nova informação deve ser incorporada à estrutura cognitiva já existente, formando uma nova estrutura. A reestruturação de esquemas pode ser entendida como Aprendizagem Significativa.

A aprendizagem eficaz depende do esquema existente sendo revisado, estendido ou reconstruído. Um esquema mental é uma estrutura de conhecimento, que é uma estrutura cognitiva armazenada na memória de longo prazo de um indivíduo, consistindo em relações conceituais desenvolvidas pelo conhecimento e experiências acumuladas. Os indivíduos podem construir, revisar e recombinar estruturas de conhecimento para influenciar os resultados de aprendizagem (YEN et al., 2012).

No contexto da Aprendizagem Significativa, uma ferramenta útil para ser usada em avaliações são os Mapas Conceituais (CAÑAS et al., 2013), que são ferramentas gráficas para representar o conhecimento humano.

Segundo Pimentel (2006), os Mapas Conceituais são representações explícitas da estrutura cognitiva; equivalem a uma fotografia aproximada do seu Conhecimento Prévio, ponto de partida para a Aprendizagem Significativa.

Conforme Yen et al. (2012), os Mapas Conceituais revisam e conectam a estrutura

do conhecimento de um aluno com conceitos de conhecimentos passados e presentes, para

aumentar a completude da estrutura de conhecimento.

Há pesquisas desenvolvidas na utilização de Mapas Conceituais em avaliações (JENNINGS, 2012), (RUIZ-PRIMO; SCHULTZ; SHAVELSON, 1997), (SCHAAL, 2008), (ARAÚJO; MENEZES; CURY, 2002), (ANOHINA-NAUMECA; STRAUTMANE; GRUNDS-

PENKIS, 2010) e de acordo com Araújo, Menezes e Cury (2002), os resultados obtidos demonstram com que facilidade e precisão os aprendizes mapeiam com sucesso as modi- ficações - características fundamentais da Aprendizagem Construtivista - ocorridas na estrutura conceitual do estudante.

Usar Mapas Conceituais para Avaliação do Conhecimento requer sua mensura- ção não somente quantitativamente, mas também, qualitativamente; portanto, além dos principais conceitos definidos num Mapa Conceitual referente ao domínio estudado, as Proposições devem ser válidas segundo a avaliação de um Especialista.

Segundo Ruiz-Primo, Schultz e Shavelson (1997), intuitivamente, o uso de Mapas Conceituais para avaliar a estrutura de conhecimento declarativa dos alunos é atraente. A construção de um Mapa do estudante reflete diretamente, até certo ponto, sua compreensão sobre um domínio.

Além de oferecer informações sobre a estrutura cognitiva do aluno, os Mapas Conceituais permitem avaliar o Conhecimento Prévio. Segundo Cook (2006), as diferenças individuais, especialmente, o Conhecimento Prévio, são fundamentais para determinar o impacto que as representações visuais e seu design terão sobre as estruturas e processos cognitivos dos alunos.

Novak e Gowin (1984) descrevem o Conhecimento Prévio como primordial no aprendizado de novos conceitos por parte dos alunos. Segundo Ertl, Kopp e Mandl (2005), ele é um pré-requisito importante para a construção do conhecimento do aprendiz.

A informação fornecida a um aprendiz, torna-se significativa quando é “ancorada“

em conceitos ou ideias preexistentes na estrutura cognitiva (AUSUBEL; NOVAK, 1980).

As ideias e os conceitos preexistentes, também definidos como Conhecimento Prévio, foram denominados subsunçores por Ausubel. Segundo Castro (2013), quando ambos, informação e subsunçores, são modificados num processo adaptativo, o resultado é a aprendizagem de novos conceitos.

De acordo com Cook (2006), a arquitetura cognitiva sozinha não é o único fator a ser considerado; as diferenças individuais, especialmente o Conhecimento Prévio, são cruciais para determinar o impacto que uma representação visual terá nas estruturas e nos processos cognitivos dos alunos; portanto, o nível de Conhecimento Prévio é, presumivelmente, um moderador forte da relação entre o grau da estrutura do Mapa Conceitual e os resultados da aprendizagem (AMADIEU et al., 2009).

Quando o aluno tem consciência sobre o que sabe, sobre o seu Conhecimento Prévio,

o processo de aprendizagem se torna mais eficiente. O aluno pode avaliar seu próprio conhecimento utilizando-se do conceito de metacognição, que tem como função avaliar e organizar os processos mentais para atingir uma meta ou um objetivo.

Portanto, um ambiente deve proporcionar ao aluno reflexão sobre o que sabe (me- tacognição) para poder atingir os objetivos propostos de aprendizagem. Tendo consciência do próprio Conhecimento Prévio, o aprendiz reunirá condições para reorganizar a estrutura cognitiva, a estrutura de conceitos, aprimorando o próprio ato de aprender.

E mesmo que o aluno, sozinho, não consiga atingir os objetivos propostos de apren- dizagem, novas alternativas devem ser inseridas no processo de ensino/aprendizagem para se atingir tais objetivos. Uma dessas alternativas refere-se à Aprendizagem Colaborativa.

Para alguns pesquisadores (PIAGET, 2007), (VYGOTSKY, 1989), a interação entre os indivíduos oferece possibilidades concretas de evolução da aprendizagem.

A aprendizagem como parte de um grupo é uma forma importante de ajudar os alunos a adquirir experiências em colaboração e desenvolver habilidades importantes em pensamento crítico, autorreflexão e co-construção do conhecimento (BRINDLEY;

BLASCHKE; WALTI, 2009).

Diante do exposto, há de se considerar a importância de um modelo que avalie e forneça dados para permitir o acompanhamento do desenvolvimento da aprendizagem, desempenho que pode ser verificado pela Avaliação do Conhecimento prévio do aluno, por resultados obtidos de atividades metacognitivas e pela avaliação qualitativa do Mapa Conceitual desenvolvido de forma individual e também colaborativa.

1.3 Hipótese

Diante do exposto na Seção 1.1 e da importância da temática descrita na Seção 1.2, verifica-se que há necessidade de novas metodologias e processos que possam ser usados para avaliar e acompanhar de forma mais efetiva o desenvolvimento da aprendizagem.

Tomando como referência os Mapas Conceituais, que são baseados na Teoria da Aprendizagem Significativa, de AUSUBEL e NOVAK (1980), esta pesquisa tem como principal hipótese que o monitoramento da aprendizagem pelas avaliações diagnóstica, for- mativa, somativa e colaborativa forneça resultados mensuráveis a professores e a aprendizes para auxiliar na evolução da aprendizagem.

1.4 Objetivos

A Avaliação do Conhecimento deve proporcionar informações que possam contribuir

para sua melhoria. Sendo assim definiram-se os seguintes objetivos para esse trabalho:

Objetivo geral:

definição de um modelo que permita avaliar e acompanhar o desenvolvimento da aprendizagem capaz de:

• Fornecer informações aos docentes e discentes sobre o nível cognitivo e metacognitivo, permitindo aos alunos corrigirem possíveis estruturas conceituais errôneas pelo processo colaborativo, para melhorar o desenvolvimento da aprendizagem;

• Fornecer aos docentes informações sobre a aprendizagem e a estrutura conceitual do aluno, tendo como avaliar se o conteúdo foi entendido considerando os principais conceitos no domínio proposto.

Objetivos específicos:

Para atingir o objetivo geral, os seguintes objetivos específicos foram estabelecidos:

• Avaliar o Conhecimento Prévio dos alunos no domínio proposto, permitindo a eles e aos docentes avaliarem o desenvolvimento da aprendizagem;

• Fornecer Avaliação Metacognitiva com o objetivo de avaliar a previsão do conheci- mento do aluno;

• Avaliar as diferenças entre as estimativas do conhecimento processual ou declarativo das pessoas que aprendem num determinado domínio e seu conhecimento real, conforme determinado pelo desenvolvimento;

• Fornecer um índice, tomando como referência o Mapa Conceitual desenvolvido individualmente; esse índice deve expressar o nível de organização conceitual do aluno;

• Fornecer um índice para avaliar a proximidade do Mapa Conceitual Individual com o Mapa Conceitual desenvolvido por um Especialista;

• Separar os grupos para desenvolvimento do Mapa Conceitual Colaborativo, de acordo com o conhecimento apresentado no domínio proposto;

• Avaliar, após o desenvolvimento do Mapa Conceitual Colaborativo, a proximidade dele com o Mapa Conceitual desenvolvido por um Especialista;

• Avaliar o desenvolvimento de aprendizagem após o processo de desenvolvimento do

Mapa Colaborativo;

1.5 Questões de pesquisa

Para produzir a pesquisa e direcioná-la aos objetivos, três questões de pesquisa foram elaboradas:

• Que indicadores podem ser usados para avaliar a estrutura de conhecimento do aprendiz?;

• Como um conjunto de indicadores e medidas de avaliações podem ajudar no processo de aprendizagem?;

• Como automatizar o processo de avaliação para obter resultados sobre o desenvolvi- mento do aprendiz?

As respostas a essas perguntas permitirão estabelecer indicadores e medidas que conduzam:

• O aluno a melhorar o seu desenvolvimento na aprendizagem;

• O professor a avaliar se o objetivo da aprendizagem foi atingido;

• O professor a acompanhar o processo de aprendizagem;

• A definir características dos alunos para a formação de grupos;

• A avaliar a evolução da aprendizagem.

Para responder às questões de pesquisa, algumas etapas, conforme descrito a seguir, deverão ser implementadas:

• Aplicação do modelo e aprofundamento na análise das relações entre indicadores e medidas;

• Aplicar o modelo para investigar quais indicadores ou medidas podem ser usados para a formação de grupos;

• Pesquisar, avaliar e desenvolver um sistema para automatizar as avaliações;

• Avaliar se houve evolução do aprendiz.

1.6 Organização da tese

O texto foi organizado de modo a apresentar o embasamento conceitual e sequencial para a proposição de um modelo, visando ao acompanhamento da aprendizagem baseado em avaliações. Os resultados obtidos por índices e medidas, fruto de processos de avaliações, são embasados e testados como segue:

• Capítulo 2 - Fundamentos conceituais: apresentam-se os conceitos e o que tem sido desenvolvido sobre os processos de avaliações utilizados, principalmente, em Aprendizagem Significativa;

• Capítulo 3 - Modelo de Acompanhamento da Aprendizagem: aborda-se a metodologia, descrevendo os processos propostos em relação ao acompanhamento da aprendizagem, apresentando os índices e as medidas usados na avaliação;

• Capítulo 4 - Arquitetura do Modelo: apresenta-se a arquitetura e os módulos propostos do ambiente computacional, visando ao acompanhamento da aprendizagem;

• Capítulo 5 - Prova de conceitos e resultados: descrevem-se a aplicação, bem como as análises dos resultados do modelo proposto;

• Capítulo 6 - Conclusão: enumeram-se as conclusões obtidas da pesquisa realizada, elencando-se, também, as perspectivas de sua continuidade e trabalhos futuros como desdobramentos;

• Apêndices: disponibilizam-se materiais criados a partir da evolução desta pesquisa e necessários em suas etapas.

1.7 Síntese

Estudos apontam que a aprendizagem é o processo de transformação do indivíduo e uma das transformações se dá pela alteração da estrutura do conhecimento que o indivíduo possui. A Avaliação da Aprendizagem passa, também, por mensurar se houve alteração na estrutura de conceitos que o indivíduo tem.

Este capítulo inicial apresentou breve introdução dos conceitos relacionados nesta

Tese de Doutorado, mostrando uma caracterização do problema de estudo, descrevendo

a justificativa, seguida da hipótese a ser validada, apresentando o objetivo geral e os

objetivos específicos, além das questões de pesquisa.

2 FUNDAMENTOS CONCEITUAIS

Tomando como referência a hipótese desta pesquisa, faz-se necessária uma revisão da Literatura a respeito de avaliações, dos Mapas Conceituais e do uso deles na avaliação e na melhoria do desenvolvimento da aprendizagem, das pesquisas feitas em mensuração de Mapas Conceituais, do Conhecimento Prévio e do processo colaborativo, com a finalidade de identificar trabalhos correlatos.

2.1 Aprendizagem e avaliação

Só há como verificar se houve aprendizagem a partir do momento que há a pos- sibilidade de avaliá-la. Criar processos em que a Avaliação do Conhecimento possa ser verificada, tanto pelo docente quanto pelos alunos, permite que ambos tomem decisões para a melhoria da aprendizagem.

Para Rodrigues (2015), o grande objetivo no processo avaliativo é desenvolver no alunado a cooperação, a autonomia, a colaboração, o posicionamento crítico e a capacidade de transformar a realidade social.

Para Jennings (2012), alguns dos propósitos da avaliação são:

• Permitir a comunicação do alcance e subsequente status do aluno durante seu programa de aprendizagem;

• Fornecer um meio de autoavaliação e informações relativas a ela;

• Identificar a posição do aluno dentro do caminho educacional e/ou dos programas;

• Avaliar a eficácia dos programas de ensino;

• Simplesmente motivar os alunos.

Os instrumentos de avaliações como provas descritivas, questões de múltipla escolha e projetos são, há muito tempo, aplicados como forma de avaliar a aprendizagem. Em auxílio a esses instrumentos de avaliação, outros devem ser desenvolvidos para proporcionar evolução do processo de avaliação e melhores resultados sobre a aprendizagem do aluno.

Blikstein (2011) descreve que os pesquisadores são unânimes em afirmar que

precisamos ensinar as chamadas "habilidades do século XXI": criatividade, inovação,

pensamento crítico, resolução de problemas, comunicação e colaboração. Nenhuma dessas

habilidades é facilmente mensurada usando técnicas de avaliações atuais, como testes de

escolha múltipla, itens em aberto ou portfólios.

A forma como avaliamos os alunos deve evoluir para oferecer resultados da apren- dizagem mesmo nos casos em que o processo de ensino aprendizagem não está limitado à sala de aula (RODRIGUES, 2015), como é o caso do ensino a distância.

O ensino à distância oferece alguns desafios como (SANTOS, 2005 apud RODRI- GUES, 2015):

• Desenvolver estratégias e atividades que potencializem a construção do conhecimento em rede;

• Valorizar a singularidade de cada participante ao mesmo tempo em que esse deve produzir e dialogar com a pluralidade emergente pela diferença do grupo;

• Mapear o processo de construção singular de cada aprendente e permitir que esse socialize em rede seus sentidos com todo o grupo;

• Negociar sentidos com outras inteligências.

Independente da modalidade, se presencial ou ensino a distância, a aprendizagem se dá com a aquisição de novos conceitos e a imersão deles na estrutura cognitiva de um indivíduo; portanto, é importante que essa estrutura tenha conhecimentos prévios que sirvam de ancoragem para novas aprendizagens (ROCHA; JÚNIOR; FAVERO, 2005).

AUSUBEL e NOVAK (1980) estabelecem que o aprendiz deve ter Conhecimento Prévio como base para os novos conceitos sendo processados, ou seja, os novos conceitos irão se ancorar no Conhecimento Prévio modificando a estrutura conceitual. Essa alteração é armazenada na memória de longo prazo e, quando for necessário, será usada como Conhecimento Prévio para novos conceitos. Além do Conhecimento Prévio, Ausubel (2012) estabelece que o material instrucional deve ter características significativas e o aluno deve estar apto a aprender significativamente.

O Conhecimento Prévio é uma estrutura de conhecimento, uma estrutura cognitiva armazenada na memória de longo prazo de um indivíduo, e que consiste em relações conceituais desenvolvidas pelo conhecimento acumulado e experiências individuais que pode construir, revisar e recombinar estruturas de conhecimento para influenciar os resultados da aprendizagem (YEN et al., 2012).

Portanto, uma aprendizagem eficaz depende do Conhecimento Prévio existente sendo revisado, ampliado ou reconstruído.

2.2 Mapas Conceituais

Os Mapas Conceituais são representações gráficas do conhecimento humano, ele

tem a capacidade de comunicar com clareza o que pensamos e foram propostos para dar

apoio à Teoria de Aprendizagem Significativa de AUSUBEL e NOVAK (1980).

O Mapa Conceitual contém uma unidade fundamental que se denomina proposição.

Uma proposição tem como objetivo interligar dois conceitos e, por consequência, forma uma unidade semântica; portanto, um Mapa Conceitual representa o conhecimento humano relacionado a um determinado tema.

Embora o mapeamento conceitual tivesse sido identificado como uma ferramenta efetiva para reforçar o desenvolvimento da aprendizagem e na retenção do conhecimento, pesquisadores indicam que os alunos têm dificuldades em construir Mapas Conceituais, principalmente em se tratando de jovens crianças (HWANG et al., 2014). Os Mapas Conceituais auxiliam na aprendizagem; porém, há no seu desenvolvimento aumento, da carga cognitiva sobre a memória de trabalho (HWANG et al., 2014).

Assumindo que o conhecimento dentro de um domínio de conteúdo está organizado em torno de conceitos centrais, ter conhecimento no domínio implica uma estrutura conceitual altamente integrada.

Os Mapas Conceituais, então, podem captar aspectos importantes dessa inter- relação entre os conceitos e podem externalizar um padrão de conhecimento de um indivíduo dentro de uma estrutura de rede de conceitos, relações ou Proposições (NOVAK; GOWIN, 1984). Por apresentarem características relacionadas à aprendizagem num determinado domínio, os Mapas Conceituais podem ser usados na avaliação.

Ao utilizar o Mapa Conceitual para avaliação, algumas variações em sua aplicação são possíveis. Zeilik (2014) propõe alguns exercícios como (i ) ”preencher espaços” nos Mapas Conceituais, (ii) fornecer uma lista de conceitos e solicitar que os alunos construam os Mapas Conceituais, (iii ) oferecer uma lista com 5 ou 10 conceitos e solicitar que os alunos complementem com uma quantidade igual de conceitos próprios e, (iv) oferecer uma lista com 20 conceitos e solicitar aos alunos o desenvolvimento do Mapa Conceitual com a metade dos conceitos apresentados. Esses exercícios são considerados mais fechados, pois restringem a flexibilidade na escolha dos conceitos e a uma quantidade deles.

Luckie, Harrison e Ebert-May (2004) sugerem algumas atividades feitas conside- rando os seguintes passos: (i ) desenvolve o Mapa individualmente, (ii) envia o Mapa para avaliação e recebe uma pontuação e um feedback, (iii) revisa o Mapa e envia novamente e (iv ) trabalha com um parceiro no desenvolvimento de um Mapa Conceitual Colaborativo.

Cada novo Mapa Conceitual desenvolvido e enviado recebe um feedback e uma nova pontuação.

Usar Mapas Conceituais somente para avaliá-los de forma somativa subutilizaria esse recurso, o que pode fornecer informações importantes referentes aos benefícios cognitivos que ele pode demonstrar.

Novak e Gowin (1984) propuseram um método para a Avaliação de Mapas Concei-

tuais, considerando o seguinte:

• Proposição válida (1 ponto cada);

• Níveis da hierarquia (5 pontos para cada nível);

• Links cruzados (10 pontos para cada link cruzado válido);

• Exemplo específico (1 ponto para cada exemplo).

Com esses critérios, consegue-se uma pontuação no Mapa Conceitual desenvolvido pelo aluno pela soma de todas as características mencionadas. Novak e Gowin (1984) ainda propuseram um índice que pode ser calculado pela pontuação dada no Mapa Conceitual do aluno em relação à pontuação dada num Mapa Conceitual de referência.

Schaal (2008), para atingir seus objetivos, usou Mapas Conceituais para avaliar o efeito cognitivo dentro de um domínio de conhecimento complexo e apresentou em seu Artigo um procedimento para avaliar Mapas Conceituais considerando os aspectos relacionados à arquitetura de Mapas Conceituais, no qual estabeleceu como critérios o seguinte:

• O ”volume” de um Mapa Conceitual (total de número de relações usadas no Mapa Conceitual do aluno);

• A ”robustez” que está relacionada à divisão de um Mapa Conceitual em sub Mapas e;

• A quantidade de Proposições precisas em relação ao volume.

Em sua abordagem, Schaal (2008) estabelece que cada aluno forneça uma lista de Proposições mais centrais (conceitos ligados por frases de ligação) e avalia sua corres- pondência com o Mapa Conceitual de um Especialista. A Tabela 1 apresenta os critérios utilizados para obter o coeficiente.

Tabela 1 – Matriz de inter-relações dentro de um Mapa Conceitual. Fonte:Schaal (2008)

No Mapa do aluno

No Mapa do Especialista

Descrição

Não conectado e também Não conectado cnc (Corretamente não conec- tado)

Não conectado mas Conectado mc (Falha na conexão)

Conectado mas Não conectado wc (Conexão errada)

Conectado e também Conectado cc (Conexão correta)

Com esses dados calcula-se o coeficiente pela fórmula:

C

= ( ^P cnc + ^P cc) − ( ^P mc + ^P wc)

Quantidade máxima de interconexões possíveis (2.1) A avaliação dos resultados obtidos pelo cálculo demonstrou eficácia do procedimento implantado, considerando um pré e um pós-teste.

Um sistema de Avaliação do Conhecimento usando Mapas Conceituais foi proposto por Anohina-Naumeca, Grundspenkis e Strautmane (2011). O IKAS Intelligent Knowledge Assessment System avalia o conhecimento dos alunos tomando como base o mapeamento conceitual e fornece possibilidades para o professor melhorar o curso e o método de ensino.

Ele usa um modelo matemático para calcular a pontuação do Mapa Conceitual dos alunos.

O cálculo se baseia na análise das correções das relações de entrada e de saída de um conceito, e sua fórmula foi desenvolvida da seguinte forma:

CM D =

P

lc

P

i=1

lc

∗ 100 (2.2)

Onde

lc

− O número de pontos recebidos para uma i − th relação de um conceito, lc

− O peso de um i − th relação no M apa conceitual do Especialista, e

N − O número de relações de um conceito.

O valor do coeficiente varia entre 0 e 1, onde 0 significa que o aluno não entendeu os conceitos e 1 significa que os conceitos foram perfeitamente entendidos. De acordo com Schaal (2008), a inter-relação dos conceitos é vista como um atributo fundamental de conhecimento.

Cada aprendiz tem uma visão particular do mundo e também de seu aprendizado;

portanto, no desenvolvimento de Mapas Conceituais sobre o mesmo domínio, os aprendizes apresentarão Mapas Conceituais diferentes, uns com relações conceituais mais ou menos consistentes ou com relações inválidas, outros com estruturas mais ricas e conceitos-chaves no domínio proposto.

Apresentar Mapas Conceituais diferentes não significa que eles estão errados, e sim que podem ser expressões particulares, podendo apresentar características da organização conceitual do indivíduo e até complementares, em relação a um Mapa desenvolvido por um Especialista.

Para corrigir possíveis relações conceituais inválidas ou inserir Proposições que

possivelmente não foram representadas, os Mapas Conceituais podem ser construídos de

forma colaborativa.

2.3 Aprendizagem Colaborativa

A Aprendizagem Colaborativa oferece resultados satisfatórios, desde que seu uso seja planejado e alinhado para atingir um determinado propósito (ADÁN-COELLO et al., 2008), (ADETUNJI, 2017), (ERTL; KOPP; MANDL, 2005).

A aprendizagem como parte de um grupo é uma forma importante de ajudar os alunos a adquirir experiência em colaboração e desenvolver habilidades importantes em pensamento crítico, autorreflexão e co-construção do conhecimento (BRINDLEY;

BLASCHKE; WALTI, 2009).

O princípio da aprendizagem colaborativa está na forma como os componentes do grupo se relacionam, como eles interagem para evoluir a aprendizagem e atingir os objetivos propostos. Para que a interação seja mais efetiva, deve-se considerar alguns aspectos, como: conhecimento, facilidade do aluno trabalhar em grupo e outros aspectos considerados emocionais e comportamentais.

Há teorias relacionadas à Aprendizagem Colaborativa que contribuem para melhor compreendê-la; no entanto, todas elas têm em comum o fato de considerar os integrantes responsáveis na construção do conhecimento. Vygotsky (1989), por exemplo, considera o desenvolvimento cognitivo sendo limitado até um determinado potencial e que necessita da interação social para evoluir.

Já a Teoria de Piaget (2007) considera a interação ponto central para estimular o processo de evolução do conhecimento. Ele considera que trabalhando colaborativamente o indivíduo possa contribuir de acordo com o próprio conhecimento.

São muitas as formas de desenvolver uma Aprendizagem Colaborativa e uma delas refere-se ao desenvolvimento de Mapas Conceituais colaborativamente. Nesta atividade, os aprendizes podem apresentar seu próprio Mapa, negociar a adequação dele e permitir o desenvolvimento de um novo Mapa Conceitual Colaborativo. Supõe-se que isso permita a readequação dos conceitos do aprendiz, formando novas estruturas pela alteração dos esquemas que estão na memória de longo prazo.

Conforme Ausubel (2012), para os cognitivistas, a aquisição do conhecimento cognitivo ocorre sempre que uma nova informação é assimilada à estrutura mental existente (esquema) que, ao fazer essa acomodação, modifica-se, permitindo um processo contínuo dos mecanismos internos. A Aprendizagem Colaborativa deve oferecer esta possibilidade pela interação e contribuição de seus integrantes.

Dentro dos grupos, a controvérsia implica uma mistura de elementos competitivos e cooperativos. Isso leva a ganhos motivacionais interpessoais e cognitivo (BUCHS et al., 2004)

Há uma tendência de Mapas Conceituais mais consistentes, mais bem estruturados,

quando são desenvolvidos colaborativamente. Conforme Brindley, Blaschke e Walti (2009), os aprendizes não são passivos, e sim ativos no processo de aquisição do conhecimento, pois participam de discussões, buscam informações e trocam opiniões com seus pares.

Hwang et al. (2014) concluem que os alunos, quando submetidos à Aprendizagem Colaborativa, são capazes de alcançar melhor evolução da aprendizagem do que aqueles com aprendizagem individual ou tradicional. Ele indica, ainda, que a estratégia de mapeamento conceitual colaborativo computadorizado poderia reduzir a carga cognitiva dos alunos e aumentar a realização da aprendizagem.

Alguns critérios de escolhas dos integrantes dos grupos devem ser estabelecidos, principalmente, para propiciar maior interação entre eles. O objetivo é que todos evoluam a aprendizagem reestruturando os conceitos mal formados durante os estudos.

2.4 Revisão sistemática

Baseando-se no que foi descrito nas seções de hipóteses 1.3 e objetivos 1.4, é necessária uma revisão com o objetivo de resumir informações em relação ao que se tem pesquisado sobre avaliações da aprendizagem utilizando Mapas Conceituais.

Esse exame minucioso deve seguir de maneira formal uma série de procedimentos e protocolos, fazendo-se necessário o desenvolvimento de uma revisão sistemática.

Conforme apresentado na Tabela 2, ela se inicia com a definição de uma pergunta de pesquisa, seguida da seleção de palavras-chave a serem utilizadas, bem como em quais Base de Dados serão pesquisados os trabalhos.

Tabela 2 – Protocolo da Revisão Sistemática

Característica Detalhamento

Questões 1) Como os Mapas Conceituais são usados para Avaliação do Conhecimento?

2) Quais ferramentas são usadas para avaliar a Aprendizagem Significativa quantitativa e qualitativamente?

3) Há frameworks ou modelos que proporcionem aos alunos a avaliação de sua estrutura conceitual?

String de busca (Meaningful Learning OR Concept Map) AND (assessment) Base de dados ACM Digital Library, IEEE Xplore, CAPES

Critérios para inclu- são de trabalhos

Publicados entre 2000 e 2017, que respondessem às questões de pesquisa.

Critérios para exclu- são de trabalhos

Não estarem no período de tempo exigido; indisponibilidade do texto; Os trabalhos que não abordassem o tema nem respondessem às questões de pesquisa; trabalhos que se apresentaram como síntese, manuais ou relatórios.

Conforme pode ser observado na Tabela 2, a escolha pela string contendo o termo

Meaningful Learning OR Concept Map AND Assessment foi estabelecida pelo motivo de

os trabalhos desenvolvidos nessa linha de pesquisa abordarem Avaliação da Aprendizagem

Significativa usando Mapas Conceituais.

Para a revisão sistemática, uma string de busca contendo a palavra model ou framework em conjunto com Meaningful Learning OR Concept Maps seria bastante adequada devido à proposta dessa pesquisa. No entanto, ao realizar alguns testes nas bases de Artigos, inserindo as palavras "model" ou "framework" em conjunto com Meaningful Learning OR Concept Maps, nenhum Artigo foi retornado.

Após definir, na Etapa 1, as questões de pesquisa e protocolo incluindo a string, buscaram-se, na Etapa 2, trabalhos nas Bases de Dados especificadas na Tabela 2, que se encontravam em conformidade com os critérios de inclusão. Foram encontrados 83 Artigos que, passando pela Etapa 3, constando da avaliação do título, palavras-chave e abstract, foram reduzidos para 41.

Muitos dos Trabalhos descartados, embora descrevessem o Meaningful Learning OR Concept Maps, não apresentavam um processo ou uma ferramenta para a Avaliação do Conhecimento; portanto, não foram considerados adequados para aprofundamento da leitura, de acordo com os critérios de exclusão.

Dos 41 Trabalhos presentes, iniciou-se a Etapa 4, que consistiu em aprofundar na leitura completa, sendo descartados 12 Trabalhos em virtude de não estarem de acordo com os objetivos da pesquisa, ainda que tenham passado pelos critérios de exclusão; sendo assim, para a revisão e análise, ficaram 29 Artigos.

Tabela 3 – Processo de busca de Artigos Científicos.

Etapa Descrição Quantidade de Títulos

1 Definição das questões de pesquisa —-

2 Buscas nas Base de Dados 83

3 Avaliação do título, resumo e palavras- chave

41

4 Seleção para leitura completa 29

O intervalo definido para buscar Artigos nas bases de dados foi entre o ano 2000 e 2017; portanto, os 29 Artigos separados para leitura se encontram nesse período e estão distribuídos em quantidades conforme apresentado na Figura 1.

Frequência maior é encontrada em 2014; logo depois a frequência de publicações cai, mas mantém a média de Artigos publicados ao longo do período definido. Pode-se presumir que esse aumento se deve ao fato de os pesquisadores valorizarem o tema de pesquisa em questão e de manterem os estudos usando essa ferramenta.

A partir da leitura dos 29 Artigos selecionados de acordo com as questões de pesquisa, os termos da string de busca e os filtros, mais o que foi definido nos critérios de inclusão e exclusão, extraiu-se, conforme Figura 2, uma nuvem com 30 palavras mais frequentemente usadas.

Percebe-se pela nuvem que há coerência com o objetivo da pesquisa dessa revisão,

pois palavras como Concept(s), map(s), students, assessment, learning, knowledge, scoring

Figura 1 – Quantidade de publicações por ano estão entre as palavras mais frequentes encontradas nos Artigos.

Observa-se, pela leitura dos Artigos selecionados, a utilização de Mapas Conceituais desenvolvidos por Especialista, com o objetivo de comparar com os Mapas Conceituais dos alunos (POURSAEED; LEE, 2010); (LIN et al., 2002); (PARK; CALVO, 2008);

(ANOHINA-NAUMECA; MILASEVICHA, 2011); (PAILAI et al., 2017); (GHANI et al., 2017). Dessa comparação, obteve-se uma pontuação ou referência para avaliar o quanto o aluno conseguiu atingir os objetivos no domínio proposto.

Outra observação merecedora de destaque foi a preocupação em relação ao tempo dispendido pelos professores/instrutores para avaliar os Mapas Conceituais. Os Artigos (WU et al., 2012) e (HOEFT et al., 2003) que abordaram a automatização da Avaliação do Mapa Conceitual tinham como um dos problemas descritos o tempo de avaliação e por esse motivo propuseram uma ferramenta ou sistema a fim de agilizar o processo.

Outros Artigos (GHANI et al., 2017), (PAILAI et al., 2017); (WU et al., 2012);

(NEDUNGADI; HARIDAS; RAMAN, 2015) e (LIU; LEE, 2013) propõem a avaliação da forma tradicional, buscando apresentar diferenças na evolução da aprendizagem ao se utilizar Mapas Conceituais. Nessa abordagem, os alunos são separados em grupo experimental e grupo de controle para serem avaliados. Com os resultados obtidos, cálculos estatísticos são utilizados para demonstrar as diferenças entre os grupos.

As propostas de utilização de Mapas Conceituais apresentadas não incluíam uma solução como o desenvolvimento de um plug-in para os Ambientes Virtuais de Aprendizagem (AVA).

As que apresentaram algum desenvolvimento de ferramenta, sistemas ou aplicação

Figura 2 – Nuvem de Palavras dos Artigos Fonte: www.worditout.com

(KARDAN; RAZAVI, 2014); (SASSON; RAVID; PLISKIN, 2016); (CAÑAS et al., 2013);

(PETROVIC; JEREN; PALE, 2013); (PETROVIC; JEREN; PALE, 2013); (SALEM;

BELCADHI; BRAHAM, 2013); (POURSAEED; LEE, 2010); (PARK; CALVO, 2008);

(KORNILAKIS et al., 2004); (ANOHINA; GRUNDSPENKIS, 2009) e (STRAUTMANE, 2014) o fizeram de forma específica para o estudo em questão.

O fato descrito acima leva a presumir que o desenvolvimento de uma aplicação é o mais adequado, visto que os Ambientes Virtuais de Aprendizagem disponíveis oferecem ferramentas voltadas para a Avaliação Somativa e não Formativa. Nos parágrafo a seguir, são apresentados alguns detalhes dessas iniciativas.

A utilização de fórmulas objetivando resultados sobre a Avaliação do Mapa Con- ceitual desenvolvido foi discorrida em Petrovic, Jeren e Pale (2013), Gouli et al. (2005), Calafate, Cano e Manzoni (2009), Lin et al. (2002) e Ghani et al. (2017). Esses Artigos não incluem nas fórmulas uma solução para cálculo da Reconciliação Integrativa.

A avaliação da estrutura do Mapa Conceitual e, consequentemente, a representação da estrutura mental foram discorridos em Chen, Cheng e Heh (2005). Uma matriz de proximidade é construída para representar o conhecimento do aluno pela comparação de Mapas Conceituais.

Dois dos Artigos selecionados Lee, Jang e Kang (2015) e Watson et al. (2016), basearam-se nos critérios definidos por Novak e Gowin (1984) para avaliar os Mapas Conceituais; no entanto, não implementaram ferramenta para automatização da avaliação.

Yin e Shavelson (2008) descrevem em seu Artigo o resultado da aplicação de duas

técnicas no desenvolvimento do Mapa Conceitual. Uma delas se refere ao desenvolvimento

do Mapa Conceitual a partir de conceitos disponibilizados. A outra técnica consiste em oferecer frases de ligação e conceitos para o desenvolvimento de Mapa Conceitual. Um experimento foi feito e os resultados indicaram melhor desenvolvimento na compreensão ao disponibilizar somente os conceitos em relação ao outro método que forneceu os conceitos e as frases de ligação.

O Artigo escrito por Rosen e Tager (2014) e o de Mok, Whitehill e Dodd (2014) avaliam se o desenvolvimento de Mapas Conceituais auxilia na performance do pensamento crítico.

Rosen e Tager (2014) observaram melhores contribuições e recomendações nas atividades propostas em relação ao método tradicional. Mok, Whitehill e Dodd (2014) desenvolveram uma ferramenta para a avaliação.

Turns, Atman e Adams (2000) propõem um método para avaliar os Mapas Con- ceituais no Curso de Engenharia. São definidas pontuações considerando a estrutura do Mapa Conceitual, a frase de ligação, se há ligação cruzada e também para os subdomínios nos Mapas Conceituais. O Artigo destaca o tempo dispendido para a Avaliação do Mapa Conceitual, descrevendo-o como ferramenta ineficaz para turmas grandes de alunos.

Adequar o Mapa Conceitual, tornando-o mais formal, foi descrito por Ferguson (2003). A abordagem propõe o desenvolvimento no padrão UML, com os Mapas Conceituais desenvolvidos sobre um determinado domínio. No teste apresentado, notou-se que é possível aplicar as ideias de associação, composição e generalização para estabelecer ligações entre os conceitos.

Graudina e Grundspenkis (2011) também propõem a formalização do Mapa Con- ceitual, apresentando um algoritmo para convertê-lo numa ontologia.

A Tabela 4 apresenta de forma resumida informações relevantes para esse estudo, sobre a revisão sistemática. Em cada Artigo selecionado, houve um estudo a fim de verificar se os autores desenvolveram fórmula para representar a estrutura do conhecimento do aluno e/ou se desenvolveram uma aplicação para Avaliação de Mapas Conceituais.

Tabela 4 – Características dos Artigos selecionados

Título Proposta Fórmula Aplicativo

1 ASSESSING USERS’ MEN-

TAL KNOWLEDGE BY

USING STRUCTURAL AP- PROACH AND CONCEPT

MAP (CHEN; CHENG;

HEH, 2005)

Avaliar o conhecimento mental dos usuários com base na es- trutura e as características do Mapa Conceitual.

—- —-