Márcia G. de Oliveira1, Nádia Elôina Barcelos Fraga2, Lucinéia Barbosa da Costa3, Elias Oliveira2 1 Programa de Pós-Graduação em Engenharia Elétrica
Universidade Federal do Espírito Santo (UFES) Caixa Postal 5011 – 29.060-970 – Vitória – ES – Brazil
2Departamento de Ciências da Informação – UFES Vitória – ES – Brazil
3Programa de Pós–Graduação em Informática na Educação Instituto Federal do Espírito Santo (IFES) – ES – Brazil
clickmarcia@gmail.com, nefraga@uol.com.br, cliklucineia@gmail.com, elias@acm.org
Abstract. Indexing consists of a complex process of examining the whole do-cument to establish his subject, identify the representative concepts within this subject and translate them into terms of an indexing language. Based both on methodologies of mapping students and patterns recognition, we developed a system, called NADID (Núcleo de Avaliação Diagnostica de Indexação de Do-cumentos), to assist the instructor in the diagnosis the students’ difficulties of learning. The NADID consists of an automatic assessment module and also an automatic learning maps generation module. The accuracy of the generated maps by the NADID is justified as an effective tool in the diagnostic evaluation of students.The results of the generated maps by the NADID provide a detailed and agile diagnostic of the learning problems in this class.
Resumo. A indexação consiste de um complexo processo de examinar um do-cumento, estabelecer seu assunto, identificar os conceitos representativos desse assunto e traduzi-los nos termos de uma linguagem de indexação. Através de uma metodologia de mapeamento de alunos e de uma tecnologia de reconhe-cimento de padrões, desenvolvemos o sistema NADID (Núcleo de Avaliação Diagnostica de Indexação de Documentos) para auxiliar o professor no diag-nóstico das dificuldades de aprendizagem dos alunos. O NADID é composto por um módulo de correção automática de exercícios e um módulo de geração de mapas de aprendizagem. Os resultados dos mapas gerados pelo NADID em uma turma real de indexação forneceram um diagnóstico ágil e detalhado dos problemas de aprendizagem dessa turma.
1. Introdução
A indexação é um conhecimento da área de Ciência da Informação utilizado para a re-presentação temática de documentos. No processo de indexação, o aprendiz deve ler um documento e extrair dele expressões textuais que sintetizem o tema abordado.
O Sistema NADID para Avaliação de Dificuldades de
Aprendizagem no Processo de Indexação de Documentos
O processo de ensino-aprendizagem de indexação é considerado complexo porque requer do aluno a prática de muitos exercícios e do professor, um grande esforço manual e cognitivo na correção dessas atividades. Esse esforço do professor e a carência de tec-nologias que apóiem o ensino-aprendizagem de indexação dificultam o acompanhamento individual em turmas numerosas.
Com os objetivos de reduzir esforços na correção de exercícios de indexação e de auxiliar o professor na gestão das aprendizagens de seus alunos, desenvolvemos o sistema NADID (Núcleo de Avaliação Diagnóstica da Indexação de Documentos) para assistir o processo de ensino-aprendizagem de indexação. O sistema NADID é uma tecnologia de reconhecimento de padrões implementada em algoritmos de clustering e fundamentada em uma metodologia de avaliação diagnóstica.
Os modelos de avaliações diagnósticas propostos concentram-se em geral nas difi-culdades de aprendizagem de conteúdos [Mazza and Dimitrova 2007] e nos conhecimen-tos prévios dos alunos [Lin et al. 2011]. Algumas soluções têm chamado a atenção para o reconhecimento de perfis, isto é, de alunos que compartilham as mesmas dificuldades de aprendizagem [Pimentel et al. 2003, Cheng et al. 2005, Oliveira and Oliveira 2008]. O diferencial deste trabalho em relação a esses modelos é propor uma avaliação diagnóstica fundamentada em uma metodologia que contemple, além dos desempenhos em conteú-dos, as habilidades envolvidas no processo de aprendizagem.
De acordo com [Cheng et al. 2005], um bom sistema de avaliação diagnóstica deve satisfazer dois requisitos: identificar dificuldades particulares dos estudantes e por que essas dificuldades ocorrem. Para atender esses requisitos e reduzir esforços do profes-sor na correção de atividades, o sistema NADID agrega dois módulos: o Módulo de Cor-reção Automática e o Módulo de Mapeamento Automático de Aprendizagens. O primeiro módulo reúne respostas similares em clusters para atribuir uma nota comum a padrões de um mesmo cluster. O segundo módulo mapeia os desempenhos dos alunos e gera gráficos que revelam classes de dificuldades de aprendizagem bem como suas possíveis causas.
Os primeiros experimentos realizados em um turma real de indexação demonstra-ram a eficácia do sistema NADID para mapear variáveis de aprendizagem e apresentar diagnósticos claros dos pontos de dificuldades de aprendizagem dos alunos, conforme análise de um professor de indexação.
Este trabalho está organizado conforme a ordem a seguir. Na Seção 2, descreve-mos o processo de indexação de documentos, bem como a sua complexidade. Na Seção 3, apresentamos o sistema NADID, a metodologia de avaliação diagnóstica e a arquite-tura do sistema. Na Seção 4, discutimos os experimentos e os resultados de avaliação diagnóstica. Na Seção 5, concluimos com as considerações finais.
2. O processo de indexação
O processo de indexação compreende dois estágios: o estágio analítico e o estágio de tradução. No estágio analítico, as operações se condicionam à leitura documentária, que compreende o processamento do ato de ler para extrair conceitos que traduzam a essência de um documento [Naves 2001]. No estágio de tradução, os conceitos selecionados na análise passam a ser representados nos termos de uma linguagem de indexação.
indexador e depende de estratégias que facilitem a compreensão para uma leitura concei-tual, isto é, dentro da concepção orientada para o conteúdo do documento [Fujita 2006].
Frente a complexidade peculiar à análise de assunto, torna-se difícil realizá-la e ensiná-la [Naves 2001]. Isso têm orientado a proposição de modelos de leitura do-cumentária voltado a um questionamento que o indexador realiza na interação com o texto para melhor extrair conceitos a partir de uma leitura compreensiva. Trata-se de uma abordagem sistemática como estratégia que orienta o indexador na identi-ficação dos conceitos [Fujita and Rubi 2006], conforme preconiza a Norma 12676 da Associação Brasileira de Normas Técnicas [ABNT 1992] e iniciativas por parte de [Fujita and Rubi 2006, Maculan and Lima 2010].
Figura 1. O processo de indexação
A tradução de conceitos da Figura 1, no contexto da indexação, está diretamente ligada às operações que compreendem o estágio analítico. Se essas operações forem mal realizadas, dificilmente o documento será adequadamente representado e recuperado.
O preenchimento dos campos da coluna 2 do quadro de indexação da Figura 1, em resumo, prevê os seguintes conceitos essenciais: objeto (a11), fundamento teórico (a21), ação (a31), agente (a41), métodos do agente (a51), local ou ambiência (a61), causa e efeito (a71) e ponto de vista do autor/perspectiva (a81).
Na coluna 3, na Figura 1, os conceitos essenciais identificados na coluna 2 são traduzidos nos termos de uma linguagem de indexação (a12, a22, a32...). Neste caso, entre outros fatores, consideramos que o domínio da estrutura da linguagem (vocabulário e sintaxe) concorrem para uma adequada representação do conteúdo do documento.
3. O sistema NADID
O sistema NADID foi desenvolvido como um núcleo de avaliação diagnóstica para o sistema online de atividades de indexação de documentos proposto por [Oliveira et al. 2010]. Esse núcleo é uma tecnologia fundamentada no modelo de ava-liação diagnóstica da metodologia ANEA (Analisar, Nivelar, Ensinar, Avaliar) e imple-mentada em algoritmos de clustering1. Através do NADID, os quadros de indexação preenchidos pelos alunos são corrigidos automaticamente e, em seguida, os desempenhos desses alunos bem como as suas dificuldades de aprendizagem são mapeados em gráficos gerados pelos algoritmos de clustering.
3.1. A Metodologia ANEA
A ideia da Metodologia ANEA é submeter o aluno a uma sequência de etapas de um processo de avaliação de aprendizagens, de forma que ele seja, sob diferentes variáveis, monitorado e regulado pelo professor. Caso o aluno chegue à última etapa dessa seqüên-cia e não obtiver um nível de desempenho satisfatório, voltar-se-á para a etapa iniseqüên-cial repetindo toda a seqüência de etapas até alcançar êxitos.
A metodologia ANEA é dividida em quatro etapas: Analisar, Nivelar, Ensinar e Avaliar. As avaliações diagnósticas são realizadas nas etapas Analisar e Avaliar e as avaliações formativas, nas etapas Nivelar e Ensinar. Na Tabela 1, são apresentadas cada uma das etapas da metodologia ANEA e como elas são realizadas.
Metodologia ANEA
Etapas Objetivos Avaliações
Analisar Analisar habilidades de compreensão, de análise de assunto e de tradução em linguagem formal
Avaliação diagnóstica com foco nas habilidades
Nivelar Nivelar o conhecimento dos alunos monitorando os componentes das ha-bilidades [Anderson 2000] envolvidas no processo de indexação
Avaliação formativa com foco nas habilidades
Ensinar Capacitar o aluno nas técnicas de inde-xação de documentos
Avaliação formativa com foco nos conteúdos
Avaliar Avaliar nível de aprendizagem Avaliação diagnóstica com foco nas variáveis de aprendizagem do processo de indexação Tabela 1. Etapas da Metodologia ANEA
O sistema NADID contempla apenas as etapas Analisar e Avaliar da metodologia ANEA. Na avaliação diagnóstica da etapa Analisar, os quadros de indexaçao preenchidos pelos alunos são mapeados em variáveis para diagnosticar deficiências nas habilidades de análise de assunto e de tradução. Através desse diagnóstico é possível também evidenciar as possíveis causas das dificuldades no processo de indexação.
Na avaliação diagnóstica da etapa Avaliar, reutilizamos as mesmas variáveis de avaliação da etapa Analisar, mas dessa vez para avaliar êxitos na aprendizagem dos
nhecimentos necessários para a prática da indexação. Dessa forma, se as variáveis de avaliaçao diagnóstica do processo de indexação obtiverem progressos ao longo do tempo, isso significa que houve de fato aprendizagem.
3.2. Clustering hierárquico
O clustering é uma técnica de reconhecimento de padrões que forma clusters ou agru-pamentos naturalmente a partir dos padrões de entrada. O clustering é de aprendizagem não-supervisionada, isto é, não precisa de exemplos pré-classificados de padrões para orientar-se na formação de clusters ou classes não-rotuladas [Duda et al. 2000].
O método de clustering hierárquico organiza padrões hierarquicamente obede-cendo à similaridade entre esses padrões. Os resultados de clusterização hierárquica, em geral, são apresentados na forma de dendrogramas que representam hierarquias, conforme podem ser visualizados nos gráficos da Seção 4. As raízes de um dendrograma represen-tam clusters e as folhas, os padrões agrupados nesses clusters.
Nos experimentos deste trabalho, aplicamos a abordagem aglome-rativa de clustering hierárquico com a medida de similaridade cosseno [Baeza-Yates and Ribeiro-Neto 1998]. Na abordagem aglomerativa, cada padrão é considerado um cluster unitário. Esses padrões são mesclados recursivamente por alguma medida de similaridade até que todos os agregados fiquem fundidos em um único cluster [Manning et al. 2008].
3.3. A arquitetura do sistema
A arquitetura do sistema NADID (Figura 2) é composta por Interface Online de Ativida-des, Núcleo de Avaliação Diagnóstica (AD) e Interface Online de Avaliação.
Figura 2. Arquitetura do sistema NADID
Na Interface Online de Atividades de Indexação, os alunos resolvem exercícios. Através de um link, o aluno acessa o objeto de análise (ou documento) sorteado da base de Objetos de Indexação. Ao analisar o documento, o aluno preenche o quadro de indexação desse objeto, conforme o modelo da Figura 1. Todos os campos do quadro de indexação preenchido são armazenados na base de Quadros de Indexação.
No núcleo AD da Figura 2, através do Módulo de Correção Automática de Ati-vidades os quadros de indexação são corrigidos através dos algoritmos de clustering. O
processo de correção automática dos quadros de indexação ocorre em cinco etapas. Na etapa 1, para cada item de um quadro de indexação, são extraídas todas as respostas dadas por alunos. Na etapa 2, é criada uma representação vetorial para cada coleção de res-postas extraídas na etapa 1. Na representação vetorial, cada resposta é representada pela frequência de suas palavras em cada documento (dimensão) da coleção, conforme o mo-delo da Figura 3. Na forma de uma matriz, a coleção de vetores é submetida a algoritmos de clustering. Na etapa 3, obtém-se, através desses algoritmos, clusters ou agrupamentos das respostas similares entre si. Na etapa 4, são apresentados na Interface Online de Ava-liação alguns exemplos de cada agrupamento para o professor atribuir notas. Na etapa 5, as notas atribuídas pelo professor aos exemplos de um agrupamento seriam atribuídas automaticamente a todas as demais respostas desse agrupamento.
A aplicação do modelo de correção automática do sstema NADID em uma turma real de indexação apontou para resultados de 90,4% de precisão na correção automática de 7010 itens de quadros de indexação [Oliveira et al. 2010].
Figura 3. Representação vetorial de atividades de indexação
O Módulo de Mapeamento Automático de Aprendizagens do Núcleo AD, na Fi-gura 2, representa os alunos em função dos seus desempenhos em cada um dos itens de um quadro de indexação. Dessa forma, cada aluno é representado por um vetor, onde cada dimensão é o desempenho do aluno no item ai j (1 ≤ i ≤ 8 e 1 ≤ j ≤ 2) de um quadro
de indexação. Os vetores formados são reunidos em forma de matriz e submetidos aos algoritmos de clustering hierárquico que geram os gráficos de avaliação diagnóstica.
O Módulo de Mapeamento Automático de Aprendizagens do Núcleo AD também gera gráficos dos alunos em função dos seus desempenhos em cada um dos objetos de análise do processo de indexação. Esses objetos, por sua vez, são mapeados em função dos itens ai j do quadro de indexação. Através dos gráficos gerados, é possível avaliar a
complexidade dos objetos de análise do processo de indexação.
A Interface Online de Avaliação da Figura 4 é utilizada pelo professor para atribuir e alterar as notas de cada item dos quadros de indexação submetidos pelos alunos. Essa interface fornece ao professor uma visão completa e imparcial das respostas dos alunos para cada item dos quadros de indexação.
Uma vez que os quadros de indexação sejam corrigidos automaticamente pelo Nú-cleo AD, na Interface Online de Avaliação, o professor apenas atribui notas e pesos aos exemplos representativos dos agrupamentos de respostas dos itens dos quadros de indexa-ção ou apenas altera as notas e pesos já estimados pelo Módulo de Correindexa-ção Automática.
4. Experimentos e resultados
Os experimentos de avaliação diagnóstica do sistema NADID foram realizados em uma turma real de 27 alunos. A avaliação de desempenhos desses alunos foi feita sob uma base de cerca de 8000 exercícios representados pelos itens ai j dos quadros de indexação.
Para a realização das atividades, o professor disponibilizou vinte artigos científicos como objetos de análise dos quadros de indexação a serem preenchidos pelos alunos.
Figura 4. Interface Online de Avaliação
Os resultados dos desempenhos obtidos pelos alunos nos quadros de indexação foram submetidos aos algoritmos de clustering para o mapeamento das dificuldades de aprendizagem dos alunos e da complexidade dos artigos analisados pelos alunos.
Nos gráficos das Figuras 5 e 6, as áreas brancas indicam desempenhos inferiores a 50% evidenciando as dificuldades de aprendizagem. As áreas semi-escuras e escuras indicam desempenhos acima de 50%. Nesses gráficos, os desempenhos foram calculados por precisão, isto é, pelo quociente da soma de todos os acertos da variável independente (um item ai j ou um artigo) pelo total de conceitos dessa variável, segundo o gabarito.
Para mapeamento das dificuldades de aprendizagem dos alunos, foi gerada uma matriz M onde cada linha representava um aluno da turma selecionada para o experimento e cada coluna, os desempenhos de um aluno nos itens ai j dos quadros de indexação.
Após a matriz M ser submetida aos algoritmos de clustering, foi gerado um mapa das dificuldades de aprendizagem da turma, conforme a Figura 5.
Para os mapeamentos das complexidades dos artigos analisados da Figura 6, fo-ram geradas as matrizes de desempenhos A e B, que representam, respectivamente, os desempenhos dos alunos em relação aos artigos (Gráfico A) e os desempenhos nos arti-gos em relação a cada item ai j do quadro de indexação (Gráfico B).
Nos gráficos das Figuras 5 e 6, as linhas, isto é, os padrões, apresentam-se em hierarquias construídas em dendrogramas gerados pelos algoritmos de clustering hierár-quico. Através dessas hierarquias, podemos visualizar quais padrões mais se assemelham em suas características de desempenhos. Vale ressaltar que os clusters são representados pelas raízes dos dendrogramas.
4.1. Discussões
Os resultados de avaliação diagnóstica do sistema NADID apontam deficiências em al-gumas habilidades envolvidas no processo de indexação como possíveis causas das
difi-Figura 5. Mapeamento de aprendizagens dos alunos
culdades dos alunos na prática da indexação. Conforme pode ser observado no cluster 2 da Figura 5, mais de 80% da turma compartilha praticamente as mesmas dificuldades de aprendizagem apontadas nas áreas brancas, pois os alunos agrupados nesse cluster assemelham-se em 87,5% nos seus desempenhos.
No primeiro gráfico (Figura 5), as áreas brancas evidenciam nos desempenhos dos pares (a21 ,a22), (a31, a32), (a51, a52), (a71, a72) dificuldades na análise de assunto e, por conseguinte, na tradução. Inferimos, dessa forma que os textos submetidos aos alunos, na Figura 5, contam com essa prerrogativa. Mas, avanços na aprendizagem devem ser promovidos sobre o conhecimento prévio de partes da estrutura textual mais indicadas à identificação de conceitos essenciais. Nesse ponto, haverá necessidade do professor rever o processo porque a estrutura de textos científicos em diferentes domínios de conheci-mento constitui uma variável importante na compreensão da leitura para os objetivos da indexação. Isso pode ser visualizado nas áreas brancas do Gráfico (B) da Figura 6, nas colunas dos artigos 1, 2, 7, 10, 3 e 5, que revelam a complexidade desses artigos.
No entanto, pode-se observar que os alunos com várias áreas brancas na Figura 5 têm fracos desempenhos na análise de vários artigos, conforme o Gráfico (A) da Figura 6. Isso nos leva a concluir que as causas principais das dificuldades de aprendizagem vêm mais das deficiências de leitura documentária do que da complexidade dos artigos.
A identificação de conceitos consiste na operação mais importante da indexação e isso implica a compreensão adequada do uso de metodologias que combinem a explo-ração da estrutura textual com uma abordagem sistemática de um questionamento que o indexador faz ao texto como estratégia de leitura.
De acordo com o professor da disciplina de indexação, grande parte das dificul-dades relacionadas ao estágio de tradução apontadas nos itens ai2 da Figura 5 poderão
encontrar soluções nas ações corretivas dirigidas ao estágio analítico do processo de inde-xação. Além disso, deve-se considerar como soluções a ampliação da carga horária e mais
Figura 6. Mapeamentos de aprendizagens em relação aos objetos de análise
ações formativas para que as habilidades de leitura documentária melhor se desenvolvam favorecendo uma melhor formação do indexador.
5. Considerações finais
O processo de avaliação contínua e formativa ainda é uma da grandes dificuldades no dia-a-dia do qualquer professor. Só conseguiremos diagnosticar bem as dificuldades dos alunos em sala de aula se os avaliarmos em vários momentos e de diversas formas. Con-tudo, isso nos demanda horas de trabalho extra. Soma-se à dificuldade do problema o fato de que cada vez mais a demanda pelo aumento de alunos em uma sala é sempre crescente. O NADID colhe as respostas textuais dos alunos em suas atividades formativas, vetoriza essas atividades e as submete ao processo de clustering. Com esse procedimento o professor passa a lidar apenas com um mapa de clusters de respostas similares. Ao atribuir seu parecer para uma resposta do cluster, o sistema entende que as demais res-postas existentes no mesmo cluster deverão, em princípio, possuir a mesma avaliação. Diminuindo assim o esforço de avaliação em uma sala.
Através dos diagnósticos gerados pelos sistema NADID, foi possível para o pro-fessor reconhecer as possíveis causas das dificuldades de aprendizagem dos alunos e qual direção seguir para tratar essas dificuldades. Concluimos, portanto, que o sistema NADID é um instrumento eficaz na avaliação diagnóstica e representa um passo inicial importante para auxiliar professores na avaliação formativa de alunos.
Referências
ABNT (1992). Métodos para análise de documentos – determinação de seus assuntos e seleção de termos de indexação. Technical Report NBR 12676, Rio de Janeiro.
Anderson, J. (2000). Cognitive psychology and its implications. Worth Publishers, New York and Basingstoke.
Baeza-Yates, R. and Ribeiro-Neto, B. (1998). Modern Information Retrieval. Addison-Wesley, New York, 1 edition.
Cheng, S.-Y., Lin, C.-S., Chen, H.-H., and Heh, J.-S. (2005). Learning and diagnosis of individual and class conceptual perspectives: an intelligent systems approach using clustering techniques. Computers & Education, 44(3):257 – 283.
Duda, R. O., Hart, P. E., and Stork, D. G. (2000). Pattern classification (2nd Edition). Wiley-Interscience.
Fujita, M. (2006). Abordagem cognitiva e sócio–cognitiva da leitura documentária na formação inicial do indexador: análise da perspectiva individual em contexto socio-cultural. In VII ENANCIB:Encontro Nacional de Pesquisa em Ciência da Informação, Marília (SP). ENANCIB.
Fujita, M. S. L. and Rubi, M. P. (2006). Um modelo de leitura documentária para a ção de artigos científicos: princípios de elaboração e uso para a formação de indexadores. DataGramaZero, 7(3):1–18.
Lin, Y.-C., Lin, Y.-T., and Huang, Y.-M. (2011). Development of a diagnostic system using a testing-based approach for strengthening student prior knowledge. Computers & Education, 57(2):1557–1570.
Maculan, B. and Lima, G. (2010). Proposta de modelo de leitura para extração de con-ceitos: criação de taxonomia facetada para navegação em bibliotecas digitais de teses e dissertações. In XI ENANCIB:Encontro Nacional de Pesquisa em Ciência da Infor-mação, Rio de Janeiro. ENANCIB.
Manning, C., Raghavan, P., and Schutze, H. (2008). Introduction to information retrieval. Editora Thomson, Cambridge University Press.
Mazza, R. and Dimitrova, V. (2007). CourseVis: A graphical student monitoring tool for supporting instructors in web–based distance courses. In International Journal of Human–Computer Studies, volume 65, pages 125–139, London, ROYAUME-UNI. Elsevier.
Naves, M. M. L. (2001). Estudo de fatores interferentes no processo de análise de assunto. Perspectivas em Cieˆncia da Informação, 6(2).
Oliveira, E., Fraga, N., Oliveira, M., and Marchesi, R. (2010). Uma tecnologia de agru-pamento de respostas para redução de esforço de correção de atividades em sistema online de apoio à avaliação formativa em indexação. In XI ENANCIB:Encontro Naci-onal de Pesquisa em Ciência da Informação, Rio de Janeiro. ENANCIB.
Oliveira, M. and Oliveira, E. (2008). Avaliar para nivelar e formar: um sistema online de avaliação formativa para alunos de biblioteconomia. In Anais do XIX Simpósio Brasileiro de Informátiva na Educação (SBIE 2008), Fortaleza. SBC.
Pimentel, E., FranÇa, V., and Omar, N. (2003). A identificação de grupos de aprendizes no ensino presencial por técnicas de clusterização. In XIV Simpósio Brasileiro de Informática na Educação (SBIE), pages 523–532, Rio de Janeiro, RJ. Anais do XIV Simpósio Brasileiro de Informática na Educação.
