Avaliar para Desenvolver Habilidades e Nivelar: Metodologia de Avaliações Online como Apoio ao Ensino e à Aprendizagem de Classificação Documentária

Avaliar para Desenvolver Habilidades e Nivelar: Metodologia

de Avaliações Online como Apoio ao Ensino e à Aprendizagem

de Classificação Documentária

1_{Programa de Pós Graduação em Engenharia Elétrica (PPGEE)}

Universidade Federal do Espírito Santo (UFES) Caixa Postal 5011 – 29.060-970 – Vitória – ES – Brazil

2_{Departamento de Ciências da Informação – UFES}

Vitória – ES – Brazil

clickmarcia@gmail.com, elias@lcad.inf.ufes.br

Resumo. A classificação de documentos é um processo mental que envolve diferentes habilidades. No entanto, cursos de classificação concentram-se no ensino e na aprendizagem de técnicas de classificação sem levar em considera-ção as habilidades inerentes ao processo de classificar. Este trabalho apresenta uma metodologia computacional de avaliações diagnóstica e formativa para apoio ao processo de ensino e de aprendizagem de classificação. A ideia é favorecer o desenvolvimento de habilidades de classificação de forma a promover o nivelamento de aprendizes. A aplicação dessa metodologia em turmas de classificação documentária possibilitou que mais de 75% dos alunos alcançassem desempenhos médios superiores a 80% assim como 100% de aprovação ao final de um curso.

Palavras-chave: Classificação documentária, Habilidades cognitivas, Avalia-ção diagnóstica, AvaliaAvalia-ção formativa, CDU, Nivelamento

1. Introdução

A classificação documentária é um conhecimento da área da Biblioteconomia relacionado à representação temática de documentos. Ao contrário de outros tipos de classificações, a classificação documentária é minuciosamente elaborada e consiste de um processo mental complexo, pois requer a ação conjunta de várias habilidades operatórias [1]. Entre as habilidades inerentes à prática da classificação documentária, citamos as habilidades de observar, compreender, analisar, relacionar, comparar, c ombinar, sintetizar e criar [2][3].

Uma vez que a classificação documentária está associada a várias habilidades, torna-se necessário que o seu processo de ensino-aprendizagem contemple o desenvolvi-mento dessas habilidades e não apenas as técnicas da prática de classificação. No entanto, o alto número de alunos e as marcantes desigualdades entre alunos de cursos de classifi-cação tornam praticamente inviável uma prática pedagógica diferenciada [4] e que ainda se destine ao desenvolvimento de habilidades.

Mas, ainda assim, o ensino de classificação documentária poderá ser muito mais eficaz se preparar alunos para o exercício de habilidades associadas à prática da classi-ficação. Isso poderá ser realizado transformando os próprios conteúdos ministrados em instrumentos de aprimoramento dessas habilidades [3].

Para atender às necessidades do processo de ensino-aprendizagem de classifi-cação documentária, desenvolvemos uma metodologia computacional que favorecesse o desenvolvimento das habilidades de classificar e, por conseguinte, uma aprendizagem coletiva e significativa. Para isso, desenvolvemos um Sistema Online de Atividades de Classificação (SOAC) para avaliações diagnóstica e formativa [5].

A avaliação diagnóstica é realizada pelo reconhecimento automático de perfis de alunos e de suas dificuldades individuais de aprendizagem [6]. Esse reconhecimento automático é realizado por técnicas de clusterização automática que consistem em agrupar padrões com base em suas características similares[7].

A Avaliação formativa, por sua vez, é realizada por regulação e autorregulação de aprendizagens implementadas nas principais funcionalidades do sistema SOAC.

A nossa metodologia foi aplicada recentemente em uma turma de Bibliotecono-mia com cerca de 37 alunos. Os resultados alcançados ao longo do processo de ensino-aprendizagem dessa turma foram promissores. Nessa turma, 100% dos alunos foram aprovados com desempenhos predominantemente superiores a a 80%, apontando para sucessos coletivos de aprendizagem.

Este trabalho está organizado na ordem descrita a seguir. Na Seção 2, apresen-tamos nossa proposta de metodologia de avaliações diagnóstica e formativa para nivela-mento de alunos. Na Seção 3, apresentamos o software de clusterização automática Cluto 2.1.2 utilizado nos experimentos deste trabalho. Na Seção 4, relatamos uma experiência de aplicação de nossa metodologia e os resultados alcançados. Na Seção 5, concluimos com as considerações finais e os trabalhos futuros.

2. Avaliações diagnóstica e formativa para nivelamento de alunos

Neste trabalho, propomos uma metodologia de avaliação de aprendizagens semi-presencial, interativa e autônoma para o ensino-aprendizagem de classificação documen-tária em cursos de Biblioteconomia. A Figura 1 é uma representação dos propósitos da nossa metodologia.

Na Figura 1, apresentamos o estado inicial e dois estados-objetivos de uma turma de classificação após aplicação das avaliações diagnóstica e formativa. O estado (1) re-presenta uma turma inicial de classificação bibliográfica, caracterizada por um grande número de alunos e pela heterogeneidade de níveis de aprendizagem. O estado (2) indica essa turma separada por perfis de alunos de acordo com os seus níveis de aprendizagem após a avaliação diagnóstica. O estado (3) é um estado de nivelamento e de progressos de aprendizagem da turma após a avaliação formativa.

A avaliação diagnóstica de nossa metodologia consiste em obter os resultados de desempenhos dos alunos em atividades de classificação documentária através do sistema SOAC e submetê-los a algoritmos de clusterização automática.

Figura 1: Metodologia de Avaliações Diagnóstica (AD) e Formativa (AF)

padrões que possibilita uma auto-organização de padrões em classes não-rotuladas ou clusters [8] com base nas características semelhantes desses padrões. Nós aplicamos a clusterização automática para mapear aprendizagens de alunos com o objetivo de identifi-car perfis e as dificuldades individuais de cada aluno. Para isso, utilizamos os algoritmos de clusterização automática do software Cluto 2.1.2, apresentado na próxima seção.

Em nossa metodologia, a avaliação diagnóstica é aplicada em cada tarefa de classificação documentária em dois momentos: antes e depois da avaliação formativa. O objetivo é comparar resultados e medir progressos no processo de ensino-aprendizagem.

A avaliação formativa de nossa metodologia é realizada com apoio de recursos de regulação e autorregulação de aprendizagens do sistema SOAC, que é um sistema online utilizado para a prática assistida de exercícios de classificação documentária [5].

Para a regulação de aprendizagens pelo professor, o sistema SOAC oferece recur-sos de acompanhamento individual dos desempenhos dos alunos e de envio de mensagens de feedbacks [5]. Para a autorregulação, adicionamos novas funcionalidades ao SOAC para que o aluno pudesse acompanhar seus desempenhos e refazer as questões erradas. A Figura 2 apresenta a tela em que os alunos refazem as questões erradas.

Na tela da Figura 2, é indicado para o aluno as respostas que ele deu a uma questão de classificação e, em vermelho, quais dessas respostas estão erradas. É também apresentado um link para o aluno rever as informações do objeto de classificação que ele classificou errado. O aluno poderá então atribuir novamente um ou mais códigos de classificação a esse objeto assim como gravar as novas respostas. O aluno poderá também

Figura 2: Refazer questões erradas

finalizar o processo de refazer as questões erradas e voltar em outro momento. No final dessa tela, aparece um outro link para o aluno visualizar os comentários do professor sobre as questões erradas.

3. O Software Cluto

O Cluto 2.1.2 1 é um pacote de software para clusterização de conjuntos de dados de baixas e altas dimensões. A característica principal do Cluto é que seus algoritmos tratam o problema da clusterização como um processo de otimização.

O Cluto também fornece ferramentas para descobrir clusters e compreender as relações entre os objetos de cada cluster assim como as relações entre clusters. O Cluto identifica ainda as características que melhor descrevem ou discriminam cada cluster.

Os resultados de clusterização podem ser compreendidos e analisados através dos relatórios visuais de clusterização automática emitidos pelo software Cluto, conforme

os gráficos apresentados na seção a seguir.

4. Uma experiência de avaliação para o desenvolvimento de habilidades

Para a realização dos experimentos de avaliações diagnóstica e formativa em um turma de Biblioteconomia da Universidade Federal do Espírito Santo, utilizamos o sistema de classificação CDU (Classificação Decimal Universal).

A CDU é um dos principais sistemas de classificação aprendidos em turmas de classificação documentária de cursos de Biblioteconomia. A CDU subdivide os assuntos detalhadamente e, usando as tabelas auxiliares, é possível uma maior minuciosidade de combinações de números e sinais para classificar documentos. Os sinais e auxiliares comuns da CDU, segundo [9], abarcam especificações de lugar ("(1/9)"), de tempo (”...”), de forma (”(0...)”), de língua (”=...”) e de outros assuntos. Os sinais indicam a relação entre os assuntos. Por exemplo, o sinal ”+” indica assuntos compostos e o sinal ”:”, assuntos compostos e relacionados entre si.

Participaram desses experimentos o professor, cerca de 37 alunos e a tutora on-line da turma em estudo. O objetivo desses experimentos foi utilizar os sinais da CDU para treinar as habilidades de identificar e relacionar assuntos, habilidades essas tão ne-cessárias à prática da classificação [3][2].

Para as atividades com os sinais e auxiliares comuns da CDU, foram escolhidos 233 arquivos em mídia digital. Esses arquivos eram monografias, dissertações de mes-trado e outros arquivos que permitissem aos alunos exercitarem de forma mais realística a classificação de documentos.

Através do sistema SOAC, o professor especificou a tarefa de atribuição dos si-nais da CDU. Uma vez que aluno iniciasse essa tarefa, para cada questão, era sorteado e apresentado um documento para o aluno analisar os assuntos do documento e classificá-lo de acordo com os sinais e auxiliares comuns da CDU.

Nesses experimentos, nós analisamos as respostas dos alunos nas atribuições do sinais :, (0...) e (1/9). O propósito da escolha desses sinais de CDU foi realizar uma avaliação formativa pela ideia de mapas conceituais [2], isto é, pela identificação e relaci-onamento de assuntos. Entendemos que atividades com essa ideia favorecem a habilidade de compreensão de leitura [10], que é fundamental para a prática da classificação.

4.1. O Antes e o Depois da avaliação formativa

Após os alunos receberam individualmente os resultados de seus desempenhos e a lista das questões que erraram, iniciou-se a etapa de refazer as questões erradas. A avaliação formativa, nesse caso, foi realizada por autorregulação, em que o aluno tendo conhe-cimento de seus desempenhos e de seus erros, poderia realizar ajustes no seu próprio processo de aprendizagem.

Na Figura 3, os dois primeiros gráficos representam os mapas de aprendizagens resultantes da clusterização automática Antes e Depois da aplicação da avaliação forma-tiva. Nesses dois gráficos, as linhas representam os alunos que participaram da tarefa e as colunas, os desempenhos desses alunos nas questões dos tipos ":", "(0...)"e "(1/9)". O terceiro gráfico representa o número de tentativas dos alunos, para refazerem cada um dos três tipos de questões.

Figura 3: Mapa de aprendizagens -AnteseDepoisda Avaliação Formativa

Cada um dos gráficos da Figura 3 é formado por oito clusters (ou grupos) de alunos. Esses clusters são numerados de 0 a 7. Vale ressaltar que o Cluster j (para j=0,1,...7) do primeiro gráfico não corresponde necessariamente ao Cluster j do segundo e do terceiro gráficos, pois os clusters se auto-organizam a cada processo de clusterização automática.

As tonalidades de cores nos dois primeiros gráficos da Figura 3 representam os desempenhos dos alunos em cada domínio de conteúdo, isto é, quanto mais cor, melhor desempenho. As cores brancas nesses dois gráficos representam desempenhos nulos. No terceiro gráfico, entretanto, as tonalidades mais fortes representam menos tentativas para melhorar os desempenhos. As cores muito claras, representam um número grande de tentativas. Já a cor branca no terceiro gráfico indica que não houve qualquer tentativa de refazer questões de um determinado tipo.

Observamos no primeiro gráfico da Figura 3, isto é, no Antes, grupos de alunos bastante desiguais e com diferentes tipos de dificuldades principalmente em relacionar assuntos através do sinal ”:”, conforme os Clusters 1, 3, 4 e 6. No segundo gráfico , os grupos de alunos tornaram-se menos desiguais e os resultados nos três tipos de questões,

mais homogêneos e bem melhores, uma vez que as áreas brancas foram reduzidas. O que mais chama à atenção no Depois da Figura 3 são os Clusters 6 e 7, pois nesses clusters está o maior número de alunos com os melhores desempenhos nos três tipos de questões. Esse número era menor, conforme o Cluster 7 do primeiro gráfico.

Ainda na Figura 3, observamos que a maioria dos alunos que tinham desempe-nhos em áreas brancas no primeiro gráfico e melhoraram esses desempedesempe-nhos apresenta-ram tonalidades mais fortes no segundo e no terceiro gráficos. Isso indica que esses alunos não precisaram refazer as questões erradas várias vezes até achar a resposta certa. Enten-demos, com isso, que houve uma reflexão dos erros por esses alunos e, por conseguinte, autorregulação de aprendizagens.

Na Tabela 1, apresentamos os resultados de clusterização automática emitidos pelo software Cluto do Antes e do Depois da avaliação formativa.

Avaliação Formativa

ANTES DEPOIS

Cluster Tamanho ISIM Cluster Tamanho ISIM

0 4 100% 0 1 100% 1 1 100% 1 1 100% 2 1 100% 2 1 100% 3 3 91% 3 6 100% 4 9 99% 4 2 100% 5 3 97.3% 5 1 100% 6 4 93.8% 6 24 100% 7 12 96.7% 7 1 100%

Tabela 1: Tarefa sobre sinais daCDU: Resultados de Clusterização Automática Antes e Depois da Avaliação Formativa

De acordo com a Tabela 1 e a Figura 3, no Antes, havia apenas 12 alunos no grupo com os melhores desempenhos, conforme o Cluster 7. No Depois, o grupo de alunos com os melhores desempenhos, isto é, os Clusters 6 e 7, continha 25 alunos com 100% de ISIM.

O valor de ISIM é uma medida de clusterização que indica índice de similaridade interna entre itens, isto é, alunos, de um mesmo cluster. Quanto mais próximo o valor de ISIM for de 100%, mais semelhantes entre si são os itens de um mesmo cluster. Um valor de 100% em ISIM aponta para características idênticas de itens de um mesmo cluster e para um processo bem sucedido de clusterização automática.

Nos gráficos da Figura 4, apresentamos como as taxas de erros dos exercícios feitos pelos alunos na tarefa dos sinais da CDU reduzem-se após a avaliação formativa.

Nos gráficos da Figura 4, as linhas representam os alunos e cada coluna Ciuma

amostra de dez exercícios sorteados para cada aluno. A cor verde em tom mais forte indica taxas de erros acima de 30% em uma amostra Ci. A cor vermelha, também em tom mais

forte, indica taxas de erros inferiores a 30%, o valor máximo aceitável, segundo o profes-sor da turma de nossos estudos. As áreas muitos claras do gráfico, após uma sequência de tons mais escuros tanto verde quanto vermelho, indicam desempenhos indefinidos, isto é, ausências de amostras de exercícios resolvidos por alunos nessas áreas.

Figura 4: OAntese oDepoisda avaliação formativa em relação às taxas de erros

Os gráficos da Figura 4, revelam através das áreas verdes que as taxas de erros dos alunos a cada amostra de dez exercícios reduziram-se consideravelmente no Depois da avaliação formativa. Dessa forma, uma vez que as taxas de erros reduziram-se, con-cluimos que houve sucessos de aprendizagem após as ações de avaliação formativa.

No final da tarefa de atribuir sinais da CDU, cerca de 82% dos alunos conse-guiram mais de 80% de desempenhos em todas as questões dessa tarefa. Os resultados estão de acordo com o que foi demonstrado por Bloom, que, em situações adequadas de aprendizagem, 80% das pessoas podem dominar 80% de um programa curricular [11].

4.2. Resultados

Na Figura 5, apresentamos os mapas de aprendizagens finais da turma em que aplicamos nossa metodologia de avaliações diagnóstica e formativa através do sistema SOAC.

Os gráficos da Figura 5 são relatórios finais emitidos pelo software Cluto do Antes e do Depois das avaliações formativas aplicadas em cada tarefa Ti(para i=1,2,...7) ao

longo de um semestre. As áreas vermelhas do gráfico indicam os alunos que alcançaram desempenhos superiores a 70% com apenas uma tentativa de refazer cada questão errada de uma Tarefa Ti. As áreas brancas, por sua vez, indicam os alunos que não alcançaram o

desempenho mínimo de 70% ou não fizeram questões de uma Tarefa Ti.

Depois das ações de regulação e autorregulação de avaliação formativa, con-forme o segundo gráfico da Figura 5, observamos grupos menos distintos e redução das áreas brancas. Observamos também que as áreas brancas reduziram-se a cada tarefa Ti

Figura 5: OAntese oDepoisdas avaliações formativas

indicando reduções das diferenças entre os alunos e melhores desempenhos.

Os resultados obtidos sugerem que houve um certo nivelamento da turma de nos-sos estudos ao longo de um processo de ensino-aprendizagem, o que confirma a eficácia da nossa metodologia de avaliações diagnóstica e formativa.

5. Considerações finais

Os resultados alcançados da aplicação da nossa metodologia foram promissores. Na turma em que aplicamos as avaliações diagnóstica e formativa sob a perspectiva de de-senvolver habilidades, 100% dos alunos foram aprovados diretamente, isto é, sem prova final de recuperação. Nessa mesma turma, cerca de 79,5% dos alunos foram aprovados com desempenhos superiores a 80%.

Os nossos trabalhos futuros seguem na direção de implementar no sistema SOAC uma metodologia de avaliações diagnóstica e formativa com abordagem metacognitiva, isto é, levando em consideração a trajetória de aprendizagem do aluno.

Mostramos neste trabalho que é possível conduzir um processo educacional de forma a desenvolver habilidades e alcançar o nivelamento de uma turma com bons índices de desempenhos. Que seja esta uma importante contribuição contra as desigualdades e o fracasso escolar [12] e a favor da aprendizagem significativa e coletiva.

6. Agradecimentos

Agradecemos à Fundação de Apoio à Ciência e Tecnologia do Espírito Santo (FAPES) pelo apoio dado às pesquisas apresentadas neste artigo.

Referências

[1] Dal’Evedove, P. and Fujita, M., “O Estudo da cognição profissional pelo protocolo verbal de catalogadores de assunto em contexto de biblioteca universitária: uma abordagem sóciocognitiva pela análise de domínio,” Revista de Iniciação Científica da FFC, Vol. 8, No. 2, 2008, pp. 249–262.

[2] Raphael, H. and Carrara, K., Avaliação sob exame, Autores Associados, Campinas, 2002. [3] Antunes, C., Trabalhando habilidades: construindo idéias, Scipione, São Paulo, SP,

2001.

[4] Oliveira, M., Zandonade, E., and Oliveira, E., “Uma metodologia para avaliação formativa em um ambiente de ensino e aprendizagem de classificação em Biblioteconomia,” Anais do IX ENANCIB : Encontro Nacional de Pesquisa em Ciência da Informação, ENANCIB, São Paulo, 2008.

[5] Oliveira, M. and Oliveira, E., “Avaliar para nivelar e formar: um sistema online de avali-ação formativa para alunos de Biblioteconomia,” Anais do XIX Simpósio Brasileiro de Informátiva na Educação (SBIE 2008), SBC, Fortaleza, 2008.

[6] Oliveira, M., Avaliações online para nivelamento e formação de classificadores humanos, Dissertação de mestrado, Universidade Federal do Espírito Santo (UFES), Vitória, ES, Março 2009.

[7] Fahim, A., Salem, A., Torkey, F., and Ramadan, M., “An efficient enhanced K-means clustering algorithm,” Journal of Zhejiang University SCIENCE A, Vol. 7, No. 10, 2006, pp. 1626–1633.

[8] Jain, A. K., Murty, M. N., and Flynn, P. J., “Data clustering: a review,” ACM Comput. Surv., Vol. 31, No. 3, 1999, pp. 264–323.

[9] Melro, M., “A Classificação Decimal Universal (CDU), uma prática na Biblioteca da UFP,” Revista da Faculdade de Ciências Humanas e Sociais, , No. 3, 2006, pp. 101– 109.

[10] Favero, M., Psicologia e conhecimento: subsídios da psicologia do desenvolvimento para análise de ensinar e aprender, Editora UNB, Brasília, Brasil, 2005.

[11] Bloom, B., Caractéristiques individuelles et apprentissages scolaires, Artmed, Bruxelles, Labor, Paris, Nathan, 1979.

[12] Perrenoud, P., Avaliação: da excelência à regulação das aprendizagens – Entre Duas Lógicas, Artmed Editora, Porto Alegre, RS, 1999.