1
Uma metodologia para avaliação formativa em um ambiente de ensino e
apren-dizagem de classificação em Biblioteconomia
1Márcia Gonçalves Oliveira (Universidade Federal do Espírito Santo) Eliana Zandonade (Universidade Federal do Espírito Santo)
Elias Oliveira (Universidade Federal do Espírito Santo)
Resumo: O número de alunos com os quais um professor tem de lidar todos os dias cresce anualmente. Além disso, os projetos de Educação a Distância existentes já mostram que precisamos encontrar uma nova metodolo-gia para gerenciar o grande número de estudantes que precisam de atenção individual para as suas dificuldades. A forma de lidar eficientemente com esse problema tem sido uma grande preocupação nas pesquisas da área de Educação a Distância nos dias atuais. Este trabalho propõe uma metodologia para observar, atender e monitorar um grande número de alunos na classificação de documentos. Cada aluno deve ler e classificar aleatoriamente documentos em uma série de temas predefinidos. Logo depois, com base nas decisões dos alunos, nós os agru-pamos segundo dificuldades específicas, de forma que suas dúvidas fossem atendidas mais apropriadamente. Nosso estudo de caso mostrou-nos, pela avaliação dos resultados, que a metodologia de Avaliação Formativa melhorou consideravelmente o desempenho dos alunos em suas tarefas de classificação.
Palavras-Chave: Educação – Níveis de Aprendizado. Informática – Apoio Educacional. Avaliação Formativa – Metodologia. Análise Documental – Classificação.
Abstract: The number of students a lecturer has to deal with every day, in Brazil, is growing yearly. Besides, the existing e-learning projects are already telling us that we need to find a novel methodology to manage the great number of students we might give nearly individual attention on their learning difficulties. How to cope efficiently with this problem is a great concern in the e-learning research area these days. This work propose an e-learning methodology on assessing, assisting and monitoring a large number of students on classifying documents. Each students must read and classify each randomly given document into a number of predefined subjects. Afterwards, based on the students decisions, we cluster them into a group of specific difficulties so that we can tackle their doubts more appropriately. Our case study showed us that this formative evaluation methodology greatly improved the performance of the students on their classification task on the outcome evaluation.
Keywords: Education – Learning levels. Computing – Educational Aid. Formative assessing – Methodology. Documental Analysis – Classification.
1
2
1 Introdução
Os ambientes de apoio à aprendizagem mediados por computador têm sido, mais re-centemente, alvos de muitas pesquisas nas áreas da Educação (SANTAROSA, 1998), da Psi-cologia (MEDEIROS, 2001) e da Ciência da Computação (PIMENTEL; FRANÇA; OMAR, 2003a), entre outras. O interesse nesses ambientes intensificou-se, em especial, após a expan-são dos cursos a distância baseados em tecnologia de Internet. Vários ambientes, dessa manei-ra, são propostos na literatura (NETTO; MENEZES; PESSOA, 2003) e, tipicamente, pro-põem metodologias e tecnologias que agreguem aos mesmos recursos de apoio à aprendiza-gem. Esses recursos consistem em técnicas inteligentes que promovam maior interatividade (NETTO; MENEZES; PESSOA, 2003), colaboração e cooperação no processo de aprendiza-gem (MEHLECKE; TAROUCO, 1998) assim como a adaptabilidade desses ambientes a perfis e ações de aprendizes, como apontam Barbosa e Azevedo (2007) e Abell (2006).
Uma característica ainda pouco explorada na literatura é o provimento da capacidade de identificação, de forma autônoma, de classes de dificuldades entre os alunos em ambientes de apoio à aprendizagem mediados por computador. Essa capacidade de identificação e agru-pamento de habilidades entre os alunos permitirá ao mediador do processo de aprendizagem uma intervenção mais adequada e, de igual forma, precisa, no sentido de auxiliar quase que individualmente o aluno naquilo em que ele mais tenha dificuldade (PIMENTEL; FRANÇA; OMAR, 2003b).
Uma aplicação do problema apresentado acima pode ser vista, por exemplo, em um curso de classificação biblioteconômica. Podemos dizer que o ensino dessa habilidade, inseri-da na disciplina de Representação Temática, no curso de Biblioteconomia do Departamento de Ciências da Informação da Universidade Federal do Espírito Santo, é um dos mais impor-tantes cursos na formação do profissional bibliotecário. É nesse curso que o aluno aprenderá sobre os principais instrumentos de organização dos itens informacionais, para, posteriormen-te, viabilizar melhor e mais eficientemente o acesso do usuário à informação (GROGAN, 2001).
O processo de classificação de itens informacionais consiste na leitura, na análise e na interpretação do conteúdo do documento, visando a sua inserção em determinada classe de assunto (PIEDADE, 1983). Todavia, o cuidadoso acompanhamento do processo de aprendi-zagem de classificação por parte do mediador humano é muito custoso. Isso é decorrência do elevado número de alunos em uma turma típica de graduação: usualmente, esse número situa-se entre 40 e 50 alunos. Por isso, há uma premente necessidade de utilização de modernas me-todologias e ferramentas de apoio para que se possa lidar cada vez com mais alunos, sem, contudo, perder a qualidade do processo de aprendizagem.
Neste trabalho, propomos uma metodologia de avaliação da aprendizagem semi-presencial, interativa, cooperativa e autônoma na área do ensino de Representação Temática em cursos de Biblioteconomia. A utilização dessa metodologia nos permite expor o aluno a muito mais situações de aprendizagem, avaliá-lo com mais freqüência e, o mais importante, identificar suas necessidades de reforço ou atenção, minimizando, assim, as chances de insu-cesso ao final do curso.
Embora esta pesquisa esteja ainda em sua forma embrionária, considerando seus obje-tivos maiores, já podemos relatar alguns resultados promissores de sua utilização, não somen-te no ensino de classificação aos alunos de Bibliosomen-teconomia, mas a qualquer outro tipo de cur-so cujos procescur-sos metodológicos se assemelhem aos adotados na disciplina Representação Temática, cuja descrição será descrita posteriormente.
3
Os resultados alcançados demonstram a eficácia da nossa metodologia. A aplicação dessa metodologia, ainda em fase inicial, já resultou em progressos de êxito na aprendizagem de classificação na turma de Representação Temática de um curso de Biblioteconomia. Por meio de atividades de classificação de notícias em um sistema on-line de aprendizagem de classificação, realizamos duas etapas de experimentos. Em ambas as etapas, por processos automáticos, a turma foi dividida de acordo com a semelhança entre os perfis dos alunos. Na primeira etapa, levantamos o diagnóstico do perfil da turma. Observamos grande distinção entre os grupos formados e muitas lacunas que apontavam para deficiências de aprendizagem. Junto com o professor, intervenções no ensino-aprendizagem foram realizadas, por meio de
feedbacks. Em seguida, as atividades de classificação foram planejadas e reiniciadas. Na
se-gunda etapa, após as intervenções, levantamos um novo relatório de desempenho dos alunos. O que observamos foi uma menor distinção entre os grupos formados e uma redução explícita das lacunas de aprendizagem. Dessa forma, a nossa metodologia mostrou-se eficaz para nive-lar uma turma e, principalmente, para promover êxitos na aprendizagem de classificação.
Esse trabalho está organizado na ordem descrita a seguir. Na Seção 2, descrevemos brevemente a metodologia utilizada para o ensino de classificação no curso de Bibliotecono-mia do Departamento de Ciências da Informação da Universidade Federal do Espírito Santo utilizada, apontando, ainda, suas deficiências. Um breve levantamento da literatura é realizado na Seção 3. Nossa intenção, sem sermos exaustivos, é de apontar alguns desenvolvimentos científicos que já contribuíram para a resolução do problema aqui discutido. Na Seção 4, apre-sentamos nossa contribuição para uma nova forma de se avaliar o aprendiz no ensino de clas-sificação de itens informacionais. Um estudo de caso com alunos reais em uma turma de Bi-blioteconomia é apresentado na Seção 5. Na Seção 6, apresentamos nossas conclusões e apon-tamos alguns tópicos para a continuação desta pesquisa.
2 O ensino da classificação na atualidade
O ensino-aprendizagem de classificação em cursos de Biblioteconomia tem sido um grande desafio em modalidades do ensino presencial. Os alunos ingressantes trazem consigo bases diferenciadas de leitura, cultura e visão de mundo, o que, evidentemente, influenciará no rendimento desses alunos ao longo do curso de classificação. Acrescenta-se a isso o fato de que tem sido exigido pelos mantenedores das instituições de ensino, sejam públicas ou priva-das, um crescente aumento do número de alunos em sala de aula. Isso agrava ainda mais as dificuldades enfrentadas pelo mediador para assistir aos alunos, tanto aqueles com variados tipos de dificuldades como aqueles alunos já maduros e que queiram avançar mais rapidamen-te no objeto de estudo.
A identificação correta das necessidades de aprendizagem de um aluno em particular,
por parte de uma terceira pessoa ou mesmo de um sistema, pode resultar em um grande pro-blema, se for ignorada. Por outro lado, identificá-las precocemente pode ser um caminho para se atingir um bom desempenho dos aprendizes, pois medidas formativas adequadas podem ser adotadas em favor da melhoria da aprendizagem (PERRENOUD, 1998).
Em uma metodologia de ensino tradicional, sem auxílio de ferramentas computacio-nais, apenas o professor é quem media os instrumentos de aprendizagem. Esse mesmo media-dor é quem faz a avaliação das dificuldades enfrentadas por cada aluno para a realização das atividades. Como são muitos alunos e suas carências são tão diferenciadas, esse mediador a-caba por não ter muito tempo para assistir de perto cada um dos alunos. Por isso, também, poucos exercícios são realizados sob a supervisão desse professor. Tipicamente, hoje, menos de 20 exercícios de classificação são realizados e corrigidos pelo professor ao longo da
4
plina Representação Temática do curso de Biblioteconomia do Departamento de Ciências da Informação da Universidade Federal do Espírito Santo. Um número que consideramos muito baixo, tendo em vista a importância de tal habilidade.
3 Revisão de literatura
O ensino-aprendizagem de classificação tem sido um desafio nos cursos superiores de Biblioteconomia. Até onde é do conhecimentos dos autores, ainda se pratica um ensino foca-do na transmissão e depósito de conteúfoca-dos, e não na aprendizagem (FREIRE, 1997). Portanto, a mesma lição é aplicada para todos, sem levar em consideração as desigualdades de conhe-cimentos que apontam para diferentes perfis de alunos. O processo de aprendizagem, por sua vez, está voltado apenas para a retenção dos conteúdos transmitidos. Essa forma de avaliação, focada em criar hierarquias de excelência (PERRENOUD, 1998) por medidas de êxito na re-tenção de conteúdos, apenas explicita as desigualdades presentes e, talvez, as amplie ao longo desse processo educacional.
Embora a diversidade de níveis de aprendizagem seja um problema comum em turmas de várias instituições de ensino, pouco ou nada tem sido feito para resolvê-lo. No entanto, é inaceitável que uma prática que se afirme como pedagógica preserve as desigualdades no pro-cesso de ensino-aprendizagem e nada promova para minimizá-las ou anulá-las.
Para o contexto do ensino-aprendizagem de classificação, entretanto, deve ser levado em conta que o conhecimento de classificação da informação é um conhecimento que se mol-da com a experiência e com o conhecimento gerado por outros classificadores mais experien-tes (NAIR, 2006). Dessa forma, desconsiderar a heterogeineidade de níveis de aprendizagem em turmas pode trazer deficiências à formação de classificadores.
A proposta de Pimentel, França e Omar (2003b) para enfrentar esse dilema da hetero-geneidade no processo de ensino-aprendizagem é o uso de uma pedagogia diferenciada para diferentes perfis de aprendizes. No entanto, de acordo com Stankov (1996), no domínio do ensino profissional e presencial, é extremamente complicado adaptar um curso às variações individuais de níveis de aprendizagem, porque isso envolve elementos de processos mentais de aprendizes. Além disso, na modalidade de ensino presencial, em geral, as turmas são com-postas de grandes grupos e o conteúdo a ser desenvolvido é muito extenso.
Por outro lado, na Educação a Distância, a pedagogia diferenciada sugerida por Pi-mentel, França e Omar (2003b) pode ser aplicável com boas perspectivas de sucesso, também conforme afirma Abell (2006), Barbosa e Azevedo (2007).
A nossa proposta é, portanto, tornar possível essa pedagogia diferenciada, por meio de avaliações diagnóstica e formativa no processo de ensino-aprendizagem, com a utilização de um sistema on-line de aprendizagem de classificação. O objetivo dessa proposta é reduzir as desigualdades de êxito na aprendizagem, individualizando o ensino e regulando a aprendizgem (PERRENOUD, 1998). Por meio deste trabalho, portanto, intentamos promover uma a-valiação, não mais preocupada em estabelecer hierarquias de excelência (PERRENOUD, 1998) para classificar alunos, mas uma avaliação formativa, como um instrumento que visa a melhorar o ensino e a aprendizagem de classificação (BALLESTER, 2003).
4 Nossa proposta metodológica
Diante dos problemas apresentados no processo de ensino-aprendizagem de classifica-ção em um contexto complexo de heterogeneidade de perfis de alunos, é indesejável que se
5
que se exerça uma prática pedagógica que não atente para essas desigualdades de níveis de aprendizagem.
Dessa forma, torna-se inadequado, em especial na área de classificação da informação, um modelo pedagógico que mantenha o ensino, a aprendizagem e a avaliação como processos seqüenciais, isolados e descontextualizados da realidade das diferenças de níveis de aprendi-zagem. Como aponta Ballester (2003), se quisermos mudar essa prática educativa, é necessá-rio mudar a prática da avaliação, ou seja, mudar sua finalidade, o que e como se avalia.
Para isso, a avaliação, como ação pedagógica, deve cumprir três funções
(BALLES-TER, 2003): diagnóstica, formativa e somativa. A avaliação diagnóstica deve ter o papel de identificar habilidades e desigualdades de níveis de conhecimento, isto é, reconhecer perfis de alunos. A avaliação formativa, por sua vez, deve consistir em oferecer feedbacks e, a partir
disso, promoverajustes no processo de ensino-aprendizagem para alcançar objetivos traçados.
Já a avaliação somativa tem como função classificar aprendizes de acordo com níveis de a-proveitamento no processo de aprendizagem.
Nossa proposta metodológica consiste em utilizar a tecnologia como apoio a um modelo de avaliação que contemple as duas primeiras funções didático-pedagógicas que a avaliação deve cumprir: a avaliação diagnóstica e a avaliação formativa.
Para a avaliação diagnóstica, foram desenvolvidos recursos de coleta de informações a partir de atividades de classificação da informação propostas em um sistema on-line de apren-dizagem. Esses recursos possibilitam ao professor identificar e analisar, clara e precisamente, as deficiências no processo de ensino-aprendizagem, assim como os perfis dos aprendizes. Uma vez reconhecendo os perfis dos alunos e suas dificuldades, a ação formativa é iniciada, por meio da individualização do ensino e da regulação da aprendizagem (PERRENOUD, 1998) e (BALLESTER, 2003).
Nessa ação formativa, a tecnologia complementa o trabalho de interação social realizado em sala de aula, possibilitando oferecer feedbacks por meio de mensagens eletrônicas entre professor e alunos. Nessa comunicação on-line com os alunos, o professor individualiza o en-sino: promove um ensino diferenciado, para a regulação do processo de aprendizagem.
A regulação, isto é, a intervenção no ensino para melhorar a aprendizagem, é realizada de forma contínua ao longo do processo de aprendizagem, por meio de feedbacks e auto-regulação, que é a regulação realizada pelo próprio aluno no seu processo de aprendizagem. No caso da regulação realizada pelo professor, de acordo com as deficiências apresentadas na avaliação diagnóstica, novas atividades são planejadas e disponibilizadas para os alunos reini-ciarem uma tarefa mal-sucedida. Já para a auto-regulação, o aluno deve ter conhecimento de seus desempenhos, para reconhecer suas dificuldades e limitações e, por comunicação on-line com o tutor ou com o professor, tirar suas dúvidas, para, então, reiniciar as atividades em que não foi bem-sucedido.
Na Figura 1 a seguir, apresentamos nossa representação do modelo avaliativo proposto por Perrenoud (1998) e Ballester (2003) no qual se baseia a nossa proposta pedagógica a ser aplicada no ensino-aprendizagem de classificação de informação.
A nossa proposta objetiva, portanto, alcançar, com o apoio da tecnologia, as áreas que estão escurecidas na Figura 1, áreas essas normalmente negligenciadas nos atuais processos avaliativos.
6
Figura 1 – Nosso modelo de avaliação
Nesse caso, entendemos o uso da tecnologia como apoio à ação diagnóstica e formati-va no processo de ensino-aprendizagem. É diferente, portanto, de algumas outras propostas que consistem tão somente na inclusão de atividades mecânicas, o que traduz a supervaloriza-ção da tecnologia, como é destacado por (AQUINO, 2008). Nosso desafio não é a tecnologia, e, sim, como fazer bom uso dela em prol da melhoria do ensino (BEHRENS, 1996).
Em resumo, por meio deste trabalho, objetivamos intervir no processo avaliativo de classificação da informação em favor da aprendizagem, que, hoje, segundo nossa experiência, está concentrado fundamentalmente na avaliação somativa e em algumas práticas behavioris-tas (AQUINO, 2008).
5 Estudo de caso
Para avaliar a eficácia da avaliação formativa auxiliada por técnicas automáticas de agrupamento (STEINBACH; KARYPIS; KUMAR, 2000) no processo de ensino-aprendizagem de classificação, foi projetado um sistema on-line para apoiar atividades de classificação de itens informacionais. A proposta desse sistema é fornecer mecanismos para, de acordo com Perrenoud (1998), acompanhar, diagnosticar, individualizar e regular o ensino-aprendizagem de classificação. Por meio dessa ferramenta, em resumo, o objetivo é favorecer o progresso de aprendizagem dos alunos por meio da avaliação formativa.
O sistema projetado, embora ainda esteja em fase de desenvolvimento, já está sendo utilizado por alunos, professores e tutores on-line da disciplina de Representação Temática no curso de Biblioteconomia do Departamento de Ciências da Informação da Universidade
7
Federal do Espírito Santo. Os alunos o utilizam para resolução de exercícios de classificação, enquanto o professor e o tutor on-line, para especificação de atividades e para acompanha-mento do processo de ensino-aprendizagem de classificação.
Nesse sistema, são disponibilizadas pelo professor da turma diferentes tipos de instân-cias de classificação, tais como notíinstân-cias de jornais, monografias, dissertações e teses, assim como livros, aos quais os alunos devem atribuir classes ou códigos de registros bibliográficos.
Quando um aluno entra nesse sistema e inicia uma tarefa especificada pelo professor, uma questão de classificação é sorteada, da base de dados de objetos para classificação, e uma tela de atividades de classificação, como exemplificado na Figura 2, é apresentada ao aluno.
O aluno poderá atribuir um ou mais códigos de classificação ao material sorteado pelo sistema. Após responder à questão, o aluno poderá avançar para uma próxima questão ou fina-lizar a tarefa. Uma vez finalizada a tarefa, o aluno poderá, em outro momento, reiniciar essa tarefa e resolver novas questões.
A avaliação formativa que está sendo aplicada à turma de Representação Temática em estudo usando-se esse sistema foi planejada para ser desenvolvida em oito etapas, por meio de oito tarefas. A primeira etapa consiste em fornecer atividades de classificação de notícias de jornal para que a elas os alunos atribuam classes (política, televisão, informática etc.). As de-mais etapas oferecem exercícios de classificação para atribuir códigos de registros bibliográfi-cos, de acordo com as notações aprendidas ao longo do curso.
Figura 2 –Atividades de classificação
Fonte: Sistema protótipo desenvolvido para os experimentos
Para cada uma dessas etapas, são realizados os processos da avaliação formativa, que consistem em diagnóstico, individualização e regulação do processo de ensino-aprendizagem (PERRENOUD, 1998).
8
Considerando que a turma da disciplina Representação Temática em estudo ainda está em andamento e algumas etapas não foram concluídas, contemplamos neste estudo de caso apenas a ação formativa realizada na primeira etapa, que foi a etapa de atividades de classifi-cação de notícias de jornal.
Apresentamos, a seguir, os experimentos e os resultados realizados no processo de a-valiação formativa aplicada à primeira etapa de atividades de classificação da turma de Repre-sentação Temática aqui estudada.
5.1 Experimentos e Resultados
Para os estudos da primeira etapa de aplicação da avaliação formativa, propusemos
que os alunos atribuíssem classes a notícias de jornal. Para isso, cerca de 2700notícias do
jor-nal A Tribuna, um jorjor-nal que circula no Estado do Espírito Santo, foram selecionadas e dis-ponibilizadas em um banco de dados. Essas notícias estavam previamente organizadas em nove classes: Cidades, Especial (notícias especiais), Política, Economia, Televisão, Família,
AT2 (caderno de cultura), Informática e Miscelânea (outros assuntos). No sistema, essas
clas-ses foram representadas, respectivamente, por valores de 1 a 9.
Uma vez disponíveis os objetos de classificação no banco de dados, o professor espe-cificou, por meio do sistema, a tarefa correspondente à primeira etapa de resolução de exercí-cios. Na especificação dessa tarefa, o professor informou o prazo e um número mínimo de questões que os alunos deveriam resolver. Além disso, foram informadas as classes do jornal
A Tribuna e seus respectivos números, que deveriam ser usados pelos alunos ao classificarem
as notícias sorteadas pelo sistema.
Figura 3 – Apresentação de uma tarefa
9
A Figura 3 apresenta a descrição da tarefa especificada pelo professor para a primeira etapa de avaliação formativa.
Antes de a primeira tarefa ser liberada para os alunos, o tutor on-line da disciplina rea-lizou uma sessão de demonstração do sistema para a turma. Nessa demonstração, o tutor, pri-meiro, demonstrou alguns exemplos de classificação de notícias, para que os alunos visuali-zassem como solucionar as questões propostas no sistema. Em seguida, foram escolhidos al-guns alunos, especialmente os que demonstraram, já no início da disciplina, segundo o profes-sor, mais dificuldades com o uso do computador. Esses alunos cadastraram-se no sistema e com ele interagiram, resolvendo algumas questões nele disponíveis.
Depois de concluída a fase de treinamento para o uso do sistema, as primeiras notícias de jornal foram liberadas para os alunos fazerem a classificação. Ao resolverem essas ques-tões, os alunos poderiam visualizar na apresentação da tarefa o número de questões a que já haviam respondido, mas não visualizavam o número de questões cujas respostas haviam acer-tado. Como os alunos sabiam que os seus desempenhos seriam medidos em termos percentu-ais, grande parte deles, por segurança, fez um número maior de questões do que o número mínimo indicado pelo professor. Dessa forma, os alunos foram motivados implicitamente, pelo próprio sistema, a fazer mais exercícios, de forma a melhorar cada vez mais seu desem-penho na tarefa proposta.
Uma vez encerrado o prazo para realização da tarefa proposta, o desempenho de cada aluno, fornecido pelo sistema, foi apresentado ao professor e analisado pelo tutor online da disciplina. Para essa análise, os resultados de todos os alunos foram colocados em uma plani-lha (Figura 4), que continha o desempenho de cada aluno em todas as classes de notícias.
Figura 4 - Desempenho dos alunos na atividade de classificação de notícias Fonte: Sistema protótipo desenvolvido para os experimentos
Na planilha (Figura 4), cada linha representa um aluno da turma de Representação Temática, em estudo, e os nomes de alunos que aparecem são fictícios. As colunas dessa pla-nilha representam os resultados de desempenho de cada aluno em cada uma das nove classes
10
de notícias Ci (para i = 1, 2...9, que representam, respectivamente, as classes Cidades,
Misce-lânea, Especial, Política, Economia, Televisão, Família, AT2 e Informática).
Os valores dos resultados variam de 0 a 1. O valor 0 em uma classe Ci indica que o a-luno não acertou ou não fez qualquer questão relativa a essa classe. O valor 1 em uma classe indica que o aluno acertou 100% das questões sorteadas nessa classe. Já valores como 0.85 e 0.75 representam, respectivamente, 85% e 75% de acertos em questões de uma classe Ci.
A planilha obtida com os resultados de desempenho foi submetida a algoritmos de
clusterização automática (STEINBACH; KARYPIS; KUMAR, 2000) do software Cluto2, para que fosse obtido um relatório do diagnóstico do processo de ensino-aprendizagem.
Por meio do relatório de diagnóstico obtido com o software Cluto, foi possível para o tutor e o professor reconhecerem claramente perfis de alunos, assim como as dificuldades e
deficiências de cada um desses alunos. A Figura 5 representa a parte visual desses relatórios
de diagnóstico fornecido pelo software. Esse gráfico foi construído a partir dos dados da pla-nilha de desempenho (Figura 5) dos alunos nas atividades de cada classe de notícias do jornal
A Tribuna.
Ao fornecer essa planilha como entrada ao Cluto, foi indicado para o software que de-veriam ser formados cinco grupos de alunos. Ao fornecer um número pequeno de clusters (grupos), o objetivo era formar grupos de alunos com perfis similares, facilitando ao profes-sor gerenciar a sua ação formativa sobre esses grupos.
Na Figura 5, os valores de desempenho dos alunos nas atividades de cada classe de notícias Ci são representados pelas tonalidades de uma cor. Desse modo, quanto mais intensa for a tonalidade dessa cor em cada classe Ci (i = 1, 2, 3...), melhor desempenho um aluno teve nas questões dessa classe. Da mesma forma, quanto mais próximas forem as tonalidades da cor branca, menores os índices de desempenho de um aluno nas atividades por ele realizadas.
Analisando os resultados apresentados pelo gráfico (Figura 5), observamos grandes á-reas em branco para alguns grupos de alunos. Essas áá-reas demonstram que os alunos a elas correspondentes apresentaram desempenho nulo nas classes das questões por eles resolvidas. Isso pode significar que os alunos das regiões em branco erraram todas as questões apresenta-das pelo sistema on-line ou que não fizeram nenhuma questão relativa a essas classes. Nesse último caso, há duas possibilidades: o sistema pode não ter sorteado questões referentes a es-sas classes ou o aluno pode ter avançado as questões referentes às classes representadas nas regiões em branco. Consideramos, assim, que essas regiões em branco representam áreas de deficiência de aprendizagem em classificação.
11
Figura 5 - Desempenho dos alunos na classificação de notícias: fase de diagnóstico Fonte: Sistema protótipo desenvolvido para os experimentos
Entendemos, de acordo com o diagnóstico apresentado pela Figura 5, que há muitas dificuldades e deficiências de aprendizagem explícitas, especialmente para os grupos de alu-nos que apresentam, na figura, grandes regiões em branco. Dessa forma, a proposta, a partir desse diagnóstico, é intervir no processo de ensino-aprendizagem, individualizando-o e regu-lando-o, de forma a reduzir as áreas brancas na figura e promover o sucesso da aprendizagem. Para isso, uma vez conhecendo os perfis de alunos e suas dificuldades, o tutor on-line, sob supervisão do professor da turma em estudo, interviu no processo de ensino-aprendizagem, oferecendo um atendimento individualizado aos alunos. Nessa etapa de indivi-dualização do ensino-aprendizagem, foram enviadas mensagens eletrônicas para cada aluno, informando o desempenho na primeira tarefa, as suas falhas e como poderiam refazer a ativi-dade.
Ao analisarmos as respostas de cada aluno seguundo as classes de notícias, é possível
identificar os itens de classificação nos quais os alunos, no conjunto, apresentam maior difi-culdade. Ao reconhecer esses problemas, o tutor da disciplina consultou um ex-jornalista da Redação do jornal A Tribuna sobre os critérios de classificação de notícias. Segundo esse jornalista, não seria tão trivial para pessoas que desconhecem esses critérios classificarem corretamente as notícias desse jornal.
Uma vez conhecendo as justificativas do insucesso nas atividades de classificação de notícias, foram planejadas ações para que fosse feita a intervenção no processo de ensino-aprendizagem, de forma a reduzir as lacunas apresentadas nessa primeira etapa de realização das atividades de classificação.
12
Para a fase de regulação, foram apresentados e explicados a toda a turma, tanto pre-sencialmente como por envio de mensagens eletrônicas, os critérios de classificação das notí-cias do Jornal A Tribuna fornecidos pelo jornalista consultado.
De acordo com alguns alunos, a apresentação desses critérios foi muito importante pa-ra o esclarecimento de algumas dúvidas que eles tinham ao atribuir classes às notícias, em es-pecial quando se tratava das classes Eses-pecial, Miscelânea e Família.
Após realizar as fases de diagnóstico, individualização e regulação do processo de en-sino-aprendizagem, foi adicionado ao banco de dados um conjunto de 105 notícias novas. Nesse conjunto, as notícias enquadradas nas classes em que os alunos mais apresentaram dificuldades eram em maior número. Em seguida, a tarefa de classificar notícias foi liberada novamente para que os alunos a realizassem.
Concluindo o processo de avaliação formativa nessa primeira etapa de atividades de classificação, novas mensagens eletrônicas foram enviadas aos alunos, motivando-os a refaze-rem a tarefa dessa etapa.
Depois de alguns dias, uma planilha com os novos resultados de desempenho dos alu-nos em atividades de classificação de notícias foi construída e submetida ao software Cluto, para a recriação dos cinco grupos de perfis de alunos. O novo relatório fornecido pelo softwa-re apontou para softwa-resultados visíveis de progsoftwa-ressos de apsoftwa-rendizagem. A Figura 6 apsoftwa-resenta os resultados de desempenho dos alunos da turma de Representação Temática em estudo antes e depois da avaliação formativa.
Figura 6 - Desempenho dos alunos nas classificações de notícias: o antes e o depois da
13
Fonte: Sistema protótipo desenvolvido para os experimentos
Analisando o antes e o depois da avaliação formativa, de acordo com a Figura 6, po-demos perceber claramente que antes havia uma distinção mais visível entre os cinco grupos formados, isto é, as desigualdades eram mais explícitas. Além disso, antes havia várias lacu-nas (áreas brancas na figura) apontando para insucessos em questões de algumas classes de notícias como Especial (Classe C3), Miscelânea (Classe C2) e Família (Classe C7).
Por outro lado, no segundo gráfico da Figura 6, ou seja, na fase seguinte à aplicação da avaliação formativa, observamos que as áreas brancas, antes em grandes concentrações, foram consideravelmente reduzidas. Por conseguinte, os cinco novos grupos formados tornaram-se menos distintos entre si. Isso nos leva a concluir que já na primeira etapa de um processo formativo as desigualdades de desempenho entre esses grupos de perfis de alunos reduziram-se.
Os gráficos da Figura 6 permitem que observemos, ainda, que a maior parte dos alunos que antes estavam nos grupos com as maiores concentrações de áreas brancas, melhoraram os seus desempenhos na fase posterior à avaliação formativa (segundo gráfico).
Dessa forma, com os procedimentos e resultados apresentados em um processo ainda em fase inicial, demonstramos os ganhos que a avaliação formativa, auxiliada por técnicas de clusterização automática, poderá alcançar em favor da aprendizagem.
Assim, entendemos que a metodologia utilizada neste trabalho pode ser uma importan-te contribuição para o sucesso da aprendizagem de classificação. Mostramos, portanto, uma solução possível para minimizar as desigualdades de níveis de aprendizagem tão marcantes, não apenas na área de aprendizagem de classificação da informação, mas, também, em outras áreas de conhecimento.
6 Conclusões
De acordo com essa experiência de avaliação formativa na turma de Representação
Temática de um curso de Biblioteconomia, verificamos que é possível intervir no processo de
ensino-aprendizagem de classificação, de forma a melhorá-lo.
Ainda que a ação formativa seja um processo difícil de se gerenciar, considerando
turmas com um grande número de alunos, ela é possível e menos complexa se apoiada pela tecnologia, conforme apresentamos neste trabalho. Desse modo, através de técnicas de reco-nhecimento automático de perfis de alunos e de um sistema on-line de atividades de classificação, a tecnologia auxiliou o professor a diagnosticar e acompanhar o processo de a-prendizagem de seus alunos.
De acordo com os resultados apresentados, demonstramos que a avaliação formativa
apoiada por recursos tecnológicos é uma solução possível e eficaz para reduzir as desigualda-des de níveis de aprendizagem e promover o seu sucesso. Dessa forma, uma vez que identifi-camos problemas de aprendizagem, individualizamos e regulamos o ensino-aprendizagem (PERRENOUD, 1998), agregamos qualidade ao ensino-aprendizagem de classificação.
Esperamos, portanto, que este trabalho seja uma importante contribuição para o
de-senvolvimento profissional do classificador humano e para a formação de competências no domínio de conhecimento de classificação da informação, assim como para outros
14
7 Agradecimentos
Os autores agradecem ao professor Marcelo Nair dos Santos, por sua valiosa colaboração, ao disponibilizar sua disciplina de Representação Temática para a condução dos experimentos, ao prepa-rar materiais e exercícios nela utilizados e, ainda, ao realizar comentários enriquecedores ao longo des-ta pesquisa. Gosdes-taríamos des-também de agradecer imensamente ao jornal A Tribuna do Espírito Santo, na pessoa do Diretor de Tecnologia, Senhor Júlio Vantil e, especialmente, a jornalista Giovanna San-tos por nos indicar os caminhos pelos quais foi possível a aquisição da base de dados utilizada em nos-sos experimentos.
8 Referências
ABELL, M. Individualizing learning using intelligent technology and universally designed
curriculum. Journal of Technology, Learning and Assessment. Boston, v. 5, n. 3,2006.
AQUINO, M. A. As contribuições da educação aos processos formativos na ciência. Tran-sinformação. Campinas, v. 20 , n. 1 , p. 59-71, jan./abr. 2008.
BALLESTER, M. Avaliação como apoio à aprendizagem. Porto Alegre: Artmed, 2003. Trad.Valério Campos.
BARBOSA, A.; AZEVEDO, F. Uma hipermídia educacional: adaptativa através do uso de redes neurais artificiais. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCA-ÇÃO, 18., 2007, Rio de Janeiro. Anais... Rio de Janeiro: UFRJ, 2007. v. 18, p. 212-213 BEHRENS, M. Formação continuada dos professores e a prática pedagógica. Curitiba: Champagnat, 1996.
FREIRE, P. Pedagogia da autonomia: saberes necessários à prática educativa. São Paulo: Paz e Terra, 1997.
GROGAN, D. A prática do serviço de referência. 2. ed. Brasília: Briquet de Lemos, 2001. MEDEIROS, M. A Produção de um ambiente de aprendizagem em educação a distância com o uso de mídias integradas: a PUCRS Virtual. In: CONGRESSO BRASILEIRO DE EDU-CAÇÃO A DISTÂNCIA, 7., 2001, São Paulo. Anais... São Paulo: [s.n.], 2001.
MEHLECKE, Q.; TAROUCO, L. Ambiente de suporte para educação a distância: a mediação para aprendizagem cooperativa. Renote-Revista Novas Tecnologias na Educação, Rio Grande do Sul, v. 1, n. 1, p 1-13. , fev. 1998.
NAIR, M. A organização da informação e do conhecimento a partir do conhecimento
explíci-to de classificadores. 2006. f.55. Monografia (Especialização em Gestão Estratégica do
Co-nhecimento e Inovação) Universidade Federal do Espírito Santo, Vitória, 2006.
NETTO, H.; MENEZES, C.; PESSOA, J. AmCora: uma experiência com construção e uso de ambientes virtuais no ensino superior. In: SIMPÓSIO BRASILEIRO DE INFORMAÇÃO NA EDUCAÇÃO, 14., 2003. Rio de Janeiro. Anais... Rio de Janeiro: [s.n.], 2003. v. 14, p.1-10.
PERRENOUD, P. Avaliação: da excelência à regulação das aprendizagens - entre duas lógi-cas. Porto Alegre: Artmed, 1998.
PIEDADE, M. A. Introdução à teoria da classificação. [S.l.]: Interciência, 1983.
PIMENTEL, E.; FRANÇA, V.; OMAR, N. A caminho de um ambiente de avaliação e acom-panhamento contínuo de aprendizagem em programação de computadores. In: WORKSHOP
15
DE EDUCAÇÃO EM COMPUTAÇÃO E INFORMÁTICA DO ESTADO DE MINAS GE-RAIS, 2., 2003, Poços de Caldas. Painéis... Poços de Caldas: [s.n.], 2003a. Cd-Room, p. 212-213.
PIMENTEL, E.; FRANÇA, V.; OMAR, N. A identificação de grupos de aprendizes no ensino presencial por técnicas de clusterização. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO, 14., 2003, Rio de Janeiro. Anais.... Rio de Janeiro: [s.n.], 2003b. v. 14, p. 38-54.
SANTAROSA, L. Escola virtual: ambientes de aprendizagem telemáticos para a educação geral e especial. In: CONGRESSO IBERO-AMERICANO DE INFORMÁTICA NA EDU-CAÇÃO, 4., 1998, São Paulo. Anais eletrônicos... Disponível em:
<http://wwww.niee.ufrgs.br/ribie98>. Acesso em: 3 jul. 2008.
STANKOV, S. Student Model developing for intelligent tutoring systems. International Journal for Engineering Modelling, Campinas, v. 9, n. 1-4, p. 35-41, 1996.
STEINBACH, M.; KARYPIS, G.; KUMAR, V. A comparison of document clustering techniques. Texto disponibilizado em 2000. In: KDD Workshop on Text Mining. Disponível em: <citeseer.ist.psu.edu/steinbach00comparison.html>. Acesso em: 8 de jul. 2008.
