Um Laboratório Virtual de Ensino de Programação SQL no
Ambiente Moodle
Osiel Marlon Negrão da Silva1,2, Adriano D. P. Lino1,2, Eloi Luiz Favero1,2 1Programa de Pós-Graduação em Engenharia Elétrica (PPGEE)
2Universidade Federal do Pará (UFPA)
Caixa postal 479 - 66075-110 - Belém - Pará – Brasil osielmarlon@gmail.com, {adrianod,favero}@ufpa.br
Abstract. This paper proposes the establishment of a virtual laboratory of SQL programming on the environment Moodle. The laboratory in question is an adaptation of the tool LabSQL, which was developed to assist in the teaching / learning SQL in an online environment. With the integration of LabSQL on the Moodle is possible provide the robust structure of this environment, supporting courses, classes, organization of material etc., aggregating mechanisms implemented by LabSQL, such as the automatic evaluation of activities, which is the main focus of the tool, including positive results demonstrated, for the use in several classes.
Resumo. Este artigo propõe a implantação de um laboratório virtual de programação de SQL no ambiente Moodle. O laboratório em questão corresponde a uma adaptação da ferramenta LabSQL, a qual foi desenvolvida para auxiliar no processo de ensino/aprendizagem de SQL num ambiente on-line. Com a integração do LabSQL no ambiente Moodle é possível disponibilizar a estrutura robusta desse ambiente, com suporte a cursos, turmas, organização de material, etc., agregada aos mecanismos implementados pelo LabSQL, como por exemplo a avaliação automática de atividades, que é o principal foco da ferramenta, inclusive com resultados positivos comprovados, em função da utilização em diversas turmas.
1. Introdução
O processo de Educação a Distância (EAD) tem sofrido uma série de avanços muito significativos nos últimos anos. Diversos ambientes e ferramentas de suporte ao ensino têm sido desenvolvidos nessa modalidade, oferecendo recursos otimizados para a obtenção de resultados mais eficientes. Tanto aprendizes, como professores, podem desfrutar dos benefícios alcançados com essas ferramentas. Dentre os ambientes mais completos, encontra-se a plataforma Moodle (2009) – Modular Object-Oriented Dynamic Learning Environment.
Entretanto, uma lacuna observada na maioria dos ambientes, é a carência de ferramentas ou recursos, que auxiliem no processo de avaliação automática de atividades de forma realmente eficiente. Nesse sentido, para auxiliar os aprendizes da linguagem SQL
(Structure Query Language), foi desenvolvido por Lino et al(2007) a ferramenta LabSQL. Essa ferramenta possibilita dois benefícios diretos: o aprendiz recebe um retorno instantâneo durante a atividade prática de programação, permitindo-lhe refatorar a sua solução em direção a uma solução ótima e; o professor é liberado do árduo trabalho de correção de comandos SQL podendo realizar tarefas pedagógicas mais relevantes.
O foco principal do projeto em questão, é a integração da ferramenta LabSQL no ambiente Moodle. O que pretendemos é utilização conjunta da estrutura robusta de cursos, turmas, grupos etc., do ambiente Moodle, com uma ferramenta adicional que possa disponibilizar um módulo de aprendizado da linguagem SQL com feedback automático para professores e aprendizes, o LabSQL. Desta forma, todos os aprendizes e professores que já estejam cadastrados no Moodle, poderão acessar diretamente o LabSQL, como um subsistema do próprio ambiente, sem a necessidade de um novo cadastro no próprio LabSQL, como era feito até então.
O que podemos perceber é que o processo de organização e estruturação de cursos a distância é, até certo ponto, complexo, considerando as peculiaridades dos envolvidos, como por exemplo: localizações geográficas diferentes, horários de acesso personalizados, gerência remota etc. Nesse sentido, ambientes como o Moodle, automatizam a logística de funcionamento dessa modalidade de ensino, uma vez que possuem infraestrutura e base de dados construídos especificamente para esse fim.
Por outro lado, o LabSQL traz vantagens no que tange à melhoria do processo de aprendizado da linguagem SQL em si, sobretudo no que diz respeito a automatização de procedimentos de avaliação. Entretanto, percebe-se que a organização de cursos, turmas, aprendizes e professores no LabSQL apresenta algumas deficiências que já foram sanadas em outros ambientes como o Moodle.
Com a integração do LabSQL no Moodle, podemos disponibilizar de forma paralela tanto estrutura, quanto recursos práticos para o ensino da linguagem SQL. Dessa forma, aprendizes e professores podem interagir de fato com um Laboratório Virtual de Ensino de Programação de SQL no ambiente Moodle.
O trabalho está estruturado da seguinte forma: a seção 2 aborda as dificuldades encontradas no ensino de programação, a seção 3 mostra alguns trabalhos relacionados, a seção 4 aborda diretamente implementação do Laboratório Virtual de SQL no Moodle, a seção 5 apresenta alguns resultados significativos obtidos com o LabSQL e a seção 6 contém as considerações finais e trabalhos futuros.
2. Dificuldades Encontradas no Ensino de Programação
Observando a realidade encontrada nos diversos cursos na área de computação, podemos detectar dificuldades por parte dos aprendizes para assimilar disciplinas na área de programação. E considerando a linguagem SQL como uma ferramenta que necessita para seu aprendizado das mesmas premissas das linguagens de programação, percebemos que as dificuldades para assimilação de SQL são praticamente as mesmas relacionadas ao ensino de programação em geral.
Na medida em que os aprendizes se deparam com as dificuldades no estudo das linguagens de programação, instintivamente acabam por produzir barreiras com relação ao
tema. Muitas vezes essas dificuldades são criadas por conta da própria metodologia do ensino utilizada, uma vez que, o foco é dado para o conteúdo das linguagens, ao invés de enfatizar a prática por meio de exercícios e atividades.
Muitos dos aprendizes não conseguem desenvolver o raciocínio lógico necessário para o posterior desenvolvimento de programas. O nível de dificuldade no processo faz com que haja baixa motivação dos aprendizes, apatia, baixa auto-estima culminando com muita evasão e reprovação [Rodrigues 2002; Schultz 2003; Chaves de Castro et al 2003].
Especificamente com relação ao ensino da linguagem SQL, algumas dificuldades peculiares podem ser encontradas, tais como: necessidade por parte do aprendiz de conhecimentos diversificados tanto das linguagens de programação como nos conceitos de bancos de dados; necessidade de prática repetitiva para a otimização das consultas; disponibilidade de ferramentas de bancos de dados para a prática de consultas etc.
Problemas como o tempo de prática de laboratório reduzido fazem com que, após a realização de uma atividade, o aprendiz freqüentemente não tenha a oportunidade de analisar as tarefas realizadas ou não tenha conseguido formular suas dúvidas e obter respostas. Em função disso, diversos aprendizes não conseguem concluir suas atividades; na aula seguinte de laboratório outra atividade é iniciada.
3. Trabalhos Relacionados
Ambientes de EAD possuem ferramentas que auxiliam o instrutor a disponibilizar o material de aula e receber de forma organizada o material dos aprendizes, como por exemplo, o Moodle e o Aulanet (2009). Neste ambientes já existem também ferramentas para fazer avaliação. Por exemplo, as questões objetivas são automaticamente avaliadas e as subjetivas são tipicamente respondidas e avaliadas manualmente. Porém, já existem pesquisas e alguns sistemas comerciais com componentes para avaliar automaticamente questões dissertativas (Hearst, 2003), utilizando técnicas tais como regressão múltipla e verificação da similaridade entre dois textos.
Com relação ao ensino/aprendizagem de SQL, já foram propostas algumas soluções como o SQLator (Sadiq et al, 2004), e o SQL-Tutor (Okada et al, 1998), que possibilitam aos professores cadastrar tarefas de laboratório para os aprendizes e acompanhar estas tarefas. Podemos também relacionar outros trabalhos que apresentam ferramentas para solucionar o problema da prática de ensino da linguagem SQL. Por exemplo, o AsseSQL (Prior, 2004). Nas ferramentas SQL-Tutor, AsseSQL e SQLator é possível realizar o acompanhamento dos aprendizes através de dados estatísticos como freqüência, percentual de acerto de questões, resolução de listas de exercícios e relatórios gráficos.
Com relação à integração de novos módulos ou ferramentas no ambiente do Moodle, podemos destacar o trabalho de Moreira et al(2008) que propõe a utilização de uma ferramenta para o ensino da linguagem Java dentro do Moodle, disponibilizando um interpretador para a linguagem Java, de forma a possibilitar a animação e visualização detalhada de informações do código e de sua execução.
O Moodle foi criado e é mantido como um ambiente que permite a inclusão de novas atividades e recursos, de acordo com as necessidades da comunidade. Neste sentido, a proposta neste trabalho, é a disponibilização no ambiente de uma nova ferramenta, o LabSQL, que agregará vários facilitadores ao ensino e aprendizagem da linguagem SQL.
Inicialmente, nesta sessão, abordaremos o LabSQL, destacando de forma objetiva as suas principais aplicações, sobretudo, a avaliação automática de atividades. Posteriormente mostraremos como de fato será efetuada a integração do LabSQL no Moodle que trará subsídios para a implementação do Laboratório Virtual de SQL no ambiente.
4.1 O LabSQL e suas Aplicações
O LabSQL é uma ferramenta utilizada nos cursos introdutórios de banco de dados que soluciona o problema da prática do ensino de programação da linguagem SQL, linguagem mais aceita e utilizada para o acesso de Banco de Dados (BD). Essa ferramenta pode ser utilizada em ambiente de educação a distância ou na educação presencial de curso de BD. Nesse sentido, as pesquisas desenvolvidas neste ambiente são direcionadas para avaliação automática, cujo objetivo é oferecer um ambiente que seja totalmente assistido (Lino et al, 2007). Na versão em produção são abordados os seguintes aspectos:
• Avaliação automática de questão SQL: propõe uma solução para o desafio de estimular o aprendiz a aperfeiçoar a sua solução buscando, além de uma resposta que retorna o resultado correto, uma consulta com complexidade próxima da solução ótima. Por meio de métricas de engenharia de software e métodos estatísticos o LabSQL atribui uma nota na consulta SQL submetida pelo aprendiz, que em essência é a distância da consulta do aprendiz em relação à solução ótima, inicialmente cadastrada pelo professor. Quando o aprendiz realiza uma solução menos complexa, automaticamente essa consulta passa a ser a solução ótima (Lino et al., 2007);
• Avaliação automática de questão discursiva: possui o mesmo objetivo e fundamentos da solução anterior, porém possui métricas da lingüística, fundamentados em n-gramas, porém, para fins de comparação, ocorre uma expansão do vocabulário do professor com suporte da distribuição normal para mapear os escores das respostas em conceitos numa escala ajustável para diferentes turmas. (Santos et al 2008);
• Avaliação dos aprendizes críticos: propõe um sistema de avaliação difuso para auxiliar o professor na decisão do conceito final dos aprendizes críticos que utilizam ambiente de educação a distância. O problema ocorre quando a nota final dos aprendizes está na eminência de atingir melhores conceitos, por exemplo, a nota 6.8 define o conceito regular, porém faltam apenas dois décimos para atingir o conceito bom. Essa proposta fornece: (a) uma recomendação ao professor referente ao conceito final; (b) utiliza critérios objetivos e subjetivos para decidir o conceito final (Silva et al., 2008).
• Rubrica para avaliação dos aprendizes: propõe uma solução para avaliar o aprendiz por meio de uma ferramenta que utiliza os princípios da rubrica, sistema de classificação que permite avaliar a proficiência do aprendiz em diferentes critérios,
dimensões e níveis. Basicamente essa solução fornece: (a) um ambiente para criar avaliações contendo critérios claros e bem definidos; (b) recomenda um conceito final da avaliação do aprendiz; (c) proporciona um feedback imediato aos aprendizes mostrando os níveis de proficiência adquiridos (Lobato et al., 2008).
• Mineração de dados na descoberta de padrões: propõe um feedback diferenciado para os aprendizes a partir da descoberta de padrões detectados por algoritmos de mineração de dados aplicados na base de dados do aprendiz (Dias et al, 2008). • Avaliação automática de mapas conceituais: propõe uma avaliação quantitativa de Mapas Conceituais em ambientes virtuais de ensino. Basicamente essa solução compara por meio de bigramas e trigramas o MC do aprendiz contra uma expansão do vocabulário do professor. Antecipadamente, ocorre um pré-processamento e normalização via stemmer e um dicionário de sinônimos (Caldas et al., 2009). Na Figura 1, apresentamos a visão geral da arquitetura do LabSQL, onde o professor, através da interface de mediação, define avaliações e questões, além de registrar algumas de suas resoluções; as questões podem ser apenas para treinamento do aprendiz ou restritas para uso de avaliação formal. A estratégia de seleção das questões é realizada previamente pelo professor ou a partir da estratégia o sistema sorteia automaticamente as questões para cada aprendiz. Dessa forma, o aprendiz, interage com o sistema a fim de solucionar as questões propostas, sendo a trilha do aprendiz e seus desempenhos registrados na base de desempenho dos aprendizes.
Interface de Aprendizagem Nível de interação com usuário do LabSQL
BD E1 BD E2 BD En . . . Interface de Mediação Módulos de Avaliações e Questões Interpretador SQL Métricas
Bases com a trilha e Desempenho dos estudantes Base de
Avaliações e Questões Bases de testes ( por )
estudante Módulos de Avaliação automática SQL Discursivas Mapas conceituais Estudante crítico Rubrica Módulos do LabSQL Alternativas Nível de Componentes Módulos de Avaliações e Questões Componente difuso
Figura 1- Arquitetura do LabSQL
O executor de avaliações aciona o Interpretador SQL, que executa e retorna o resultado da consulta, utilizando a base de testes, que é gerada e mantida para cada aprendiz; se a execução da consulta do aprendiz retorna o mesmo resultado que a execução da consulta do professor, então o texto da consulta passa a ser avaliado em termos de complexidade, com base no modelo de métricas, através do executor de métricas, que, em essência, mede a distância da consulta do aprendiz em relação à do professor.
O acompanhamento do aprendiz é realizado, pelo professor, com base na trilha percorrida e no desempenho alcançado pelos aprendizes; como feedback, o aprendiz recebe a avaliação automática das consultas, sugerindo melhorias quando apropriado, e mensagens (comentários) do professor acerca das suas soluções. Finalmente, as informações gerais do curso e de seus participantes estão na base de dados institucionais do AVA integrado ao LabSQL.
4.2 Integrando o LabSQL no Moodle para criação do Laboratório Virtual de SQL O ambiente Moodle possui uma série elementos conhecidos como Atividades, por exemplo: Chats, Fóruns, Tarefas e Lições. Entretanto, para que haja a integração do LabSQL no Moodle, é necessário disponibilizar um módulo que dê suporte ao cadastro e acompanhamento de atividades pelo professor, sendo que os aprendizes podem acessar as atividades, tentar resolvê-las no ambiente e enviar as respostas. Com as respostas submetidas, o sistema efetuará a avaliação, de acordo com as métricas estabelecidas no padrão do LabSQL.
O módulo Tarefa (Assignment) do Moodle possui as funcionalidades desejadas para dar suporte a integração do LabSQL. Este módulo possui quatro categorias: (a) Tarefa Envio de Arquivo Único: caracteriza-se pela ação de upload (envio) de um arquivo por Tarefa, pelo aprendiz; (b) Tarefa Modalidade Avançada de Carregamento de Arquivos: consiste no envio de mais de um arquivo como solução da Tarefa; (c) Tarefa Atividade Offline: é uma tarefa simplesmente repassada do professor para os aprendizes, mas que não possui ação nenhuma no sistema; (d)Tarefa Texto Online: consiste na submissão online de uma resposta. Para efetuar a integração, está sendo criada uma Atividade do Moodle, que se assemelha com a categoria de Tarefas de Texto Online. Essa nova Atividade assumirá o denominação de Laboratório Virtual de SQL, aplicando assim as funcionalidades do LabSQL no Moodle.
Na Figura 2, apresentamos a visão resumida da arquitetura de integração do LabSQL no Moodle, onde podemos verificar que o aprendiz ao acessar a interface inicial tem acesso às diversas Atividades do Moodle, dentre elas temos o Laboratório Virtual.
No ambiente do Laboratório Virtual de SQL, o aprendiz pode acessar dois módulos principais: (a) Ambiente de estudo de SQL e (b) Executor de Avaliações. O primeiro componente pode ser utilizado para um estudo mais detalhado dos conceitos iniciais da linguagem SQL, tais como: Introdução ao SQL, Módulo Select, Manipulação de tabelas, Subconsultas etc. No Executor de Avaliações o aprendiz terá acesso aos recursos de prática de exercícios subjetivos com feedback automático. Esse é o principal objetivo do laboratório virtual de SQL. Com base nas técnicas de métricas de Engenharia de Software, as respostas submetidas ao sistema serão avaliadas automaticamente, inclusive considerando a complexidade das soluções subjetivas.
A Figura 3 mostra a interface do aprendiz ao tentar solucionar uma questão. Nessa interface podemos destacar as seguintes informações: (a) Listagem das Questões: lista das questões que estão cadastradas para resolução em exercício ou avaliação somativa; (b) Área de resolução das Questões: área de trabalho reservada ao aprendiz para submeter suas respostas num campo de texto de um formulário HTML; (c) Histórico das Respostas em Porcentagem de Acertos: posicionado ao lado esquerdo, esse recurso permite ao aprendiz acompanhar um registro de suas tentativas de resolução de cada questão proposta; (d) Área de Exibição de resultados: utilizada para exibir o retorno da consulta postada pelo aluno. Em caso positivo será exibido o resultado da consulta e em caso negativo será apontado o erro, de acordo com a situação.
Vale ressaltar que para a avaliação das respostas não é necessária nenhuma intervenção do professor, sendo o processo totalmente automatizado.
5. Resultados Obtidos - Avaliação do LabSQL
O LabSQL foi utilizado por várias turmas diferentes e os resultados obtidos até o momento nas turmas que o utilizaram foram satisfatórios. Para efeito de avaliação da ferramenta, foi feito o acompanhamento de 20 (vinte) turmas, incluindo alunos de graduação e pós-graduação, durante o período de 8 (oito) semestres letivos. De acordo com o levantamento, destacamos os seguintes dados: desempenho, evasão e atraso na inscrição dos aprendizes.
Inicialmente observou-se que, nas turmas tradicionais com mais componentes, o desempenho é menor do que nas turmas que apresentam menos aprendizes. Com o uso do LabSQL não se observa essa problemática, pois o desempenho das turmas com maior quantidade de aprendizes não se difere das compostas por menos membros. Com relação ao conceito dos aprendizes, as turmas que utilizaram o LabSQL obtiveram resultados superiores às turmas que não a utilizaram. Esse aspecto positivo quanto aos resultados pode ser observado por meio do acréscimo de 12% para 19% no percentual de alunos com conceito de bom a excelente (Figura 4 - A).
Quanto a evasão de aprendizes, observou-se uma redução, visto que nas turmas presenciais compostas por 35 aprendizes, em média quatro aprendizes abandonavam a turma. Já nas turmas que utilizaram o LabSQL, que também eram compostas por 35 aprendizes, houve uma evasão de apenas um aprendiz por turma, conforme gráfico (Figura 4 - B).
Figura 4 – Gráficos de Desempenho e Evasão dos Aprendizes.
Além disso, Dias et al (2008) realizou um estudo por meio de algoritmos de mineração de dados e observou que os aprendizes com inscrições atrasadas possuem índices fracos de utilização do ambiente, consequentemente menores notas finais. A Figura 5, ilustra que ocorreu uma redução nesses índices de atrasos nas inscrições dos estudantes, praticamente uma redução de 30%. Ou seja, o LabSQL integrado com o ambiente Moodle aumentou a usabilidade do LabSQL. Uma consulta no banco de dados do histórico do perfil dos aprendizes revelou que ocorreu um acréscimo de utilização dos módulos de treinamentos e execução de exercícios. Esses índices foram comparados com 6 seis meses de utilização do LabSQL integrado ao Moodle.
Figura 5 – Gráfico de Acompanhamento de Inscrições.
6. Considerações Finais e Trabalhos Futuros
Este artigo apresentou uma proposta para um Laboratório Virtual de SQL integrado ao ambiente Moodle. Essa solução possibilita tornar o ensino/aprendizagem da linguagem SQL um processo mais tranquilo, tanto para aprendizes quanto para professores e tutores.
Do ponto de vista dos aprendizes, a disponibilidade de uma ferramenta de SQL, dentro do próprio ambiente do Moodle, já agrega uma série de benefícios, uma vez o que não há mais a necessidade de se instalar alguma outra ferramenta adicional para prática do SQL e, além disso, não é necessária a presença do professor para convalidar as respostas dos exercícios. Por outro lado, os professores ganham em produtividade, visto que podem desviar seus esforços das tarefas rotineiras e repetitivas de correção das atividades dos alunos, focando no processo de melhoria de mecanismos pedagógicos que venham a facilitar o acompanhamento e aprendizagem dos aprendizes,
Como trabalhos futuros, propomos a otimização da integração do LabSQL no Moodle, disponibilizando outros benefícios para a comunidade, como por exemplo: relatórios de acompanhamento qualitativos e quantitativos dos aprendizes, compatibilidade com outras versões do Moodle. Pretendemos, ainda, dar suporte a avaliação automática de exercícios em outras linguagens de programação como, por exemplo, Java e PHP.
8. Referências
AulaNet (2009) Disponível em: <http://www.eduweb.com.br/elearning_tecnologia.asp>. Acessado em julho/2009.
Chaves de Castro, T., Castro Junior, A., Menezes, C., Boeres, M. e Rauber, M. (2003) “Utilizando Programação Funcional em Disciplinas Introdutórias de Computação”. XI Workshop de Educação em Computação – WEI 2003. Campinas, SP, Brasil.
Caldas, V. M, Lino, Favero, E. L. (2009) “Uma Proposta para Avaliação automática de Mapas Conceituais para Ambientes de Educação a Distância”. In: XXXV Conferencia Latinoamericana de informática - CLEI, 2009, Pelotas. CLEI 2009. v.1. p.1 - 12
Dias, M., Silva Filho, L. A., Lino, A. D. P., Elói L. Favero, Ramos, E. M. L. S. (2008) “Aplicação de Técnicas de Mineração de Dados no Processo de Aprendizagem na Educação a Distância”. In: Simpósio Brasileiro de Informática na Educação, 2008, Fortaleza. Simpósio Brasileiro de Informática na Educação. v.1. p.1 - 10
Gomes, A. J. (2000) “Ambiente de suporte à aprendizagem de conceitos básicos de programação”. Dissertação de Mestrado. Universidade de Coimbra.
Hearst M.A. (2000). "The Debate on Automated Essay Grading," IEEE Intelligent Systems, vol. 15, no. 5, pp. 22-37, September/October.
Jenkings, T. (2002). “On the difficulty of learning to program”. In Proceedings of 3rd Annual LTSN_ICS Conference (Loughborough University, United Kingdom, August 27-29, 2002). The Higher Education Academy, p.53-58.
Lino, A. D. P., Silva, A. S., Santos, T.L.T. Harb, M.P.A.H., Favero, E.L., Brito, S.R. (2007) “Avaliação automática de consultas SQL em ambiente virtual de ensino-aprendizagem”. Conferencia Ibérica de Sistemas y Tecnologías de la Información. CISTI.
Lobato, A. S.; Abi Harb, M. P. A.; Lino, A. D. P.; Favero, E. L.; Silva, H. A. N. (2008) “Aplicando Rubrica para Avaliar Qualitativamente o Estudante no LabSQL”. Conferencia LatinoAmericana de Informática - CLEI - Santa Fé - Argentina.
Moodle (2009). Moodle - A Free, Open Source Course Management System for Online Learning. Disponível em http://moodle.org. Acessado em julho/2009.
Moreira M. P., Favero, E. L. (2009) “Um Ambiente Para Ensino De Programação Com Feedback Automático De Exercícios”. Workshop Sobre Educação em Computação. Okada, A.L.P.,Santos, E. (2003) “A construção de ferramentas virtuais de aprendizagem:
por autorias plurais e gratuitas no ciberespaço”. In: 26ª Reunião Anual da Associação Nacional de Pós-Graduação e Pesquisa em Educação. Poços de Caldas.
Prior,J., Lister, R. (2004) “The backwash effect on SQL skills grading”. In Proceedings of ITiCSE’04, Leeds, UK, pp. 32–36
Rodrigues, M. C. (2002) “Como Ensinar Programação?”. Informática – Boletim Informativo Ano I n° 01, ULBRA. Canoas, RS, Brasil.
Sadiq, S.; Orlowska, M.; Sadiq, W. ,Lin, J. “SQLator (2004) - an online SQL learning workbench”. In Proceedings of ITiCSE’04. Leeds, UK, pp. 223–227.
Santos, Thais L. T.; Silva, A. S.; Favero, E.L.; Lino, A.D.P. (2007) “Avaliação Automática de Questões Conceituais Discursivas”. Argentine Symposium on Artificial Intelligence - ASAI 2007. Mar Del Plata, Argentina.
Schultz, M. R. O. (2003) “Metodologias para Ensino de Lógica de Programação de Computadores”. Monografia de Especialização (Ciência da Computação). Universidade Federal de Santa Catarina (UFSC), Florianópolis, SC, Brasil. 69p.
Silva, H. A. N.; Lino, A. D. P.; Santos, T. L. T. ; Morais, R. F. de; SILVEIRA, A. M. da; Favero, E. L. (2008) “Um sistema baseado na lógica difusa para decidir os conceitos finais dos estudantes críticos”. Workshop sobre Educação em Computação - WEI - Belém.
