Uma proposta para avaliação da aprendizagem em ambientes
de educação à distância
Hieda Adriana N. Silva1, Antônio Morais Da Silveira1 (Orientador) 1
Facudade de Computação – Universidade Federal do Pará (UFPA) Programa de Pós-Graduação em Ciência da Computação – Belém – PA – Brasil
{hieda,morais}@ufpa.br
Resumo. Este trabalho apresenta uma nova abordagem para avaliação dos
estudantes em ambiente virtual de aprendizagem (AVA). Propõe uma solução para o desafio de avaliar de forma contínua, ou seja, acompanhar todo o processo de ensino-aprendizagem e fazer análise dos aspectos envolvidos ao longo do curso ministrado a distancia. Partindo para uma nova concepção de avaliação, propomos a utilização da lógica fuzzy (com o auxílio da ferramenta matemática MATLAB), permitindo uma avaliação qualitativa e não apenas quantitativa. A solução busca atribuir um conceito final aos estudantes, ou seja, um conceito que represente o aprendizado no curso como um todo. Esse conceito final é obtido inferindo-se um conjunto de variáveis fornecidas pelo ambiente virtual onde o estudo de caso foi realizado. A solução proposta apresenta as seguintes vantagens: (a) fornece informações ao professor para acompanhar de forma otimizada o desempenho dos estudantes; (b) proporciona um feedback imediato aos estudantes referente ao seu desempenho. O feedback é essencial no contexto de educação a distancia, pois nessa modalidade de ensino, é extremamente importante que não somente o professor, mas o estudante também possa acompanhar, ao longo do curso, a evolução do seu aprendizado.
1. Introdução
A inserção do computador no âmbito educacional tem transformado o processo de ensino. Segundo Valente (1993) os computadores podem ser utilizados para ensinar. A quantidade de programas educacionais e as diferentes modalidades de uso do computador mostram que esta tecnologia pode ser bastante útil nesse processo.
A utilização do computador na educação não pode se restringir meramente a uma versão computadorizada da aula tradicional. Logo que o computador foi inserido nesse âmbito observou-se que essa tecnologia não trouxe benefícios significativos, pois não houve verdadeiras mudanças, por exemplo, muitos professores apenas transferiam sua aula tradicional do quadro para uma apresentação nos slides.
No entanto, a proposta de utilizar essa tecnologia na educação aponta para uma nova direção: não como uma máquina de ensinar, mas como uma nova mídia educacional. O computador passa a ser uma ferramenta educacional, de complementação, de aperfeiçoamento e de possível mudança na qualidade do ensino (Valente, 1993).
Um dos objetivos das tecnologias no contexto educacional é fornecer suporte aos processos de ensino e aprendizagem. Com a utilização dessas tecnologias surge uma nova modalidade educacional, denominada educação à distância (EaD) juntamente com os ambientes virtuais de aprendizagem (AVA`s).
Segundo (Okada e Santos, 2003), um ambiente virtual é um espaço fecundo de significação onde seres humanos e objetos técnicos interagem potencializando assim, a
construção de conhecimentos. O processo de avaliação dos estudantes nos AVA`s apresenta uma série de desafios:
• Avaliar os estudantes de forma não presencial.
• Fornecer feedback aos estudantes durante todo o processo de ensino aprendizagem.
• Fornecer mecanismos para o professor acompanhar o rendimento de cada estudante no decorrer do curso.
• Utilizar diversos critérios para avaliar os estudantes além da própria nota da prova, como por exemplo, critérios subjetivos (participação do estudante no ambiente virtual).
1.1 Dificuldades no processo de avaliar
Com surgimento dos ambientes virtuais de aprendizagem e da comunicação mediada por computador surge a necessidade de realizar não somente avaliações cumulativas e prognósticas tradicionalmente adotadas com aplicação de provas e testes. É necessária a realização de avaliação formativa à distância por meio do acompanhamento dos estudantes durante todo o curso a distancia, onde o professor possa acompanhar todo o processo de desenvolvimento das atividades (individuais ou em grupo) dos estudantes, bem como sua evolução e participação no curso.
Segundo Otsuka (2006) no contexto da EaD, onde não se tem a percepção das interações face-a-face, as características informativa e reguladora da avaliação formativa têm revelado uma especial importância por favorecer a percepção do comportamento dos aprendizes e a identificação de problemas mesmo a distância, possibilitando uma orientação mais efetiva das aprendizagens em andamento. Além disso, esta modalidade de avaliação está mais alinhada com as novas abordagens de ensino-aprendizagem introduzidas com a comunicação mediada por computador.
Analisando as praticas pedagógicas avaliativas em cursos à distância usando as tecnologias de informação e comunicação, Masetto (2000) concluiu que: “Muitas vezes o que acontece é a perda de todo um trabalho docente inovador por não se cuidar coerentemente do processo de avaliação, ou em outras palavras: perde-se todo um trabalho novo porque a avaliação é feita do modo mais tradicional e convencional que se conhece”, o autor chama a atenção para alguns pontos principais que devem ser consideradas na mediação pedagógica em ações educacionais à distância, tais como:
Colocação da avaliação como processo integrado ao processo de aprendizagem, como elemento motivador e incentivador da aprendizagem e não como um conjunto de provas realizadas em datas previamente definidas com a função de reprovar ou aprovar o aluno; Alterar a cultura dos alunos e as práticas dos professores que se relacionam com a avaliação como meio de se obter ou de se dar nota para passar;
Ver a avaliação como um processo de feedback ou retroalimentação que traga ao estudante informações necessárias, oportunas e no momento em que ele precisa para que desenvolva sua aprendizagem. São informações necessárias oferecidas ao longo de todo o processo de aprendizagem, de forma contínua para que o aprendiz vá adquirindo consciência de seu avançar em direção aos objetivos propostos, e de seus erros ou falhas que precisarão ser corrigidos imediatamente. É a avaliação entrando no processo da aprendizagem, como forma de orientar o aluno caso ele manifeste dificuldade de atingir os objetivos propostos (...)
Necessidade de cuidado com o feedback, já que este será lido por uma pessoa que está a distância, que não tem a percepção do presencial e que pode interpretar a mensagem de forma diferente das intenções de quem a escreveu. “É imprescindível contextualizar a mensagem na situação atual que o interlocutor está vivendo”. Por não considerar estes aspectos, muitas vezes o feedback a distância não funciona, ou até funciona em sentido contrário ao esperado. O feedback que mediatiza a aprendizagem é aquele colocado de forma clara, direta, por vezes orientado discursivamente, por vezes por meio de perguntas, ou de uma breve indicação ou sugestão;
Juntamente com o feedback contínuo, há que se desenvolver um registro de todos os estudantes, de forma pessoal e sintética, mas que permita um diálogo e acompanhamento sobre o processo de aprendizagem como um todo, e não apenas em cada atividade isoladamente;
É preciso que atividades à distância permitam ao estudante e ao professor desenvolver sua auto-avaliação e registrá-la.
1.2 Problemas com ambientes para a EAD em larga escala
O processo de ensino-aprendizagem em um ambiente de EaD em larga escala, requer grande esforço por parte dos professores: o elevado número de estudantes para serem avaliados por um mesmo professor dificulta que seja realizada uma avaliação contínua e não atende a necessidade de muitos estudantes em receber feedback imediato de suas ações, a fim de verificar em qual ponto da disciplina está sua deficiência .
Segundo Lino (2007), a sobrecarga de trabalho para o professor na avaliação das atividades dos aprendizes remete invariavelmente a uma demora no feedback do professor para os estudantes. O professor precisa avaliar todo o processo de construção do conhecimento e não avaliar o estudante somente pela sua nota final. Sendo assim, é importante que outros aspectos sejam considerados como a freqüência do estudante, sua participação e evolução no decorrer do curso, dentre outros critérios subjetivos.
2. Soluções em andamento
Alguns ambientes de EaD possuem ferramentas que dão suporte a avaliação do estudante. O AulaNetTM (Lucena et al, 2000) desenvolvido pelo LES – Laboratório de Engenharia de Software da Pontifica Universidade Católica do Rio de Janeiro, possui a ferramenta Quest (Noya, 1998) que permite criar questões e corrigir automaticamente as mesmas. O Quest proporciona uma avaliação on line e gera o resultado da mesma. No entanto, ele considera apenas as notas das provas, trabalhos e exercícios para avaliar o estudante, não levando em consideração na avaliação outros critérios subjetivos, além da própria nota dos testes objetivos.
Outro ambiente é o WebCT (1995), desenvolvido pelo Departamento de Ciência da Computação da Universidade de British Columbia no Canadá em 1995. Nesse ambiente, as provas são classificadas em categorias a fim de classificar as questões por nível de dificuldade, ou ainda, classificar por conteúdo ao qual o grupo de questões está relacionado. Primeiro o professor cria as categorias, depois ele escolhe o tipo de questões que vai compor a prova. Existem cinco tipos de questões: múltipla escolha, relacionar colunas, respostas curtas, de calcular e discursivas. O ambiente não faz correção automática das questões discursivas, essas são corrigidas pelo professor por meio do próprio ambiente. Para todas as questões são atribuídas notas, caracterizando assim uma avaliação somativa. O WebCT também não leva em consideração aspectos qualitativos para avaliar o estudante.
Os ambientes voltados para o ensino da linguagem SQL como SQLator (Sadiq et al, 2004), AsseSQL (Prior & Lister, 2004) e LabSQL (Lino, 2007) realizam correções automáticas das consultas SQL, no entanto esses ambientes também utilizam apenas os resultados dos exercícios e das provas para avaliar os estudantes. O LabSQL oferece uma proposta mais abrangente para correções automática de questões de SQL, pois diferentemente do SQLator e AsseSQL, que possuem feedback apenas certo/errado, o LabSQL estimula o estudante buscar uma solução ótima por meio da refatoração de código. Segundo (Lino, 2007), a refatoração consiste em desenvolver soluções alternativas, cada vez, mais próximas da solução ideal. Cada alternativa é avaliada em duas dimensões: resultado retornado é o esperado (70% do conceito); solução possui uma complexidade similar a da solução ótima (30% do conceito). No entanto, o LabQSL considera também apenas aspectos quantitativos para avaliar, caractizando também uma avaliação apenas somativa.
No (Moodle, 2008) e (Teleduc, 2008) também existem ferramentas para auxiliar o processo de avaliação, nesses ambientes as questões objetivas são corrigidas automaticamente, no entanto, as subjetivas são avaliadas manualmente, sobrecarregando assim o trabalho do professor. Atualmente, já existem pesquisas para fazer correções automáticas de questões subjetivas, (Shermis, 2003), (Hearst, 2000) e (Sukkarieh et al, 2003), por meio das técnicas de regressão múltipla e similaridade entre textos. Tanto o Moodle quanto o Teleduc fazem inferência do conceito final no estudante, porem com caráter apenas somativo, uma vez que consideram apenas resultados das provas e exercícios para compor a nota final do estudante.
Contudo, os ambientes analisados não realizam avaliação envolvendo simultaneamente aspectos quantitativos e qualitativos. Este trabalho tem como objetivo principal fornecer um mecanismo de avaliação do estudante por meio dos princípios da lógica fuzzy, considerando tanto aspectos objetivos (exemplo notas das provas e exercícios), como aspectos qualitativos (participação e progressão do estudante). Assim, é possível fazer uma avaliação integrada, acompanhando o estudante em todo seu processo de aprendizagem, levando em consideração não somente dados classificatórios, mas as competências e habilidades adquiridas durante todo o curso.
3. Objetivos do trabalho
Este trabalho propõe uma ferramenta baseada na técnica dos conjuntos fuzzy para avaliar os estudantes utilizando aspectos objetivos e subjetivos. O trabalho é baseado em um estudo de caso realizado no ambiente virtual LabQSL que auxilia o ensino da linguagem de programação de bancos de dados. Esta nova proposta de avaliação apresenta como objetivos:
• criação de novas questões técnicas e pedagógicas;
• avaliação também qualitativa e não apenas quantitativa;
• utilização das notas das provas e exercícios vinculadas ao processo de construção do conhecimento;
• reflexão critica sobre a avaliação do estudante;
• agregação de novos aspectos à da aprendizagem no processo educativo.
• utilização de critérios objetivos e subjetivos na avaliação.
A avaliação através do método fuzzy apresenta vantagens em relação à avaliação tradicional (Júnior et al, 1999):
• aumenta a motivação e o sentimento de auto – estima;
• estimula o relacionamento professor e aluno;
• exige uma mudança de postura por parte do professor;
• aceita o aluno em todos os seus aspectos, isto é, de maneira integral;
• propicia uma visão mais crítica e reflexiva do processo educativo;
• preponderam os aspectos qualitativos sobre os quantitativos;
• oportuniza condições para participação e novos desafios com base na observação e reflexão teórica.
4. Avaliação do estudante: Uma solução utilizando lógica fuzzy
A presente proposta está sendo testada no LabSQL (Laboratório de SQL), ambiente para auxiliar o ensino da linguagem SQL, usando a Web como laboratório virtual (ino et al. 2007) O LabSQL permite a criação, participação e administração de cursos de SQL e pode ser utilizado tanto para auxiliar o ensino presencial como o ensino a distância. Essa ferramenta está disponível em <www.ufpa.br/labsql>.
4.1 Avaliação do estudante no LabSQL
O LabSQL avalia de forma automática cada consulta SQL utilizando métricas de engenharia de software, fazendo comparações entre a resposta do estudante e a resposta do professor cadastrada anteriormente no banco de dados. Uma das vantagens dessa ferramenta é o feedback imediato aos estudantes após avaliar as consultas de SQL, no entanto não mensura o desempenho final do estudante. O problema consiste em avaliar e acompanhar o rendimento do estudante durante o curso de SQL.
Segundo Ribeiro (2002) existe diferença entre testar, medir e avaliar. Testar significa submeter a um teste ou experiência, isto é, consiste em verificar o desempenho de alguém através de teste. Medir significa determinar a quantidade, a extensão ou grau de alguma coisa, tendo por base um sistema de unidades convencionais, a medida se refere sempre ao aspecto quantitativo. Assim, o teste é apenas um dentre diversos instrumentos de mensuração existente. Avaliar é julgar a apreciação de alguém, tendo como base uma escala de valores.
A Figura 1 mostra o modelo da solução de avaliação proposta, no qual o professor monitora as atividades do estudante, verificando em cada exercício quantas tentativas foram executadas, e qual o tempo utilizado em cada atividade. O professor é o ator que realiza todo o planejamento pedagógico. O estudante fornece ao sistema as informações necessárias para o funcionamento do sistema fuzzy (através das consultas de SQL ao banco de dados). O professor fornece um feedback ao estudante por meio dos resultados obtidos do sistema.
4.2 Utilização do sistema fuzzy no acompanhamento de estudante
As avaliações sobre SQL são elaboradas pelo professor que atribui a cada uma um grau de dificuldade prevendo o tempo de execução para aquela avaliação. As subseções a seguir, descrevem as variáveis, regras e parâmetros considerados na solução proposta, bem como a análise dos resultados.
4.2.1 Variáveis e seus respectivos termos lingüísticos utilizados na solução
A Tabela 1 apresenta as variáveis de entrada e de saída utilizadas na solução proposta. Foram criadas as seguintes variáveis de entrada: Nível de dificuldade da avaliação, Tempo Utilizado e Percentual de acerto. Resultando em 27 possíveis regras para a Base de Regras do sistema. A máquina de inferência processa as variáveis de entrada e gera a variável de saída (desempenho).
O estudante submete-se a uma avaliação durante um determinado período de tempo (Tempo Utilizado), a ferramenta avalia automaticamente cada questão executada, e assim, é obtido o percentual de acertos de cada avaliação.
Tabela 1. Variáveis lingüísticas do sistema
VARIÁVEL DE SAÍDA Nível de dificuldade da
avaliação Tempo Utilizado
Percentual de
acerto Desempenho
Fácil Ótimo Pouco Insuficiente
Médio Bom Médio Baixo
Difícil Normal Muito Médio
Bom Universo de discurso [0:10] [0:100] [0:100] [0:100] VARIÁVEIS DE ENTRADA Termos Linguisticos
4.2.2 Base de Regras
A Base de Regras foi construída segundo o conhecimento do especialista em SQL: “If (NivelDificuldade is Fácil) and (TempoUtilizado is Normal) and (PercentualAcertos is Pouco) then (Desempenho is insuficiente)”. A Tabela 2 apresenta algumas regras consideradas.
Tabela 2. Base de Regras
4.2.3 Descrição do sistema fuzzy implementado
Cada variável de entrada do sistema fuzzy foi dividida em três categorias, conforme especificado a seguir. Os valores fuzzy para essas variáveis e os conjuntos fuzzy
correspondentes são definidos em relação a recomendações técnicas padrão definidas pelos professores. Os formatos e suportes dos conjuntos foram definidos num processo de tentativa e erro durante a fase de desenvolvimento do sistema. Essas variáveis têm medidas imprecisas no dia-a-dia dos professores e captar suas formas de expressão constitui-se em um processo subjetivo de experimentação em conjunto com os estudantes. As categorias para os conjuntos fuzzy de entrada e saída são: nível de dificuldade, tempo utilizado, percentual de acertos e desempenho.
(a) Nível de Dificuldade: os valores lingüísticos definidos foram: fácil, médio e difícil, distribuídos numa escala de [0 a 10], por exemplo: prova difícil (grau de dificuldade igual a 9), Figura 2.
Figura 2. Nível de Dificuldade
(b) Tempo Utilizado: os valores lingüísticos são: ótimo, bom e normal, expressos numa escala de [0 a 100], por exemplo: o tempo estimado para realização da prova (30 minutos), e o estudante realizou a prova em 15 minutos, ou seja, um tempo considerado ótimo de acordo com o gráfico da Figura 3.
Figura 3. Tempo utilizado
(c) Percentual de Acertos: os valores lingüísticos utilizados são: pouco, médio e muito, expressos em percentagem [0% a 100%], por exemplo: total de questões da prova corresponde a 100% (10 questões), e o estudante acertou 9 questões, isso significa que ele acertou 90% da prova, Figura 4.
(d) Desempenho: os valores lingüísticos utilizados são: insuficiente, baixo, médio e bom, expressos em unidade [0 a 100], por exemplo: o estudante com valor igual a 95 tem desempenho bom, Figura 5.
Figura 5. Desempenho
5. Análise dos resultados obtidos
A solução já foi testada em várias turmas e, os resultados obtidos atingiram os objetivos propostos. Nesta sessão é analisado um estudo de caso com 35 estudantes da turma de Sistemas de Informação da UFPA, para os quais foram disponibilizadas 3 avaliações (sendo 2 exercícios e uma prova). Cada avaliação possui um peso (nível de complexidade) e um tempo previsto para sua execução, pré-estabelecidos pelo professor (Tabela 3).
Tabela 3. Configuração das Atividades
A Tabela 4 representa as atividades desenvolvidas pelos estudantes. A matriz (estudantes x variáveis de entrada) serve de entrada para o sistema fuzzy. O cenário onde o sistema fuzzy foi aplicado está modelado nessa tabela, são apresentados os resultados obtidos em cada avaliação, as variáveis utilizadas são: NC – nível de complexidade; TU - tempo utilizado; PA – percentual de acertos; D – desempenho. Os resultados da Tabela 4 foram extraídos do sistema fuzzy (Figura 6).
Tabela 4. Estudante x variáveis do sistema fuzzy
Exercícios do Módulo 1 Exercícios do Módulo 2 Prova Variáveis de entrada Variável de saída Variáveis de entrada Variável de saída Variáveis de entrada Variável de saída NC TU PA D NC TU PA D NC TU PA D Estudante 1 1 60 81 68.6 6 80 33 28.8 10 99 40 55.8 Estudante 2 1 54 63 49.5 6 91 50 44.9 10 85 68 70.9 Estudante 3 1 97 69 55 6 65 68 68.1 10 56 70 75.7 Estudante 4 1 36 78 65.3 6 80 65 58.3 10 97 45 61.3 Estudante 5 1 23 80 68.6 6 43 69 74.8 10 100 33 47.9 Estudante 6 1 50 99 68.4 6 83 67 58.4 10 86 70 70.2 Estudante 7 2 31 34 22.5 6 45 79 87.5 10 57 71 76.7 Estudante 8 1 80 90 68 6 50 99 88.7 10 60 87 89.5 ... ... ... ... ... ... ... ... ... ... ... ... ... Estudante 35 1 50 5 17.4 6 44 55 68.6 10 99 53 68.6
Pode-se verificar pelo exemplo da Figura 6 que para os valores Nível de Dificuldade = 1 (Fácil), Tempo Utilizado = 60 (Bom) e Percentual de Acerto = 81 (Muito), o sistema apresenta o valor de 68.6 para a variável de saída Desempenho para o Estudante 1, o que indica maior pertinência ao conjunto Médio para a variável Desempenho. Neste caso foi ativada a regra 6, Desempenho igual a Médio.
Em ensaios para subsidiar avaliação dos estudantes, a solução apresentada é bastante flexível. Ela pode auxiliar o professor em ambientes educacionais, simplesmente deslocando-se os eixos das variáveis de entrada do sistema para a direita ou esquerda, conforme apresentado pela Figura 6.
Figura 6. Resultado do sistema para um dado contexto educacional
A última linha da Figura 6 indica a defuzzificação do sistema fuzzy. O defuzzificador utilizado foi o Centróide, conhecido também como Método do Centro de Massa, o valor numérico obtido representa o centro de gravidade da distribuição de possibilidade de saída do sistema fuzzy. Este defuzzificador foi escolhido por apresentar simplicidade computacional, ser plausível e continuo (Wang, 1997). Tem sido o defuzzificador mais utilizado em sistemas
difusos, pois ele obedece aos três critérios de escolha de um bom defuzzificador. Além de computacionalmente simples, apresenta valor de saída bem intuitivo, contemplando, portanto os propósitos da solução.
O professor poderá acompanhar o desempenho das turmas através dos resultados gerados pelo sistema fuzzy, e administrar os conteúdos propostos por meio dos gráficos que são gerados dinamicamente pelo sistema fuzzy.
O acompanhamento dos estudantes pelo professor pode ser feito facilmente por meio da análise dos gráficos que permitem ver o desempenho de cada estudante por atividade realizada, e o desempenho global da turma. Este gráfico proporciona os seguintes benefícios: a evolução do estudante; e a auto-avaliação, ver Figura 7.
Exe rcíci o Mód 2 17,4 Prova 25,4 Exe rcí ci o Mód 1 16,1 Exercícios do Módulo 1 Exercícios do Módulo 2 Prova NC :2 TU: 80 PA: 33 NC :3 TU: 99 PA: 40 NC :1 TU: 31 PA: 34
NC: Nivel de comp lexidade; TU: T emp o utilizado; PA: Percentual de acerto;
Figura 7. Acompanhamento dos estudantes por atividade
6. Cronograma de Atividades
Tabela 5. Cronograma para desenvolvimento da dissertação.
Ano 2008
Tarefas Abr Mai Jun Jul Ago Set Out Nov
Levantamento e pesquisa bibliográfica acerca do tema proposto (livros, artigos, sites e periódicos).
*** ***
Detalhamento e
compreensão do Problema
*** ***
Análise das principais Ferramentas para EAD
***
Elaboração da nova proposta ***
Estudo de Caso *** ***
7. Considerações Finais
Neste artigo foi apresentado o tema da dissertação de mestrado que tem como objetivo minimizar o problema de avaliação dos estudantes em AVA`s, auxiliando professores a decidir o conceito dos estudantes. Assim como apresentou um cronograma com o planejamento das atividades desenvolvidas e planejamento de conclusão da dissertação.
O sistema difuso proposto foi testado com notas reais dos estudantes. O sistema proposto forneceu recomendação de conceitos finais similares às recomendações dos professores.
A proposta aqui apresentada também garante uma maneira de aplicar critérios subjetivos para decidir conceitos finais dos estudantes, garantindo a melhoria do processo de avaliação, e menos tempo na tarefa de avaliar estudantes.
É necessária uma reforma no processo de avaliação do aprendizado, sendo necessário melhorias metodológicas e pedagógicas, por isso, a aplicação de novos métodos de avaliação será necessária. Diferentes critérios subjetivos serão levados em consideração ao longo do processo de avaliação e decisão final será do professor que poderá utilizar os dois critérios: subjetivos e objetivos
Referências Bibliográficas
Hearst M.A. (2000). The Debate on Automated Essay Grading, In IEEE Intelligent Systems, vol. 15, no. 5, pp. 22-37, September/October
Júnior, G. M.; Rosa, Ademar Evandro; Casagrande, J. B.; Santos, C. S.; Schneider, M. C. K. (1999). Superando a avaliação da aprendizagem tradicional, através da lógica de conjuntos fuzzy. Revista Scripta, Florianópolis, n. 2, p. 37-47, 1999.
Lino, A. D. P. (2007). LabSQL- Laboratório de Ensino De SQL. 2007. Dissertação (Mestrado em Engenharia Elétrica) – Universidade Federal do Pará.
Lucena, C. J. P., Fuks, H., Blois, M., Choren, R., Assis R. L. & Robiches, G. (2000). Tecnologia de Informação Aplicada à Educação: Um (Meta) Curso no Ambiente AulaNet. Monografias em Ciência da Computação, 17/00, Departamento de Informática, Pontifica Universidade Católica do Rio de Janeiro, ISSN 0103-9741.
Masetto, M. T. (2000). Mediação Pedagógica e o Uso da Tecnologia. In: Moran, J. M.; Masetto, M. T. & Behrens, M.. Novas tecnologias e mediação pedagógica, Campinas: Papirus, 2000.
Moodle (2008). Disponível em http://moodle.org. Acesso em 21 jun 2008.
Noya, R. C. (1998). QUEST - Um Sistema de Avaliação Educacional para a Web, Dissertação de Mestrado, PUC-Rio, 1998.
Okada, A.L.P. e Santos, E. (2003). A construção de ferramentas virtuais de aprendizagem: por autorias plurais e gratuitas no ciberespaço. In: 26ª Reunião Anual da Associação Nacional de Pós-Graduação e Pesquisa em Educação. Poços de Caldas, (2003).
Otsuka, J. L. (2006). Um Modelo de Suporte à Avaliação Formativa Baseado em Sistemas Multiagentes para Ambientes de EaD. 2006. Tese (Doutorado em Ciência da Computação) - Universidade Estadual de Campinas.
Prior, J. C. and Lister, R. (2004) The backwash effect on SQL skills grading. In Proceedings of the 9th Annual SIGCSE Conference on innovation and Technology in Computer Science Education (Leeds, United Kingdom, June 28 - 30, 2004). ITiCSE '04. ACM Press, New York, NY, 32-36.
Ribeiro L.O.M. (2002). Evidências de Reciprocidade Normativa numa Ferramenta Virtual de Aprendizagem na Formação de Professores para EAD. Trabalho da Disciplina Inteligência Artificial Construtivista. UFRGS, 2002.
Shermis, M. D., & Burstein, J. (2003). Automated essay scoring: A cross-disciplinary perspective. Hillsdale, NJ: Lawrence Erlbaum Associates, Inc.
Sukkarieh, J., Pulmand, S., Raikes, N. (2003) Auto-marking: using computational linguistics to score short, free text responses. In Proceedings of the 29th Annual Conference of the International Association for Educational Assessment, Manchester, U.K.
Teleduc (2008). Disponível em: < http://www.teleduc.org.br/ >. Acesso em: 01 fev. 2008 Valente, J. A. (1993) Por quê o Computador na Educação? Campinas, SP: Gráfica Central da
UNICAMP.
WebCT (1995). Project page. http://homebrew1.cs.ubc.ca/webct/.
Wang, L.X. (1997). A course in Fuzzy Systems and Control. New Jersey: Pretice-Hall Internacional., Inc. 1997.
