Luciana Aparecida Martinez Zaina1 - lzaina@larc.usp.br Wilson Vicente Ruggiero1 – wilson@larc.usp.br
Graça Bressan1 – gbressan@larc.usp.br
Resumo. Este artigo tem como objetivo apresentar uma metodologia para
acompanhamento da aprendizagem do aluno através da Web. Baseando-se em estudos realizados na área de acompanhamento da aprendizagem foi proposta uma metodologia que pudesse ser aplicada em diferentes áreas de conhecimento. A mesma se concentra em apresentar meios para que a aplicação de testes objetivos que sejam flexíveis conforme o aluno interage com as questões, permitindo que o docente possa construir múltiplas opções para soluções diferenciadas de um mesmo teste.
Abstract. The article goal is to present a methodology to track the student learning
through the Web. Based on studies about tracking the student evolution was proposed a methodology which can be applied in different learning areas. The methodology is concerned to apply objective tests that can be adapted according to the learner interaction with questions of the test, allowing the teacher to build multiple options to different solutions in the same test.
Palavras-chave. Acompanhamento da aprendizagem, avaliação formativa, questões
objetivas, dependência de respostas.
1 Introdução
A utilização da tecnologia como apoio ao ensino presencial tem sido amplamente adotada principalmente dentro do contexto da Web. Adequar os meios tradicionais de ensino ao ensino on-line é uma tarefa árdua e tem sido tema de estudo para muitos pesquisadores da área educacional e de tecnologia. Há um grande desenvolvimento de infra-estruturas tecnológicas que dêem suporte ao uso de novas tecnologias de ensino, porém o uso desenfreado e desorganizado da tecnologia pode ter um resultado catastrófico; é preciso associar a tecnologia às metodologias pedagógicas adaptando-as à realidade virtual para se obter sucesso no processo de aprendizagem (Moran, 2000; Gonzalez, 2000; McCormick, 2004).
Uma alternativa para o docente realizar o acompanhamento on-line do aluno é através da construção de testes de avaliação da aprendizagem. Existem algumas ferramentas no mercado que constroem testes objetivos com correção automática, ou seja, o sistema se encarrega de corrigir as questões. Embora muitas vezes os testes objetivos não tenham uma aplicação aceita em alguns campos de ensino, é possível viabilizar sua aplicação através da metodologia adequada (Zaina, 2002).
É importante salientar que a correção automática de testes não minimiza o trabalho do docente no que se refere ao acompanhamento do desenvolvimento do aluno através de
1 Laboratório de Arquitetura e Redes de Computadores
Departamento de Engenharia da Computação e Sistemas Digitais - Escola Politécnica - USP
Av. Prof. Luciano Gualberto, travessa 3, sala C1-46 - Cidade Universitária - CEP 05508-900 - São Paulo – SP Fone: (11) 3091-5261 Fax: (11) 3091-5280
um determinado conteúdo (Gonzalez, 2000; Zaina et al, 2003). Os dados obtidos através das correções podem auxiliar o docente a visualizar possíveis problemas como, por exemplo, falhas durante a aprendizagem de um determinado conceito.
Este artigo tem por objetivo apresentar uma metodologia para acompanhamento do aluno em testes objetivos na Web, sejam estes testes como apoio a um curso presencial ou como acompanhamento de um curso a distância. A metodologia proposta permite que o teste seja conduzido de acordo com a resposta produzida pelo aluno, proporcionando ao docente formas de construir um teste baseado na interação do aluno com o mesmo. Desta forma, o docente pode visualizar o caminho que o aluno irá percorrer durante a resolução das questões e analisar onde encontra-se a real dificuldade do aluno.
Foi implementada uma ferramenta denominada AvaliaOnline utilizando a metodologia proposta na criação e aplicação de questões objetivas parametrizadas do tipo múltipla escolha. Tal implementação validou a metodologia para aplicação de testes objetivos em problemas que necessitam de algoritmos e/ou fórmulas matemáticas para obtenção da solução.
2 Acompanhamento da Aprendizagem
Estudos sobre a avaliação foram realizados previamente objetivando que a metodologia proposta estivesse baseada em processos de acompanhamento da evolução do aluno durante o processo de aprendizagem, e onde houvesse uma via dupla em que docente e aluno pudessem ter uma retroalimentação das atividades realizadas (Romão, 1998; Hadji, 2001).
2.1 Processo de Avaliação da Aprendizagem
Segundo Hoffmann (1998), avaliar vai muito além de verificar o desempenho do aluno. Quando o aluno é avaliado, na realidade está sendo verificado se ele adquiriu ou não conhecimento sobre um determinado assunto. Para o autor "o processo avaliativo é um
método investigativo e que prescinde da correção tradicional, impositiva e coerciva. Pressupõe, isso sim, que o professor esteja cada vez mais alerta e se debruce compreensivamente sobre todas as manifestações do educando. O erro lido em sua lógica, as hipóteses predinamizadas construídas pelo aluno (o “ainda não, mas pode ser”) são elementos dinamizadores da ação avaliativa...”
Quando um professor limita-se a verificar se o aluno respondeu certo ou errado sobre uma determinada questão está promovendo a motivação à memorização do aluno (Thelwall, 2000). Além disto, a avaliação deve ser encarada como uma tarefa interativa, onde professor e aluno saem ganhando. Segundo Cortesão (1990), a avaliação deve ser a “bússola” que norteia tanto o professor quanto o aluno durante o processo de aprendizagem. O aluno estará verificando que entendeu o conceito e que pode, se necessário, utilizá-lo na prática em alguns casos. O professor poderá constatar que o que foi ensinado está sendo absorvido, tendo assim subsídios para realizar melhorias constantes no processo de acompanhamento.
É necessário definir qual é a função da avaliação dentro do contexto que se deseja verificar para que haja eficácia no processo. Uma das formas de avaliação aplicadas ao
acompanhamento on-line é a avaliação formativa2 que verifica se houve sucesso ou não durante o processo de aprendizagem. Segundo Allal (1986), a avaliação formativa é um instrumento que permite ao professor ajustar o ensino às diferenças individuais do aluno. A partir dela o professor pode detectar possíveis problemas na aprendizagem do aluno e procurar sanar as dificuldades específicas de cada um.
A avaliação formativa deve ser aplicada em períodos de tempos curtos a fim de que a observação de seus resultados seja mais precisa. Sua função não deve ser classificatória, ou seja, não se deve associar a ela uma nota. Porém, o professor pode criar uma escala de mensuração a fim de que o aluno possa verificar seu posicionamento perante os conceitos que estão sendo avaliados (Zaina, 2002).
Os testes formativos devem ser criados para cada unidade de ensino, objetivando obter avaliações menores para um acompanhamento mais eficiente do aluno, conforme e apresentado na Figura 1. Uma unidade de ensino envolve um conjunto de conceitos similares, que podem ser considerados como um capítulo ou um módulo (Gonzalez, 2000).
Figura 1 - Processo contínuo da avaliação formativa
2.2 Testes objetivos
Os testes são a forma mais utilizada para realizar o acompanhamento do aluno em um curso através da Web. O docente pode utilizar tanto testes discursivos como objetivos3, sendo que os objetivos permitem a implementação da correção automática. A correção automática possibilita que o aluno tenha uma retroalimentação imediata com o resultado do teste. Além disto, permite que o docente se concentre nos resultados obtidos de modo geral durante o processo e não na correção das questões, podendo assim direcionar seus esforços na análise do processo.
A retroalimentação feita ao aluno pode ser imediata ou não, ou seja, enviada ao aluno logo após o término dos testes ou não. Para a retroalimentação imediata o docente deve utilizar sistemas ou implementar métodos que gerem a correção e a conseqüente retroalimentação automática das questões. No caso da retroalimentação não imediata o docente pode utilizar, por exemplo, ferramentas como o correio eletrônico para realizar observações sobre o desempenho do aluno. Deve-se observar, entretanto, que a
2 A expressão “avaliação formativa” foi inserida por Scriven em 1967 num artigo sobre avaliação que
discutia sobre a importância da avaliação na formação do aluno. Portanto, o termo formativo originou da palavra formação.
3 São denominados de objetivos aqueles que possuem respostas diretas, ou seja, o aluno não disserta sobre
o tema da resposta. Verificação do Processo Avaliação Formativa Aprendizagem
retroalimentação imediata dinamiza todo o processo e permite ao aluno, que ele próprio analise seus resultados e então discuta com o docente suas dúvidas. O aluno passa a ser um elemento ativo dentro do processo todo de sua aprendizagem.
Porém, esta prática não isenta o docente de analisar os dados que indicam os resultados obtidos pelos alunos através dos testes. Em alguns casos, o próprio aluno consegue identificar onde está a falha de sua aprendizagem, mas em outros necessita de um acompanhamento mais efetivo do docente, que irá conduzi-lo para sanar suas deficiências (Zaina et al, 2003).
Normalmente, a decisão sobre que tipo de questão adotar para uma determinada avaliação, se objetiva ou discursiva, vai depender dos objetivos educacionais que a mesma deseja atingir. Nem sempre é de fácil aplicação utilizar questões objetivas, principalmente quando se deseja que o aluno sintetize aquilo que foi aprendido. Nestes casos, são necessários mecanismos que permitam ao docente flexibilizar as questões objetivas para que as mesmas possam se adaptar à interação realizada pelo aluno (Zaina, 2002).
3 Metodologia para criação de testes objetivos
A metodologia proposta neste trabalho visa flexibilizar a aplicação de testes objetivos para diversos campos do conhecimento para avaliações com foco formativo através da Web. O objetivo é permitir que o docente possa construir testes que possibilitem serem obtidos múltiplos caminhos como solução, sendo que o caminho traçado por cada aluno é determinado conforme a interação do mesmo durante a resolução das questões (Zaina et al, 2003; Davidovic et al, 2003).
Para seguir o raciocínio de um aluno durante um teste o docente pode vincular questões que possuam conteúdos dependentes, uma questão que aborde um conceito que deva ser utilizado na próxima questão de um determinado teste. Desta maneira é possível analisar passo a passo o desenvolvimento do aluno através do teste, identificando os pontos específicos em que ele possui problemas de entendimento dos conceitos. Durante a fase de elaboração das questões o docente deve prever quais questões que serão relacionadas a outras questões dependendo da resposta dada pelo aluno. No caso das questões de múltipla escolha estaria relacionado à alternativa selecionada pelo estudante, por exemplo, conforme pode ser observado na Figura 2.
QuestãoA Questão C ... Questão B Questão D Questão F ... ... ... Questão G Questão H ... ... ... ... ... ... ... ... Questão I ... ... ... ... ... ... ... ... ... ... ... ... Questão E ... ... ... ...
Figura 2 - Caminho percorrido conforme a resposta
Na Figura 2 é criada uma dependência entre as questões que estão diretamente envolvidas a resposta selecionada pelo aluno. Desta maneira, o docente consegue extrair os conhecimentos adquiridos pelo estudante, traçando assim, o caminho que o mesmo percorreu para resolver um conjunto de questões. É importante destacar que os múltiplos caminhos devem ser mapeados pelo docente; conforme a resposta escolhida pelo aluno a direção do teste será variada.
Após a aplicação de um teste (conjunto de questões) será realizada uma verificação dos resultados, através de informações obtidas na etapa anterior (testes). É neste momento que o docente realiza uma análise mais precisa de como o aluno está evoluindo segundo os objetivos traçados. A partir dessa análise é possível realizar uma retroalimentação para o aluno, apontando aquilo que ele errou e dando subsídios para que ele possa identificar suas falhas dentro do processo de compreensão dos conceitos. Para auxiliar na recuperação do aluno o docente pode disponibilizar materiais complementares que reforcem os conceitos relacionados ao conteúdo estudado. É neste momento também que o docente pode realizar uma comparação dos resultados de todos os alunos como um todo, tendo assim uma visão abrangente do processo.
Dentro da metodologia proposta o caminho traçado pelo aluno é gerado automaticamente conforme o mesmo interage com o teste. É fundamental destacar que a aplicação da metodologia independe do tipo de questão objetiva adotada, pode ser adotado tanto questões de múltipla escolha como questões onde o aluno deve informar o valor da resposta.
Torna-se importante o fato de que não há soluções únicas para o teste como um todo. A solução é construída conforme o aluno interage com o mesmo, podendo variar de estudante para estudante, flexibilizando a adoção do mesmo em diferentes áreas de
conhecimento para as mais diversas aplicações. Além disto, é possível ao docente identificar onde há deficiências no processo de aprendizagem do aluno, caso a questão tenha uma solução única, pois a metodologia permite dividir os conceitos abordados em questões menores e mais específicas. O docente pode planejar um teste constituído por questões de menor abrangência, que quando aplicadas em conjunto verificam o sucesso da aprendizagem de determinados conceitos.
A Figura 3 apresenta a concepção de cada questão do teste através da metodologia proposta:
Figura 3 – Metodologia aplicada a questão
É possível observar que a vinculação de materiais complementares tem como objetivo enriquecer os conteúdos abordados e proporcionar ao aluno outras opções para reforço aos conceitos estudados (Zaina, 2002).
4 Aplicação da metodologia
Para aplicar e validar a metodologia proposta foi desenvolvida a ferramenta AvaliaOnline que permite ao docente criar questões do tipo múltipla escolha que possuam fórmulas e/ou algoritmos com valores numéricos envolvidos na resolução de um problema apresentado, sendo desenvolvida com um foco formativo utilizado para acompanhamento da evolução do aluno. A ferramenta pode ser utilizada para desenvolver testes para resolver problemas aplicados à área de Física, Matemática, Desempenho de Redes, etc.
A ferramenta AvaliaOnline foi desenvolvida desvinculada de qualquer ambiente gerenciador de ensino. O foco principal foi desenvolver um modelo que pudesse ser facilmente adaptado a qualquer gerenciador. Porém, algumas adaptações devem ser realizadas para que o controle de acesso dos usuários do gerenciador seja o mesmo utilizado pela ferramenta AvaliaOnline.
As questões criadas na ferramenta são parametrizadas sendo que os valores numéricos que fazem parte do enunciado são variados a cada vez que a questão é apresentada ao aluno, o que faz com que a resposta correta seja variada também. O objetivo central é fazer com que o aluno aplique um conhecimento sem memorizar valores ou os conceitos envolvidos, demonstrando o real entendimento sobre o assunto estudado (Zaina et al, 2002).
Segundo Jiménez-Peris (2000) e Pardo (2002), a utilização da parametrização de dados permite um maior dinamismo entre o aluno e o problema apresentado. A criação de questões que alterem o enunciado dinamicamente incentiva o aluno a raciocinar diante
Questão A Material
Complementar
Resposta 1 Resposta 2 Resposta n
Questão B Questão C Material
Complementar
do problema apresentado e não apenas a se preocupar em responder corretamente a questão.
A resposta correta das questões é encontrada através da resolução do algoritmo relacionado à questão, utilizando-se dos parâmetros numéricos gerados pelo sistema, sendo que este processo é repetido todas as vezes que a questão for utilizada, gerando-a assim, sempre com valores diferentes (Zaina et al, 2002).
Quando a parametrização de valores numéricos é utilizada é necessário considerar, para se obter um resultado coerente, a convergência dos valores envolvidos na resolução da fórmula ou do algoritmo. Quando a questão possui vários parâmetros envolvidos em sua resolução pode haver um problema na sincronização destes valores, já que os mesmos serão sempre sorteados. O sistema pode gerar valores que quando aplicados em conjunto não convergem para um resultado válido. Este trabalho não tem como objetivo aplicar algoritmos que analisem e avaliem a convergência dos parâmetros quando aplicados em conjunto. Para solucionar tal problema a ferramenta permite que o docente utilize fórmulas, ou mesmo algoritmos, como dado do intervalo, deixando a cargo do docente o controle dos valores que serão sorteados.
A Figura 4 apresenta uma visão da arquitetura da ferramenta AvaliaOnline. A cada questão cadastrada o docente deve determinar no enunciado através de incógnitas quais são valores que serão variáveis no problema. Os valores reais, que serão utilizados na questão, serão gerados apenas no momento em que a questão for executada, ou seja, eles serão sorteados a partir de um intervalo, com valor inicial e final, pré-determinado pelo docente. Além disto, o docente deve informar qual é a fórmula ou algoritmo necessário para resolução da questão utilizando as mesmas incógnitas do enunciado.
Figura 4 – Arquitetura da ferramenta AvaliaOnline
A Figura 5 ilustra como a ferramenta AvaliaOnline aplica valores diferentes para uma mesma questão em momentos de execução diferentes. O exemplo apresentado (Figura 5) utiliza uma questão relacionada à Teoria das Filas onde os valores envolvidos no enunciado são diferentes e conseqüentemente as alternativas respostas passam também a serem distintas. Questão 1 Questão 2 Questão n … Teste Enunciado Param 1 Param n Algoritmo /Fórmula Parâmetros … substitui com valores sorteados substitui com valores sorteados Questão 1
Figura 5 - Exemplo do uso da ferramenta AvaliaOnline. Uma mesma questão com valores diferentes no enunciado, gerando assim alternativas respostas diferentes
Durante a construção do teste, onde o docente informa quais questões farão parte de um teste em específico, é que é criada a dependência entre as questões através da aplicação da metodologia proposta neste trabalho.
Além de criar o relacionamento entre as questões a ferramenta permite ao docente indicar que o valor numérico da resposta selecionada pelo aluno deve ser utilizado como parâmetro da próxima questão do teste. Este dado deve ser cadastrado durante o processo de relacionamento entre questões, onde o docente determina qual o parâmetro da próxima questão irá receber o valor numérico da alternativa selecionada pelo aluno através do nome das incógnitas da questão, conforme pode ser observado na Figura 6. No exemplo apresentado (Figura 6), ainda dentro do contexto de Teoria das Filas, a primeira questão do relacionamento possui dois parâmetros que terão seus valores numéricos definidos no momento que a questão for executada. Assim que o aluno escolher a alternativa e confirmar sua resposta o valor da alternativa que ele selecionou passará como um parâmetro para a próxima questão.
Figura 6 – Exemplo de relacionamento entre questões onde o valor da alternativa selecionada pelo aluno é utilizado como parâmetro na próxima questão
O relacionamento entre questões e a propagação dos valores entre elas provê maiores subsídios para o docente rastrear o caminho realizado pelo aluno durante o teste, podendo analisar as respostas selecionadas pelo aluno, verificando os pontos específicos dos seus erros e acertos (Zaina et al, 2003). O docente pode, como alternativa, quebrar questões mais abrangentes em questões que focam um conteúdo mais específico e construir a dependência entre estas questões. Desta forma, é possível, por exemplo, quando um aluno erra uma determinada questão direcioná-lo a uma questão menos abrangente e ir conduzindo-o através de questões que permitam identificar onde está especificamente sua deficiência.
Através da ferramenta AvaliaOnline o aluno pode visualizar o gabarito de sua resolução ao final de um teste, para analisar os resultado que obteve no mesmo. O gabarito do teste além de apresentar as questões destacando os acertos e erros do aluno, disponibilizará as referências para os arquivos de apoio de cada questão (material complementar, segundo a metodologia proposta), quando estes foram cadastrados pelo docente durante a construção da questão.
A ferramenta permite que o docente verifique toda a resolução do aluno (Figura 7), podendo verificar quais foram as respostas selecionadas para uma mesma questão em momentos distintos. Isto permite que o docente certifique se o aluno possui problemas em pontos específicos de um determinado conteúdo.
Figura 7 – Resumo do aluno: informações sobre as resoluções do aluno em um determinado teste em diferentes momentos, organizado por questões.
Além da visão das informações sobre as resoluções de cada aluno o docente pode obter através da ferramenta um resumo do teste como um todo (Figura 8), onde é possível analisar os erros e acertos de cada questão sem associa-la a um aluno em específico. Este tipo de análise permite que sejam constatados problemas na forma de apresentar conceitos aos alunos, sinalizando ao docente, muitas vezes, que é necessário rever a estratégia de ensino adotada (Romão, 1998; Zaina, 2002).
Figura 8 – Resumo do teste: informações sobre o número de acertos e erros de cada questão que compõe o teste
Mesma questão assinalada correta da Resposta pelo aluno Resposta questão
5 Conclusões
O acompanhamento do processo de aprendizagem de um aluno não é uma tarefa fácil e cada vez mais tem-se investido em métodos e meios para que seja possível obter um maior dinamismo neste processo.
A evolução da tecnologia tem surgido como apoio a este acompanhamento, apresentando opções que possam agilizar e enriquecer este processo, porém não pode ser considerada como a solução para os problemas. Acompanhar o aluno vai muito além da aplicação de métodos ou ferramentas de avaliação, sejam eles formativos ou não. É necessária uma análise mais minuciosa de todo o processo para que haja um direcionamento eficaz.
A metodologia apresentada torna-se uma alternativa de apoio que permite ao docente disponibilizar caminhos distintos a serem percorridos durante um teste. Através das indicações das questões que devem ser apresentadas de acordo com a resposta selecionada pelo aluno, o docente permite que haja múltiplas soluções para um mesmo teste. Tal mecanismo provê uma visão completa da resolução do teste do aluno e até mesmo apresenta múltiplas visões da resolução de um problema dependendo da área do conhecimento em que a metodologia está sendo aplicada.
A aplicação da metodologia proposta para construção de testes objetivos foi implementada no desenvolvimento da ferramenta AvaliaOnline cuja arquitetura foi apresentada neste trabalho. A ferramenta foi desenvolvida para atender um tipo específico de problema que são aqueles que possuem algoritmos e/ou fórmulas matemáticas associadas a sua resolução. Porém, é possível implementar ferramentas que podem ser inseridas dentro de outros contextos de avaliações on-line utilizando a mesma metodologia.
Teste com questões vinculadas trazem benefícios tanto ao docente quanto ao aluno, desde que as questões sejam bem planejadas e tenham uma real ligação de conceitos. Contudo, esta preocupação não é exclusiva dos processos de acompanhamento realizados através de uma tecnologia. O acompanhamento formativo tradicional (adotado no ensino presencial) também necessita de uma preparação cuidadosa para que efetivamente se obtenha resultados concretos sobre o processo evolutivo do aluno. Em ambos os casos (processo tradicional e processo tecnológico) o docente deve elaborar as questões permitindo a real ligação entre os assuntos abordados.
A ferramenta apresentada mostrou que a prática de vincular questões pode trazer informações importantes para a análise dos resultados, onde o docente pode não só avaliar o aluno como também suas próprias estratégias de ensino.
Os acertos ao acaso, que podem ocorrer em testes objetivos, sejam eles automatizados ou não, não fez parte do foco deste trabalho. O objetivo era disponibilizar uma alternativa para acompanhamento formativo do aluno automatizada que permitisse o uso de algoritmos e fórmulas matemáticos, gerando as respostas dinamicamente. Questões com valores numéricos que nunca são alterados motiva ainda mais os alunos a memorização dos resultados (Thelwall, 2000).
O modelo proposto permite tanto ao docente quanto ao aluno orientar-se através do processo de aprendizagem. Tal modelo evita que o docente apenas aplique os testes sem realizar um acompanhamento minucioso dos resultados obtidos através da avaliação. Além disto, permite que o aluno verifique sua evolução e possa agir de maneira a sanar suas possíveis falhas. Desta forma, a responsabilidade pelo processo avaliativo como
um todo passa a ser de ambos: aluno e professor. O aluno torna-se agente ativo do processo, participando de seu sucesso e de sua recuperação.
6 Referências Bibliográficas
ALLAL, Linda K. A avaliação formativa num ensino diferenciado. Coimbra: Novalmedina, 1986.
CORTESÃO, Luiza; & TORRES, Maria A. Avaliação pedagógica I: insucesso
escolar. Portugal: Porto Editora, 1990.
DAVIDOVIC, A; & WARREN, J; & TRICHINA, E. Learning Benefits of Structural
Example-Based Adaptative Tutoring Systems. In: IEEE Transactions on
Education, n.2, vl 46, may 2003.
GONZÁLEZ, Luisa A G. Educação pela Web: Metodologia e Ferramenta de
Elaboração de Cursos com Navegação Dinâmica. São Paulo: EPUSP, 2000.
Dissertação de Mestrado.
HADJI, Charles. A avaliação desmistificada. Porto Alegre: Editora Artmed, 2001. HOFFMANN, Jussara. Avaliação: Mito & Desafio. Uma Perspectiva Construtivista.
Rio Grande do Sul: Mediação, 1998.
JIMÉNEZ-PERIS, R; & PAREJA-FLORES, C; & PATIÑO-MARTÍNEZ, M; & VELÁZQUEZ-ITURBIDE, J Á. New Technologies in Computer Science. In: Education. Computer Science Education in the 21th Century”, Estados Unidos: Springer-Verlag. p 113-136.
KORHONEN, Ari; & MALMI, Lauri. Algorithm Simulation with Automatic
Assessment. In: The 5th SIGCSE/SIGCUE Conference on Innovation and
Technology in Computer Science Education, SIGCSE Bulletin, n. 3, vl. 32, p. 160-163, 2000.
McCORMICK, Robert. Issues of Learning and Knowledge in Technology
Education. In: International Journal of Technology and Design Education, n. 1, vl.
14, p. 21-44, 2004.
MORAN, José M. Ensino e aprendizagem inovadores com tecnologia. Novas
Tecnologias e Mediação Pedagógica. São Paulo, 2000. Disponível em:
<http://www.eca.usp.br/prof/moran/inov.htm>. Acesso em: 12 abr 2002.
MORAN, José M. Educando em ambientes virtuais. Campinas, Universidade de
Campinas, 31 Mai. 2001. Disponível em:
<http://www.ead.unicamp.br/eventos/evento.html>. Acesso em: 18 de dez. 2001. Palestra proferida dentro do projeto de EAD da Universidade de Campinas.
PARDO, Abelardo. A Plataform for Parameterized Exercices in Web-Based Education. In: Proceedings of International Conference of the Society for Information Technology and Teacher Education.
ROMÃO, José E. Avaliação dialógica: desafios e perspectivas. São Paulo: Instituto Paulo Freire, 1998.
THELWALL, M. Computer-based assessment: a versatile educational tool. Computer and Education, n. 1, vl. 34, p. 37-49, 2000.
TINOCO, Lúcio C; & BARNETTE , N D; & FOX, E A. Online Evaluation in WWW-Based Courseware. In: 28th SIGCSE/SIGCUE Conference on Innovation and
Technology in Computer Science Education, p 139-143, 1997.
ZAINA, Luciana A M. Acompanhamento do Aprendizado do Aluno em Cursos a
Distância através da Web: Metodologias e Ferramenta. São Paulo: EPUSP, 2002.
Dissertação de Mestrado.
ZAINA, Luciana A M; & BRESSAN, Graça; & RUGGIERO, Wilson V. Tool to
develop and apply objective tests. In 32nd ASEE/IEEE Frontiers in Education
Conference - FIE 2002, Boston, 2002.
ZAINA, Luciana A M ; & RUGGIERO, Wilson V; & BRESSAN, Graça. Tracking the
student online learning through a tree of objective questions. In: International
