In Em causa: Aprender a aprender. Lisboa: Fundação Francisco Manuel dos Santos/ Porto Editora (Col. Questões chave da Educação), no prelo.
Promovendo a aprendizagem através dos testes Paula Carneiro
É correntemente aceite que a aprendizagem advém do estudo e que os testes servem meramente para avaliar o que se aprendeu. Esta ideia não está de forma nenhuma incorrecta mas, de acordo com os resultados da investigação realizada em psicologia cognitiva, subestima o valor dos testes no processo de aprendizagem.
Através da descrição de alguns estudos na área, pretende-se mostrar aqui que os testes devem ser vistos como instrumentos poderosos que, se utilizados com frequência, servem para aumentar a aprendizagem a longo prazo.
Alguns estudos sobre os efeitos da prática repetida dos testes
Vejamos alguns dos estudos mais recentes realizados nesta área, não menosprezando porém o contributo de muitos outros autores que já anteriormente se interessaram por esta questão (por exemplo, Estes, 1960; Gates, 1917; Spitzer, 1939; Tulving, 1967). Roediger e Karpicke (2006) realizaram uma investigação em que pediram a três grupos de alunos universitários para estudarem pequenos excertos de textos. Primeiramente foi pedido a todos os participantes para lerem os textos e em seguida o procedimento diferiu consoante o grupo: num deles, os participantes estudaram os textos em mais três momentos; num segundo grupo, estudaram os textos em mais dois momentos e depois realizaram um teste; e num terceiro grupo, os estudantes realizaram três testes sucessivos em momentos diferentes, depois de terem lido os textos apenas uma vez. Os testes consistiam em recordar o máximo de informação possível dos textos que tinham estudado sem que houvesse possibilidade de saber se a informação recordada estava correcta.
Depois desta fase, todos os grupos de participantes realizaram um último teste de recordação. Em cada um dos três grupos, metade dos participantes efectuaram-no ao fim de 5 minutos enquanto os outros realizaram-no ao fim de uma semana. Os resultados foram muito claros: quando este último teste foi efectuado 5 minutos depois, o estudo repetido (primeiro grupo) gerou melhor desempenho, porém, quando o teste foi realizado uma semana depois, o teste repetido (terceiro grupo) produziu melhores resultados. Isto significa que os estudantes, cujo objectivo é apenas ter uma boa nota no teste e estudam massivamente na véspera, sabem na realidade o que estão a fazer. Contudo, essa aprendizagem será frágil e de pouca duração. Portanto, para mais tarde ainda possuírem esses conhecimentos, será melhor utilizarem uma prática mais activa, baseada na recuperação da informação.
Mais surpreendentes são ainda os resultados que nos mostram que a prática repetida do teste tem efeitos positivos mesmo para a aprendizagem de informação que já se supõe aprendida. Karpicke e Roediger (2007a) mostraram que, durante a aprendizagem, a técnica de “deixar de treinar” o conhecimento já adquirido e treinar apenas o não adquirido parece funcionar melhor, mas passado uma semana, verificou-se que esta condição produzia mais esquecimento relativamente à condição em que todo o material era testado. Assim, mesmo pensando que sabe as respostas às questões, irá lembrar-se melhor delas no futuro se continuar a praticar a sua recuperação.
Contudo, parece que não se obtêm os mesmos efeitos se, ao invés de testar, continuar a estudar as mesmas matérias. O estudo repetido, em comparação com a prática de “deixar de estudar” as matérias já aprendidas, parece não trazer grande vantagem para a consolidação da aprendizagem. No estudo de Karpicke e Roediger (2008) os participantes aprendiam vocabulário de uma língua nova (Swahili) através de pares de palavras, em que uma correspondia a uma palavra em Swahili e outra ao seu significado em inglês. Este estudo incluiu 4 condições: numa delas, condição standard, os participantes estudavam e testavam repetidamente os pares de palavras (ET); numa segunda condição, logo que um par era recordado este era excluído do seu estudo subsequente mas testado repetidamente (EnT); numa terceira condição, os pares recordados eram excluídos do seu teste mas eram estudados repetidamente (ETn); na
quarta e última condição, os pares de palavras recordados eram excluídos tanto da prática repetida de teste como do seu estudo (EnTn). Após uma semana, os resultados num teste final demonstraram claramente que a prática repetida de teste, relativamente ao estudo repetido, foi determinante para promover uma aprendizagem a longo prazo. Nas condições de aprendizagem em que os pares de palavras eram repetidamente testados (ET e EnT) os participantes recordaram aproximadamente 80% dos pares no teste final. Em contraste, nas condições em que os pares recordados eram excluídos da prática de teste (ETn e EnTn), apenas aproximadamente 35% dos pares foram recordados no teste final. Contudo, o estudo repetido de pares já recordados (ETn), comparativamente às condições em que estes eram excluídos do seu estudo (EnTn), não trouxe benefícios para a retenção a longo prazo.
Este estudo sugere assim que a prática de recuperação repetida da informação através dos testes, praticando inclusivamente informação já aprendida, produz efeitos positivos na retenção a longo prazo e que o mesmo efeito não se observa para o estudo repetido.
Explicação do efeito: A importância do esforço de recuperação da informação
O que leva a este efeito tão poderoso dos testes na retenção a longo prazo? Parece que a resposta-chave consiste no esforço de recuperação. A recuperação activa leva a uma codificação mais profunda da informação e multiplica os caminhos futuros de recuperação. Qualquer condição de estudo ou estratégia que produza uma aprendizagem rápida e sem esforço normalmente leva a benefícios de curto prazo mas a uma pobre retenção a longo prazo.
Dois outros efeitos na memória, o efeito do espaçamento (Ebbinghaus, 1913) e o da geração (Jacoby, 1978; Slamecka & Graf, 1978), parecem partilhar muitas semelhanças com o efeito da prática do teste. Também com consequências para as práticas educativas, estes efeitos parecem ser explicados da mesma forma.
No que se refere ao efeito de espaçamento é amplamente sabido que o estudo repetido que ocorre num curto espaço de tempo aumenta o desempenho em testes imediatos, enquanto o estudo distribuído por vários dias, embora ocupando na
totalidade o mesmo tempo, tem um efeito superior na retenção a longo prazo (ver uma revisão destes estudos em Cepeda, Pashler, Vul, Wixted & Rohrer, 2006). Neste caso a aprendizagem rápida proveniente de um estudo massivo torna-se ineficaz para uma aprendizagem a longo prazo.
Por outro lado, o efeito da geração refere-se à descoberta de que a informação será melhor retida se for gerada pelo próprio do que se lhe for simplesmente apresentada (Jacoby, 1978; Slamecka & Graf, 1978). Este efeito explica por que motivo tirar notas pelas suas próprias palavras ou gerar questões acerca da matéria leva a uma aprendizagem mais sólida no futuro. De forma análoga ao efeito da prática de teste, o esforço activo em gerar/recuperar a informação parece ter um papel crucial na sua retenção a longo prazo.
Testes repetidos: quantos? Distribuídos no tempo?
Mas recuperar a informação apenas uma vez chegará para se obter o efeito do teste? A investigação nesta área tem revelado que a administração de apenas um teste é suficiente para produzir melhor retenção da informação a longo prazo comparativamente à situação em que o mesmo material é estudado repetidamente. Contudo, normalmente as recuperações repetidas produzem efeitos superiores. A administração de 5 a 7 testes revelou ser o número óptimo para o surgimento do efeito em laboratório (Pyc & Rawson, 2009).
A vantagem da repetição dos testes está também dependente do seu espaçamento. Tal como ocorre para a prática de estudo, também se observa um efeito de espaçamento na prática de testes. A prática de recuperação distribuída por tempos espaçados produz mais benefícios para uma aprendizagem a longo prazo do que a prática de recuperação massiva (Karpicke & Roediger, 2007b). Quando a recuperação da informação é repetida com intervalos de tempo muito curtos (ex., 1 minuto), mesmo que sejam realizados vários testes, pouco benefício ocorre face à condição em que é apenas realizado um teste.
O formato do teste também influencia a magnitude do efeito. O estudo de McDaniel, Anderson, Derbish e Morrisette (2007) mostrou que a administração de um teste de resposta aberta, efectuado depois da informação ter sido estudada, gera maior aprendizagem num teste futuro (seja este do mesmo formato ou diferente), comparativamente com a administração de um teste de escolha múltipla. O mesmo resultado foi também obtido no estudo de Kang, McDermott e Roediger (2007) quando estes testes foram seguidos de feedback correctivo. Como podemos explicar estes resultados? Estes estudos sugerem que quanto maior for o nível de profundidade ou de dificuldade existente na tentativa de recuperação da informação, maior será também a retenção dos conhecimentos. Assim, os testes que apelam ao esforço da recordação, tais como os de resposta aberta, e não a um mero reconhecimento da informação, tais como os de escolha múltipla, trazem maiores benefícios para uma consolidação da aprendizagem no futuro.
Mais uma vez a explicação reside no facto de que a recuperação gerada com mais esforço leva por um lado a traços de memória mais fortes, tornando-os mais duráveis e menos sujeitos à interferência e por outro lado, multiplica os caminhos de recuperação e torna-os mais elaborados, aumentando a acessibilidade dessa recuperação no futuro.
A vantagem dos testes de recordação (resposta aberta) face aos testes de reconhecimento (escolha múltipla) na aprendizagem, assemelha-se ao efeito da geração. Informação gerada pelo próprio, tal como ocorre nos testes de recordação, produz normalmente maior retenção que a simples apresentação da informação ou escolha de alternativas, tal como sucede nos testes de reconhecimento. Contudo, esta explicação parece levar à mesma conclusão: uma informação auto-gerada requer maior esforço do que a simples escolha de uma alternativa, induzida muitas vezes por uma mera sensação de familiaridade.
O “feedback” aumenta o efeito do teste na aprendizagem
Mas nem sempre o teste repetido produz efeitos positivos na aprendizagem. Quando a informação a ser aprendida é muita ou quando é testada muito tempo depois de ser estudada, o desempenho da memória diminui e o efeito do teste desaparece.
Se não há recuperação da resposta correcta e não há possibilidade de a aprender, então os benefícios da prática de teste repetido são limitados. Uma forma de ultrapassar este problema será fornecer feedback do desempenho no teste. Ao fornecer a resposta correcta e a sua explicação depois da tentativa de recuperação, a probabilidade de uma recuperação correcta aumenta no futuro e assim o efeito da prática do teste é ampliado.
A importância de fornecer feedback depois de um teste é ainda superior se o estudante tiver sido exposto a informação incorrecta, tal como quando realiza testes de escolha múltipla, em que algumas das alternativas fornecidas estão erradas. O problema pode ocorrer quando o estudante selecciona uma alternativa plausível mas incorrecta. Neste caso e, sabendo que se aprende com os testes, ele vai ter tendência para reproduzir essa informação incorrecta num teste futuro.
O estudo de Butler e Roediger (2008) mostra que se for fornecido feedback, quer seja imediato ou adiado, depois de ter sido realizado um teste de escolha múltipla, a proporção de respostas correctas aumenta num teste de recordação subsequente. Ainda mais importante, havendo feedback, as alternativas incorrectas que os participantes tinham seleccionado como correctas no teste de escolha múltipla deixam de se perpetuar para o teste de recordação subsequente.
Mas o uso de feedback é também eficaz se for utilizado um teste de resposta aberta, sobretudo quando o desempenho no teste é pobre (Kang, McDermott, & Roediger, 2007).
Assim, a prática de feedback a seguir à realização de um teste é sempre recomendável, quer os estudantes tenham realizado testes de escolha múltipla ou testes de recordação (resposta aberta). Contudo, como nos testes de escolha múltipla se corre um maior risco de gerar informação falsa proveniente da exposição às alternativas incorrectas que são fornecidas em cada pergunta, torna-se particularmente importante o uso de feedback. Esta recomendação é ainda mais premente se os estudantes não estão preparados para o teste e escolhem muitas das alternativas incorrectas. Ao receberem feedback será pouco provável que os efeitos negativos do
teste se façam sentir, ou seja, que as respostas aos testes subsequentes sejam contaminadas por informação incorrecta proveniente de um teste anterior.
Implicações para a prática de estudo: Exercícios de auto-teste.
Até agora temos atribuído aos testes a acepção de exercícios ou avaliações realizadas na sala de aula. No entanto, a recuperação repetida pode ser implementada pelos próprios estudantes, ao incluírem o auto-teste nas suas práticas de estudo.
É possível que alguns professores estejam a pensar que nada disto é novo, sabem bem que os exercícios ou testes que fazem regularmente na sala de aula promovem uma melhor aprendizagem das matérias por parte dos seus alunos. Contudo, os próprios estudantes parecem desconhecer totalmente o facto de que o auto-teste é uma boa estratégia de estudo.
Os estudos que foram realizados para conhecer as estratégias mais comummente utilizadas pelos estudantes universitários para se prepararem para os exames, revelaram que estes preferem voltar a ler os textos ou os seus apontamentos a se auto-testarem. Karpicke, Butler e Roediger (2009) inquiriram 177 estudantes universitários e mostraram que a maior parte desses estudantes (84%) lia repetidamente as suas notas e apenas uma minoria (11%) praticava a recuperação da informação aprendida. Ainda, o estudo de Kornell e Bjork (2007) revelou que aqueles estudantes que utilizavam a prática do auto-teste o fazia principalmente para se certificar que tinha aprendido a informação que tinha estudado (alternativa escolhida 68% das vezes) e não porque considerasse que dessa forma aprendia mais do que a reler os seus apontamentos ou textos (alternativa escolhida em 18% das vezes). Estes resultados levam-nos a concluir que algumas das crenças dos estudantes sobre aprendizagem estão erradas. Por exemplo, os estudos realizados mostram que uma recuperação mais activa ou processada com mais esforço promove uma melhor retenção, no entanto os estudantes acreditam que as matérias que são processadas com menor esforço serão as mais facilmente recuperadas no futuro. Nas experiências realizadas sobre os efeitos do teste, os participantes revelaram ter maior confiança na sua aprendizagem depois das condições de estudo repetido do que depois das
condições de teste repetido, apesar dos seus desempenhos no último teste terem revelado resultados contrários às suas expectativas.
Segundo Koriat e Bjork (2005) os estudantes são sujeitos a ilusões de competência ao fazerem a monitorização do seu estudo. O julgamento dos estudantes sobre a sua aprendizagem é enviesado pela informação disponível durante o estudo. Isto significa que ao lerem repetidamente os textos ou apontamentos a fluência ou rapidez com que processam os textos aumenta e assim avaliam a sua aprendizagem pela sua familiaridade, criando a ilusão de que as matérias estão melhor aprendidas do que na realidade estão. Sem mais nenhum esforço, como por exemplo organizar a informação para tirar notas ou sublinhar, é sabido que a mera leitura repetida de textos não aumenta a retenção futura da informação (Callender & McDaniel, 2009).
Do laboratório para a sala de aula
A investigação conduzida em laboratório nem sempre pode ser generalizada para contextos mais naturalistas. Por este motivo alguns autores têm-se preocupado em verificar se é possível replicar os resultados obtidos em laboratório para situações comuns de sala de aula quer em Universidades (ex., McDaniel et al, 2007), quer em Escolas Básicas e Secundárias (ex., McDaniel, Agarwal, Huelser, McDermott, & Roediger, 2011). No estudo de McDaniel e colaboradores (2011) alunos do 8º ano de escolaridade foram repetidamente expostos a exercícios do currículo da disciplina de ciências, acompanhados de feedback para metade da matéria dada. No exame final observou-se que os alunos recordaram melhor a matéria testada que a não testada, produzindo ganhos de desempenho na ordem dos 13% a 25%. É importante salientar que, ao invés do que ocorre nas investigações de laboratório, em que os materiais são criados para a própria experiência, os exames empregues nestes estudos mais naturalistas correspondiam aos que normalmente eram administrados na aula para avaliação efectiva dos alunos.
Outro aspecto importante para a prática educativa prende-se com a possibilidade de transferir o conhecimento adquirido através do teste para outras questões que façam apelo ao mesmo tipo de conhecimentos. O estudo de Butler (2010) trouxe um
contributo importante nesta área, ao demonstrar que o teste repetido produz maior transferência de aprendizagem relativamente ao estudo repetido.
Os resultados positivos alcançados em contextos de sala de aula incentivam a continuação de investigação neste campo de forma a responder a questões específicas, tais como se o efeito do teste pode ser generalizável para diferentes disciplinas e anos de escolaridade.
Conclusão
Os testes têm efeitos directos e indirectos na aprendizagem. É óbvio que se os estudantes sabem que vão ser testados regularmente – por exemplo, todas as semanas – eles irão estudar mais e espaçar o seu estudo ao longo do semestre em vez de este ser concentrado nas vésperas dos exames. Mas, independentemente deste aspecto que, por si só, pode ser considerada uma vantagem indirecta dos testes, estes estudos apontam para um efeito directo do uso de testes na futura retenção do conhecimento, com consequências positivas para a aprendizagem a longo prazo. A recuperação activa da informação proveniente da realização de testes tem efeitos benéficos na aprendizagem a longo prazo, sobretudo se ocorre frequentemente de forma espaçada no tempo, se é seguida de feedback e se exige um processamento mais activo e profundo da informação, valorizando mais a recordação que o reconhecimento.
Saliente-se que o termo “teste” abarca todo o tipo de exercícios que promovem uma recuperação activa da informação, estendendo-se ao uso de exercícios que poderão mesmo ser praticados pelos próprios estudantes. Assim, utilizado na sala de aula ou em casa, o teste ou auto-teste, ao produzir a recuperação activa da informação, é um instrumento de memória valioso para a consolidação da aprendizagem e, como tal, deverá ser tomado em consideração nas práticas educativas por professores e estudantes.
Que recomendações práticas se podem então extrair destes estudos? Se é estudante lembre-se: em vez de se deitar num confortável sofá a reler os seus apontamentos será mais eficaz a médio e longo prazo se auto-testar os seus conhecimentos, mesmo
para as matérias que pensa já estarem permanentemente aprendidas. É certo que o esforço é maior e não poderá ficar nesse estado meio letárgico, mas os benefícios serão certamente muito superiores. Se é professor, recorde-se que se promover o uso de testes ou exercícios frequentes na sala de aula que impliquem uma recuperação activa dos conhecimentos e feedback, está a desenvolver a aprendizagem dos seus alunos e a possibilidade de a transferirem para outros contextos.
Referências
Butler, A. C. (2010). Repeated testing produces superior transfer of learning relative to repeated studying. Journal of Experimental Psychology: Learning, Memory, and
Cognition, 36, 1118-1133.
Butler, A.C., & Roediger, H.L. (2008). Feedback enhances the positive effects and reduces the negative effects of multiple-choice testing. Memory & Cognition, 36, 604-616.
Callender A. A., & McDaniel M. A. (2009). The limited benefits of rereading educational texts. Contemporary Educational Psychology, 34, 30-41.
Cepeda NJ, Pashler H, Vul E, Wixted JT, and Rohrer D (2006). Distributed practice in verbal recall tasks: A review and quantitative synthesis. Psychological Bulletin, 132, 354–380.
Ebbinghaus, H. (1913). Memory. A contribution to experimental psychology. New York: Teachers College. (Original work published in 1885).
Estes, W.K. (1960). Learning theory and the new ‘‘mental chemistry.’’ Psychological Review, 67, 207–223.
Gates, A.I. (1917). Recitation as a factor in memorizing. Archives of Psychology, 6, 1-104.
Jacoby, L.L. (1978). On interpreting the effects of repetition: Solving a problem versus remembering a solution. Journal of Verbal Learning and Verbal Behavior, 17, 649–667.
Kang, S., McDermott, K. B., & Roediger, H. L. (2007). Test format and corrective feedback modulate the effect of testing on memory retention. The European Journal of Cognitive Psychology, 19, 528-558.
Karpicke, J. D., Butler, A. C., & Roediger, H. L. (2009). Metacognitive strategies in student learning: Do students practice retrieval when they study on their own? Memory, 17, 471-479.
Karpicke, J.D., & Roediger, H.L. (2007a). Repeated retrieval during learning is the key to long-term retention. Journal of Memory and Language, 57, 151-162
Karpicke, J.D. & Roediger, H.L. (2007b). Expanding retrieval practice promotes short-term retention, but equally spaced retrieval enhances long-short-term retention. Journal of Experimental Psychology: Learning, Memory and Cognition, 33, 704-719.
Karpicke, J. D., & Roediger, H. L. (2008). The critical importance of retrieval for learning. Science, 319, 966-968.
Koriat, A., & Bjork, R. A. (2005). Illusions of competence in monitoring one’s knowledge during study. Journal of Experimental Psychology: Learning, Memory, and Cognition, 31, 187-194.
Kornell, N., & Bjork, R. A. (2007). The promise and perils of selfregulated study. Psychonomic Bulletin & Review, 14, 219–224.
McDaniel, M. A., Agarwal, P. K., Huelser, B. J., McDermott, K. B., & Roediger, H. L. (2011). Test-enhanced learning in a middle school science classroom: The effects of quiz frequency and placement. Journal of Educational Psychology, 103, 399-414.
McDaniel M.A., Anderson J.L., Derbish M.H., & Morrisette N. (2007) Testing the testing effect in the classroom. European Journal of Cognitive Psychology, 19, 494-513.
Pyc, M. A., & Rawson, K. A. (2009). Testing the retrieval effort hypothesis: Does greater difficulty correctly recalling information lead to higher levels of memory? Journal of Memory and Language, 60, 437-447.
Roediger, H. L., & Karpicke, J. D. (2006). Test-enhanced learning: Taking memory tests improves long-term retention. Psychological Science, 17, 249-255.
Slamecka, N.J., & Graf, P. (1978). The generation effect: Delineation of a phenomenon. Journal of Experimental Psychology: Human Learning and Memory, 4, 592–604.
Spitzer, H.F. (1939). Studies in retention. Journal of Educational Psychology, 30, 641– 656.
Tulving, E. (1967). The effects of presentation and recall of material in free-recall learning. Journal of Verbal Learning and Verbal Behavior, 6, 175–184.
