PED BRASIL
PED 06
–
Avaliação da, para e como aprendizagem
Douglas Reeves
–
Elementos da Atribuição de Notas
12Introdução
Quer você seja um professor ou administrador, um responsável ou
estudante, gestor público ou pesquisador acadêmico, existem quatro perguntas essenciais a respeito de avaliação:
1. Como podemos tornar a avaliação mais precisa? Aquilo que oferecemos aos alunos precisa ser não apenas uma questão de opinião, mas sim a consequência de evidência e razão.
2. Como podemos tornar a avaliação mais justa? Aquilo que descrevemos como proficiência precisa realmente ser uma função de desempenho, não de gênero, etnia ou classe social.
3. Como podemos tornar a avaliação mais específica? Dizer a um(a) aluno(a) que ele ou ela está “na média” ou tem conceito “C” de pouco ajuda
alunos, responsáveis e professores a colaborarem para a melhoria do aprendizado. Alunos precisam receber informações detalhadas sobre seu desempenho para que usem as devolutivas para melhorar.
4. Como podemos tornar a avaliação mais oportuna? Mesmo que as notas sejam precisas, justas e específicas, alunos não podem usar o feedback para melhorar seu desempenho a não ser que as notas sejam
disponibilizadas em tempo hábil. Neste livro, consideraremos práticas de avaliação que preenchem todos esses critérios e ofereceremos formas práticas para que professores economizem tempo ao mesmo tempo em que proporcionam feedback efetivo a seus alunos.
Precisão, justiça, especificidade e pontualidade -- esses critérios estão no centro de toda discussão a respeito de avaliações. Este livro considera não
1 Original: REEVES, Douglas. Elements of Grading: a guide to effective practice. Bloomington, IN: Solution Tree Press, 2011.
PED BRASIL
apenas como responder essas quatro perguntas, mas também como conduzir discussões construtivas sobre políticas de avaliação. Perfeição é impossível em avaliações, portanto nossa busca não é pela resposta definitiva. A busca não é pela perfeita exatidão, mas por um sistema mais exato; não pela perfeita
justiça, mas por um sistema menos suscetível à parcialidade -- seja essa involuntária ou deliberada -- do que o era anteriormente; não pela
especificidade absoluta, mas por um sistema de feedback que ajude alunos a saber o que precisam fazer para melhorar. Por fim, embora o feedback não precise sempre ser imediato, a prática predominante na qual as notas são disponibilizadas aos alunos tarde demais para que respondam é improdutiva. Muitos professores trabalham duro para oferecer aos alunos um feedback detalhado, mas quando o mesmo é disponibilizado várias semanas após o desempenho do aluno ou, o pior de tudo, após o fim do semestre, então os professores desperdiçaram seu tempo.
Como professor, eu espero que minhas formas de oferecer devolutivas sejam melhores quarenta anos depois de eu ter dado aula pela primeira vez do que eram trinta anos depois, mas a experiência me ensinou que a única certeza é que eu ficarei aquém da perfeição. Logo, eu não ofereço uma receita simples que os leitores possam adotar com confiança na certeza do sucesso. O que essas páginas oferecem ao invés é o seguinte:
● Um processo racional para avaliar o sistema de avaliações adotado em sua sala de aula, escola e sistema educacional
● Um processo colegial para a discussão de alguns dos temas mais contenciosos em avaliação
● Um processo comunicativo para incluir todas as partes interessadas -- responsáveis, membros do conselho, a mídia, alunos, sindicalistas e gestores públicos -- no debate.
PED BRASIL
Por que a Avaliação é Tão Importante?
Para professores e administradores escolares, a avaliação de performance estudantil que talvez mais ganhe atenção é o exame anual. Na Austrália, no Reino Unido e na China, os exames nacionais são moeda corrente; as
avaliações marcam alunos, professores, escolas e sistemas educacionais
inteiros como sucessos ou falhas. No Canadá, as notas dos exames provinciais são usadas para avaliar alunos, escolas, administradores e professores. Nos Estados Unidos, exames estaduais anuais determinam se as escolas se encaixam em uma complexa definição de “avanço anual adequado” ou não e parece que o país em breve seguirá uma política de exame nacional.
Apesar da ênfase política nos exames anuais, alunos e responsáveis tem um foco marcadamente distinto daquele de profissionais escolares. Sua
atenção está voltada para notas em sala de aula, boletins e quadros de honra ao mérito escolar. A pergunta que os responsáveis fazem mais frequentemente não é “Qual foi sua pontuação no exame anual?”, mas sim “Como você tirou essa nota?” Além disso, notas determinam honras acadêmicas e rankings de turma, tendo um impacto direto na admissão a universidades e nas
oportunidades de bolsa de estudos. Um estudo conduzido em 2008 pelas Escolas Públicas do Condado de Fairfax indicou que 89% das faculdades que responderam à pesquisa usam notas para comparar os candidatos, 39% exigem um coeficiente de rendimento (CR) mínimo para admissão em programas de honra e 33% exigem um CR mínimo para bolsas por mérito acadêmico. Mais de metade das faculdades não recalculam notas com base no rigor ou conteúdo das disciplinas. Portanto, as notas dadas pelos professores podem impactar profundamente oportunidades futuras para os alunos.
PED BRASIL
importantes por razões emocionais e financeiras e é totalmente compreensível que o tema seja algumas vezes carregado de controvérsia.
Thomas Guskey e Jane Baley (2001) documentaram a história de
controvérsias em avaliação por mais de um século. Em apenas um sistema -- mais uma vez Condado de Fairfax, Virginia -- foram mais de meia dúzia de diferentes políticas de avaliação desde 1912, com uma variedade de esquemas de avaliação descritivos, numéricos e de letras. Se levarmos em consideração os diferentes sistemas em uso nas diferentes escolas, então a variação é ainda maior. A escala “padrão” de 100.s com intervalos de 10.s (90-100 = A; 80-89 = B; 70-79 = D; menor que 70 = F) é de safra relativamente recente, datando dos anos 60 e é hoje o sistema mais usado dos Estados Unidos, de acordo com as escolas de ensino médio e as universidades que responderam à pesquisa de Fairfax.
O que Influencia as Notas?
A maioria dos professores, responsáveis e administradores escolares supõe que a maior influência nas notas que um estudante recebe seja a performance do próprio estudante. À primeira vista, tal suposição parece razoável, mas como você aprenderá nas próximas páginas, uma gama de
outras influências, incluindo as maneiras como sistemas computadorizados de avaliação são programados, políticas administrativas arcaicas, erros acidentais e o julgamento idiossincrático de professores e administradores, determinam as notas de um estudante. Se um sistema escolar aspira ter um sistema de
avaliação acurado, justo, específico e oportuno, então precisa criar mecanismos de avaliação que foquem mais na performance dos alunos e menos em fatores subjetivos sem relação com o resultado dos alunos.
Comecemos então com a premissa de que pessoas querem ter sucesso. Estudantes querem aprender, professores querem que seus alunos se
PED BRASIL
devolutivas e saiam no final do ano prontos para entrar no próximo nível de aprendizado com confiança e sucesso. Quando pressupomos a boa vontade dos estudantes, professores e líderes, nós influenciamos de forma positiva mesmo as mais difíceis discussões. Ao invés de pressupor que devemos transformar maus professores em quase aceitáveis, vamos focar em como ajudar
professores, administradores, membros do conselho, estudantes e responsáveis excelentes a tomar decisões melhores sobre um dos temas mais importantes e emocionais em educação -- como avaliar para melhorar a performance dos alunos.
É claro que avaliações são apenas um dos tipos de devolutivas, mas é o tipo que recebe mais atenção. Thomas Guskey e Jane Bailey (2001)
argumentaram que devolutivas diferentes da avaliação na verdade são mais influentes no aprendizado. Essa alegação faz sentido; considere, por exemplo, o encorajamento, correções e melhoras imediatas que são resultado de
devolutivas efetivas por parte de treinadores e professores de música. No entanto, se uma escola tem um excelente sistema de devolutivas, mas é
ineficiente em suas práticas de avaliação, essa escola irá comprometer muitos de seus próprios esforços; e se uma escola consegue implementar práticas efetivas de avaliação irá reforçar todos seus outros esforços educacionais.
Reconciliando Experiência e Evidência
Nós somos todos vítimas da experiência e do contexto. Meu tio obeso viveu até seus oitenta anos, minha avó fumadora de cachimbo aguentou até seus noventa e eu conheço pessoas aparentemente saudáveis que brincam sobre nunca ter desperdiçado um segundo de suas vidas sobre uma esteira de corrida. É claro, essa é a mesma lógica aplicada por adolescentes que, por terem sobrevivido encontros iniciais com drogas e direção perigosa, acreditam que são invulneráveis. Essa é uma versão do antigo -- e muitas vezes mortal -- mito de que experiência pessoal é superior à evidência. Embora alunos tenham aprendido a rir das superstições medievais e valorizar o teste de hipóteses, frequentemente os debates predominantes em educação continuam
PED BRASIL
Faça este experimento com seus colegas. Pergunte a eles as seguintes questões:
● Quais princípios duradouros você aprendeu em sua carreira? O que, em suma, você “sabe com certeza” sobre ensino, aprendizado e conquista dos estudantes? (Se você estiver em um grupo será útil escrever todas as respostas.)
● Quais crenças você tinha há dez anos atrás que já não são mais verdadeiras? (Escreva essas respostas também.)
Compare a quantidade de respostas à primeira pergunta com as da segunda? Minha conjectura é que o primeiro grupo é extenso. Eu raramente tenho dificuldade em elicitar uma conclusão para frases como “A causa
principal de sucesso estudantil é…” ou “Os componentes mais importantes de um bom ensino são…” No entanto, a resposta para a segunda questão
demanda um certo esforço. Admitir que o que sabíamos sobre educação a uma década atrás era impreciso, incerto, ou simplesmente errado exige um raro nível de franqueza.
Agora faça as mesmas perguntas para um oftalmologista, climatologista, biólogo marinho, cardiologista, cirurgião ortopédico ou trabalhadores
humanitários internacionais. Membros dessas profissões terão pouca dificuldade em admitir que o que sabem hoje ultrapassa o que sabiam em décadas anteriores. Eles aceitam o fato de que as evidências de hoje se
sobrepõe às experiências de ontem. Uma cardiologista sabe que os 12 anos que passou em uma residência de cirurgia cardíaca não lhe ensinaram nada sobre os poderosos efeitos da modificação comportamental em pacientes cardíacos.
Felizmente, o uso da evidência na medicina e em muitos outros campos levou a reformas significativas e que salvam vidas (McAfee, 2009). No entanto, mesmo em um campo que é presumivelmente governado pela evidência
PED BRASIL
concluído que mais de 90% destes mesmos médicos insistiria numa lista de conferência caso eles ou seus familiares fossem o paciente.
Essa elevação da preferência pessoal sobre a evidência não é limitada à educação mas parece ser parte da natureza humana. Nós preferimos o conforto do que é familiar ao desconforto do novo, mesmo que a evidência aponte o segundo. É por isso que as pessoas mais racionais e razoáveis podem tomar as atitudes mais irracionais e incoerentes ao resistir à mudança (Deutschman, 2007).
A educação em particular uma profissão que se orgulha do progresso -- está profundamente enraizada em convicções passadas. Nós afirmamos o aprendizado do século 21 colocando um quadro eletrônico na frente da turma e no entanto damos aula como se a eletricidade ainda não tivesse sido inventada. Nós enaltecemos a colaboração e no entanto avaliamos nossos alunos de uma maneira que pune e repreende a assistência entre pares.
Isso não é muito diferente do século 19, quando médicos não aceitavam a “superstição” de lavar as mãos mesmo que soubessem que a taxa de
mortalidade infantil era mais baixa quando parteiras lavavam suas mãos antes do procedimento. Não importa o quão clara seja a evidência, a experiência pessoal ainda triunfa em várias discussões de política educacional.
Como comunidades profissionais de ensino podem distinguir experiência e evidência? A maneira mais efetiva que conheço é o uso dos seguintes cinco níveis de certeza:
1. Opinião -- “É nisto que eu acredito, e acredito com sinceridade.”
2. Experiência -- “Isto é o que tenho visto baseado na minha observação pessoal.”
3. Evidência local -- “Isto é o que tenho aprendido baseado na evidência que inclui não apenas minha própria experiência mas as experiências de meus amigos e colegas.”
PED BRASIL
5. Certeza matemática -- “Dois mais dois são quatro e nós realmente não precisamos de uma votação para decidir se todos se sentem confortáveis com essa afirmação.”
Em um mundo sujeito ao relativismo em todos os sentidos -- político, moral e até mesmo científico -- a certeza matemática parece elusiva,
especialmente em temas controversos como as práticas educacionais. No
entanto, existe um lugar apropriado para a linguagem definitiva da matemática quando nos aproximamos de discussões sobre avaliação. Por exemplo, quando professores usam a média aritmética, ou média, para calcular a nota de um estudante eles alcançam um resultado matemático diferente do que quando focam nas notas finais. Quando professores usam o 0 em uma escala de 100.s alcançam um resultado matemático diferente do que quando usam o 0 em uma escala de 4.s. Essas não são questões de conjectura, mas sim de cálculo.
O primeiro passo na direção de reconciliação do debate na educação, ou qualquer outro assunto de políticas públicas, é que os combatentes retóricos sejam intelectualmente honestos a respeito de suas afirmações e capazes de diferenciar o que acreditam, o que vem, o que escutam de colegas e o que aprenderam a partir do exame de evidências. O problema com o debate sobre avaliação, assim como todos os outros debates educacionais, é que muito frequentemente pulamos do primeiro para o quarto nível de evidência.
Dando Início à Conversa sobre Mudança
Existem duas maneiras de começar uma conversa com professores de sala de aula e administradores sobre a mudança de práticas. A primeira é caracterizada por um entusiasmo unilateral. Aqueles defensores zelosos que adotam este método tipicamente têm boa vontade, boa pesquisa e boas intenções, mas suas audiências logo vão do tédio à frustração e até oposição ativa. O que começou como uma conversa colegial focada em questões de aplicação prática se transforma em oposição enraizada. O desafio razoável de ontem se transforma na queixa de amanhã. Diálogos profundos e conversas profissionais se transformam em rancor. Colegas se transformam em
PED BRASIL
A segunda maneira de começar uma conversa é com uma pergunta, não uma afirmação. Ao invés de dizer a professores e administradores o que
precisam fazer, podemos perguntar “O que te impede de ser o melhor professor e administrador que você pode ser?” O que segue é uma amostra das respostas a essa pergunta que ouvi no ano passado:
● “As crianças não se importam.
● “Os responsáveis não se importam.”
● “Muitos dos alunos não vêm a escola.”
● “Os alunos que vêm estão sem engajamento, desatentos, preocupados e
zangados.”
● “Administradores não apoiam professores que exigem trabalho de qualidade dos alunos.”
● “Líderes no nível sistêmico toleram maus professores e administradores.”
● “Colegas não cooperam nem colaboram.”
Se fôssemos considerar as reclamações adicionais de professores em áreas rurais (“Esperam que eu ensine três séries diferentes, simultaneamente, em várias matérias”) ou áreas urbanas (“Esperam que eu corrija anos de
nutrição, moradia, cuidado médico inadequados em apenas algumas horas diárias”), a lista fica ainda maior. Apesar disso essa é uma pergunta que vale a pena fazer.
Este livro não é uma prescrição. Pelo contrário, ele levanta uma série de questões e sugere a criação de limites. No atletismo cada competidor tem limites. Nenhuma estratégia, não importa o quão criativa, é aceitável se ela existe fora desses limites. Juízes, técnicos e atletas conhecem os limites do seu esporte muito bem. Dentro deles estão a emoção da vitória e a agonia da
derrota. Fora deles está a zona de irrelevância. Este livro sugere quatro limites essenciais:
1. Avaliações precisam ser precisas -- A nota tem que refletir a performance do aluno.
PED BRASIL
3. Avaliações precisam ser específicas -- A nota não é apenas uma avaliação, mas uma devolutiva. Alunos, responsáveis e professores precisam entender não só o que a nota é, eles precisam também ter informação específica o suficiente para que possam colaborar no uso da devolutiva do professor para a melhora da performance do aluno.
4. Avaliações precisam ser oportunas -- Embora exista
inevitavelmente uma nota final que apareça no histórico do
estudante, especialmente no ensino médio, esta não passa de um posfácio para uma carta muito longa. Muito antes da nota final os alunos precisam receber um fluxo constante de devolutivas, assim como os alunos de música e esportes recebem de seus instrutores comentários desenhados não apenas para avaliar sua performance mas para melhorá-la.
Precisão, justiça, especificidade e pontualidade -- estes são os critérios para o exame das políticas de avaliação e estes são os tópicos que
exploraremos nas próximas páginas deste livro.
Começamos no capítulo 1 introduzindo o conceito de que notas não são meramente uma avaliação da performance do estudante, mas uma maneira de oferecer devolutivas desenhadas para melhorar a performance. O capítulo 2 traça as principais questões no debate sobre políticas de avaliação e desafia as distorções matemáticas que afetam muitas práticas comuns de avaliação. O capítulo 3 considera o primeiro critério, o elemento de precisão, e sugere como melhorá-lo. O Capítulo 4 trata do elemento da justiça em avaliação, focando em como variações em políticas de avaliação distorcem medidas consistentes da performance dos alunos. O capítulo 5 considera o elemento da especificidade. Os capítulos 6 e 7 consideram a importância da pontualidade e oferecem estratégias práticas para ajudar professores a alocar seu tempo limitado para avaliação da maneira mais eficiente e efetiva possível. O capítulo 8 é uma discussão sobre a implementação de políticas de avaliação de maneiras que tem maior probabilidade de sustentar mudanças efetivas para a melhoria da escola.
PED BRASIL
Capítulo 1 - Avaliação é Devolutiva
Apesar das políticas de avaliação serem sujeitas a opiniões profundamente arraigadas, debates sobre avaliação serão mais construtivos se primeiramente concordarmos com duas premissas importantes. Primeiro, nós deveríamos estar dispostos a concordar que a avaliação é um tipo de devolutiva. Segundo, nós deveríamos estar dispostos a concordar que a devolutiva é uma técnica instrucional muito poderosa -- alguns diriam a mais poderosa -- no que tange influenciar o sucesso do estudante.
Avaliando a Evidência
Vamos dar uma olhada na evidência. John Hattie (2009) conduziu uma meta-análise de mais de 800 meta-análises e avaliou o impacto relativo de muitos fatores, incluindo estrutura familiar, currículo, práticas de ensino e devolutivas sobre o desempenho do aluno. A medida que Hattie usa se chama “tamanho do efeito,” ou a porcentagem de um desvio padrão em desempenho escolar. Portanto, um desvio padrão (a letra d é usada para representar essa quantidade) de 0,6 significa que a relação entre um fator particular e o sucesso do aluno foi de 60% do desvio padrão. Um tamanho do efeito de 1,0, Hattie sugere, seria gritantemente óbvio, assim como a diferença entre duas pessoas que têm 1,60 e 1,83 metros de altura - uma diferença claramente observável.
Até mesmo pequenos tamanho do efeito podem ser significativos, particularmente se eles forem devotados a iniciativas que salvam vidas. Por exemplo, Robert Rosenthal e M. Robin DiMatteo (2001) mostraram que o tamanho do efeito de tomar uma baixa dose de aspirina na prevenção de ataques cardíacos foi de 0,07 -- uma pequena fração de um desvio padrão -- e no entanto isso se traduziu no resultado de que 34 de cada 1.000 pessoas poderiam ser salvas de um ataque cardíaco usando uma baixa dose de aspirina regularmente.
O uso de estatísticas comuns, d, ajuda professores ocupados e
PED BRASIL
estudantes. Por exemplo, alguns dos achados de Hattie (o valor de d segue após cada fator em parênteses) incluem a influência no desempenho estudantil dos seguintes (Hattie, 2009):
● Peso ao nascer prematuramente(0,54) ● Doença (0,23)
● Dieta (0,12)
● Uso de drogas (0,33) ● Exercício (0,28) ● Classe social (0,57) ● Estrutura familiar (0,17) ● Ambiente de casa (0,57)
● Envolvimento dos responsáveis (0,51)
Estes são fatores que a maioria dos professores vê como fora de seu controle, apesar de que alguns certamente argumentariam que as escolas
podem fazer um trabalho melhor em influenciar dieta, uso de drogas, exercícios e envolvimento dos responsáveis. Durante as 18 horas diárias em que os
alunos não estão na escola, eles e suas famílias tomam várias decisões que influenciam o aprendizado de maneira significativa, mas quão importantes são estas decisões se comparadas às variáveis que professores e administradores escolares podem controlar? A efetividade de qualquer recomendação no que tange ensino e liderança educacional depende da extensão na qual práticas profissionais de educadores e líderes escolares têm um impacto maior sobre os estudantes do que fatores que estão além de nosso controle. A pergunta
essencial é “Essa ideia tem impacto suficiente para superar qualquer influência negativa que meus alunos estejam enfrentando?”
Felizmente, Hattie responde essa pergunta com uma sonora afirmativa. Ele encontrou várias práticas de ensino e liderança que, medidas na meta-análise de meta-meta-análises, são mais poderosas que personalidade, lar e fatores demográficos quando consideramos seu impacto sobre o desempenho
estudantil. Exemplos incluem relacionamento professor-aluno (0,72),
PED BRASIL
Certamente, Hattie não é o primeiro acadêmico a reconhecer a importância de devolutivas no desempenho estudantil. Seus achados são completamente consistentes com as conclusões de Robert Marzano (2007, 2010 ) de que avaliações precisas, específicas e pontuais estão ligadas ao aprendizado do estudante. Graças a pesquisa de Hattie, no entanto, nós agora podemos ser mais precisos do que nunca sobre o quão importante eles são. Nós podemos dizer, baseados na preponderância de evidência de múltiplos estudos em várias realidades culturais, que a devolutiva é não só mais
importante do que a maioria de outras intervenções instrucionais , mas ela é também mais importante do que classe social, uso de drogas, nutrição, exercício, ansiedade, estrutura familiar e uma série de outros fatores que muitas pessoas alegavam ser insuperáveis. Na verdade, no que tange a
avaliação do impacto relativo do que professores e líderes educacionais fazem, o uso combinado de avaliação formativa e devolutivas é a combinação mais poderosa que temos.
Se nós entendemos que a nota não é apenas um processo avaliativo mas uma das formas mais importantes de devolutivas que nossos alunos podem receber, a conclusão de Hattie deveria elevar a melhoria das políticas de avaliação à prioridade máxima em todas as escolas.
Hattie também encoraja uma visão ampla de devolutivas, incluindo devolutivas não apenas de professores para estudantes mas também de professores para seus colegas.Nós devemos lembrar que, como um princípio ético fundamental, nenhum estudante em uma escola deveria ser mais
responsabilizado que os adultos e, portanto, nosso sistema de devolutivas deve ser tão apropriado para professores e líderes como é para estudantes.
Similarmente, nossos padrões para administradores, membros do conselho e gestores públicos precisam ser pelo menos tão rigorosos quanto aqueles que criamos para nossos alunos de quinto ano. Se essa afirmação lhe parece surpreendente, então eu o convido a imprimir uma cópia dos padrões
PED BRASIL
A Lacuna entre Evidência e Decisão
É, portanto, incompreensível que uma estratégia que tem impacto tão grande no desempenho estudantil quanto a devolutiva continue tão
controversa e inconsistente. É como se houvesse evidência de que uma prática comum de consumo criasse um desastre ambiental mas as pessoas ignorassem e persistissem na sua prática destrutiva. É claro que este não é um exemplo hipotético, como nossos hábitos nacionais -- tais quais o uso persistente de água embaladas em garrafas plásticas, a dependência de carros que consomem muita gasolina e nosso apetite por fast-food -- ilustram. Ao invés de abraçar a evidência e usar água filtrada, pegar transporte público e comer vegetais frescos, nós escolhemos alternativas que são menos saudáveis para nossas famílias e para o planeta.
Em suma, nosso maior desafio é como transformar o que sabemos em ação. A indiferença à pesquisa, apesar de também presente na medicina,
administração e muitos outros campos, é particularmente notável na educação. Um exemplo alarmante é o uso persistente da retenção e de punições
corporais. Em ambos os casos, décadas de evidência sugerem que esses tratamentos são inversamente relacionados ao aprendizado do aluno.
Repetência não encoraja ética de trabalho e responsabilidade estudantil, mas apenas cria alunos mais velhos, mais zangados e com menos sucesso (Hattie, 2009). Punição corporal não melhora o comportamento, mas legitima violência e aumenta o bullying e mal comportamento estudantil (American Academy of Pediatrics, 2000). E apesar disso políticos, de todos os lados do espectro, criticam duramente a promoção social e incitam a retenção em uma
demonstração de beligerante indiferença à evidência. Mais preocupantemente, a Anistia Internacional (2008) reporta que 24 estados nos Estados Unidos, e em muitas outras nações, continuam a permitir punições corporais décadas depois de evidência ter concluído que era contra produtiva. A legislação da Pensilvânia continua o debate sobre se a prática deve ser proibida ou não.
PED BRASIL
apenas antiquadas, mas perigosas. Nós podemos nos indignar com os médicos do século 19 que não queriam lavar suas mãos, mas quando o assunto vem para o campo da educação nós algumas vezes colocamos nossos preconceitos acima da evidência.
Antes de considerarmos o que é uma devolutiva de qualidade, sejamos claros sobre o que não é. Devolutiva não é um teste.
Diferenciando Devolutivas de Testes
Imagine duas salas de aula, ambas sobrecarregadas por turmas grandes e estudantes com uma vasta gama de conhecimento prévio e níveis de
habilidade. O papel do professor na primeira sala de aula é apresentar o que, como assunto de política do sistema escolar, tem sido descrito como um “currículo garantindo”. Administradores sabem que o currículo é entregue porque os objetivos instrucionais estão escritos no quadro e os detalhes do plano de aula, apoiando esses objetivos, estão postados próximos a porta onde administradores de visitantes podem facilmente inspecioná-los. Nessa primeira sala de aula, a devolutiva mais importante que alunos e professores recebem é sobre o teste anual administrado a cada primavera. Essa devolutiva é muito detalhada porque determinará o sucesso e falha não apenas do estudante individual mas de toda a escola -- talvez de todo o sistema escolar. Além do mais, companhias externas estabeleceram fórmulas estatísticas elaboradas que darão devolutivas para cada professor individual, medindo o grau no qual cada professor está agregando valor a cada estudante. Ao fazer comparações de estudantes no período de 3 anos, essas análises concluem que professores cujos estudantes demonstram ganhos em resultados de testes agregaram valor aos seus estudantes enquanto professores cujos estudantes não obtiveram tais ganhos falharam em agregar valor. Tão arraigado está este tipo de análise que, nos Estados unidos, uma das condições que os estados precisam preencher para que possam competir por mais de 4 bilhões de dólares em fundos federais é seu comprometimento em ligar a avaliação de professores à medidas anuais de performance estudantil.
PED BRASIL
serão influenciados por esses testes. Pergunte ao professor e alunos na
primeira sala de aula como eles sabem quem está se saindo bem e a resposta é, uniformemente, “Nós saberemos quando recebermos os resultados do nosso teste estadual.”
No entanto, a pergunta que persiste é se esses resultados de teste realmente são devolutivas.
Devolutivas Reconsideradas
Em sua principal obra comparando nações de alta- e baixa-performance e sistemas estaduais de educação de alta- e baixa-performance, Linda Darling-Hammond (2010) chegou a uma conclusão surpreendente e contra intuitiva. Desde os anos 80, os três exemplares que ela considera -- Cingapura, Coréia do Sul e Finlândia -- fizeram progresso significativo de acordo com
comparações internacionais de educação ao longo das três últimas décadas. Mais de 90% dos estudantes nestes países concluíram o ensino médio e as grandes maiorias seguiram para o ensino superior -- “muito mais do que nos Estados Unidos que é mais próspero” (p. 192), Darling-Hammond conclui. Observações de campo detalhadas revelam as devolutivas ricas, detalhadas e cheias de nuance que estudantes e professores recebem diariamente e podem aplicar imediatamente.
“Espere aí”, você pode perguntar. “Países asiáticos como a Coréia do Sul e Cingapura também não tem um ambiente focado em testes? Não são esses os exemplos que nós tentamos copiar para melhorar nossa performance
acadêmica em matemática e ciências?”. Na verdade, isso não se encaixa com a evidência que Darling-Hammond (2010) e seu time encontraram. Essas nações de sucesso
eliminaram sistemas de avaliação que previamente apontavam
estudantes a determinadas escolas de ensino fundamental e restringiam seu acesso ao ensino médio. Finlândia e Coréia agora não tem avaliações externas antes dos exames voluntários para matrícula no ensino
superior. Além das avaliações para a matrícula nos “níveis-O”,
PED BRASIL
informações sobre as escolas secundárias. Essas avaliações requerem extensas respostas por extenso e resolução de problemas além de incluírem projetos com currículo embutido e redações cujas notas são dadas por professores. (p. 192, itálico presente no original)
Sistemas educacionais efetivos certamente usam avaliações de nível sistêmico, mas notem importantes distinções. Neste exemplos, até mesmo as avaliações nacionais incluem profundo envolvimento dos professores e, portanto, oferecem uma oportunidade para devolutivas muito mais
diferenciadas do que uma simples nota. Mais importante, a vasta maioria das devolutivas é feita em interações diárias entre estudantes e professores, não a partir de resultados de testes administrados a intervalos multianuais. Talvez a consideração mais importante é como professores e alunos avaliam seu próprio sucesso. Enquanto avaliações anuais de alto impacto deixam estudantes e professores incertos sobre seu sucesso (“Nós saberemos como estamos indo quando recebermos o resultado no final do ano”), um sistema caracterizado por devolutivas efetivas oferece uma visão dramaticamente diferente.
Darling-Hammond (2010) observou a dramática diferença entre o modelo de “devolutivas como teste” e “devolutivas como respiração”, com o último sendo caracterizado por devolutivas integrais à realidade minuto-a-minuto da sala de aula. As palavras seguintes não são de um professor veterano;
tampouco são de alguém formado em um dos melhores programas de preparo de professores, ajudado por vários anos de mentoria intensiva. Essas são as palavras de um futuro professor que foi afortunado o suficiente para ver o trabalho de campo de Darling-Hammond mas que não passou ainda um dia sequer em sala de aula.
Para mim, a coisa mais valiosa foi o sequenciamento das lições,
ensinando a lição e avaliando o que as crianças estavam absorvendo, o que as crianças não estavam absorvendo e refletindo isso em minha próxima lição… o processo “ensino -avaliação-ensino-avaliação-ensino-avaliação”. (Darling-Hammond, 2010, p.223)
PED BRASIL
alcançar um entendimento mais profundo” (Gladwell, 2009, p.326). Bob Pianta, decano da Escola Curry, reportou o que um time liderado por ele observou em uma classe com altos níveis de devolutivas interativas.
“Então vejamos,” ele começou, de pé próximo ao quadro-negro.
“Triângulos retângulos notáveis. Nós vamos praticar com isso, apenas lançando ideias no ar.” Ele desenhou dois triângulos. “Defina o
comprimento do lado, se puder. Se não puderem, faremos todos juntos.” Ele estava falando e se movimentando rapidamente, o que Pianta disse que poderia ser interpretado como uma coisa ruim, porque isso era trigonometria. Não era u material fácil. Apesar disso, sua energia parecia infectar a turma e durante todo o tempo ele ofereceu a promessa de ajuda. Se você não puder, todos faremos juntos. Em um canto da sala estava um estudante chamado Ben, que evidentemente havia faltado algumas aulas. “Veja o que você consegue lembrar, Ben,” o professor disse. Ben estava perdido. O professor rapidamente foi para o seu lado: “Eu vou te mostrar uma maneira de fazer isso.” Ele fez uma sugestão rápida: “Que tal isso?” Ben voltou o trabalho. O professor passou para a próxima aluna ao lado de Ben e deu uma olhada em seu trabalho. “Está tudo correto!” Ele passou para um terceiro estudante e depois um
quarto. Dois minutos e meio depois -- o tempo que demora para um professor abaixo da média ligar o computador -- ele já havia lançado um problema, conferido praticamente todos os alunos da sala e já estava de volta ao quadro negro para avançar a lição mais um passo.
“Em um grupo como esse o comportamento padrão seria: Ele está no quadro, expondo o material aos alunos, e não faz ideia de quem sabe o que ele está fazendo e quem não sabe,” Pianta disse. “Mas ele está dando devolutivas individualizadas. Ele está fora da curva em termos de
devolutivas.” Pianta e seu time assistiram admirados. (Gladwell, 2009, pp. 328-29)
PED BRASIL
excepcionais compartilham). No entanto, nós nunca dizemos isso sobre um grande médico, cientista, advogado, piloto de corrida, violinista ou estrela do basquete. De fato, a evidência esmagadora é que o talento não é um mistério, mas algo a ser desenvolvido com prática deliberada (Colvin, 2008; Ericcson, Charness, Hoffman, & Feltovich, 2006). Essa generalização pode ser aplicada ao ensino? Aqui também há evidência convincentemente demostra que a
devolutiva, junto com outras técnicas efetivas de ensino, é uma habilidade que pode ser observada, aplicada, praticada e melhorada (Lemov, 2010).
As Quatro Características da Devolutiva Efetiva
Como vimos, a clara preponderância da evidência é não apenas que a devolutiva é importante em influenciar o desempenho estudantil, mas também é relativamente mais importante que quase qualquer outra variável baseada em estudantes, escolas ou professores. Deve ser notado que evidências sobre o poder das devolutivas dificilmente se restringe ao mundo da educação. Dianne Stober e Anthony Grant (2006) e Alan Deutschman (2007) oferecem evidências de uma vasta gama de ambientes, incluindo saúde, reabilitação carcerária, recuperação de dependentes químicos e educação, que dependem de
devolutivas. Kerry Patterson, Joseph Grenny, David Maxfield, Ron McMillan e Al Switzler (2008) somaram ao volume de evidências, usando exemplos
interculturais nos quais engajavam em mudanças significativas e profundas, apesar de não poderem ler nem escrever.
Em resumo, não é a disponibilização de seminários de tomada de decisões, baseados em dados que ajuda indivíduos, organizações ou
comunidades a mudar. Mas sim a habilidade de usar devolutivas de maneira clara e consistente. No entanto, mesmo a devolutiva mais clara e vívida será inútil se não for aplicada com quatro características: precisão, justiça,
especificidade e pontualidade. Cada uma delas é uma condição necessária, mas não suficiente, para a melhora. Se a informação é precisa mas não
PED BRASIL
raça de suas avaliações do trabalho estudantil, mas a busca por justiça pode enfraquecer precisão. Isso é particularmente verdadeiro quando professores misturam as atitudes e comportamentos de um aluno com a qualidade de seu trabalho. Devolutivas rápidas podem ser oferecidas por vários programas de computador, mas se elas informam ao estudante apenas se sua performance está correta ou incorreta resultam em pouca informação sobre como melhorar o processo de pensamento que levou a uma resposta incorreta ou sobre como sustentar a análise que levou a uma resposta correta. Especificidade é um componente da devolutiva efetiva, mas uma resma de dados entregues meses após os estudantes terem deixado a escola são tão ineficientes quanto a crítica detalhada por escrito do trabalho de inglês enviada para o estudante semanas após a nota final ter sido entregue.
Vamos olhar mais de perto para cada uma dessas quatro características.
1. Precisão
Nós todos gostaríamos de pensar que nossa devolutiva é precisa. Afinal de contas, pessoas com nível superior e pós-graduação sabem mais que seus alunos, então sua devolutiva tem que ser precisa, não é? Na verdade, seria muito mais exato dizer que nossa educação avançada nos dá um conhecimento
diferente, enquanto a devolutiva precisa ser uma reflexão precisa do que o estudante aprendeu ou ainda não aprendeu. Essa distinção -- entre precisão factual e contextual -- é importante não apenas para professores de sala de aula mas para líderes escolares e gestores públicos.
Precisão Factual
PED BRASIL
carreira e financeiras para cada tomador de teste. Embora tome-se muito cuidado para proporcionar consistência entre dois corretores independentes ou, em alguns casos, corretores computadorizados, esse nível de precisão esta longe de ser matemático. De acordo com o padrão matemático, 2 mais 3 é igual a 5 sempre, enquanto a afirmação que uma redação vale 4,5 em uma escala de 6.s só é verdadeira na medida em que outros corretores concordem com esse julgamento.
Isso não quer sugerir que avaliações de desempenho, inclusive trabalhos envolvendo escrita, oratória, experimentação e demonstração por parte do estudante, sejam necessariamente tão subjetivas que não deveriam ser usadas. Ao contrário, uma modéstia apropriada sobre nossas práticas profissionais requer que verifiquemos a precisão de nossas devolutivas em avaliações de desempenho, assim como nos verificamos a precisão em um teste de adição simples. Embora não possamos alcançar a perfeita precisão, podemos ter um nível que seja suficiente para levar o estudante a um melhor desempenho.
Isso nos leva ao primeiro princípio de devolutivas precisas: diferentes observadores, incluindo outros professores, outros estudantes e o próprio aluno alunos, precisam entender os critérios usados pelo professor. No
exemplo acima, como você reagiria se um professor entrasse na sala e dissesse. “Timmy, se você acha que 2 mais 3 são 4, então por mim tudo bem, porque a coisa mais importante para mim é que você ame essa escola! Alguns leitores iriam, é claro, sugerir que amor à escola e precisão matemática não são
incompatíveis. Na verdade, nós expressaríamos nossa preocupação com o fato de que as crianças não aprenderem operações numéricas através de uma dieta constante de devolutivas, correções e desempenho melhorado, a chance de que eles amem a instrução matemática no futuro é muito baixa.
Se nós vamos exigir devolutivas consistentes baseadas em critérios bem compreendidos, deveríamos esperar o mesmo de todos os aspectos da
PED BRASIL
Eu tirei 2 no meu trabalho porque deixei de fora os 3 detalhes de suporte ao meu argumento que deveria ter incluído no segundo parágrafo. Além disso, minha introdução não preparou o leitor para o que eu escreveria a seguir. Quando minha amiga Laura leu, ela disse que eu deveria usar mais palavras de força como “terrível” ou “horrível” ao invés de
simplesmente escrever “ruim.” Eu acho que da próxima vez posso tirar um 3 se trabalhar com mais afinco.
Note que este não é um problema de precisão -- ambos os estudantes tinham a mesma rubrica. De fato, em muitas salas de aula hoje em dia, estudantes se sentem esmagados por rubricas. O problema é uma questão mais fundamental sobre precisão -- se um estudante não sabe o que a rubrica significa, ele ou ela não pode medir sua precisão. Assim como o estudante pode saber que “2 mais 3 são 5" e não 4 ao se engajar em experimentos, assim
também um estudante sabe que detalhes mais ricos, introduções convincentes e o uso de linguagem mais vívida resultam em uma escrita melhor.
Conhecimento não é apenas o resultado de pronunciamentos de valor por parte do professor, mas sim da compreensão por parte dos alunos.
Precisão Contextual
Voltemos à devolutiva original do professor de Timmy. "3 mais 2 não são 4," disse o professor, com precisão inabalável. No entanto, embora ninguém possa contestar a afirmativa seguinte," lembre-se, 3 mais 2 são 5," ela não necessariamente está dentro do padrão de precisão contextual. Precisão contextual requer que a devolutiva reflita o contexto do que o aluno aprendeu ou não aprendeu. Neste exemplo, como você responderia se o professor tivesse dito, "Não, Timmy, 2 mais 3 não são 4 e lembre-se que o desvio padrão é igual a raiz quadrada da variância”? A expectativa de que alunos da primeira série sejam capazes de compreender funções estatísticas é ridícula e irrelevante para a lição. Da mesma maneira, nós não podemos oferecer devolutivas que reflitam com precisão o que foi e ainda não foi aprendido até que façamos mais
perguntas. Isso nos leva a um outro princípio: devolutivas precisas envolvem fazer perguntas aos estudantes, não apenas oferecer a eles afirmativas com precisão factual.
PED BRASIL
Questionamentos como uma forma de devolutivas não é nada novo, como Sócrates demonstrou a mais de dois milênios atrás. Algumas vezes, ela pode levar o aluno a identificar um processo mental: "Por que você acha que isso é verdade?” Outras vezes, perguntas podem ajudar um aluno a usar outro processo mental para testar seu raciocínio: "Qual seria a resposta se, ao invés de lápis e papel, você usasse blocos para encontrá-la?" Da mesma maneira, em avaliações de escrita e desempenho, devolutivas que consistem apenas de afirmativas de professores (" A frase não está clara... Construção estranha… Uso impróprio... Outro erro gramatical!") estão aquém do padrão de precisão contextual. Para alguns estudantes estas afirmativas são tão impenetráveis quanto as notas de ginástica durante as Olimpíadas: "A primeira nota é 8,95," diz o anunciante em tons abafados," mas, é claro, esse é o juiz búlgaro." Esse é um mistério para mim, mas talvez seja absolutamente claro para um ávido torcedor de competições de ginástica. De igual forma, membros da mítica
Organização Profissional de Formados em Inglês (POEM), do professor Garrison Keillor, talvez sejam capazes de decifrar o que "construção estranha" significa, mas a maioria dos meus estudantes (incluindo um bom número de estudantes de inglês) precisa de algum diálogo para compreender. "Você poderia me ajudar a entender melhor essa frase?" é o começo de um diálogo que pode ajudar estudantes a distinguir clareza de opacidade e substituir uma expressão estranha com outra que seja mais graciosa.
Embora esses exemplos se apliquem a interações dentro de sala de aula entre alunos e professores, os princípios por trás de devolutivas precisas se aplicam em todos os contextos, incluindo devolutivas oferecidas a professores e administradores. Quer seja na forma de resultados de testes anuais,
observações em sala de aula ou avaliações formais, devolutivas estão fora do padrão fundamental de precisão se os critérios para avaliação não são
claramente compreendidos ou se são aplicados inconsistentemente. Quando eu converso com professores e administradores sobre o valor de devolutivas eles respondem com uma expressão cansada, "Nós já fizemos isso," se referindo a práticas como rubricas, notas colaborativas ou reuniões com alunos, mas se eu viro a mesa e lhes pergunto sobre sua experiência quando são eles que
recebem as devolutivas, rapidamente dissecam as imprecisões e
PED BRASIL
estou ou acima da média ou preciso melhorar. É um sistema maluco, injusto e terrivelmente impreciso!" E é mesmo, e um dos propósitos centrais desse livro é garantir que nós ofereçamos aos alunos devolutivas que sejam pelo menos tão precisas quanto as que oferecemos aos adultos do sistema.
2. Justiça
Minha lição favorita em justiça veio do Sr. Freeman French, meu
condutor de orquestra no ensino médio, que fazia audições por detrás de uma cortina. Nem alunos nem professores sabiam o gênero, identidade, raça, ou classe social de quem estava tocando. Podíamos apenas ouvir a música. Embora o comprometimento do Sr. French com a justiça possa parecer
estranho, ele representa um comprometimento a um princípio que parece nos escapar no contexto de preconceitos que vão desde a patinação Olímpica à Copa do Mundo de futebol onde, sendo bem delicados, a justiça não é sempre o principal valor à mostra. Certamente, a abordagem de conduzir audições às cegas do Sr. French tinha seus limites -- no fim ele precisava ver os músicos para lhes dar devolutivas face a face, mas o tom de justiça que ele estabelecia em suas aulas transmitia o fato, assim como a impressão, de que nossas cordas rangentes -- agudas ou graves, rápidas ou devagar -- suscitavam suas devolutivas baseadas apenas no nosso trabalho e não em nossa aparência.
Eu estou certo de que a vasta maioria dos professores aspira por ser justa, mas as distorções em devolutivas baseadas em gênero, raça e classe social são muito consistentes e muito vastas para serem explicadas apenas pelo desempenho. Para usar um exemplo pessoal, na escola onde eu sou voluntário a proporção de meninas para meninos na Sociedade Nacional de Honra é de 8 para 1. E, nacionalmente, essa proporção é de 2 para 1. Embora as matriarcas da minha vida tenham me persuadido de que as mulheres são mais inteligentes que os homens, eles ainda têm que me convencer de que seu gênero é 8 vezes, ou mesmo 2 vezes, mais esperto que o meu. Da mesma
PED BRASIL
brancas e afluentes sabem do que sobre a incapacidade intelectual de crianças pobres de minorias sociais.
Infelizmente, a cura para a injustiça em testes padronizados pode ser pior do que a doença se professores buscam compensá-la concedendo notas mais altas para desempenhos ruins. A busca por justiça às custas de precisão e especificidade não avançam a causa da equidade.
3. Especificidade
O terceiro critério para devolutivas efetivas é que elas precisam ser específicas. Existe uma disputa antiga entre autores de avaliações sobre o uso de diferentes tipos de rubricas e os relativos méritos de rubricas holísticas e analíticas. Grant Wiggins (1998) explica que uma rubrica holística “resulta em uma nota única baseada em uma impressão geral" (p. 164). Em contrapartida, uma rubrica analítica "isola cada traço principal em uma rubrica separada com seus próprios critérios" (p. 164). O princípio essencial, no entanto, não é o nome da rubricas mas o grau no qual são aplicadas consistentemente.
Portanto, quando usamos rubricas que contém termos como pouca evidência
seguidos por alguma evidência, evidência suficiente e evidência superior, estamos abrindo as portas para uma ambiguidade caótica.
Os perigos da especificidade
O antídoto para a ambiguidade não é a microgestão. Todos os alunos, administradores e professores já proferiram essas palavras sinalizando a rendição do pensamento independente, "Apenas me diga o que preciso fazer," quando estavam frustrados por instruções demasiado ambíguas. Trabalho duro e esforço colaborativo, quando acompanhados por uma incapacidade de ler a mente do instrutor, podem levar a resultados desapontadores. É certo que instruções explícitas demais são tentadoras. Quando somos claros em nossas exigências, alunos, professores e líderes conseguem fazer exatamente o que lhes é pedido, nem mais nem menos. Alunos produzirão redações com exatamente 5 parágrafos -- nunca com mais parcimônia e nem
PED BRASIL
imprimirão planos de aula precisamente como prescrito e escreverão no quadro os objetivos de aprendizado do padrão estadual. Administradores escolares criarão planos estratégicos conforme o formato e estilo solicitados pelas autoridades superiores. Apesar disso, quando devolutivas são específicas demais, alunos são julgados apenas na extensão em que conseguem seguir uma fórmula, e não conforme se engajam com o aprendizado. Sinais de que rubricas bem-intencionadas foram subvertidas em fórmulas desmioladas
incluem trabalhos estudantis que, praticamente, começam todos com a mesma frase.
Como podem professores alcançar o equilíbrio entre devolutivas que são específicas demais e devolutivas que são ambíguas demais? Dois princípios, que nos puxam para direções opostas, ajudam professores a lutar por esse equilíbrio. O primeiro diz respeito a limites e nossa interpretação sobre eles e o segundo diz respeito à consistência.
Limites, Juízo de Valor e Criatividade
Em um campo de futebol americano temos 91,5 metros de um lado ao outro, sem incluir as duas áreas de fundo, e cada time pode colocar 11
jogadores em campo, desde que os jogadores se mantenham no seu próprio lado de uma linha imaginária -- a linha de scrimmage. Esses limites são explícitos e imutáveis. A decisão sobre onde colocar os jogadores, por outro lado, é um juízo de valor. Da mesma forma, alguns dos limites pré-fixados por nossas devolutivas em sala de aula incluem soletramento e precisão
matemática, mas se grave pode ser substituído por terrível, ou se gráficos de barra devem ser verticais ou horizontais são juízos de valor.
Nos últimos cinco anos eu servi como técnico voluntário do time de debate da escola local de ensino médio. Os alunos têm limites explícitos, incluindo limites de tempo para discursos, o tópico a ser debatido e a
integridade da evidência a ser usada durante a competição. Essa experiência serve como uma ilustração muito útil sobre o equilíbrio essencial entre
devolutivas explícitas e flexíveis sobre o desempenho dos alunos. A aplicação de limites excessivamente rígidos a alunos pode, não intencionalmente,
PED BRASIL
afluentes. Dessa forma, o juiz desses infelizes alunos escutará os mesmos discursos, os mesmos argumentos e até os mesmos erros gramaticais rodada após rodada, torneio após torneio. Os estudantes lerão impressões do
computador, com sua intensidade interrompida apenas pelo som do cronômetro indicando que seu tempo acabou.
Se seus competidores caírem na mesma armadilha da especificidade, então eles poderão responder não com uma refutação dos argumentos apresentados por seus oponentes, mas com outro discurso preparado comercialmente, a leitura do qual também será interrompida apenas pelo cronômetro. Essas trocas não são elucidativas para o juiz, os competidores ou a audiência e, portanto, esses debates representam o oposto de pensamento crítico e engajamento retórico que atividade poderia ter lhes oferecido.
Uma tendência oposta mas igualmente perniciosa que emergiu
recentemente. Chamada de “crítica" por teoristas do debate (Hensley & Carlin, 2005), esses alunos argumentam que os tópicos de debate são limites artificiais e que eles deveriam ser livres para abordar questões de maior importância para a sociedade. Nós vamos ignorar, pelo menos nesse contexto, o fato de que esses alunos e seus técnicos abraçam, sem nenhum sinal de ironia, regras sobre limites de tempo, votos do orador e, mais especialmente, troféus. Não é que eles realmente queiram a ausência de regras; querem selecionar as regras que serão mais familiares para eles e menos familiares para seus oponentes. É como se um lado de uma competição atlética entrasse em campo equipado com tanques ao invés de ombreiras mas insistissem que os limites de tempo e de espaço em campo continuassem os mesmos.
PED BRASIL
Consistência
Em segundo lugar, espere consistência sobre limites mas variação em desempenho estudantil dentro deles -- um resultado direto de julgamentos de valor. O quão consistente é consistente o suficiente? Devolutivas
suficientemente específicas deveriam ser consistente 80% das vezes ou mais. Por que 80% é mais importante do que, digamos, 50% ou 90%? Quando psicotécnicos, especialistas em testes e medidas, avaliam um teste de alto impacto, eles usam o termo confiabilidade para medir a consistência de um teste. Eles esperam que alunos que responderam a um item corretamente também acertem a resposta de itens similares. Confiabilidade nunca é perfeita, mas, em geral, quanto mais consistente o teste, mas confiável ele é
considerado. Como uma questão prática, especialistas em testes geralmente esperam cerca de 80% de consistência (ou um coeficiente de confiabilidade de 0,8) em testes para que eles sejam considerados aceitáveis. É por isso que devolutivas de sala de aula deveriam ser igualmente consistentes; cerca de quatro em cada cinco professores que avaliam o trabalho de um estudante deveriam concordar que ele é proficiente ou não. Quanto mais específicos os parâmetros das devolutivas, o mais consistentes -- o mais confiáveis -- elas serão.
Vamos aplicar essa teoria em termos práticos na sala de aula. Se cinco fontes -- três colegas, um professor e um estudante fazendo uma autoavaliação -- oferecerem devolutivas a um trabalho do aluno, quatro dessas cinco fontes deveriam ser consistentes. Isso é, as devolutivas incluirão a mesma nota nas rubricas, além de sugestões muito parecidas para melhoria. Esse padrão
permite algumas diferenças -- devolutivas entre pares podem ser influenciadas por relações interpessoais, e alguns alunos podem ser altamente críticos de seu próprio trabalho -- mas se um estudante não está recebendo devolutivas
consistentes, então os culpados pode muito bem ser qualificadores ambíguos, tais quais “às vezes”, “suficiente,” “adequado,” ou “bom,” que abrem as portas para diferentes devolutivas quanto a um mesmo trabalho.
4. Pontualidade
PED BRASIL
maioria dos esportes, jogos eletrônicos e ensaios de música devolutivas são virtualmente instantâneas -- a jogada ruim, a manobra errada, e a nota fora de tom são respondidas com devolutivas imediatas que levam os estudantes a parar e melhorar seu desempenho. Ao conduzir um experimento de ciências, resolver uma equação complexa ou escrever uma redação, no entanto, o espaço de tempo que separa o desempenho e a devolutiva pode ser mais longo.
No contexto do trabalho estudantil, a extensão a qual nós preenchemos o padrão de pontualidade é uma função do grau no qual ela pode ser usada pelo aluno. Por exemplo, Lucy Calkins, fundadora do Projeto de Leitura e Escrita da Teachers College na Universidade de Columbia, foi pioneira em um processo no qual estudantes recebiam devolutivas de seus pares, professores e autoavaliações sistemáticas para que pudessem melhorar a qualidade de sua escrita. Suas ricas ilustrações do valor das devolutivas (Calkins, 1983, 1994) demonstraram que a diferença entre a má escrita e aquela atribuída a uma criança “prodígio" não são os antecedentes da criança ou a identidade do professor, mas a qualidade, consistência e frequência das devolutivas. Eu observei a professora Calkins apresentar esses exemplos em pequenos seminários e para grandes audiências de mais de 2 mil professores, mas apesar das mudanças no ambiente de aprendizado, a conclusão a que os professores participantes chegam é invariavelmente a mesma: eles não
acreditam que as diferentes amostras de escritas são das mesmas crianças. As crianças são as mesmas; o que mudou foi a qualidade das devolutivas.
Quanto maior o número de estudantes, o mais desafiador é para os professores providenciarem devolutivas pontuais. Para fazer isso em escolas secundárias, onde o professor pode ter cinco turmas diferentes com 30 ou mais estudantes em cada -- mais de 150 no total -- é particularmente desafiador para professores. Não é, no entanto, impossível. Na Academia Harlem Village, uma escola com 100% de alunos pobres e de minoria, onde todos passaram o exame do New York Regents, estudantes rotineiramente dão devolutivas uns aos outros em tudo -- da resolução de problemas de matemática até
comportamento nos corredores.
PED BRASIL
consistentes e pontuais oferece múltiplos benefícios a uma escola, e é o oposto de um sistema no qual a única pessoa qualificada para oferecer devolutivas é aquela segurando a caneta vermelha, o caderno de notas, ou o megafone. O princípio essencial para devolutivas pontuais é que estudantes tenham múltiplas fontes de informação, incluindo um sistema claro e consistente de avaliação entre pares e autoavaliação.
Escolhendo o Tempo
Embora o uso de rubricas de correção certamente tenha sido um passo positivo tomado nas últimas décadas, ainda persiste uma grande variação na qualidade, consistência e clareza desse instrumentos, principalmente se
precisam ser usados com rapidez e precisão pelos estudantes. O livro Rubricas Geradas pelos Alunos de Larry Ainsworth e Jan Christinson (1998) é um bom começo, mas o teste final da qualidade de uma rubrica não são as palavras na rubrica propriamente dita, mas o impacto que ela tem no trabalho dos
estudantes. Por exemplo, eu criei o que achei serem rubricas extremamente claras para meus estudantes, apenas para descobrir que em seus segundos rascunhos todos eles cometeram os mesmos erros -- talvez de maneira um pouco mais organizada -- que cometeram no primeiro. Em outras palavras, uma rubrica bem-feita que tenha por resposta a obediência sem compreensão dos estudantes falhará em lhes dar devolutivas pontuais. Portanto, embora o especialista que cria a rubrica possa desejar incluir muitos elementos, é necessário oferecer apenas devolutivas suficientes que possam ser usadas a tempo de melhorar a performance.
Bons técnicos de esporte são mestres nisso, como o são a maioria dos bons condutores de orquestra e coral. Embora técnicos ineficientes gritem um fluxo interminável de críticas e instruções à beira do campo para seus confusos jogadores, os melhores técnicos dão direções de uma maneira que influenciam a ação exatamente no tempo certo. É interessante assistir como dois grandes condutores sinfônicos de nosso tempo, James Levine e Lorin Maazel, movem-se tão pouco, mesmo durante os ensaios. Suas devolutivas são precisas no
PED BRASIL
A Tabela 1.1 resume as técnicas a serem aplicadas para garantir devolutivas precisas,justas, específicas e pontuais.
Tabela 1.1: Elementos de Devolutivas Efetivas
Elementos de Devolutivas Efetivas
Técnicas para Devolutivas Efetivas
Precisas Observadores diversos, incluindo
outros professores, alunos pares e os próprios estudantes, entendem os critérios usados pelo professor ao oferecer devolutivas.
Professores não fazem apenas
afirmações factualmente precisas aos alunos; eles fazem perguntas.
Justas Devolutivas não são influenciadas por
gênero, raça, classe social ou outras características dos alunos.
Professores não tentam compensar a parcialidade em outros testes
demonstrando parcialidade reversa ou concedendo notas mais altas à baixa performance de alunos desfavorecidos.
Específicas Limites são diferenciados de
julgamentos de valor.
PED BRASIL
consistentes, com variações na expressão de desempenho dos estudantes esperadas dentro dos limites.
Pontuais Devolutivas são enviadas em
incrementos, no tempo preciso quando alunos podem usá-las.
Neste capítulo nós consideramos os quatro elementos essenciais das devolutivas: precisão, justiça, especificidade e pontualidade. No restante do livro levaremos nossa atenção para um tipo específico de devolutivas,
