Assim como é previsível que ocorram erros em livros didáticos, os avaliadores do PNLD também estão sujeitos a erros. Afinal são apenas dois ou, no máximo, três ava- liadores por coleção. Paradoxalmente, a formação dos avaliadores, oriundos predomi- nantemente de instituições do Ensino Superior, também contribui para a existência de erros. A consulta ao Currículo Lattes14 dos avaliadores das diversas edições do PNLD
revela que eles são, na maioria dos casos, pessoas com formação e produção acadêmica muito especializada e restrita, fora do âmbito da educação. O Currículo Lattes também revela que a maioria dos avaliadores tem pouca ou nenhuma experiência em sala de aula no Ensino Básico e, em particular, no Ensino Fundamental. Embora essa conclusão (problemas na formação básica dos avaliadores), não represente um argumento forte (pelo menos em nossa opinião, o “argumento de autoridade” é sempre um argumento fraco), os erros identificados nos relatórios de reprovação de nossas obras são injustificáveis. Pelo
13 É evidente que divulgar amplamente um parecer que aponta erros graves em livros didáticos é do interesse público, principalmente quando se considera que a avaliação é cara e custeada pelo erário. Em dezembro de 2009, o Congresso arquivou um projeto de lei que obrigaria a divulgação dos livros reprovados pelo MEC (PL nº 1.564/2007). Apesar da sua evidente relevância, o PL nº 1.564/2007 foi rejeitado na primeira comissão que analisou seu mérito, sem dúvida como resultado do lobby das editoras que não querem que o público tome conhecimento da reprovação de suas obras. Para saber mais sobre a tramitação do PL nº 1.564/2007, consultar: <http://www.camara.gov.br/internet/sileg/ Prop_Detalhe.asp?id=359373> (acesso: mar/2010). 14 O sistema de Currículo Lattes é uma base de dados que reúne informações de pesquisadores que atuam no Brasil, mantida pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). O nome dessa plataforma é uma homenagem ao físico César Lattes. Seus dados são públicos e podem facilmente ser consultados na Internet.
menos do ponto de vista didático e conceitual. São erros tão grosseiros e primários que só poderiam ser explicados por suposta falta de experiência. Apesar do treinamento que os avaliadores recebem da coordenação da avaliação e dos consultores por ela convocados, essas deficiências aparecem nos pareceres na forma de:
erros conceituais em assuntos fora da área de especialização do avaliador;
excesso de rigor nos assuntos relacionados à área de atuação do avaliador; e
desconhecimento das teorias pedagógicas (vários avaliadores e consultores sequer pos- suem licenciatura) e consequente distorção dos critérios pedagógicos de avaliação.
Erros dos avaliadores aparecem até mesmo nas resenhas de coleções aprovadas. Um bom exemplo é o erro que consta no Guia do Livro Didático PNLD 1997 – Ciências. O livro da 4ª série da Coleção Descobrindo o Ambiente15 foi aprovado e recebeu a classifica-
ção “Recomendado”, a melhor entre os livros daquela série, naquele programa. A resenha da obra, entretanto, alertava o professor para um suposto problema:
Os textos são bastante claros, mas a tentativa de apresentar informações completas, expli- cando o que livros didáticos de outras coleções evitam tratar explicitamente, às vezes leva os autores a incorrer em pequenos deslizes. Há um texto, por exemplo, em que se afirma que a lua gira em torno de seu próprio eixo. Mas a ilustração que acompanha esse texto mostra a Lua girando em torno da Terra, sem mostrar o seu movimento de rotação.16
O tom professoral da resenha dá a impressão de que se trata de um erro banal dos au- tores. Porém, um rápido exame da imagem (reproduzida na própria resenha do Guia e na Figura 2.1 deste capítulo) demonstra o contrário: o erro é dos avaliadores e não do livro didático.
Importante ressaltar que, na Figura 2.1, a caricatura que representa a Lua está com a “face” voltada para a Terra o tempo todo. Ora, isso só é possível se a Lua girar ao redor do seu eixo na mesma proporção que ela gira ao redor da Terra. Observe, do momento “1” ao momento “2” a Lua percorre 25% da sua órbita e realiza 1/4 (25%) de giro ao redor do seu próprio eixo. Ao chegar ao momento “3” a Lua percorreu 50% da sua órbita e completou a metade de um giro ao redor do seu próprio eixo. No momento “4” percorreu 75% da sua órbita e 3/4 de giro ao redor do seu próprio eixo. Ao retornar ao momento “1” a Lua completa a sua órbita e simultaneamente completa um giro ao redor de si mesma.
Caso o esquema não mostrasse a rotação da Lua, como afirmaram os avaliadores na resenha, a face da Lua deveria ficar sempre voltada para o mesmo lado da ilustração, como mostra a Figura 2.2. Ou seja, se no momento “1” a Lua tem sua “face” voltada para a esquerda da imagem, ela deveria manter -se nesse mesmo sentido também nos momentos “2”, “3” e “4”.
15 OLIVEIRA, N. R.; WYKROTA, J. L. M. Descobrindo o Ambiente. Belo Horizonte: Formato, 1991, p. 30.
16 BRASIL. SECRETARIA DE ENSINO FUNDAMENTAL. Guia do Livro Didático 1997: ciências. Brasília: Ministério da Educação, Secretaria de Ensino Fundamental, 1996, p. 126.
Em outras palavras, se o esquema não mostrasse a rotação da Lua, no momento “1” a Lua estaria com o “nariz” voltado para a Terra. No momento “2”, a “orelha esquerda” da Lua estaria voltada para a Terra. No momento “3”, a Lua estaria “de costas” para a Terra. E, no momento “4”, a “orelha direita” da Lua estaria voltada para a Terra. Portanto, se o esquema não mostrasse a rotação da Lua, o observador terrestre seria capaz de ver a Lua por todos os lados e a Lua não teria uma “face oculta”.
O exemplo demonstra que os especialistas que avaliaram a coleção desconhecem que a Lua mantém sempre a mesma face voltada para a Terra porque o seu período orbital é igual ao seu período de rotação. Trata -se de um erro básico, pois é um fato astronômico bem co- nhecido e descrito há mais de um século. Mais ainda, este fenômeno, denominado rotação sincronizada (ou síncrona), é muito comum entre os satélites naturais do Sistema Solar17.
É necessário considerar também que o erro foi cometido por pelo menos dois avalia- dores. Nunca saberemos quem foram esses avaliadores, uma vez que a identidade deles e o teor dos seus pareceres são mantidos em segredo pela SEB. Mas eles não são os únicos culpados. Em tese, os avaliadores foram treinados e orientados, a um custo considerável, por especialistas de notório saber. Ainda mais grave é o fato da coordenação da avaliação não ter identificado e corrigido o erro18.
Os efeitos nocivos dos erros da avaliação, sobretudo quando expressos nas resenhas do Guia, são enormes, bem maiores do que os erros dos próprios livros didáticos. Os milhares de professores que consultaram o Guia do Livro Didático – PNLD 1997 foram convidados a “corrigir” o suposto erro. Como poderiam fazê -lo? A resenha não informa como deve ser feita a suposta “correção”19. Não é por acaso que muitos professores consideram as infor-
mações contidas no Guia de Livros Didáticos pouco úteis.
Citamos este caso em particular porque trata -se de um bom exemplo da falibilidade da avaliação, apesar de todo o dinheiro gasto com a remuneração dos avaliadores, com o seu treinamento, com a contratação de grandes especialistas de diferentes áreas do conheci- mento, com a coordenação da avaliação etc.
O caso também é exemplar porque o erro foi repetido na avaliação seguinte! O texto da resenha do livro, no Guia do Livro Didático PNLD 1998 – Ciências, afirma:
Outro assunto também exige complementação, para ser inteiramente entendido: é o mo- vimento de rotação da Lua (p.30), como já foi apontado na avaliação do PNLD 1997.20
17 A maioria das grandes luas do Sistema Solar apresenta rotação sincronizada com sua órbita ao redor do planeta. Informação sobre a rotação da Lua e rotação sincronizada em geral pode ser facilmente obtida nos sites de divulgação científica da NASA, como, por exemplo: <http://solarsystem.nasa.gov> (acesso: jun/2010) e em livros de Astronomia, como, por exemplo: OLIVEIRA FILHO, K. S.; SARAIVA, M. F. O. Astronomia e Astrofísica. 2. ed. São Paulo: Editora Livra- ria da Física, 2004 e MOURÃO, R. R. F. Dicionário Enciclopédico de Astronomia e Astronáutica. 2. ed. Rio de Janeiro: Editora Nova Fronteira, 1995.
18 O tom professoral do texto da resenha é ilustrativo da postura dos avaliadores e da academia de uma forma geral em relação ao livro didático e aos seus autores, inclusive daqueles que aprovam e recomendam.
19 Felizmente não informaram. Neste caso, a omissão dos avaliadores evitou danos conceituais mais graves.
20 BRASIL. SECRETARIA DE ENSINO FUNDAMENTAL. Guia do Livro Didático 1998: ciências. Brasília: Ministério da Educação, Secretaria de Ensino Fundamental, 1998, p. 328.
A repetição do erro pressupõe que mais dois (ou três) avaliadores, além da coordenação da avaliação e seus consultores, erraram novamente! Fica evidente que os mecanismos de controle de qualidade da avaliação do PNLD, se existem, são ineficazes.
Os erros de avaliação são particularmente perniciosos ao PNLD e à sociedade em geral porque:
podem resultar na reprovação injustificada de obras de qualidade, negando acesso des- sas obras aos alunos e aos professores das escolas públicas;
podem resultar na aprovação de obras que veiculam erros graves, o que é intolerável e
subverte a própria razão de ser da avaliação; e
contribuem para a consolidação de erros conceituais e/ou factuais no ensino brasileiro.
Os erros da avaliação têm efeitos desastrosos para a qualidade do ensino brasileiro como um todo. Isso porque a avaliação é patrocinada pelo Ministério da Educação; con- sequentemente, os erros e preconceitos que os relatórios de reprovação e as resenhas do Guia de Livros Didáticos veiculam têm caráter oficial e peso de um certificado emitido por autoridade pública. Este fato é agravado pela ampla divulgação que se dá ao Guia de Livros Didáticos, distribuído para toda a rede pública de ensino do país. As escolas privadas também são afetadas, pois os resultados da avaliação são divulgados na imprensa e podem ser obtidos pela Internet nos sites do MEC e do FNDE. Aquelas que adotam livros que erroneamente foram reprovados, por exemplo, passam a ter de explicar aos pais os motivos de sua adesão àquela obra. O que também não é nada justo.
Os erros da avaliação também prejudicam os livros didáticos porque as regras do PNLD estabelecem que as obras excluídas só poderão ser reinscritas se comprovarem que foram reformuladas de acordo com o relatório de reprovação, sob pena de exclusão sumária na fase de pré -análise21. Em princípio, essa regra é boa. Não é possível justificar a inscrição
de uma obra que contém erros graves já identificados. Todavia, se a obra é excluída por erro dos avaliadores, estabelece -se uma situação absurda, uma verdadeira aberração, pois, para ser reinscrita, a obra equivocadamente reprovada será obrigada a provar que trocou o conteúdo correto por conteúdo errado!
Voltemos para o exemplo da ilustração da órbita e da rotação da Lua. A ilustração do livro está correta, mas os avaliadores a consideraram errada. Caso a obra fosse reprovada, o que os autores poderiam fazer para comprovar que “corrigiram” a ilustração22? As alter-
nativas seriam: a) trocar a ilustração correta por uma errada, o que é contrário a todos os preceitos éticos e morais; b) eliminar a ilustração, o que é contrário ao interesse público, pois sonega informação correta aos alunos e compromete a compreensão do conceito; ou c) mudar a rotação da Lua, o que está completamente fora das possibilidades físicas dos autores. Nem Kafka pensou numa “sinuca” desta para o infeliz Josef K.
21 Esta regra, presente nos editais, foi consolidada no artigo 22 do Decreto nº 7.084/2010.
22 Os avaliadores não informam como deveria ser a representação que julgam “correta”. Logo, é impossível para os autores comprovarem que “corrigiram” a ilustração! Como veremos nos próximos capítulos, a ausência de informa- ções e de bibliografia revela -se, na prática, um ardil dos avaliadores que, assim, reprovam e excluem obras do PNLD sem fundamentar seus argumentos.
Felizmente, para alunos e professores da rede pública, os avaliadores do PNLD 1996 reconheceram as inegáveis qualidades da Coleção Descobrindo o Ambiente e tiveram bom senso de aprová -la e até de recomendá -la, apesar de divulgarem em mais de uma ocasião o suposto erro na ilustração da órbita e da rotação da Lua. Felizmente, também para os autores, a coleção foi aprovada e eles não foram obrigados a “corrigi -la”.
Cientes desta falibilidade e dos problemas que os erros na avaliação do PNLD acarre- tam, nós advogamos, desde a primeira avaliação (da qual sequer participamos), o direito dos autores defenderem suas obras por meio de recurso a ser julgado por uma comissão independente da SEB e sem relação com a equipe de avaliação. Não fomos os únicos, pelo contrário, praticamente todos os autores manifestaram -se a favor do direito de defesa de suas obras. Nessa questão, a ABRALE merece destaque. Até mesmo as editoras, com in- tensidade bem menor, manifestaram -se a favor dos autores.
Em todas as edições do PNLD realizadas até esta data (2010), os editais vedaram qual- quer possibilidade de contestação dos pareceres de reprovação. Negou -se sumariamente aos autores a possibilidade de defesa das suas obras. A decisão dos avaliadores foi sempre final e inapelável, uma clara afronta ao princípio constitucional do direito de defesa.
Como já informamos, o direito de recurso contra a decisão dos avaliadores só veio a ser reconhecido com a publicação do Decreto nº 7.084/2010, que regulamentou o PNLD. Foram necessários 13 anos de intensa campanha de autores, em particular por meio da ABRALE, com a documentação de inúmeros erros nos pareceres para convencer o Minis- tro da Educação e romper a resistência da SEB ao imperativo constitucional da viabilidade e da conveniência de uma etapa recursal no processo de avaliação dos livros didáticos23.
Mas por que será que a SEB e os grupos acadêmicos ligados à avaliação resistem tanto a reconhecer um direito constitucional líquido e certo que também se constitui num valioso instrumento para identificar eventuais erros na avaliação? Os principais argumentos são: 1) a autoridade técnica dos avaliadores (formação acadêmica, treinamento pela coordena- ção e pelos seus consultores) e o sistema de avaliação24 que, em tese, eliminaria a possibili-
dade de erro; 2) a falta de tempo para rever os relatórios de reprovação; e 3) a possibilidade de sucessivos recursos inviabilizarem o próprio programa.
Não é mais necessário aborrecer o leitor com a refutação dos argumentos 2) e 3). A publicação do Decreto nº 7.084/2010 é prova suficiente da sua improcedência. Resta, to- davia, a necessidade de refutar a primeira e principal alegação contra o direito de defesa: a qualidade da avaliação. Os relatórios de reprovação que recebemos da SEB contêm provas de que, nas equipes de avaliação do PNLD 2010, existem especialistas com deficiências conceituais graves, algumas até grotescas. Mas não é só isso, há inúmeros casos em que os
23 O Decreto nº 7.084/2010 dá direito aos autores de apresentarem recurso contra o parecer de reprovação (artigo 20) de suas obras, o que representa um avanço. Todavia, ele contém uma falha grave: os recursos devem ser enviados à SEB e avaliados por membros da própria equipe avaliadora (parágrafo 5º, artigo 20). Ora, como imaginar que os avalia- dores irão julgar com isenção recursos que apontam seus erros? Os avanços proporcionados pelo Decreto nº 7.084/2010 e os problemas remanescentes são discutidos no Capítulo 7. 24 Dois avaliadores por obra, com a convocação de um terceiro em caso de discordância e revisão dos pareceres pela equipe de coordenação.
avaliadores justificam a reprovação com base em dados falsos, exorbitam seus poderes e avaliam com base em critérios estranhos ao próprio Edital do PNLD 2010. O festival de irregularidades inclui até casos de flagrante ilegalidade, como o acesso dos avaliadores aos exemplares caracterizados. Logo, o tema principal dos próximos capítulos será a análise dos relatórios de avaliação das nossas obras e a desmistificação da avaliação do livro didá- tico no âmbito do PNLD. Mito este construído na imprensa e nos meios acadêmicos com base em informações unilaterais, autoelogiosas, produzidas pelos próprios responsáveis pela avaliação25.