Os progressos conquistados pela avaliação do livro didático não são mais suficientes para esconder os seus graves problemas. São necessárias mudanças fundamentais para im- pedir que a avaliação pedagógica do livro didático se consolide como um processo caro, lento, redundante, inconsistente e impregnado de erros. Não temos dúvidas de que as distorções da avaliação resultam de um sistema obscuro e sem os necessários mecanismos de controle e revisão. Até mesmo o direito dos autores defenderem suas obras foi negado, numa clara afronta aos princípios constitucionais brasileiros. O único efeito prático dessa aberração foi ocultar os erros e excessos dos avaliadores e desperdiçar um excelente me- canismo de controle de qualidade do processo avaliativo. Afinal, quem melhor do que os autores para apontar os erros na avaliação dos seus livros?
A maioria dos problemas da avaliação que evidenciaremos neste livro foi prenunciada já em 1996, quando da publicação do Edital do PNLD 1997, a primeira edição do mo- delo atual do PNLD. Os principais focos de resistência a qualquer mudança na avaliação residem na Secretaria de Educação Básica (SEB) e nos grupos acadêmicos diretamente envolvidos na avaliação. Nas primeiras edições do PNLD, essa resistência tinha algum fundamento. A implantação da nova política afetava interesses econômicos de grandes grupos editoriais que usaram de toda a sua força para se oporem ao que chamavam “afron- ta à liberdade de expressão”, entre outras coisas. A avaliação foi imposta “na marra” e gerou uma enorme polarização entre aqueles que eram pró -avaliação e aqueles que eram contra -avaliação. Nesse enfrentamento não havia espaço para posições intermediárias. A campanha na imprensa foi grande e o governo e as universidades venceram. A imagem construída naquele tempo era de um maniqueísmo exacerbado: o enfrentamento dos ava- liadores (paladinos defensores da verdade, da correção e do interesse público) contra os demoníacos e mercenários autores de livros didáticos (defensores do atraso, do erro, dos
preconceitos e dos interesses econômicos de grandes grupos editoriais). Como costuma acontecer numa “guerra total”, o rol de vítimas inocentes foi considerável. Não havia es- paço para moderação. Nenhuma concessão era admitida, quem não defendia a avaliação cegamente, apesar de tudo, era considerado inimigo.
O peso do Estado, aliado à grande imprensa e aos meios acadêmicos, foi demais até para os grandes grupos editoriais. Em poucas edições do PNLD, as editoras pragmaticamente conformaram -se com a avaliação9 e criaram mecanismos para aprovarem suas obras. Novas
obras de novos autores surgiram e, de um modo geral, o livro didático brasileiro melhorou. A avaliação do livro didático no âmbito do PNLD completou mais de uma década e, como já destacamos, merece crédito por várias mudanças positivas nos livros didáticos. To- davia, o embate inicial deixou marcas profundas. A mais marcante delas é a postura reacio- nária dos responsáveis pela avaliação que rejeitam, a priori, qualquer proposta que altere a sua atual condição de “juízes supremos e incontestáveis” que, por sinal, eles desfrutam desde 1996. Não temos dúvidas de que o reacionarismo é decorrente da comodidade da condição onipotente que os avaliadores gozam e da imagem de “guardiões da verdade, ponta de lança na luta pela qualidade da educação brasileira” que construíram junto à mídia e nos meios acadêmicos. Todavia, a inexistência de canais de crítica e a ausência de mecanismos de con- trole da avaliação resultaram no aprofundamento dos problemas de origem da avaliação.
Desde o final dos anos 1990 poucos se atrevem a discutir abertamente o outro lado da moeda: os problemas e as distorções do atual modelo de avaliação. A vanguarda do comba- te aos problemas na avaliação foi sempre exercida pela Associação Brasileira de Autores de Livros Educativos (ABRALE). O trabalho de suas sucessivas diretorias resultou no rompi- mento parcial de barreiras e resistências da SEB, a ponto da ABRALE, já há alguns anos, ser convidada a participar e opinar regularmente em encontros do PNLD. Não seria justo deixar de mencionar que as editoras de livros didáticos, por meio da Associação Brasileira de Editores de Livros Escolares (ABRELIVROS) também contribuíram para este avanço.
Apesar da resistência da SEB e dos grupos acadêmicos ligados à avaliação, os erros e as inconsistências acumuladas nas sucessivas edições do programa foi de tal ordem que, finalmente, o decreto -lei que institucionalizou o PNLD estabeleceu uma etapa recursal10:
a principal conquista “dos” autores e “para os” autores de livro didático no PNLD. Infe- lizmente, caro leitor, o aperfeiçoamento proporcionado pelo Decreto nº 7.084/2010 é
apenas ilusório, pois esse instrumento legal prevê que os recursos devem ser julgados pelos próprios avaliadores. Será que os avaliadores terão a humildade de reconhecer seus pró- prios erros? Quando nós os confrontamos com os erros nos relatórios de reprovação de nossas obras, isso não aconteceu. Na prática, permanece tudo igual.
9 Ainda nos anos 1990, as grandes editoras avaliaram a conveniência da ABRELIVROS contestar judicialmente a re- gra do PNLD que negava o direito de recurso contra o parecer da avaliação. A discussão foi encerrada quando o diretor de uma das maiores editoras do país afirmou que sua editora era contra e não participaria dessa contestação, pois “não se deve brigar com seu maior cliente”.
O medo de represálias e da execração pública fez com que autores e editoras, até a pu- blicação deste livro, nunca divulgassem o teor integral do relatório de reprovação de suas obras. Os erros na avaliação sempre foram apresentados de modo tímido, indicando apenas casos pontuais. Este sempre foi o ponto fraco na argumentação dos autores e das editoras. Nós temos a intenção de mudar esse cenário. Estamos dispostos a nos expor ao provável ataque impiedoso que normalmente recebem os autores que ousam desafiar os onipoten- tes avaliadores. Neste livro, nós divulgamos o texto integral dos relatórios de reprovação das nossas obras (ver seção Anexos). Estamos seguros de que a nossa principal defesa são os absurdos proferidos pelos avaliadores do PNLD 2010 nesses documentos. Não temos nada a esconder. As virtudes e os defeitos das nossas obras são conhecidos. Elas já foram usadas por mais de 10 milhões de alunos e dezenas de milhares de professores. Elas já fo- ram objeto de dezenas de pesquisas e teses acadêmicas. Uma delas, por ser recomendada com distinção nos PNLD de 2001 e 2004, foi utilizada como parâmetro para a elaboração de muitas outras obras.
Ao longo deste livro, nós apresentaremos os fortes indícios que nos fizeram concluir que a noção de seriedade e de qualidade da avaliação pedagógica do PNLD amplamente divulgada pelos próprios responsáveis pela avaliação nos meios acadêmicos e na mídia é, na realidade, resultado de uma autoavaliação indulgente e complacente. Demonstraremos também a necessidade urgente de implementação de mecanismos de controle externo da avaliação e, principalmente, de uma instância recursal independente da equipe avaliadora.
Certamente seremos objeto de ataques impiedosos. Qualquer crítica à avaliação, por mais justa e bem fundamentada que seja, é considerada pela SEB como uma afronta e rechaçada agressivamente11. Nós seremos acusados, entre outras coisas, de sermos contra
a avaliação e de que, no fundo, propomos a volta ao passado. Esse estratagema contra nós não funcionará, o rótulo não vai “colar”. Todos aqueles que nos conhecem sabem que so- mos a favor da avaliação do livro didático. Nós nunca escondemos que consideramos a ava- liação uma política pública importante e necessária para o aprimoramento do livro didático e, por consequência, para a melhoria da qualidade do ensino no Brasil. Mesmo depois da reprovação infundada de todas as coleções de nossa autoria (quatro coleções, totalizando 12 livros), continuamos e continuaremos a defender a avaliação do livro didático no PNLD.
O nosso ponto de vista é radical. Entendemos que a avaliação do livro didático é tão im- portante que merece permanente aperfeiçoamento, correções e, principalmente, mecanis- mos de controle externo para evitar qualquer desvirtuamento de todos os atores envolvidos, inclusive os avaliadores e as instituições contratadas pela SEB para a realização da avaliação.
11 Em resposta à contestação dos termos dos relatórios de reprovação dos nossos livros de Alfabetização, expres- sa no Ofício nº 1.027/2009, a Sra. Maria do Pilar Lacerda Almeida e Silva, Secretaria de Educação Básica, sugere que os autores e a Editora Sarandi são contra a avaliação e aos benefícios que ela proporciona. Isso porque se questionou o fato dos avaliadores do PNLD 2010 recorrerem a critérios estranhos ao Edital do PNLD 2010. Questionou -se tam- bém que, dada a ausência de mudanças significativas nos termos do edital de 2010 em comparação ao edital de 2007, nada justificaria a reprovação das nossas obras anteriormente aprovadas. A Sra. Maria do Pilar foi veemente em suas afirmações: “[…] qualquer contestação desse movimento [aperfeiçoamento do sistema de avaliação e implantação de novos critérios] implica, necessariamente, um ponto de vista contrário à avaliação e aos benefícios que ela proporciona à
Devemos destacar também o elevado custo da avaliação12 e os interesses econômicos envol-
vidos nas aquisições do PNLD. Fatos estes que deixam ainda mais evidente a necessidade de controle externo e de mecanismos de revisão dos pareceres dos avaliadores. Os erros na avaliação podem acarretar prejuízos da ordem de dezenas de milhões de reais para as edi- toras cujas obras são indevidamente reprovadas (recursos que ficarão, evidentemente, com as editoras concorrentes). Por outro lado, os erros que levam à aprovação indevida de uma coleção colocam em risco a formação de milhões de alunos de escolas públicas e gera lucros imerecidos aos autores e à editora favorecidos. Como é possível imaginar um processo como esse sem mecanismos de controle e de revisão externos?
Em nossa opinião, aqueles que conspiram contra a avaliação são justamente aqueles que escondem os seus defeitos, protegem os maus avaliadores, lucram com avaliações le- vianas e combatem os interessados que sinceramente visam à melhoria dos livros didáticos utilizados nas escolas brasileiras, sejam elas públicas ou particulares.
A possibilidade de sermos “condenados” (informalmente, é claro) à pena de “reprova- ção eterna” no PNLD é real. Temos consciência disso e decidimos correr o risco mesmo assim, tal a nossa indignação. Além disso, sempre existe esperança de que as denúncias caiam em terreno fértil e contribuam para o aprimoramento da avaliação e do próprio PNLD. Essa possível recompensa vale o risco.
O leitor provavelmente deverá se perguntar: se o problema é antigo, por que só agora divulgamos os erros da avaliação? A pergunta é válida e o nosso leitor merece explicação. Em primeiro lugar devemos informar que desde 1998 nós nos manifestamos abertamente contra a inexistência de uma etapa recursal independente. Fizemos isso antes mesmo de nos tornarmos autores. Desde então nos manifestamos, como autores e como editores, em mais de uma dezena de oportunidades, apesar de todas as nossas obras terem sido aprovadas e recomendadas. Para nós, o direito do autor defender a sua obra é uma questão de princípio.
Até o PNLD 2010, nós não tivemos acesso a nenhum parecer da avaliação do PNLD, inclusive aos pareceres das nossas obras. Isso porque a SEB não divulga os pareceres das coleções aprovadas, só as resenhas publicadas no Guia de Livros Didáticos. Os responsáveis pela avaliação disponibilizam os relatórios finais da avaliação apenas das coleções repro- vadas (excluídas do Guia) e só o fazem quando formalmente solicitados pelas editoras. As editoras, por sua vez, não medem esforços para esconder esses pareceres e, assim, não
12 A Tabela 1.2 (Custos dos programas de livros didáticos no exercício de 2008) revela que a avaliação do PNLD 2010, realizada em 2008, custou mais de R$ 11 milhões aos cofres públicos. O valor de R$ 10 mil por livro avaliado pago pela SEB à universidade responsável pela avaliação é altíssimo e difícil de justificar. A remuneração de mercado para leitores críticos e avaliadores didáticos/conceituais com título de doutor raramente ultrapassa R$ 1.300,00 por livro, até mesmo para ex -pareceristas do PNLD. Portanto, uma editora que resolva replicar a avaliação dificilmente gastará mais de R$ 4.000,00 por livro revisado por três leitores. Os R$ 6 mil por livros gastos a mais pela SEB é uma diferença enorme e isso demanda explicações e apuração pelas autoridades competentes. Cumpre ressaltar que, ao encomendar a avalia- ção de suas obras, as editoras pedem aos leitores críticos que preencham fichas similares àquelas usadas na avaliação do PNLD (divulgadas nos Guias de Livros Didáticos) e ainda pedem aos leitores que façam um relatório pormenorizado com sugestões de correção, indicação de atividades, bibliografia complementar etc., tarefas que não são exigidas aos avaliadores do PNLD.
prejudicar as vendas das obras reprovadas aos alunos das escolas particulares13. Portanto,
não é surpresa alguma o fato de, até os dias de hoje, somente erros pontuais de avaliação serem divulgados, apesar dos protestos de muitos autores reprovados.
Consequentemente, o nosso primeiro contato com problemas graves na avaliação ocor- reu quando recebemos os relatórios de reprovação das nossas obras excluídas do PNLD 2010. Foram quatro coleções reprovadas, duas de Ciências e duas de Letramento e Alfa- betização Linguística, sendo que três dessas obras já haviam sido muito bem avaliadas em programas anteriores.
Eis então a resposta, caro leitor: nós divulgamos só agora os erros da avaliação porque, para escrever um livro como este, necessitávamos de pelo menos um caso exemplar, o que não havia acontecido até divulgação dos resultados do PNLD 2010. Até então, todas as nossas obras foram aprovadas e nós não tivemos acesso aos relatórios de reprovação de nenhuma obra excluída do PNLD de outros autores. Nunca, antes da publicação deste livro, um autor ou uma editora divulgou os relatórios de reprovação de suas obras e os contestou publicamente, na íntegra. Nos Capítulos 3 a 6 daremos ao leitor uma amostra assustadora dos erros presentes na avaliação das nossas obras que culminaram na sua ex- clusão do PNLD 2010.