A quantidade de erros, equívocos e distorções na avaliação dos nossos livros é tão grande e de natureza tão variada que, por vocação didática e compaixão para com o leitor, decidi- mos criar uma “classificação de erros”, com categorias baseadas na natureza do equívoco ou da irregularidade. Infelizmente, esta não é uma classificação “perfeita”, por consequência, diversos erros de avaliação enquadram -se em mais de uma categoria.
ERRO TIPO 1: Inexistência na obra do fato alegado no Relatório de Reprovação Trata -se de um erro de avaliação tão óbvio que dispensa explicação. É um tipo de erro muito frequente nos relatórios de reprovação dos nossos livros. Um bom exemplo pode ser identificado no Relatório de Reprovação da Coleção Projeto ALLE – Letramento e Alfabetização Linguística, no qual os avaliadores do PNLD 2010 afirmam:
[...] No conjunto, as questões pretensamente destinadas à compreensão dos textos lidos se concentram em:
identificar e copiar informações contidas nos textos (v 1: pp. 18,
22, 44, 46, 26, 77 (2, 3); 78, 80, 84, 96); (v 2: pp. 24, 28, 66, 100,
104, 106, 112).28
27 A versão integral dos nossos livros encontra -se disponível para consulta, em versão PDF, no site da Editora Saran- di: <www.editorasarandi.com.br> (acesso: jul/2010).
28 UNIVERSIDADE FEDERAL DE MINAS GERAIS. SECRETARIA DE EDUCAÇÃO BÁSICA. Relatório de Reprovação
PNLD 2010 – Coleção Projeto ALLE. Brasília: Ministério da Educação, maio/2009, p. 10. A versão integral desse docu-
Se o leitor consultar os livros da Coleção Projeto ALLE poderá facilmente verificar que em nenhuma das páginas pares listadas pelos avaliadores do PNLD 2010 solicita -se a cópia de informação do texto! A acusação é fragorosamente falsa. Repare, caro leitor, que na longa listagem elaborada pelos avaliadores do PNLD 2010 todas as páginas, exceto a página 77, são pares. As páginas pares listadas de ambos os livros da Coleção apresentam atividades de leitura. O projeto gráfico da Coleção Projeto ALLE, cujas finalidades didáticas são claramente explicadas no Manual do Professor, concentra as atividades de leitura nas páginas pares do Livro do Aluno e as atividades de escrita nas páginas ímpares.
Na avaliação de Ciências ocorreu o mesmo fenômeno, como demonstra o exemplo extraído do Relatório de Reprovação da Coleção Ponto de Partida Ciências. Os avaliadores do PNLD 2010 sentenciaram que:
[...] em momento algum foram abordados os conceitos sobre a constitui
ção da matéria, apesar desta estar referida desde o livro do 2o ano.29
A verdade, entretanto, é bem diferente. Nos livros do 2º e do 3º anos da Coleção Ponto de Partida Ciências não se apresenta e tampouco se estuda o conceito de matéria. Este con- ceito só é trabalhado no livro do 4º ano da Coleção, livro no qual seis capítulos da unidade 2, denominada “Mundo Material”, são devotados ao assunto!
Parece incrível, não é, caro leitor? Como explicar o fato dos avaliadores do PNLD 2010 justificarem a exclusão dos nossos livros com base em exemplos que não existem nos textos originais? Como explicar erros tão grosseiros?
ERRO TIPO 2: Erro conceitual ou desatualização do avaliador
Quando o relatório de reprovação se baseia em um erro conceitual ou em desatualiza- ção do avaliador, denominamos ERRO TIPO 2.
Trata -se de um erro de avaliação gravíssimo, porém mais difícil de demonstrar. Quando cometem esse tipo de erro, os avaliadores do PNLD 2010 geralmente refugiam -se na sua condição de peritos (o famoso argumento de autoridade no qual a palavra do “especialista” basta) e o texto dos relatórios de reprovação geralmente assume um tom professoral ou ex- cessivamente técnico, muitas vezes ambos30. São raros os casos nos quais os avaliadores do
PNLD 2010 se deram ao trabalho de demonstrar ou fundamentar suas alegações. Repare,
29 UNIVERSIDADE FEDERAL DE SÃO CARLOS. SECRETARIA DE EDUCAÇÃO BÁSICA. Relatório de Reprovação PNLD
2010 – Coleção Ponto de Partida Ciências. Brasília: Ministério da Educação, maio/2009, p. 5. A versão integral desse
documento, em fac -símile, encontra -se na seção Anexos ao fi nal do livro.
30 No caso da rotação da Lua, por exemplo, os avaliadores simplesmente afi rmaram que existia um erro, mas o erro não foi demonstrado. O tom professoral do texto do avaliador induz o leitor leigo a interpretar que o erro é óbvio quando, na verdade, ele inexiste.
caro leitor, na besteira que escreveram no Relatório de Reprovação da Coleção Caminhos da Ciência:
No livro do 4o ano na p. 55, exemplifica se transformação química com
o azedamento do leite. Apesar de haver uma mudança da aparência com a coagulação da caseína, podemos dizer que não houve formação de novas substâncias: a caseína, a albumina, a lactose, a gordura, a água, os íons e as vitaminas continuam lá. Houve rompimento de pontes de hi drogênio, de repulsão elétrica entre micelas etc., mas só alterou a
aparência e não quimicamente as substâncias.31
Interessante destacar o tom professoral e o uso excessivo de termos técnicos nesta pas- sagem do Relatório de Reprovação. Apesar da retórica, no fundo, os avaliadores do PNLD 2010 alegam que o azedamento do leite não é resultado de reações químicas porque, se- gundo eles, não há formação de novas substâncias, mas apenas uma mudança da aparência do leite provocada pela coagulação da caseína.
No Capítulo 3, é apresentada a refutação técnica a essa crítica dos avaliadores do PNLD 2010, expondo os erros que ela contém. Por ora, é importante enfatizar que qualquer pessoa razoavelmente instruída sabe que a fermentação do leite é o resultado de reações químicas catalisadas por enzimas produzidas por certas bactérias e fungos. Na elaboração desse argumento, os avaliadores cometeram um erro conceitual gravíssimo ao confundir a fermentação do leite com a coagulação da caseína. Eles demonstraram ignorar que, quando o leite azeda, há um aumento da concentração de ácido lático que confere ao leite azedo o seu sabor característico e promove a desnaturação da caseína. A mudança do sabor é indicador do surgimento de novas substâncias! A objeção dos ava- liadores é ridícula.
Este tipo de erro dos avaliadores é particularmente grave, pois, pelas regras do PNLD, só será possível inscrever a Coleção Caminhos da Ciência no PNLD 2013 se comprovar- mos que fizemos a correção deste suposto erro, sob pena de exclusão sumária e inapelável na fase de triagem. A regra, presente nos editais do PNLD, foi consolidada no Decreto nº 7.084/2010 que, em seu artigo 22, estabelece que:
Art. 22 Os livros didáticos reprovados poderão ser reapresentados nas edições sub- seqüentes do PNLD, desde que tenham sido reformulados com base nos pareceres
emitidos.32
31 UNIVERSIDADE FEDERAL DE SÃO CARLOS. SECRETARIA DE EDUCAÇÃO BÁSICA. Relatório de Reprovação PNLD
2010 – Coleção Caminhos da Ciência. Brasília: Ministério da Educação, maio/2009, pp. 3 -4. A versão integral desse
documento, em fac -símile, encontra -se na seção Anexos ao fi nal do livro.
32 BRASIL. Decreto nº 7.084, de 27/jan/2010. Diário Ofi cial da União, 27/jan/2010. Seção 1 – Edição Extra, p.3. [grifos nossos].
O caro leitor deve concordar conosco que, quando o erro é dos avaliadores e não do livro, a correção é impossível. Esta “sinuca de bico” é agravada pelo disposto no artigo 18 do mesmo Decreto nº 7.084/2010:
Art. 18 As obras eliminadas nas etapas de triagem e pré -análise serão desclassifi-
cadas por não atendimento aos requisitos de admissibilidade estipulados no edital. […]
§ 2º A pré -análise das obras inscritas no PNLD terá caráter eliminatório e con-
sistirá no exame do atendimento do objeto e da documentação definidos no edital de
convocação, bem como da adequada reformulação das obras excluídas das sele-
ções anteriores, nos termos do art. 22.
§ 3º Não caberá recurso nas etapas de triagem e pré -análise das obras inscritas no PNLD.33
Como sair dessa sem ferir a ética?
ERRO TIPO 3: Inexistência do critério no edital e contradição com relação aos docu-
mentos oficiais
Quando o Relatório de Reprovação recorre a critérios de avaliação que não constam do Edital do PNLD 2010 e esses critérios, além do mais, contradizem os documentos ofi- ciais que orientam a Educação Básica, em particular os Parâmetros Curriculares Nacionais (PCN), consideramos a ocorrência como um ERRO TIPO 3.
Na condição de peritos, os avaliadores do PNLD 2010 têm poder discricionário, uma vez que não é possível descrever minuciosamente todos os critérios de avaliação nos termos dos editais. Todavia, o poder discricionário tem várias limitações. Uma dessas limitações é claramente descrita nos editais do PNLD (e consolidada no Decreto nº 7.084/2010) que estabelecem que a avaliação pedagógica deve ser realizada considerando -se, necessaria- mente, (sic) “o respeito à legislação, às diretrizes e normas legais da educação”34. O avaliador
não pode julgar com base em critérios conflitantes, por exemplo, com as recomendações dos Parâmetros Curriculares Nacionais, a menos que o critério conste explicitamente dos termos do Edital do PNLD.
Novamente recorremos ao Relatório de Reprovação da Coleção Caminhos da Ciência para ilustrar esse tipo de erro. Os avaliadores do PNLD 2010 afirmaram:
Nas fotos de índios, eles aparecem paramentados de penas para as fes
tas, acentuando o caráter “exótico” dessas pessoas.35
33 Ibidem, artigo 18. [grifos nossos].
34 Ibidem, artigo 19.
35 UNIVERSIDADE FEDERAL DE SÃO CARLOS. SECRETARIA DE EDUCAÇÃO BÁSICA. Relatório de Reprovação PNLD
A condenação ao livro foi justificada pelos avaliadores do PNLD 2010 porque nas foto- grafias os índios (sic) “aparecem paramentados de penas para as festas, acentuan
do o ‘caráter exótico’ dessas pessoas”. A redação dos avaliadores do PNLD 2010
não deixa dúvidas, eles consideram os índios “pessoas exóticas”. Qualificar qualquer
etnia como “pessoas exóticas” tem conotação racista e, portanto, contraria frontalmente os princípios de respeito à pluralidade cultural estabelecidos na Constituição Federal, na legislação brasileira, nos PCN e nas demais diretrizes da educação no Brasil. Este é um caso exemplar do despreparo dos avaliadores do PNLD 2010 para avaliar livros didáticos em geral e questões de cidadania e pluralidade cultural em particular. O caso é muito grave e, por isso mesmo, é discutido com maior profundidade no Capítulo 3.
ERRO TIPO 4: Contradição com as avaliações precedentes
O ERRO TIPO 4 ocorre quando o Relatório de Reprovação recorre a critérios de ava- liação incompatíveis ou incoerentes com os critérios utilizados por equipes de avaliação precedentes sem que os novos critérios constem nos termos do Edital do PNLD 2010. Este tipo de erro também caracteriza exorbitância do poder discricionário do avaliador, pois fere uma das diretrizes dos programas do material didático: a garantia de transpa- rência e publicidade nos processos de avaliação36. Nem poderia ser diferente, pois os edi-
tais do PNLD estão sujeitos à legislação que regulamenta as licitações. Logo, uma obra inscrita no PNLD não pode ser avaliada segundo critério desconhecido, em particular quando o critério usado pelo avaliador é diferente ou conflita com os critérios utilizados em edições anteriores do programa. O avaliador não pode inovar, ele está limitado pela legislação e pelos termos do edital. Quando o parecer da avaliação diverge das avaliações anteriores, deveria no mínimo estar respaldado em fundamentos sólidos e bem docu- mentado para demonstrar os erros que julgam constatar no livro e também os equívocos da equipe avaliadora precedente. Os critérios de avaliação não podem ficar ao sabor dos ventos como uma biruta.
No PNLD 1997 ocorreu um caso emblemático. Alguns livros foram reprovados porque indicavam o uso de torniquete no caso de picadas de cobras. Esse procedimento, apesar de ser o indicado por um tratado de medicina (Harrison’s Internal Medicine) adotado nos mais renomados cursos de Medicina do Brasil naquela época, foi condenado pela equipe de avaliação por ser oposto à conduta recomendada pelo Instituto Butantan.
Ao contestarem a avaliação, os autores demonstraram que não cometeram um erro, apenas optaram por um dos protocolos aceitos no meio médico, o que era permitido pelo edital, por não ser explicitamente vedado. Diante desse forte argumento, os editais seguin- tes explicitaram que seriam exigidas as recomendações do Instituto Butantan e reprovadas as obras que recomendassem o uso de torniquetes. Atualmente, os editais omitem essa exigência, mas o precedente já foi estabelecido e autores e editoras sabem que o PNLD só admite a conduta propugnada pelo Instituto Butantan.
36 Esta diretriz, presente em todos os editais do PNLD, foi consolidada no item V do artigo 3º do Decreto nº 7.084/2010, cujo texto determina: “garantia de isonomia, transparência e publicidade nos processos de avaliação,
Qual não foi a nossa surpresa, portanto, verificar no Relatório de Reprovação da Cole- ção Caminhos da Ciência a condenação da obra por reproduzir as instruções de um folhe- to do Instituto Butantan sobre ofidismo! Os avaliadores do PNLD 2010 foram criativos, censuraram a obra por colocar: (sic) “predominantemente os conhecimentos populares como atitudes a serem evitadas, como mitos. Vide tratamento de picadas de cobra”37.
É apavorante, caro leitor. Os avaliadores do PNLD 2010 reprovaram uma coleção, pre- viamente recomendada com distinção por dar publicidade às recomendações do Butantan. Exatamente as exigências das equipes das avaliações precedentes! Entre as recomendações condenadas estão:
– não amarre a perna ou o braço picado [isto é, não fazer torniquete]; – não faça cortes nem sangre o local da picada; e
– não use remédios caseiros, querosene, álcool, fumo, urina etc. Eles só vão piorar as coisas.38
É possível constatar assim que os avaliadores do PNLD 2010 contrariaram o parecer das equipes anteriores sem apresentar qualquer embasamento em novos critérios estabele- cidos no Edital do PNLD 2010.
A bem da verdade, este erro é tão gritante que também é exemplo de ERRO TIPO 2, visto que indica que os avaliadores do PNLD 2010 não têm a qualificação necessária para avaliar questões relativas ao conhecimento popular e também desconhecem que uma das principais tarefas do ensino de Ciências é, sim, informar o aluno sobre procedimentos corretos e alertar quando crendices e superstições colocam em risco sua saúde e sua integri- dade física. É uma afronta à função social da Ciência, tão bem expressas por ADOVASIO, SOFFER e PAGE (2007):
Science is not truth, it is, instead, a method for diminishing ignorance.39
[Ciência não é verdade, é, em vez disso, um método para diminuir a ignorância.] Censurar as instruções de um dos principais centros mundiais de tratamento de aci- dentes ofídicos, como evitar o uso de urina, fumo, álcool e querosene não tem nada a ver com o respeito ao conhecimento popular. É despreparo dos avaliadores do PNLD 2010 mesmo, um ERRO TIPO 2 com louvor e distinção. O assunto é tratado com mais detalhe no Capítulo 3.
37 UNIVERSIDADE FEDERAL DE SÃO CARLOS. SECRETARIA DE EDUCAÇÃO BÁSICA. Relatório de Reprovação PNLD
2010 – Coleção Caminhos da Ciência. Brasília: Ministério da Educação, maio/2009, p. 8.
38 SAMPAIO, F. A. A.; CARVALHO, A. F. Coleção Caminhos da Ciência. São Paulo: Editora Sarandi, 2008, pp. 106 -107.
39 ADOVASIO, J. M.; SOFFER, O.; PAGE, J. The invisible sex: uncovering the true roles of woman in prehistory. Harper Collins, 2007. [tradução dos autores].
ERRO TIPO 5: Uso de critérios estranhos ao edital e abuso de poder discricionário O Relatório de Reprovação recorre a critérios de avaliação que não constam do edital e que excedem o poder discricionário do avaliador. É o que classificamos como ERRO TIPO 5. Além das limitações ao poder discricionário do avaliador já descritas, existem outras. Por exemplo, quando um campo do conhecimento admite mais de uma abor- dagem para um mesmo tema, o avaliador não pode exigir uma delas em detrimento da outra sem respaldo explícito no edital. O excesso de rigor é outro caso deste tipo de erro. Ou seja, exigir uma definição minuciosa e tecnicamente complexa em detrimento de uma simplificação didática que não compromete, mas também não esgota o conceito. Erros por excesso de rigor geralmente também constituem violação do princípio da isonomia (que aqui chamaremos de ERRO TIPO 6), pois o “nível” de exigência costuma variar de um avaliador para outro, resultando em reprovação de obras por conteúdos iguais ou semelhantes ao encontrado em obras aprovadas. Constituem também um ERRO TIPO 4 (critério diferente ao usado em editais anteriores, sem respaldo no edital).
Também classificamos como excesso de rigor quando o avaliador exige que uma defi- nição típica de um campo do conhecimento seja adotada quando o texto utiliza o termo na perspectiva de outro campo. Podemos condenar Einstein e Infeld por “erro conceitual” ou “imprecisão indutora de erro” pelo uso do termo “evolução” com significado diverso daquele definido pela Biologia no título do livro “A evolução da Física”40? É claro que não!
Seria ridículo!
A bem da verdade, este tipo de erro geralmente também caracteriza o ERRO TIPO 2, pois sinaliza o despreparo do avaliador para a avaliação de livros multidisciplinares típicos do Ensino Fundamental.
ERRO TIPO 6: Afronta ao princípio da isonomia
O Relatório de Reprovação afronta o princípio da isonomia ao reprovar com base em conteúdos (textos, imagens, atividades etc.) também presentes em obras aprovadas na mesma edição do PNLD. Não se pretende aqui justificar a presença de erros nas nossas obras reprovadas pela presença dos mesmos erros em obras aprovadas. Longe disso. Este erro na avaliação, comum nos relatórios de reprovação das nossas obras, geralmente também caracterizam -se como ERRO TIPO 4 (difere de avaliações anteriores) e ERRO TIPO 5 (excede o poder discricionário). Trata -se de uma violação frontal das leis que regulamentam as licitações e de uma diretriz que norteou todos os editais do PNLD e foi consolidada no Decreto nº 7.084/2010: o princípio da isonomia41. Por exemplo, na
avaliação do componente Língua Portuguesa, a diversidade de textos é um dos critérios julgados. Todavia, os editais do PNLD são particularmente vagos quanto à quantifica- ção de determinados quesitos (por exemplo: diversidade de textos). Consequentemente, se uma determinada diversidade de textos é considerada adequada em uma coleção, a
40 EINSTEIN, A.; INFELD, L. The evolution of Physics – From Early Concepts to Relativity and Quanta. 2. ed. Nova York: Simon & Schuster Inc., 1966.
41 BRASIL. Decreto nº 7.084, de 27/jan/2010. Diário Oficial da União, 27/jan/2010. Seção 1 – Edição Extra. Artigo 3º, item V.
mesma diversidade de textos (ou uma diversidade ainda maior) não pode ser considera- da insuficiente em outra coleção. Ou ambas são suficientes ou ambas são insuficientes. É o que diz o edital e a lei das licitações.
A demonstração deste tipo de erro de avaliação exige que os autores comprovem: a) que o conteúdo condenado não configura erro ou inadequação e b) que o mesmo conteúdo (ou conteúdo equivalente) está presente em obras aprovadas, o que nem sempre é fácil porque as editoras geralmente não fornecem nem vendem seus livros aos concorrentes.
ERRO TIPO 7: Uso de termos vagos e dúbios
O Relatório de Reprovação utiliza termos e descrições vagas, dúbias ou insuficiente- mente precisas para permitir a tipificação do erro e, consequentemente, a sua correção quando da reformulação da obra. Trata -se, na nossa classificação, de um ERRO TIPO 7. Este é o erro de avaliação mais cruel para nós, autores. Ora, o que fazer quando o avaliador justifica seu parecer com afirmações vagas, tais como:
_
[...] a obra apresenta uma variedade insuficiente de gêneros textuais.42
_ [...] a explicação poderia ser melhor.43
Qual é a quantidade suficiente de gêneros textuais? O edital não traz especificações sobre o assunto. Os avaliadores do PNLD condenam, mas não apresentam os parâmetros quantitativos ideais. Se o conteúdo do livro condenado poderia ser melhor, é importante que os avaliadores informem como ele poderia ser melhorado. Nos relatórios de repro- vação das nossas obras, a grande maioria das condenações vagas como essas também se configuram como erros de avaliação TIPO 1 (fatos falsos), TIPO 2 (erro conceitual ou de- satualização dos avaliadores), TIPO 4 (diverge das avaliações anteriores), TIPO 5 (excede o poder discricionário) e TIPO 6 (afronta a isonomia).
Um Relatório de Reprovação que exclui uma obra por três anos de todas as vendas para escolas públicas não pode, legal e moralmente, recorrer a afirmações vagas, imprecisas e que não tipificam, de modo inequívoco, os erros usados para justificar a exclusão. Muito mais do que abuso do poder discricionário dos avaliadores, este tipo de erro é forte indício de que eles não trabalharam com o afinco e a qualidade proporcional aos quase R$ 10 mil por livro pagos pelo FNDE. É importante esclarecer que o Relatório de Reprovação se refere a uma obra como um todo, isto é, a todos os livros que compõem uma coleção. Por- tanto, considere que as equipes de avaliação receberam cerca de R$ 40 mil por cada uma
42 UNIVERSIDADE FEDERAL DE MINAS GERAIS. SECRETARIA DE EDUCAÇÃO BÁSICA. Relatório de Reprovação
PNLD 2010 – Coleção Projeto ALLE. Brasília: Ministério da Educação, maio/2009.
43 UNIVERSIDADE FEDERAL DE SÃO CARLOS. SECRETARIA DE EDUCAÇÃO BÁSICA. Relatório de Reprovação PNLD
das coleções de Ciências avaliadas44 e R$ 20 mil por cada uma das coleções de Letramento