No primeiro argumento do Relatório de Reprovação, os avaliadores afirmam que ob- servaram “uma série de erros e inadequações” e “inadequação de linguagem, con
siderando o nível cognitivo dos alunos” no livro do 2º ano da Coleção Caminhos
da Ciência. Entretanto, é importante destacar que o Relatório cita apenas um suposto erro: a relação entre cheiro e sabor (em particular o uso do verbo “ajudar”) para sustentar
sua alegação da existência da “série” de erros e inadequações que justificou a exclusão da
Coleção do PNLD 2010.
Já que o assunto é linguagem, vamos ao significado de “série”. A palavra “série” tem
vários sentidos, mas as acepções da palavra que se aplicam ao contexto do Relatório de Reprovação têm em comum a noção de quantidade e/ou de repetição de uma coisa, de um
3 Para melhor compreensão dos tipos de erros encontrados no Relatório de Reprovação da Coleção Caminhos da Ciência é interessante consultar a classifi cação estabelecida no Capítulo 2.
4 UNIVERSIDADE FEDERAL DE SÃO CARLOS. SECRETARIA DE EDUCAÇÃO BÁSICA. Relatório de Reprovação PNLD
2010 – Coleção Caminhos da Ciência. Brasília: Ministério da Educação, maio/2009, pp. 1 -2. A versão integral desse
fato ou de uma característica. Logo, para caracterizar a existência de uma série é necessário, no mínimo, estabelecer-se um padrão e isso não é possível com apenas um caso.
Na posição de “especialistas” (peritos), com o poder discricionário que essa posição lhes confere, os avaliadores do PNLD 2010 poderiam até alegar que estão dispensados da obrigação de estabelecer o padrão. Sua obrigação, nesse caso, seria apenas indicar a existência da “série” e tipificá -la com um exemplo. Embora essa interpretação do papel
do avaliador seja discutível, espera -se, no mínimo, que os avaliadores apresentem um bom exemplo. Isto é, um exemplo que descreva um erro indiscutível e que esse alegado erro seja uma amostra válida da natureza dos erros que supostamente se repetem ao longo do livro reprovado. Mas, e se o suposto erro apontado não for erro? E se o erro for dos avaliadores e não do livro? A conclusão inevitável é que a alegação de existência de “uma série de
erros e inadequações” não tem sustentação e deve ser desconsiderada por completo,
invalidando a exclusão da obra.
Um pouco mais adiante, neste capítulo, a questão específica do paladar e do olfato serão abordadas e demonstraremos que o texto do nosso livro é correto e que são os ava- liadores do PNLD 2010 que cometem erros conceituais grosseiros. Mas, no momento, gostaríamos apenas de chamar a atenção para uma característica presente em todo o Relatório de Reprovação: a profusão de alegações genéricas e insubstanciadas, que nós classificamos como ERRO TIPO 7. Ao concluir a leitura deste livro, o leitor poderá jul- gar por si se a repetição deste erro dos avaliadores constitui uma “série”. Por ora, vamos
apenas contestar a acusação de “inadequação da linguagem, considerando o nível
cognitivo dos alunos” do livro do 2º ano da Coleção Caminhos. Uma crítica tão vaga
e pouco fundamentada como a que consta no Relatório de Reprovação, na verdade, não passa de uma opinião. Avaliações meramente opinativas só têm guarida no PNLD porque os avaliadores abusam do seu poder discricionário, protegidos que estão pelo cerceamen- to do direito de defesa dos autores.
É importante destacar que acusações genéricas e opinativas não podem ser admiti- das em qualquer relatório de reprovação do PNLD porque são praticamente vazias de conteúdo. Mesmo no contexto deste livro, no qual os autores se dispõem a dar publi- cidade às críticas de suas obras, a defesa contra esse tipo de acusação é difícil. Como a crítica é genérica, não há fatos objetivos a serem debatidos. O debate corre o risco de se restringir ao confronto entre a opinião dos avaliadores e a opinião dos autores. Uma disputa dessa natureza só pode ser decidida por pessoas isentas e capacitadas após a análise do conjunto dos textos. Isto é, por especialistas sem qualquer relação com os autores, sem relação com a equipe de avaliação do PNLD 2010 e sem qualquer inte- resse pessoal no assunto.
Felizmente, para nós, não foi necessário encomendar pareceres de especialistas, essas análises já existem: são os pareceres das equipes de avaliação dos PNLD 2001, 2004 e 2007. Essas avaliações foram realizadas por equipes sob a responsabilidade da Universi- dade de São Paulo (USP) e sua análise levou em consideração praticamente os mesmos critérios estabelecidos pelo Edital do PNLD 2010.
A simples consulta às resenhas da Coleção Caminhos da Ciência no Guia do Livro Di- dático dos PNLD 2001, 2004 e 2007 permite verificar que as conclusões dos avaliadores do PNLD 2010 são opostas às conclusões das três equipes de avaliação que a precederam. Essas equipes de avaliação, sob responsabilidade da USP, foram unânimes em considerar a linguagem dos livros da Coleção Caminhos adequada e correta, como demonstram os trechos das resenhas reproduzidos a seguir.
Guia de Livros Didáticos PNLD 2001. Classificação do livro da 1ª série (atual
2º ano): (Recomendado). “A linguagem dos textos é clara e correta. Estimula -se a leitura e estabelece -se relação entre os princípios estudados e fenômenos conhecidos. Contudo, alguns termos técnicos não são devidamente explicados no próprio texto ou no glossário, embora haja a sugestão de que o professor explicite palavras e expressões desconhecidas dos alunos.”
Guia de Livros Didáticos PNLD 2004. Classificação da Coleção: Recomendada com
Distinção. “Observa -se a progressão dos conteúdos ao longo da Coleção. Os conceitos e os textos tornam -se mais densos nos volumes de 3ª e 4ª séries5. Os textos das séries iniciais em geral são
adequados à faixa etária a que se destinam, embora pressuponham alunos que já dominem a leitura com certa fluência.”
Guia de Livros Didáticos PNLD 2007 (a classificação foi abolida). “A linguagem
empregada em toda a Coleção é adequada à faixa etária a que se destina. Ela tem o cuidado de, gradativamente, aumentar a complexidade da leitura de textos, que são enriquecidos por meio de figuras, fotos e ilustrações apropriadamente coloridas. A introdução de novos termos científicos é feita de maneira adequada por meio de notas explicativas de fácil identificação. […] Evitando a utilização de definições prontas, a Coleção valoriza o potencial cognitivo do aluno, aumentando a complexidade dos temas de forma progressiva e temporal ao longo das quatro séries.”
É possível constatar que a linguagem utilizada em Caminhos da Ciência foi sendo apri- morada e a avaliação do PNLD reconheceu esse esforço dos autores. A resenha dessa obra ao longo de três avaliações reconhece esse aprimoramento e o destaca de forma elogiosa nos Guias. O que se verifica, na prática, é que a opinião dos avaliadores do PNLD 2010 é oposta e incompatível com as avaliações precedentes. Conclusões incongruentes sobre um mesmo aspecto de uma mesma coleção indicam que foram utilizados critérios distintos entre uma avaliação e outra ou que uma das avaliações está equivocada. Como não houve alterações significativas nos critérios expressos nos editais de 2001, 2004, 2007 e 2010, conclui -se que a divergência se deve a erro de uma dessas avaliações. O placar de 3 a 1 é claramente a favor dos nossos livros, não é mesmo?
A opinião tão divergente da equipe de avaliadores do PNLD 2010 com relação às ava- liações anteriores coordenadas pela USP deveria, no mínimo, ser muito bem fundamen- tada. Os avaliadores deveriam explicar com clareza e detalhamento os seus argumentos em prol da reprovação e demonstrar com fatos e bibliografia os equívocos das equipes precedentes. Isso eles não fizeram.
Quando nós confrontamos a SEB com esta evidente contradição, os responsáveis pela avaliação responderam que a reprovação de coleções aprovadas e até recomendadas com distinção em avaliações anteriores pode ser motivada por falta de atualização das obras ou porque (sic) “elas foram reavaliadas à luz de critérios mais rigorosos”6.
Vejamos em qual dos casos se enquadra a nossa Coleção reprovada. O Relatório de Reprovação da Coleção Caminhos da Ciência não aponta nenhum caso de desatualização. Conclui -se, portanto que a obra está atualizada. Se não foi por falta de atualização, a diver- gência com as avaliações anteriores só poderia ser justificada pela aplicação de “critérios
mais rigorosos” na avaliação do PNLD 2010. Mas, neste caso, os avaliadores do PNLD
2010 deveriam indicar quais são esses “critérios mais rigorosos”, em que trechos do
Edital do PNLD 2010 eles são explicitados, de que maneira os critérios são mais rigorosos que os critérios anteriores e, por último, como o nosso livro deixa de atender a esses “cri
térios mais rigorosos”. Isso os avaliadores do PNLD 2010 não fizeram.
Os editais do PNLD devem, por lei, obedecer ao princípio da publicidade. Esse prin- cípio elementar das licitações estabelece que só valem as regras que forem amplamente divulgadas e estabelecidas no edital. Não há em qualquer parte do Relatório de Reprovação menção a novos critérios de avaliação ou a “critérios mais rigorosos” do que os crité-
rios das edições anteriores do PNLD. Esses “critérios mais rigorosos” não são men-
cionados porque eles não existem. A simples comparação dos critérios de avaliação estabe- lecidos nos editais dos PNLD 2001, 2004, 2007 e 2010 confirma isso. Consequentemente, os avaliadores do PNLD 2010 não podem alegar que sua divergência com as equipes da USP se deve ao fato de eles julgarem nossa obra com base em critérios diferentes e/ou “mais
rigorosos”. Se fizerem isso estarão cometendo o erro que denominamos ERRO TIPO 4,
isto é, extrapolaram seu poder discricionário ao avaliar com base em critérios de avaliação incompatíveis ou incoerentes com os critérios utilizados por equipes precedentes, sem que os novos critérios constem do edital.