Estudos sobre fraudes docentes

Num segundo subgrupo de fraudes, conhecido na literatura como “teacher cheating” (fraudes docentes), ocorrem desvios com variados graus de intensidade: desde sutis “dicas” durante a realização da prova (“Será que você pensou bem ao marcar esta resposta?”), passando por divulgação de gabaritos durante as avaliações, retificação de folhas de resposta (durante e após as avaliações serem aplicadas) e até adulterações nos resultados finais reportados por autoridades responsáveis pelas avaliações ou pela “prestação de contas”.

O relatório de Nichols e Berliner (2005) lista dezenas de casos de fraudes de professores e diretores. Contudo, trazem a perspectiva sensata de questionar o sistema antes de questionar o profissional:

A questão a ser respondida é por que estes profissionais pensam que o sistema no qual se inserem é tão injusto para suas escolas que se justifiquem fraudes, preparação direta para exames e violações aos pro- cedimentos padronizados? Que sistema educacional acua professores e diretores a ponto de cometerem fraudes para assegurar seus empregos no futuro? Estas são as questões a serem debatidas, em vez das que se ouvem mais frequentemente, como “por que não se demitem estes

patifes?”. (NICHOLS; BERLINER,2005, p. 23, tradução nossa)

As fraudes docentes, taxadas por Koretz como francamente indesejáveis, são tópico difícil de submeter à análise. A literatura especializada foca principalmente a identificação de fraudes de alunos, nas avaliações. Além do livro de Gregory Cizek (1999), poucos são

1.7. Estudos sobre comportamentos fraudulentos 65

os artigos sobre o assunto e os existentes usualmente são propostos por empresas privadas envolvidas com os testes em larga escala nos EUA, além de algumas peças de opinião de estudiosos. Cizek trata a fraude docente simplesmente como um apêndice marginal do “ensinar para o teste” (2001a,2001b).

Há exemplos elencados na literatura estrangeira cobrindo fraudes, enquanto o tema é fracamente coberto no Brasil. Em trabalho analítico brilhante e de referência, Brian Jacob e Steven Levitt (2003a, 2003b) identificaram fraudes levadas a cabo no sistema público de Chicago nos anos 1990. Os autores acompanharam longitudinalmente classes que apresentavam flutuações inexplicáveis de proficiência. Estes autores inferiram que de 4% a 5% dos professores envolvidos com a aplicação das avaliações externas tinham cometido fraude ao interferir nas respostas dos alunos.

A metodologia desenvolvida pelos autores observava flutuações ascendentes “sus- peitas”, por turmas, na proficiência verificada de uma primeira avaliação para a segunda, seguida de uma flutuação “suspeita” descendente para os mesmos alunos, da segunda para a terceira avaliação. Observando os padrões de resposta dos itens para os alunos que apresentaram as flutuações suspeitas, encontraram sequências com repetições improváveis, como indicado na Figura6. Uma descrição da abordagem quantitativa destes autores está no apêndice à página 201.

Figura 6 – Respostas suspeitas em Chicago

Fonte:Jacob e Levitt(2003b, p. 848).

Apesar de robusto e relativamente acessível do ponto de vista da abordagem empregada, o processo seguido por Jacob e Levitt não pode ser aplicado aos dados públicos da Prova Brasil por necessitar de identificação de alunos por turma, ao longo do tempo.

Uma replicação no Brasil seria de muito valor23_.

Um exemplo da manipulação dos resultados reportados de maneira fraudulenta pode ser encontrado no estudo de Dee, Jacob e McCrary (2011). Estes autores concluem que de 3% a 5% dos resultados obtidos no tradicional Regents Exam de Nova York foram fraudados, por conta das pressões high-stakes, inclusive com consequências fortes para os alunos avaliados.

Os autores estudaram as curvas de distribuição de escores por disciplina avaliada e verificaram descontinuidades suspeitas em torno de pontos de corte relevantes, indicando a manipulação das folhas de resposta. A Figura7 ilustra uma dessas distribuições, com as descontinuidades suspeitas nas proximidades das retas verticais demarcatórias dos “pontos de corte” instituídos pela políticahigh-stakes de Nova York. A contagem de alunos imediatamente à direita ou sobre os pontos de corte é suspeitamente alta, enquanto as frequências de alunos imediatamente à esquerda dos pontos de corte são anormalmente baixas, indicando uma manipulação para “empurrar” estes alunos para além dos limiares de corte. Uma abordagem similar, com observação dos padrões de distribuição de escores, será útil adiante, ao ser endereçada a questão de alunos excluídos na Prova Brasil.

Figura 7 – Descontinuidades nas pontuações – Regents Exam – Nova York

Fonte: Dee, Jacob e McCrary(2011, p. 18).

Outro resultado interessante foi obtido por Dale Ballou e Matthew Springer, que testaram os efeitos de ter aplicadores não independentes em avaliações high-stakes. Reportam que “a cada série avaliada, o número de questões respondidas corretamente era

23 _{Nesta dissertação é apresentada uma abordagem alternativa, não tão elegante quanto a de Jacob e}

1.7. Estudos sobre comportamentos fraudulentos 67

mais alto quando os alunos foram monitorados por aplicador que era, também, o professor regular da turma” (2015, p. 82, tradução nossa)24_{. Este efeito colateral previsível reflete}

um defeito intrínseco nos protocolos de aplicação dos exames estudados pelos autores: o teste aplicado pelo próprio professor da turma, num estado não divulgado do Sul dos EUA, em 2009-2010.

O desenho da Prova Brasil, em princípio, evitaria tal conflito de interesses, pelas exigências de independência na contratação de aplicadores25_{, contudo, é possível que o}

mesmo efeito se manifeste no Brasil, em avaliações de menor porte ou quando restrições logísticas ou orçamentárias se façam presentes.

No Brasil, Alves registra a ocorrência de fraudes docentes no Saresp, ocorridas antes de aperfeiçoamentos logísticos na aplicação da prova:

As outras duas táticas destacadas ocorriam durante as primeiras aplica- ções do Saresp, quando a correção e aplicação da prova dependiam muito dos funcionários da rede de ensino. A distribuição prévia de gabaritos para os alunos, enquanto esses ainda faziam a prova, ocorreu quando a SEE, equivocadamente, enviou os gabaritos para a correção da prova antes do horário previsto para o seu término em todo o estado, visto que deveria haver sincronia nessas operações.

Durante esses eventos, muitas escolas foram investigadas e muitos fun- cionários punidos, já que muitas dessas atitudes foram julgadas como atos de “má fé”. A tática que envolve a revisão e a correção das provas

antes da sua entrega às DEs também ocorria com frequência somente no período inicial do Saresp, visto que atualmente não há mais possibi-

lidade de sua ocorrência por conta do lacre que os fiscais enviados às escolas pela entidade responsável pela logística da prova devem colocar

no encerramento da aplicação (ALVES,2011, p. 116, grifos nossos).

Foram também encontradas registros sobre fraudes na imprensa do Brasil. Com ajuda de buscadores de notícias online durante a realização da pesquisa bibliográfica, foram encontrados poucos casos de fraudes associados a avaliações no Brasil, parecendo ser todos eles casos isolados, a saber:

a) exclusão de alunos do Saresp em Osasco (TOLEDO, 2015);

b) adulteração de notas no Saresp em Sorocaba, SP (AGÊNCIA ESTADO, 2012);

c) adulteração de folhas de respostas da Prova Brasil de 2015 em escola de Cabaceiras, PB (O GLOBO, 2013);

d) indicação de respostas pelos professores na Prova Brasil de 2013, em Foz do Iguaçu, PR (RÁDIO CULTURA FOZ DO IGUAÇU, 2013).

24 _{The results are striking. At every grade level, the number of questions answered correctly is higher} when students are monitored by their own teacher.

25 _{Ver anexo à página 195, com as condições de independência do aplicador descritas no edital de}

Dadas as magnitudes e abrangências da Prova Brasil, das avaliações estaduais e municipais, são surpreendentemente escassas as notícias de fraudes a elas associadas.