As políticas de avaliações externas, desenvolvidas em um contexto de reestruturação do Estado-avaliador, globalização da economia e dos sistemas regulatórios, em uma pretensa busca pela qualidade na educação e visando implementar padrões regulatórios de eficiência, produtividade e gestão, associam-se cada vez mais à mecanismos de accountability educacional para afirmar o valor de responsabilização por resultados.
Essas políticas de responsabilização que contemplam as dimensões da avaliação, prestação de contas e responsabilização, segundo Alexandre et al. (2014), não se fundamentam teoricamente em campos da educação, mas sim nas bases de administração e economia.
O uso destas formas de controle, dependendo da perspectiva de análise, sejam elas políticas, sociais, administrativas podem ter desempenhos desejados ou indesejados, sendo estes últimos de maior impacto segundo estudos analíticos desenvolvidos a partir de programas de responsabilização como o No Child Left Behind Act.
As metas educacionais presentes no Plano Nacional de Educação (PNE), no caso brasileiro, ilustram esses mecanismos de controle, os quais sedimentam premissas que visam garantir que determinadas metas sejam atingidas. Ademais, o levante da educação como meio de aumentar a produtividade e competitividade das empresas, são fatores que estimulam o uso dessas políticas de responsabilização.
Este conjunto de dispositivos representa o maior avanço dos reformadores empresariais da educação no cenário educacional brasileiro e, entre outros aspectos, visa abrir o campo educacional para “empresas educacionais confiáveis” do mercado de consultoria, materiais didáticos, avaliação, venda de tecnologia, organização de big
data entre outras, que operam na difusão de métodos tecnicistas e introduzem nas
redes e escolas processos de gestão verticalizados que permitem elevar o grau de controle sobre os profissionais da educação, a título de garantir a obtenção de metas e índices nas avaliações externas, definindo os objetivos, a avaliação, a forma e o conteúdo da escola. FREITAS, 2014, p. 1092 grifo do autor).
A tese Avaliações em larga escala e políticas de responsabilização na educação: evidências de implicações indesejadas no Brasil (2017) realiza um estudo bibliográfico abordando os efeitos indesejados mais recorrentes na literatura nacional e internacional combinado às políticas de responsabilização de Accountability. Estes efeitos abrangem desde a exclusão de alunos com baixa proficiência às fraudes no processo de avaliação.
Alçando mão da teoria da agência, que se originou nos anos de 1970 com os estudos de Jensen e Meckling (1976), a pesquisa de (2017) aborda para além dos efeitos indesejados, a responsabilização no sentido da manutenção das relações de poder. O autor introduz a relação entre o “principal” e um “agente”, onde o primeiro, sob o uso de informações dissonantes, estabelece uma remuneração ou incentivos para que o segundo se comporte de acordo com suas preferencias ou interesses. O que abre uma margem subjetiva sobre o uso positivo ou negativo destas propostas de accountability. Um exemplo dessa ocorrência é a bonificação adicional em salários de professores que conseguem bons resultados.
A responsabilização é veiculada como meio de alcance da melhoria na qualidade de ensino. Alexandre et al. (2014) em um estudo sobre responsabilização de professores e
resultados das avaliações discordam dessa perspectiva, por compreenderem que a qualidade da educação não fica restrita a questões quantitativas e por conta da variabilidade dos incentivos.
[...] um programa de responsabilização, mesmo que extremamente bem concebido e implementado, será capaz de recompensar apenas inadequada ou grosseiramente o esforço de professores. Nada impede que, apesar disso, a nota média dos alunos aumente como consequência da implementação do programa – de modo que um dos objetivos será alcançado. Porém, ao custo de efeitos colaterais ainda não integralmente conhecidos, de disseminação de ressentimentos variados e de resistências que poderiam minar a legitimidade da reforma no médio prazo (ALEXANDRE; LIMA; WALTENBERG, 2014, p. 59).
Continuando a discorrer sobre accountability na acepção da responsabilização, e baseando-se em Brooke e Cunha (2011, p.21), no que concerne à escola, Alexandre et al. (2014) a conceitua em dois sentidos: cobrar legitimamente um serviço público de qualidade, em conformidade com a manutenção da escola com recursos públicos oriundos dos impostos pagos pela população; e o segundo, se encontra no âmbito da demanda pública para que as escolas assumam responsabilidade direta pelos resultados de seus alunos. O conceito empregado nesses dois sentidos, ratificam o movimento de transferência de responsabilidade do Estado para setores da sociedade civil, privada e a publicização de resultados como meio de controle e responsabilidade conjunta dos resultados.
Capocchi (2017, p.41), fundamentado em Helen Ladd e Arnaldo Zelli (2002), aborda os componentes gerais das políticas de responsabilização. Depreende-se deles: um currículo e conteúdos comuns que são padrões como alicerce aos conhecimentos; consenso de quais disciplinas e conteúdos serão inseridos no sistema de responsabilização (os mesmos que estarão presente nas avaliações); instrumentos de medição, confiáveis e válidos, que mensuram o domínio dos alunos sobre o conteúdo avaliado, bem como métodos de aferição das escolas sobre o aprendizado dos alunos e outros campos de interesse da política, findando com a difusão de incentivos e sanções de acordo com o desempenho das escolas e agentes.
Depreende-se desses componentes gerais que a responsabilização, por mais que esteja sendo disseminada como uma das emergências para a melhoria da educação, tem gerado um estreitamento da concepção de educação. Essa política alicerça medidas a favor da adequação às avaliações externas e ainda mais, atendem objetivos transferência de culpabilidade pelo fracasso educacional – do Estado/Mercado para o sujeito/escola.
Concordando com Saviani (2013), sobre a educação como um processo de ensino- aprendizagem, plural e humanizador, destaca-se que o processo de avalição em largo espectro e suas reverberações, como responsabilização e prestação de contas, descaracterizam a educação. Principalmente quando a educação é pensada como instrumento para alcançar uma
pretensa eficiência e eficácia, no mercado, ou quando esta é analisada a parir de instrumentos de mensuração apartadas da realidade do ensino-aprendizagem.
Objetivando averiguar a efetividade envolvendo a eficácia da accountability relacionada à bonificação docente nos estados de Pernambuco, São Paulo e Ceará, que foram pioneiros na adesão destes programas de avaliação, Capocchi (2017) se fundamenta nas pesquisas de Bruns et al. (2011) e na dissertação de mestrado de Cláudia Oshiro (2012) e verifica que os dados coletados demonstram que as turmas de 5° e 9° do ensino fundamental – turmas que realizam o exame da prova Brasil - que foram avaliadas em Pernambuco e São Paulo, apresentam com relação ao nível de proficiência, nenhuma, ou evolução pouco significativa frente à implementação destas políticas.
No caso do estado do Ceará, os estudos de Calderón; Raquel e Cabral (2015) destacam a indução da cooperação entre os agentes das escolas e a publicização de resultados. Os autores destacam que existem inconsistências com relação aos dados produzidos pelas escolas, incapacitando equacionar o real impacto da implementação e uso das políticas de bonificação e responsabilidade.
Por trás dessas políticas existem efeitos peiragênicos, do termo inglês “peiragenics”, atribuição que George Madaus e Michael Russell (2010) dão aos efeitos negativos indesejados e não intencionais, presentes nos processos avaliativos marcados por responsabilização. Segundo Madaus (1988b), existe uma influência social do medir sobre o medido, e o princípio da incerteza conjecturado por Werner Heisenberg em 1927. Tal paralelo, define que “o ato de avaliar influencia diretamente a aprendizagem que visa aferir”. (CAPOCCHI, 2017, p. 44)
Na perspectiva da aprendizagem sendo diretamente influenciada pelas medições, ou seja, avaliações, não sobra espaço para considerar as diferenças e limitações, o contexto socioeconômico e as formas particulares de aprender. Desta feita, Capocchi, (2017, p. 44) assentado nos estudos de Madaus e Russell (2010) conclui que os efeitos negativos compreendem o estreitamento curricular (estreitamento este em função do redirecionamento para assuntos abordados nos testes); preparação, retenção e a exclusão de alunos, práticas fraudulentas, entre outras. Estes efeitos são habituais quando se tem políticas high-stakes, estes problemas crônicos refletem efeitos negativos de um sistema que tanto atingem áreas técnicas, quanto emocionais dos envolvidos.
Freitas (2014) ao abordar a exclusão que integra os processos de avaliação da aprendizagem agrega a estes, dentro das escolas, a existência de um processo de avaliação do comportamento dos alunos, juntamente com avaliações de valores e atitudes. À essa forma de
controle do comportamento é atribuído a volta de ideais conservadores nos quais os valores e atitudes das crianças vão ser moldadas conforme a disciplina e obediência. Assim como a avaliação de conteúdo, as avaliações socioemocionais refletem o avanço da padronização.
Considerando os efeitos paragênicos citados, um fator que precisa ser destacado é o de que a avaliação, por si mesma, a qual não é responsável por estes efeitos negativos. A estrutura da accountability, como está posta para as escolas, toma a materialização dos resultados das avaliações para gerar consequências incorporadas a um contexto de responsabilização dos agentes, que por sua vez, são dirigidos por benefícios e sanções por parte do Estado. A avaliação, sendo empregada nesse contexto de atribuição de valores, está totalmente deslocada de sua função estruturante no processo de ensino-aprendizagem e da cultura escolar de mediação do desenvolvimento dos estudantes.
Capocchi (2017) ao realizar uma discussão sobre a popularidade das políticas de responsabilização, baseando-se em Berliner e Biddle (1995), expõe fatores que denotam que essas políticas foram adotadas sem que uma perícia fosse alcançada. Alguns fatores podem ser exemplificados: responsabilizar unicamente o professor pelos resultados de desempenho, a falta de uma dinâmica do acompanhamento e documentação do processo educativo, espera-se unicamente pelas avaliações externas e uma responsabilização diferenciada dentro de uma hierarquia de cargos. Os fatores denotam que accountability, frente a outras políticas de responsabilização, são tomadas com pesos e medidas diferentes.
O próprio caráter de ter o resultado das avaliações estandardizadas como base para a tomada de decisões lança uma característica massificadora sobre professores, comparando-se com outros servidores do setor público. Como forma de exemplificar esta situação, que também envolve interesses individuais, a concepção comum sugere que há:
[...] a proximidade de legisladores a conceitos de mercado. Explicam que a responsabilização atende também à necessidade do legislador aparentar resolver problemas na educação com o menor investimento possível, ainda que deixando reais empecilhos sem solução. A responsabilização educacional por meio de avaliações de proficiência seria, portanto, uma saída cômoda para os legisladores (CAPOCCHI, 2017, p. 45)
Esses fatores que possibilitam críticas e viabilizam os efeitos indesejados, somam- se à accountability educacional a proximidade com os conceitos de mercado, a redução da intervenção do Estado nas questões sociais e as ideias neoliberais de gestão de recursos. Dentro desse panorama, é necessário fazer uma reflexão dos objetivos e usos desse sistema de avaliação que segundo Bauer (2010, p.329), “voltavam-se mais para gerenciamento e tomada de decisões políticas e prestação de contas e responsabilização (accountability), sendo possível observar características semelhantes entre os países”.
Para o caso do Brasil e as avaliações externas subscreve-se do trabalho de Brooke e Cunha sete objetivos, visando a gestão:
1) para avaliar e orientar a política educacional, 2) para informar as escolas sobre a aprendizagem dos alunos e definir as estratégias de formação continuada, 3) para informar ao público, 4) para a alocar recursos, 5) para políticas de incentivos salariais, 6) Como componente da política de avaliação docente e 7) para a certificação alunos e escolas (BROOKE; CUNHA, 2011, P. 24)
Os objetivos, delineados na pesquisa, que fundamentam esta seção são tidos como positivos sempre que busquem avanços na educação e negativos quando proporcionam efeitos colaterais não intencionais que estão em desacordo com os objetivos originais. Teorizando sobre o que foi apresentado na discussão até agora, denota-se a predominância de uma visão capitalista gerencial que busca a eficiência, a efetividade técnica e o controle. Ainda que elencada a informação ao público como um dos objetivos da gestão, isso não caracteriza a democratização da informação, ao contrário, a publicização é posta em favor do mercado.
Há seis princípios enunciados por Madaus (1988a), nos quais Capocchi se fundamenta para referir-se as motivações e a formulação de estratégias que os agentes elaboram para responderem às avaliações relacionadas a Accountability.
1) a percepção da importância de uma avaliação induz reações estratégicas nos agentes envolvidos com as mesmas; 2) há um inexorável corrompimento de qualquer indicador social usado como base de políticas e incentivos; 3) se há a expectativa de que decisões relevantes serão tomadas com base em resultados de avaliações, professores ensinarão para o teste; 4) uma cultura de “testes passados” passa a existir em ambientes fortemente marcados por avaliações com consequências fortes; 5) professores ajustam seu ensinar aos modos e formatos de cobrança presentes nas avaliações com consequências fortes; 6) sociedades tendem a tratar avaliações como o objetivo em si em vez de como indicador (falível) de desempenho, especialmente quando as avaliações têm efeitos determinantes na vida dos avaliados (2017, p. 48 tradução do autor).
Os princípios apontam o desarranjo estrutural e a falta de perícia na acepção e implementação destas políticas. Estes, como respostas da materialidade decorrente das avaliações, podem ser tomados como meios elaborados pelos agentes em uma tentativa de fugir dos efeitos, muitas vezes, perversos da responsabilização. Em um contexto de escolas mal estruturadas, ambientes insalubres, falta de recursos, profissionais malformados, salas lotadas, esses princípios são reflexo da tentativa de sobrevivência desses agentes com o que lhes é posto pela realidade.
Os princípios 1 e 3 correspondem às estratégias adotadas em função das consequências materiais. O princípio 2 alude ao uso de ferramentas quantitativas para a tomada de decisões que envolvem a esfera do social. Esses dados que podem ser mensurados e medidos, além de não expressarem de forma equivalente a realidade social, são facilmente corruptíveis, o que leva a corrupção do processo. Os números 4 e 5 contemplam o que Capocchi (2017, p.
49) atribui como “ensinar para o teste”, o que abrange também truques e macetes para obter bons resultados nas avaliações (principalmente em escolas de pior desempenho), finalizando com o 6 que é a publicização de forma midiática.
Juntamente como os efeitos indesejados, os princípios do “ensinar para o teste” caracterizam-se por eventualmente conduzirem à práticas fraudulentas. Rearranjo de notas, não participação de alunos com baixa proficiência, dicas técnicas para resolução das avaliações são alguns exemplos dessas práticas. Em continuidade ao estudo das motivações visando atender o esperado pelas políticas de responsabilização, a tese apoia-se em Fernandes e Gremaud (2009, p. 223-224) para abordar dois riscos que são frequentes na literatura da área. O primeiro é a distorção de incentivos, abrange o “estreitamento” do currículo e a exclusão de alunos de baixa proficiência. O segundo é a prática de gaming realizada nas escolas.
[...]decorre do fato que as escolas podem adotar estratégias para alterar os resultados, mas que não mudam a qualidade do ensino ministrado como, por exemplo, treinar e motivar os estudantes para os testes ou excluir dos exames alunos de baixa proficiência (CAPOCCHI, 2017, p. 51, traduções do autor).
Subscrevendo a classificação de Koretz, McCaffrey e Hamilton (2016), Capocchi (2017) assevera que os tipos de respostas e reações estratégicas que educadores apresentam em relação às avaliações externas refletem o julgamento dos mesmo em relação ao mérito ou gravidade em uma situação de comparação.
1 Working more effectively: trabalhar com mais eficácia (por exemplo, desenvolver e aplicar melhores métodos de ensino, melhores currículos); 2 Teaching more: ensinar mais (por exemplo, passar mais tempo ensinando, aumentar número de horas de aula ou dias letivos por ano, instituir aulas de reforço e suplementares); 3 Workingharder: aumentar esforço envolvido no aprendizado (aplicando lição de casa em volumes maiores ou tarefas mais difíceis, cobrindo conteúdo mais extenso, desde que não haja comprometimento de profundidade); 4 Reallocation: realocar recursos (incluindo tempo dedicado a grupos de alunos com necessidades específicas ou dando ênfase a tópicos ou tipos de questões cobradas nos exames, à custa de outros, desprestigiados); 5 Alignment: alinhar o currículo ensinado ao currículo cobrado nos exames, reduzindo cobertura de conteúdos não avaliados; 6 Coaching preparar os alunos (com base em testes anteriores, simulados, dedicação excessivamente focada em formatos ou questões de testes); 7 Cheating: praticar fraudes (exclusão de alunos das avaliações, reclassificações fraudulentas, adulteração de respostas individuais ou resultados agregados, “colas” e auxílio marginal às regras das avaliações). (CAPOCCHI, 2017, p. 52 traduções do autor)
Inseridas nas proposições positivas, destacam-se as 3 primeiras no sentido de alcançar um crescente na produção da melhora do desempenho envolvendo questões subjetivas das avaliações. Exemplificando com situações funcionais no Brasil, tem-se as escolas de tempo integral, reforços e o Programa Novo Mais Educação relançado pelo MEC no ano de 2016. No âmbito da eficácia, o esforço concentra-se em manter o ordenamento e controle da sala.
No ensinar mais “difícil”, aplica-se o fomento a iniciativas como a Olimpíada Brasileira de Matemática para Escolas Públicas (OBMEP), a Olimpíada Nacional de História do Brasil (ONHB) e a Olimpíada Brasileira de Astronomia (OBA). Analisando a classificação com as respostas dos educadores, três (e com ressalvas) são indicadas em sentido positivo, sendo a avaliação uma amostragem, é preciso refletir sobre como estas influenciam na regulação de políticas, concomitantemente às reações e o impacto na saúde de alunos e docentes.
As reações 4, 5 e 6, apesar de uma atuação mais abrangente no campo escolar, são caracterizadas como “ensinar para o teste”. Com a ênfase nesse tipo de treinamento, os recursos humanos e pedagógicos orientados para uma melhor instrução, são redefinidos para atender aos conteúdos que são alvo da avaliação. Outro fenômeno atrelado a essa prática é estreitamento curricular, que também é uma ocorrência característica do ensinar para o teste, bem como faz parte das consequências da realocação de recursos, principalmente se atrelada as políticas de high-stakes.
Na reconfiguração contemporânea do Estado, as boas notas se tornam sinônimo de uma boa educação, o que justifica o incentivo a esta prática de realocação. Essa assertiva é ratificada na pesquisa de Botelho, et al. (2014) Sistemas de Accountability nas Escolas Públicas Brasileiras: Identificando a Eficácia das Diferentes Experiências. Nesta, os resultados obtidos associam as proficiências usadas no estudo com as práticas de ensinar para o teste, entrando em concordância com pesquisas nacionais e internacionais sobre medidas tomadas após a implementação de avaliações high-stakes.
A reação de número 7 definida por Koretz, que envolve as práticas comuns de fraudes, são desenvolvidas a partir das seguintes manipulações: “tampering with the test-taking pool” e a manipulação dos “liabilities” (CAPOCCHI, 2017, p.61). Essas ações tratam respectivamente da manipulação fraudulenta de alunos que são testados e dos “liabilities (“passivos”, no sentido literal contábil), que são orientados a se ausentarem das avaliações porque potencialmente prejudicariam o resultado da escola. Botelho (2014) ao abordar os incentivos dos mecanismos de accountability, acrescenta às fraudes, a possibilidade de remuneração pela manipulação do sistema.
[...] destaca o incentivo concedido a professores e diretores para fazer com que os seus maus alunos não sejam testados pelos exames padronizados (incentivando a falta destes no dia do exame, por exemplo). Se o desenho do mecanismo de remuneração não previr punições para esse tipo de comportamento, sistemas de remuneração por mérito podem acabar recompensando as escolas que conseguem manipular o sistema sem que seus alunos tenham obtido ganhos reais de proficiência (2014, p. 63)
Ainda que esses campos representativos de fraudes escolares sejam baseados na literatura internacional, é totalmente adequado para a compreensão de situações de exclusão e fraudes no contexto brasileiro. As reações de fraude pouco se diferem em estudos realizados nacionalmente, ademais, revelam um desfalque na pesquisa do Estado em relação a suas próprias avaliações e os impactos das mesmas na educação. As diferentes justificativas construídas para as reações de fraudes que são verificadas no quadro escolar, apropriam-se da narrativa do não constrangimento, resguardo à saúde emocional, da incapacidade de alunos de realizarem as provas (curiosamente são os que possuem baixa proficiência) e na classificação destes como pertencentes ao público da educação especial.
As fraudes envolvendo docentes que são mais presentes na literatura compreendem dicas durante o processo de realização da avaliação, manipulação da folha-resposta antes e depois do processo, se estendendo a fraudes no repasse dos resultados finais para as instâncias responsáveis pelas políticas de prestação de contas. A discussão que precisa ser empreendida em âmbito emergencial, não só pela categoria – que atualmente é amplamente culpabilizada pelos resultados, mas também no espaço da sociedade civil encontra-se sobre que tipo de lógica educacional está sendo desenvolvida nas escolas. A lógica contemporânea empresarial, característica do Estado neoliberal não corresponde a dinâmica do ensinar e aprender.
Os processos de responsabilização voltam-se em efeitos indesejados para as