A avaliação externa e o controlo de resultados

A Inglaterra e o País de Gales assumem-se como exemplos paradigmáticos da institucionalização deste mecanismo de regulação, de prestação de contas,

accountability. Até aos anos 80, o controlo das escolas era realizado por instâncias

locais de educação que definiam os normativos e o financiamento direto das escolas, cuja supervisão estava a cargo de inspetores locais. Por iniciativa dos governos conservadores, prosseguida pelo governo trabalhista de Tony Blair, o poder central reafirmou a sua intervenção com a reorganização dos serviços de inspeção (HMI), criando um departamento governamental para a avaliação das escolas (OfSTED) e um dispositivo de inspeção sistemática das mesmas, exigindo avaliações de desempenho detalhadas e o estabelecimento de planos de melhoria para correção dos pontos fracos detetados, de forma a evitar o seu encerramento compulsivo.

No caso português, a avaliação externa tem sido conduzida por via institucional, quer através da IGE (agora IGEC), quer através dos resultados dos alunos em provas padronizadas a nível nacional, exames e provas de aferição. A crescente importância destas políticas de avaliação externa dos resultados levou à criação, no final dos anos noventa, do GAVE, Gabinete de Avaliação Educacional, um serviço responsável por todos os requisitos necessários à realização das provas. Os últimos anos ficaram marcados, quer pela publicação dos resultados destes testes, realizados a nível nacional, quer por outros, realizados no seio de programas de avaliação internacionais, designadamente o PISA, Program for International Student Assessment, também ele regulador das políticas dos governos no setor da educação.11

A avaliação externa das escolas, tal como o PISA, constitui-se como um dos instrumentos de regulação baseados no conhecimento e “ (…) evidencia uma lógica de monitorização e pilotagem que se centra especialmente na produção de informação

11

Cf. Afonso & Costa (2009c) A influência do Programme for International Student Assessment (PISA) na decisão política em Portugal: O caso das políticas educativas do XVII Governo Constitucional Português.

24

relevante, considerada indispensável em relação à qualidade da escola.” (Afonso & Costa, 2011: 130).

A divulgação nacional dos resultados da avaliação dos alunos, em provas de exames nacionais, foi defendida por David Justino (2005: 5-6), Ministro da Educação de um dos governos PSD, que assumiu a defesa desta publicitação, numa ótica da responsabilidade e de coerência com a nossa participação em avaliações internacionais, considerando que é necessário conhecer e problematizar a realidade para conseguir compreendê-la, e, por isso afirma que “ (…) não é sustentável que numa sociedade democrática seja limitado o acesso à informação produzida pela administração educativa”, propondo uma reflexão aprofundada sobre a publicitação dos resultados das escolas, pois podem “constituir um instrumento de avaliação e de orientação para promover mediadas de incentivo e qualificação das aprendizagens” (ibidem: 13).

Para este autor, a discussão e a polémica que se gerou foi positiva, apesar de ter conduzido a algumas leituras unidimensionais, reducionistas ou deterministas, de reprodução das assimetrias e exclusão social, mas levou também à reflexão crítica. Os números fazem-nos pensar e a atitude reflexiva deve conduzir a processos de melhoria das práticas das escolas, de cada escola, disciplina, a disciplina: “Se utilizarmos a informação disponível, construindo indicadores adequados, visando detetar pontos fortes e fracos, dinâmicas de progresso e a identificação de boas práticas, estes resultados poderão ser de uma utilidade inexcedível (ibidem: 45). Continuando esta linha de pensamento, aponta para a necessidade de trabalhar os dados, em centros de investigação, e não ficarmos por leituras redutoras apresentadas em parangonas dos

Media nacionais, e elaborar listas ordenadas de escolas com os mais variados critérios,

agregando “ (…) diferentes variáveis de aproximação, a partir de um algoritmo adequado” (ibidem: 94), que integre fatores de ponderação para além dos resultados escolares nas provas nacionais, por exemplo, as taxas de retenção, os níveis de abandono escolar e as características socioeconómicas dos alunos de cada escola.

A avaliação das organizações educativas, prevista desde 1986, pela LBSE, designadamente no seu art.º 49, assumiu outra relevância normativa, com a publicação, em 2002, da Lei n.º 31/2002 de 20 de dezembro, Lei do Sistema de Avaliação da

25

Educação e do Ensino Não Superior, que defende um sistema duplo que inclui a avaliação externa e a autoavaliação.

O Despacho n.º 370/2006, de 5 de abril, partindo do pressuposto que a "avaliação dos estabelecimentos de ensino constitui um importante instrumento para a melhoria da qualidade do ensino e da aprendizagem", assume a uma relação estreita entre a avaliação e o processo de autonomia das escolas, cujo desenvolvimento pressupõe a prestação de contas, a responsabilização pelos resultados obtidos. Paralelamente a esta evolução normativa foram aparecendo algumas experiências no domínio da avaliação das escolas12.

Destes ensaios, salientamos alguns realizados por iniciativa do Ministério da Educação, sobretudo em colaboração com entidades europeias ou por agências privadas: o Observatório da Qualidade da Escola (1992-1999), que funcionou no âmbito do

Programa de Educação para Todos (PEPT) e tinha como objetivo obter informações

sistemáticas sobre as escolas, com vista à promoção da sua qualidade; o Projeto

Qualidade XXI (1999-2002), uma iniciativa do Instituto de Inovação Educacional,

dando continuidade a um projeto lançado pela União Europeia, em 1997, com a finalidade de fazer o diagnóstico da situação das escolas, participando representantes dos diferentes atores da comunidade educativa, com vista à utilização dos resultados da avaliação para a melhoria da qualidade; o Programa de Avaliação Integrada das

Escolas (1999-2002), da responsabilidade da IGE, beneficiando da experiência

recolhida dos anteriores programas, aplicando-se aos estabelecimentos de educação pré- escolar e dos ensinos básico e secundário, com vista a uma intervenção estratégica e integrada que contemple as várias facetas da realidade escolar, meios, processos, resultados e atores; o Programa de Avaliação de Escolas Secundárias (AVES), uma iniciativa da Fundação Manuel Leão, a partir de 2000, baseada no modelo espanhol IDEA, Instituto de Evaluación y Asesoramiento Educativo, um dos seus principais objetivos é a articulação da avaliação externa, a cargo desta instituição, e a avaliação

12 _{A União Europeia, com o intuito de “facilitar” a avaliação dos sistemas educativos, definiu um}

conjunto de dezasseis indicadores de qualidade (Comissão Europeia, 2001). Entretanto estes indicadores evoluíram em função do cumprimento da agenda de Lisboa e dos objetivos "Educação e Formação para 2010" (Conclusões do Conselho de 24 de maio de 2005 sobre novos indicadores em matéria de educação e formação).

26

interna de cada escola aderente. O Programa funciona em função de um ciclo de estudos de três anos, de cada conjunto de alunos de uma escola, e tem em vista a obtenção do seu valor acrescentado, isto é, o valor obtido a partir da comparação entre os resultados obtidos; o Projeto "Melhorar a Qualidade" resulta de uma parceria entre a Associação de Estabelecimentos de Ensino Particular e Cooperativo e a empresa QUAL, Formação e Serviços em Gestão de Qualidade, baseando-se no modelo de excelência da EFQM,

European Foundation for Quality Management.13

Outro aspeto que temos de considerar, quando abordamos a avaliação das escolas, no quadro das políticas de descentralização e do desenvolvimento da autonomia, prende-se com a reforma da administração pública, cujos objetivos assentam na conquista da qualidade, da excelência, insistindo na necessidade do estabelecimento de uma cultura de avaliação de todas as organizações públicas.

No nosso país, no âmbito da Reforma da Administração Pública (PRACE), designadamente através do Sistema Integrado de Avaliação do Desempenho (SIADAP), criado pela Lei n.º10/2004, de 22 de março, e pelo Decreto Regulamentar n.º19 - A/2004, de 14 de maio, passou a fomentar-se a avaliação dos serviços e organismos públicos, através da aplicação da ferramenta de autoavaliação, CAF, Estrutura Comum

de Avaliação.14

13 _{Modelo de qualidade para o setor público. "A noção de gestão da qualidade total está associada às}

normas ISO, normas internacionais em quase todos os domínios da atividade industrial, económica, científica e técnica, elaboradas pela Organização Internacional de Normalização (International

Standardization Organization)" (Carapeto, 2006: 48). A série de normas ISO 9000 nasceu em 1987 e é o

resultado de um consenso internacional sobre as boas práticas de gestão, com a finalidade de assegurar produtos e serviços de qualidade permanentes, respondendo às necessidades dos cidadãos, clientes.

14

A CAF é uma ferramenta de apoio à implementação dos conceitos de Gestão da Qualidade na Administração Pública, constituindo-se como um modelo de autoavaliação, criado com base nos critérios do Modelo de Excelência da EFQM, para as organizações públicas da União Europeia (UE) conhecerem e melhorarem o seu desempenho organizacional. “Comum” porque as mesmas estruturas e sistemas são utilizados pelas organizações de serviço público dos diferentes países, que se encontram em situações socioeconómicas diferentes e têm culturas administrativas diferentes. “Estrutura” indica um conjunto de princípios de qualidade agrupados de uma maneira lógica e coerente, englobando todas as características de funcionamento de uma organização, no sentido de se confrontar com a realidade de uma organização eficaz e de poder estabelecer um diagnóstico preciso do seu estado. “Avaliação” porque se pretendem implementar mudanças e ações corretivas, nos domínios identificados como tendo necessidade de melhorias. Uma das virtualidades do modelo CAF é a criação de parâmetros de comparação entre organizações públicas, o benchmarking, que permite à organização comparar-se com as restantes e tomar conhecimento de melhores práticas.

27

A administração educacional também tem experimentado o modelo CAF na autoavaliação das escolas, nomeadamente através da sua adaptação, o Projecto Qualis. Desde 2006, com a implementação deste projeto na Região Autónoma dos Açores, a avaliação das escolas, em cumprimento do Decreto Legislativo Regional n.º 29/2005/A, de 6 de dezembro, apresenta como principal objetivo promover uma reflexão crítica e aprofundada sobre as suas práticas globais.

Decorrente do quadro de aplicação da Lei n.º 31/2002, de 20 de dezembro, que aprovou o sistema de avaliação dos estabelecimentos de educação pré-escolar e dos ensinos básico e secundário, a IGE assumiu novas funções no âmbito da avaliação das escolas, a missão de acompanhar gradualmente as escolas e agrupamentos com vista à generalização crescente de uma cultura de avaliação em todo o sistema educativo. As principais atribuições são a definição de referenciais para a autoavaliação e para a avaliação externa das escolas, com o objetivo da classificação dos estabelecimentos de ensino aptos para celebrarem contratos de autonomia, na sequência da implementação da Lei n.º 43/89 e do Decreto-Lei n.º 115-A/98.

Da primeira experiência-piloto, em 2006, com vinte e quatro escolas e das que se seguiram foram redigidos relatórios pelas equipas, constituídas, primeiro, por especialistas, designados pelo Gabinete da Ministra da Educação, através do Despacho n.º 5/ME/2007, depois, por dois inspetores e um elemento externo à IGE, também especialista, igualmente designado pelo mesmo Gabinete, através do Despacho n.º 4341/ME/2007.

De um entendimento da avaliação das escolas no sentido da sua fiscalização e controlo, nomeadamente na gestão de recursos e na aplicação dos normativos centrais, temos vindo a assistir a uma reorientação do trabalho da IGE15, mormente no que respeita a avaliação dos estabelecimentos de ensino como locais de desenvolvimento, como organizações que querem caminhar a passos largos umas, e a passos mais curtos outras, sempre atendendo às suas circunstâncias, para a sua autonomia.

15 _{A propósito destas novas atribuições, consulte-se o Decreto-Regulamentar n.º 81-B/2007, de 31 de}

julho, que aprova a nova estrutura orgânica da IGE, em conformidade com a Lei Orgânica do Ministério da Educação e o quadro das orientações definidas pelo Programa de Reestruturação Central do Estado (PRACE). De acordo com o preâmbulo desse postulado, é de "sublinhar que, a acrescer às suas funções inspetivas tradicionais, é cometida a este serviço a função de participação no desenvolvimento do processo de avaliação das escolas".

28

O Despacho Conjunto n.º 370/2006, de 3 de maio, criou o Grupo de Trabalho de Avaliação das Escolas, atribuindo-lhe competências nesta área, das quais destacamos: a definição dos referenciais para a autoavaliação dos estabelecimentos de educação pré- escolar e dos ensinos básico e secundário; a definição dos referenciais para a avaliação externa, tendo em consideração que desse processo de avaliação deverão resultar classificações claras desses estabelecimentos e recomendações com vista à preparação da celebração de contratos de autonomia, identificando as áreas em que a contratualização pode ser feita ou a necessidade de intervenção no sentido da melhoria dos aspetos considerados mais débeis.

De acordo com este documento, a finalidade da avaliação externa das escolas é fomentar práticas de autoavaliação, constituindo os relatórios documentos de reflexão e debate, identificando pontos fortes e pontos fracos, contribuindo para a elaboração, pelas escolas, de planos de melhoria, em articulação com a administração educativa e com a comunidade em que se inserem.

A avaliação externa das escolas integra-se nos novos modos de regulação pós- -burocráticos, promovidos pelos governos, neste caso o português, importando modelos, face às exigências decorrentes das dificuldades encontradas na resolução crescente dos problemas sociais, económicos, e a sua perda de autoridade, “no sentido do desenvolvimento de formas de conhecimento que legitimem e validem a sua atividade” (Afonso & Costa, 20911: 134), através de processos de persuasão dos atores sociais, adotando novas “tecnologias de governo” soft, sustentadas por “ (…) uma certa dissimulação da componente normativa” (ibidem: 20), atenuando as formas tradicionais de controlo burocrático, a imposição declarada de normativos, ao possibilitar uma pluralidade de olhares, especialistas ligados ao ensino superior, inspetores da educação, escolas e parceiros sociais, mas não deixando de atuar ao serviço do controlo das instituições, ao serviço das políticas, enquanto ação pública, dos seus constrangimentos e interdependências multiníveis.16

16 _{A este propósito, confronte-se estudos realizados no âmbito do projeto de investigação internacional,}

The role of knowledge in the construction and regulation health and education policy in Europe: Convergence and specificities among national and sectors, cujo acrónimo é Knowandpol, desenvolvido

em 8 países (Alemanha, Bélgica, França, Hungria, Noruega, Portugal, Reino Unido e Roménia), acessível em http://www.knowandpol.eu/. Alguns estudos realizados pela equipa portuguesa, coordenada por João

29

Santos Guerra (2002) propõe-nos uma espécie de carta de deveres para a avaliação das escolas: a avaliação deve ser uma avaliação contextualizada, ter em conta os processos, dar voz a todos os participantes, preocupar-se fundamentalmente com os valores educativos, consagrados nos documentos internacionais como a Declaração Universal dos Direitos do Homem, por exemplo, utilizar diferentes métodos e diferentes vozes na análise e reconstrução da realidade, não se basear exclusivamente nos números, utilizar uma linguagem simples, considerando o problema da avaliação como um problema de comunicação, enfim, não deve ser entendida como uma imposição e deve conduzir sempre à melhoria das práticas, em prol de uma educação para o aperfeiçoamento e a autonomia dos sujeitos, sejam eles entendidos individualmente ou enquanto organizações. Para este investigador, defensor de uma avaliação qualitativa, formativa, cada escola é um lugar único e irrepetível, dissociável do seu contexto, da sua história: " (…) avaliar as escolas com rigor implica conhecer a especial natureza e configuração que elas têm, enquanto instituições enraizadas numa determinada sociedade: a sua heteronímia, as suas componentes nomotéticas, os seus fins ambíguos, a sua débil articulação, a sua problemática tecnologia (…) ". (2002:13)

Em suma, corroboramos as afirmações de Azevedo (2007b: 12) “o Estado deve evoluir drasticamente na sua (até hoje débil) capacidade de a avaliação externa e de análise comparada de desempenho dos alunos, dos professores e das escolas”, pois a “autonomia real” das escolas deve ser “devidamente contratualizada, desenvolvida num quadro de rigorosa avaliação interna e externa e de definição de responsabilidades (…) escola a escola.” (ibidem, 2009: 17).