Introdução
Avaliação externa de escolas.
Um projeto de investigação
Dezasseis anos depois da aprovação da Lei de Bases do Sistema Educativo, a ava-liação externa de escolas foi regulada por normativo (Decreto-Lei n.º 31/2002, de 20 de dezembro) sendo implementada, a nível nacional, em 2006, através de um modelo da responsabilidade da Inspeção. Não tendo qualquer preâmbulo, o normativo previa a avaliação de todos os estabelecimentos da rede pública, privada, cooperativa e soli-dária, estando ligada, de acordo com os objetivos declarados, à melhoria da qualidade do sistema educativo, à produção de informação, ao sucesso educativo e à participa-ção da comunidade. O objetivo relativo ao sucesso educativo é claro no sentido de a avaliação externa promover uma cultura de qualidade, exigência e responsabilidade nas escolas dos ensinos básico e secundário.
De acordo com palavras de David Justino (Ministro da Educação no período da publicação do normativo), num seminário do projeto, realizado na Universidade do Algarve, em 2014, a avaliação externa foi um processo que procurou dar uma resposta imediata à redução do número de escolas, já que surgiu em contextos de discussão em torno da formação de agrupamentos de escolas. A dimensão organizacional ganhou, assim, sentido na tomada de decisão relativamente à avaliação externa, facto que aju-dará a entender por que razão se demorou tanto tempo na implementação de uma lei que sempre gerou os maiores consensos, como tem sido reconhecido tanto nos pare-ceres do Conselho Nacional de Educação (CNE), quanto nos relatórios da Organiza-ção para a CooperaOrganiza-ção e Desenvolvimento Económico.
Enquadrando-se nas decisões transnacionais e supranacionais, pois as orientações de diversos organismos, incluindo as da União Europeia, em termos de políticas edu-cativas baseiam-se numa mudança conceitual (Pacheco, 2011), reunindo um alargado consenso cognitivo (Ozga, 2014), a avaliação externa de escolas necessita de ser fun-damentada nas políticas de partilha de conhecimento (Steiner-Khamsi, 2012; Auld & Morris, 2013), bem como no modelo pós-burocrático de decisão (Maroy, 2012; Ozga, 2014). O rationale estabelecido à escala mundial tem por base o princípio de que existe quer uma “world class school, especificamente definida” (Auld & Morris, 2013, p. 133), por exemplo, PISA, TIMMS e PIRLS, quer “um paradigma educacio-nal” (Ibid., p. 136).
Em consequência, e em tempos em que se fala persistentemente de políticas de descentralização, no contexto de novos quadros de governação, como são descritos por Grek, Lawn, Ozga e Segerholm (2013) – normativa, inquiridora e mediadora –, a avaliação utiliza um dos mais poderosos conceitos de inculcação de um nova cultura
de responsabilização: accountability. De acordo com os vários objetivos e diferen-tes estratégias que lhe são associados (Taubman, 2009; O’Neill, 2013), accountability tornou-se um conceito em voga para descrever o modo não hierárquico para o con-trolo da gestão. Em suma, esta mudança concetual salienta modificações nos mecanis-mos de accountability, que agora, ao nível do processo, destacam o desempenho (os resultados) ao invés da responsabilidade (Erkkila & Piironen, 2013, p. 186).
Deste modo, o termo accountability origina nas escolas abordagens centradas em resultados e em standards, configurando um outro contexto para a análise do papel da avaliação externa, seja na forma de uma avaliação institucional, seja mediante a apli-cação de testes ou provas externas. Enquanto discurso de responsabilização e de trans-parência, em que se fala tanto de objetivos económicos associados ao conhecimento, o termo transporta para as escolas uma ideologia de competição, onde a comparação e mensuração adquirem novos sentidos, sobretudo no reforço da avaliação sumativa e na valorização do ranking, e onde a aprendizagem é reduzida à obtenção de resulta-dos, com a secundarização dos processos de aprender e das finalidades sociais da es-cola. É neste sentido que Biesta (2013, p. 30) afirma não só que “a linguagem da
edu-cação tem sido em grande parte substituída por uma linguagem da aprendizagem”,
como também as questões técnicas são as mais discutidas, isto é, “questões sobre a eficiência e a eficácia do processo educacional” (Ibid., p. 41).
Tal como se observa em muitos países europeus, a conceção e a implementação do modelo de avaliação externa de escolas foram inscritas nas novas competências da Inspeção, cujo trabalho de governação é descrito por Ozga (2014, p. 17) como sendo “mais colaborativo, menos burocrático, mais flexível e inter-relacionado”, fazendo parte da aquisição de um conhecimento prático que é “ativado e transferido em situa-ções que ainda não estão totalmente definidas através de processos de rotina (Ibid., p. 20). Nos modelos de governação descritos por Grek, Lawn, Ozga e Segerholm (2013), a Inspeção é relacionada, em estudos empíricos realizados em diversos países, com uma governação de mediação, que tem na sua base uma governação de inquiri-ção, ainda que as suas atividades também estejam inscritas numa governação norma-tiva. Para Ozga (2014, p. 24), as Inspeções “ocupam o lugar de mediadoras e traduto-ras da informação devido ao seu posicionamento único na gestão”.
Particularizando-se o caso da Inspeção da Escócia – e esta referência torna-se fun-damental porque o modelo português segue os seus pressupostos –, Grek, Lawn, Ozga e Segerholm (2013, p. 499) concluem que “está ativamente envolvida no trabalho de governação da Inspeção na Europa: tem promovido uma abordagem específica no sentido da autoavaliação da escola”.
É em torno de todas estas questões que surgiu o projeto de investigação Impacto e
efeitos da avaliação externa nas escolas do ensino não superior, financiado pela
Fun-dação Ciência e Tecnologia (PTDC/CPE-CED/116674/2010), coordenado pela Uni-versidade do Minho, e com a participação das uniUni-versidades do Porto, Coimbra, Lis-boa, Évora e Algarve.
Sendo equivalente a um estudo de eficiência/eficácia (Song & Herman, 2010), o projeto de investigação está estruturado a partir do seguinte problema:
Que impacto e efeitos resultam da avaliação externa, no 1.º e 2.º ciclos do modelo, considerando a melhoria da escola, a participação da comunidade e a implementa-ção de políticas de accountability?
Esta interrogação desdobra-se em quatro questões de investigação – o impacto da avaliação externa causa efeitos:
i) na melhoria da escola aos níveis organizacional, curricular e pedagógico?; ii) na consolidação da autoavaliação?;
iii) na participação da comunidade na vida escolar?;
iv) na apropriação dos referentes de avaliação pela escola e comunidade?
A procura de respostas para tais questões tem como ponto de partida a discussão de um quadro teórico sobre avaliação externa e sua contextualização nas políticas de
accountability, bem como de um quadro metodológico, que inclui a conceção,
reali-zação e validação de estudos empíricos de natureza quantitativa e qualitativa. Neste projeto, a validade metodológica, para além de outros parâmetros, está vin-culada à realização de estudos nacionais, com uma amostra estatisticamente significa-tiva, e de estudos de caso, ou de múltiplas comparações (Stake, 2007). Mesmo assim, e por mais técnicas de recolha de dados que sejam utilizadas, a avaliação do impacto e efeitos da avaliação externa não se torna numa atividade fácil, pelas diversas variá-veis a considerar, pelos numerosos critérios que podem ser utilizados para avaliar o impacto, pelas decisões que são tomadas nos diferentes contextos, pela leitura subje-tiva dos resultados da avaliação, pelas diferenças entre os estudos de eficácia e de efi-ciência e pelas múltiplas comparações que podem existir entre escolas. Parte-se da premissa que toda a avaliação produz impacto e efeitos diversos, sendo referidos três possíveis aspetos num relatório europeu (Eurydice, 2004): a avaliação conduz a reco-mendações; a avaliação obriga as escolas a elaborar um plano formal de melhoria; a avaliação origina uma ação disciplinar.
O projeto persegue dois objetivos gerais: explorar quadros teóricos e metodológi-cos sobre AEE, incluindo o seu impacto e os seus efeitos na melhoria das escolas face às políticas de prestação de contas; realizar estudos empíricos centrados no impacto e efeitos da avaliação externa. O problema fundamenta ainda o design da investiga-ção e a opinvestiga-ção por metodologias quantitativas e qualitativas, materializadas num mo-delo misto de recolha de dados, com destaque para análise de documentos, entrevis-tas e questionários.
O estudo enquadra-se numa avaliação de eficiência, com a consideração dos as-petos inerentes a uma avaliação do impacto e efeitos. Todos os elementos da equipa, constituídos em cada uma das seis universidades, participaram em estudos de ava-liação e têm um conhecimento aprofundado do objeto de investigação. O projeto é de manifesta relevância social, respondendo ao desafio do CNE (2008): dar atenção
particular à fase da entrega do relatório de avaliação na escola e sua discussão, já que é aqui que se joga uma parte importante das consequências da avaliação para a escola e para as aprendizagens dos alunos – mudar práticas, processos e modelos em função das conclusões e orientações da avaliação externa. A pertinência da investigação jus-tifica-se pela crescente valorização social da avaliação externa de escolas e pela ine-xistência de um estudo de âmbito nacional, como constata o CNE (2010), tornando--se útil para as escolas e para as instâncias responsáveis pela formulação e execução de políticas.
Para além de estudos empíricos, o projeto de investigação incide na produção de conhecimento sistematizado sobre a avaliação externa de escolas, mediante a análise teórica de modelos e de metodologias, bem como do estudo empírico do impacto e efeitos nas escolas e comunidade.
Deste modo, os textos deste livro foram escritos no âmbito do projeto, incluindo a participação de todas as equipas de investigadores. No Capítulo I, José Augusto Pa-checo, Filipa Seabra e José Carlos Morgado abordam a avaliação externa em termos da referencialização de quadro teórico sobre o impacto e efeitos da avaliação externa. Maria José Silvestre, Isabel Fialho e José Saragoça, no Capítulo II, analisam a ava-liação externa das escolas à luz das políticas educativas, seguindo-se quatro capítulos centrados relativos à contextualização nacional e internacional do modelo: Avaliação
externa das escolas em Portugal – políticas e processos (Elisabete Gonçalves,
Pciosa Fernandes e Carlinda Leite, Capítulo III); Avaliação externa em Portugal: do
re-ferencial aos estudos empíricos (Eduarda Rodrigues, Joana Sousa, Helena Queirós e
Natália Costa, Capítulo IV); Modelos internacionais de avaliação externa. A
avalia-ção de escolas em Portugal e na Inglaterra – origem, fundamentos e percursos (Carla
Figueiredo, Carlinda Leite e Preciosa Fernandes, Capítulo V); Relatórios
internacio-nais e naciointernacio-nais. Um olhar sobre a avaliação externa de escolas (Isabel Fialho, José
Saragoça, Maria José Silvestre, Ana Paula Correia e Sónia Gomes, Capítulo VI). Os Capítulos VII e VIII são dedicados, respetivamente, a questões de metodolo-gia na avaliação de escolas (Pedro Rodrigues e João Moreira) e a aspetos metodoló-gicos do inquérito por entrevista na avaliação externa de escolas (Sandra Valadas e Fernando Gonçalves), incluindo o Capítulo IX, um estudo dos relatórios de avaliação externa, da análise das redundâncias à ponderação diferencial dos resultados do pri-meiro ciclo de avaliação (Maria da Graça Bidarra, Carlos Folgado Barreira, Maria da Piedade Vaz-Rebelo e Valentim Rodrigues Alferes).
Este livro será completado com a publicação de um outro, também na Porto Edi-tora, com os resultados empíricos dos diversos estudos previstos no projeto de inves-tigação.
Referências bibliográficas
Auld, E. & Morris, P. (2013). Comparative education, the “new paradigm” and policy borrowing: constructing knowledge for educational reform. Comparative Education, 50 (2), 129-155. Biesta, G. (2013). Para além da aprendizagem. Belo Horizonte: Autêntica.
Erkkila, T. & Piironen, O. (2013). Shifting fundaments of European higher education governance: competition, ranking, autonomy and accountability. Comparative Education, 50 (2), 177-191. Grek, S., Lawn, M., Ozga, J. & Segerholm, C. (2013). Governing by inspection? European inspectorates
and the creation of a European education policy space. Comparative Education, 49 (4), 486-502. Maroy, C. (2012). Towards post-bureaucratic modes of governance. An European perspective. In G.
Steiner-Khamsi & F. Waldow (Eds.), World yearbook of education 2012. Policy borrowing and
lending in education (pp. 62-93). London: Routledge.
O’Neill, O. (2013). Intelligent accountability in education. Oxford Review of Education, 39 (1), 4-16. Ozga, J. (2014). Knowledge, inspection and the work of governing. Sisyphus, 2 (1), 16-38.
Song, M. & Herman, R. (2010). Critical issues and common pitfalls in designing and conducting impact studies in education: lessons learned from what works in Clearinghouse (Phase I). Educational
Evaluation and Policy Analysis, 32 (3), 351-371.
Steiner-Khamsi, G. (2012). Understanding policy borrowing and lending. Building comparative policy studies. In G. Steiner-Khamsi & F. Waldow (Eds.), World yearbook of education 2012. Policy
borrowing and lending in education (pp. 5-17). London: Routledge.
Taubman, P. (2009). Teaching by numbers. New York: Routledge.
Referências documentais
CNE (2008). Parecer sobre avaliação externa das escolas. Lisboa: Conselho Nacional de Educação. CNE (2010). Parecer sobre avaliação externa das escolas (2007-2009). Lisboa: Conselho Nacional
de Educação.
Eurydice (2004). Evaluation of schools providing compulsory education in Europe. Brussels: European Commission.
