Análises comparativas de modelos de avaliação de escolas

Brigas (2012) realizou um estudo sobre o modelo de avaliação das escolas existente em Portugal numa perspetiva comparada com os modelos de três países europeus: Inglaterra, França e Espanha.

O investigador recorreu à análise documental dos normativos que justificam o modelo, bem como dos relatórios de avaliação externa de escolas para compreender o modelo praticado, verificando que os quadros de referência que suportam a avaliação externa dos quatro países partem de uma mesma matriz global. Em Espanha, França, Inglaterra e Portugal existe um mesmo propósito para a implementação da avaliação externa das escolas: a prestação de contas e o incremento da melhoria nas escolas.

Relativamente aos campos de avaliação e à identificação de áreas comuns nos quatro países, em todos eles se verificou que os resultados escolares dos alunos (internos e externos) são considerados, assim como a forma como se organizam as escolas para prestarem o seu serviço educativo.

O funcionamento dos principais órgãos e estruturas integram também os campos de avaliação, bem como os documentos que estruturam a ação estratégica de cada estabelecimento. Existe ainda o campo do planeamento, execução e avaliação das aprendizagens que integra os dispositivos de avaliação de todos os países em estudo.

No que diz respeito aos procedimentos de avaliação, o investigador registou algumas diferenças: a prática letiva é observada pelos avaliadores em todos os países com exceção de Portugal; os elementos contextuais, nomeadamente o perfil dos pais e as características socioeconómicas da região são utilizadas de forma mais sustentada em França e em

51

Inglaterra, sendo possível, com recurso a ferramentas estatísticas, calcular o valor esperado para os resultados escolares dos alunos de uma dada escola, tendo em conta o contexto desse mesmo estabelecimento.

O investigador constatou a existência de elementos comuns em todos os países como, por exemplo, o recurso à análise dos principais documentos orientadores da vida de cada instituição e a realização de entrevistas aos principais atores locais. Em Inglaterra, a avaliação no terreno é precedida do lançamento de um questionário de satisfação a toda a comunidade escolar.

Em todos os países, os avaliadores externos são membros da inspeção escolar, ou de instituições equivalentes, integrando também outros elementos, designadamente representantes de outras escolas (França) e membros da própria administração educativa (Espanha e França).

Da análise feita aos relatórios de avaliação de escolas, o investigador referiu mais alguns elementos distintivos da avaliação de escolas praticada em Portugal, relativamente aos outros países. O investigador concluiu que modelo português não tem qualquer mecanismo para calcular o valor esperado para os resultados académicos de cada escola. A análise dos resultados tem apenas como referência as médias nacionais quer em termos das taxas de aprovação, quer dos exames.

Como semelhança nos países em análise, o investigador apontou a articulação entre os processos de autoavaliação e de avaliação externa.

Lemos (2012) realizou um estudo empírico que aborda a temática da avaliação das organizações escolares numa perspetiva comparada, tendo em conta o contexto nacional, com a avaliação externa de escolas e o contexto internacional, através da avaliação realizada nas Escolas Europeias6 _{(EE) através da análise de um conjunto de documentos da Whole School} Inspection7_(WSI).

6 _{As EE são instituições de ensino oficial controladas pelos governos dos Estados Membros da UE, criadas em}

outubro de 1953 por iniciativa de funcionários da então Comunidade Europeia do Carvão e do Aço (CECA), tendo como objetivo resolver o problema da educação dos seus filhos, juntando numa mesma escola, alunos com nacionalidades e línguas maternas diferentes. Atualmente existem 14 EE: cinco na Bélgica, três na Alemanha, duas no Luxemburgo, uma na Holanda, uma na Itália, uma na Grã-Bretanha e uma em Espanha. Portugal possui duas secções linguísticas, uma na escola de Bruxelas II (com 291 alunos e 13 docentes) e outra na escola do Luxemburgo I (com um total de 175 alunos e 12 docentes) e está representado pela IGEC em dois órgãos comuns ao conjunto das EE: o Conselho Superior e os Conselhos de Inspeção.

7 _{Whole School Inspection é uma atividade de avaliação global das EE, realizada em equipas mistas de}

52

A investigação assentou no trabalho desenvolvido pela IGEC, tendo em conta a sua intervenção direta nos dois modelos em análise, sendo o objetivo central do estudo a identificação das semelhanças e divergências no processo de avaliação externa de escolas, em Portugal e no processo de avaliação das EE.

A investigadora concluiu que, de um modo geral, quer a avaliação externa de escolas em Portugal, quer a avaliação das EE, apresentam traços comuns, mas que na prática evidenciam especificidades de cada realidade educativa avaliada.

No que diz respeito às diferenças entre os dois modelos, a investigadora referiu a aplicação, por parte da avaliação externa de escolas, dos questionários de satisfação ao pessoal docente e não docente, alunos e pais/encarregados de educação, e a posteriori de questionários de avaliação do processo às escolas/agrupamentos e aos avaliadores. No modelo de avaliação das EE, apesar de os pais/encarregados de educação não preencherem questionários de satisfação, fazem, por vezes, parte de um grupo de trabalho que organiza documentos, define normas e estabelece leis e regulamentos, tendo por isso uma participação bastante ativa em todo o processo.

No que se refere à duração da visita, a investigadora constatou que na avaliação externa de escolas em Portugal, a visita que a equipa de avaliação faz às escolas tem a duração de dois dias (três dias no caso dos agrupamentos que possuam vários níveis de ensino). Nas EE a visita tem a duração de cinco dias.

Relativamente aos recursos, a avaliação externa de escolas não solicita nenhum instrumento às instituições para desenvolver o seu trabalho. Nas EE é requisitada uma sala com acesso à internet e com os recursos materiais necessários para que façam cópias ou impressões.

Uma das maiores diferenças entre os dois modelos diz respeito à observação de aulas, que apenas se verifica nas EE. No modelo de avaliação externa de escolas português, a justificação para a não utilização deste método passa pelo facto de serem as instâncias de Direção e de coordenação pedagógica da escola a terem de realizar esta prática no sentido de melhorar a sua dinâmica de autoavaliação.

No tocante à metodologia da realização da entrevista, por parte da equipa de avaliadores externos, a investigadora apontou também algumas divergências entre os dois modelos. Na avaliação externa de escolas a equipa de avaliação não se pode dividir para

53

realizar entrevistas paralelas, enquanto nas EE a equipa de avaliação divide-se para a realização de entrevistas paralelas que podem, assim, ser realizadas em simultâneo.

Nos itens relacionados com as caraterísticas do relatório final de avaliação, verificou- se que só na avaliação externa de escolas se elabora o relatório após a visita às escolas e com um limite de dez páginas. Nas EE é efetuado uma espécie de rascunho do relatório durante a semana da visita às escolas.

No que se refere à escala de avaliação, a investigadora apurou que existe uma escala quantitativa nas EE (do 1 ao 4) e uma escala qualitativa (Excelente; Muito Bom; Bom; Suficiente; Insuficiente) na avaliação externa de escolas.

A investigadora encontrou, ainda, diferenças nos dois modelos no que se refere às áreas/domínios avaliados: na avaliação externa de escolas são identificados três domínios de avaliação; nas EE são cinco as áreas de avaliação.

Ao tentar perceber o feedback da avaliação externa, a investigadora constatou que, na avaliação externa de escolas em Portugal, este é enviado posteriormente à visita à instituição, sob a forma de um projeto de relatório. As EE dão esse feedback, presencialmente, no decurso da visita, a partir das notas e juízos de valor que incorrem da concordância da equipa.

No que se refere à ação de cada instituição após a avaliação, a avaliação externa de escolas fomenta uma ação a ser desenvolvida a curto prazo, através da elaboração de um plano de melhoria; já as EE promovem a ação da instituição escolar a longo prazo, com a aplicação de um inquérito por questionário.

Por último, no que diz respeito à periodicidade da avaliação, as EE não têm definido o período de tempo em que cada escola deve voltar a ser avaliada; na avaliação externa de escolas, em Portugal, todos os estabelecimentos de ensino estão inseridos num ciclo de avaliação e, quando começa um novo ciclo, voltam a ser alvo de um outro processo de avaliação (em média, a frequência com que os estabelecimentos de ensino são avaliados compreende um período que vai dos três aos cinco anos, tendo em conta a conjugação de um número de fatores específicos).

Tendo como principais objetivos caracterizar os modelos de avaliação externa de escolas em Portugal e em Cabo Verde, compreender o processo e as práticas da avaliação externa de escolas e analisar os seus efeitos nestes dois países, Delgado (2013) realizou um trabalho de abordagem essencialmente qualitativa, através de inquérito por entrevista a dois especialistas ligados ao modelo de avaliação externa de escolas e a dois diretores de escolas

54

secundárias (um português e outro cabo verdiano), bem como através da análise documental assente em dissertações, teses e em documentos legais de ambos os países, para além de relatórios produzidos pela IGE de Cabo Verde e os pareceres do CNE português.

Delgado (2013) constatou que o sistema educativo Cabo-Verdiano seguiu de perto o modelo português de avaliação externa das escolas, tendo estabelecido como objetivo primordial o desenvolvimento de processos de autoavaliação, tal como é defendido na Lei n.º31/2002. Contudo, a investigadora concluiu que parte das escolas de Cabo Verde avaliadas ainda não dispõem de processos de autoavaliação, ou se existem, ainda não estão consolidados, verificando-se uma ausência de normativos que permitam uma efetiva oficialização da avaliação externa de escolas em Cabo Verde, apesar da experiência iniciada em março de 2012. No que diz respeito aos efeitos produzidos, os dados realçam que, de uma forma geral, são positivos. Porém, numa primeira fase, estrutura-se em termos de melhoria das escolas e a promoção do processo de autoavaliação e da participação social da comunidade educativa. A investigadora conclui que a combinação entre as duas práticas de avaliação – interna e externa – segundo os entrevistados, vai permitir novas práticas e uma melhoria organizacional.

A investigadora referiu ainda que o modelo de avaliação externa de escolas nos dois países é quase idêntico, salvo algumas diferenças, em termos de práticas e de procedimentos, sobretudo no que diz respeito à análise dos principais documentos orientadores que identificam a cada escola, bem como o recurso a entrevistas aos principais atores da comunidade educativa.

Para aferir o impacto da avaliação externa de escolas na educação pré-escolar pública e avaliar os seus efeitos nos estabelecimentos da rede privada, Rodrigues (2013) realizou um estudo exploratório de natureza qualitativa, baseado em análise documental (relatórios da avaliação externa de estabelecimentos de educação pré-escolar públicos) e inquérito por entrevistas a diretores de agrupamentos de escolas públicas com educação pré-escolar (n=4) e a educadoras de infância (n=8).

A autora concluiu que os modelos de avaliação das instituições quer públicas, quer privadas, apesar de ambos inspirados no modelo da European Foundation for Quality Management (EFQM), diferem na estrutura, nos objetivos que defendem e na periodicidade da aplicação, sendo, no entanto, burocráticos e sumativos, por natureza, em ambos os casos.

55

Consequentemente, o impacto e os efeitos divergem quer ao nível da instituição, quer ao nível pedagógico e docente.

A investigadora concluiu que a avaliação externa de escolas é encarada pelos atores como um processo de recolha de informação que possibilita a necessária tomada de decisões para o bom funcionamento da instituição, concluindo a tendência para a elaboração de planos de melhoria, na rede pública e a melhoria dos serviços oferecidos pela rede privada. Os resultados desta investigação apontaram ainda para ausência de dispositivos próprios de autoavaliação nos estabelecimentos de educação pré-escolar privados, sendo necessário, neste âmbito, tomar iniciativas que envolvam todos os agentes educativos, nomeadamente os pais. Apesar dos modelos analisados contemplarem aspetos pedagógicos, a investigadora concluiu que os seus efeitos quer na rede pública, quer no privado, são mais evidentes ao nível organizacional. Contudo, as educadoras entrevistadas reconheceram, de forma perentória, que a avaliação externa de escolas contribuiu para uma maior valorização profissional, vendo, nas instituições de rede pública, o aumento da visibilidade e reconhecimento do seu trabalho por parte de pares de outros ciclos, reconhecimento este que, nas instituições privadas, vem da parte dos pais, que, apesar de mais exigentes e atentos ao trabalho das educadoras, valorizam cada vez mais as questões pedagógicas implícitas no desenvolvimento dos seus filhos.

O estudo de Sousa (2013) pretendeu analisar as transformações vividas na educação de infância que têm contribuído para a alteração do seu âmbito curricular e da sua identidade, bem como compreender o impacto da avaliação externa de escolas na identidade e desenvolvimento profissional do educador de infância tendo como referência o Modelo de Avaliação da Qualidade em Creche (MAQC) proposto pelo Instituto de Segurança Social relativamente às Instituições Particulares de Solidariedade Social.

A investigadora utilizou uma metodologia qualitativa, baseada na análise documental e no inquérito por entrevista a educadores de infância.

Os resultados empíricos destacam uma transformação da organização curricular da educação em creche, baseada em standards qualitativos, produtividade educativa baseada no modelo de racionalidade tyleriana e na concretização da accountability, para justificar os resultados. De acordo com a investigadora, o MAQC, que se assemelha a um dispositivo de avaliação externa de escolas, promove o conflito e as oportunidades, provocando um questionamento da identidade e do desenvolvimento profissional junto dos educadores de infância, que concordam que a visibilidade da sua identidade profissional sai reforçada,

56

através da implementação do MAQC. Também as práticas pedagógicas das educadoras têm vindo a melhorar, no decurso da aplicação do modelo, dado que se centram mais em cada criança. Porém, as entrevistadas revelaram que tem havido um aumento da burocratização e da mecanização dos processos educativos, reduzindo, consequentemente, a sua autonomia como profissionais.

Deste estudo concluiu-se, ainda, que a autoavaliação é utilizada como estratégia que conduz à melhoria, apesar das dificuldades no envolvimento da comunidade educativa.

1.4.2. Estudos sobre o impacto e os efeitos da avaliação externa de escolas no