AFERIÇÃO DA EFECTIVIDADE DA AUTO-AVALIAÇÃO

(1)

Relatório Nacional

2004-2007

AFERIÇÃO DA

EFECTIVIDADE DA

AUTO-AVALIAÇÃO

(2)

FICHA TÉCNICA

Título

Efectividade da Auto-Avaliação das Escolas 2004-2007 — Relatório Autoria

Inspecção-Geral da Educação Colecção

Relatórios Edição

Coordenação editorial, copidesque, design gráfico, revisão tipográfica e divulgação IGE — Divisão de Comunicação e Documentação (DCD)

(3)

ÍNDICE

NOTA PRÉVIA ... 5

SUMÁRIO EXECUTIVO ... 6

Avaliação dos Resultados – Conclusões ... 8

Dados Caracterizadores de Experiências de Avaliação Interna Conclusões ... 9

Considerações Gerais dos Relatórios ... 10

I – APRESENTAÇÃO ... 12

1. Antecedentes da actividade e trabalhos preparatórios... 13

2. Enquadramento da actividade de Aferição Efectividade da Auto-Avaliação das Escolas ... 13

Objectivos da actividade ... 14

3. Modelo conceptual ... 14

4. Escala de apreciação ... 16

5. Metodologia da intervenção ... 16

6. Critérios de selecção das Unidades de Gestão ... 17

II – DADOS GERAIS ... 18

1. Universo da intervenção ... 18

Factores exógenos às Unidades intervencionadas ... 18

Factores endógenos das Unidades intervencionadas ... 20

III – AVALIAÇÃO DOS RESULTADOS ... 21

1. Análise global de resultados ... 21

2. Análise de dados desagregados ... 23

Síntese ... 26

IV – DADOS CARACTERIZADORES DE EXPERIÊNCIAS DE AVALIAÇÃO INTERNA ... 27

1. Objecto da avaliação ... 28

2. Objectivo da avaliação ... 29

3. Iniciadores e implementadores do processo de avaliação ... 30

4. Apoio externo ... 31

5. Modalidades de apoio externo ... 32

6. Metodologia utilizada ... 33

7. Aspectos organizativos ... 34

8. Respondentes ... 35

9. Efeitos ... 36

(4)

Aspectos Positivos ... 39

Aspectos negativos ... 39

Lições aprendidas ... 40

V – RECOMENDAÇÕES DOS RELATÓRIOS ... 41

VI – ACTIVIDADE SEQUENCIAL ... 43

1. Apresentação da actividade ... 43

2. Metodologia da Intervenção ... 44

3. Dados Gerais ... 44

4. Avaliação dos Indicadores de Qualidade ... 44

5. Recomendações dos Relatórios ... 46

SIGLÁRIO ... 48

ANEXOS ... 49

Selecção de Relatos de Experiências de Avaliação Interna ... 50

(5)

NOTA PRÉVIA

As linhas de trabalho da IGE para os anos de 2004 a 2006 incluíram os Programas de Acompanhamento e de Aferição, caracterizados pela observação focada em aspectos considerados fundamentais e estratégicos, tomados como áreas potenciadoras de qualidade nas organizações educativas.

A percepção das realidades escolares, a tendência de descentralização e desconcentração de competências, o reforço da autonomia das escolas e ainda o conhecimento de boas práticas noutros países propiciaram a introdução do conceito de aferição no léxico da IGE.

A actividade Efectividade da auto-avaliação das escolas, inserida no Programa Aferição, foi concebida como estratégia de induzir uma regulação interna apoiada em processos de auto-avaliação e de uma maior autonomia das escolas, com vista à melhoria da prestação do serviço educativo. Assim, a actividade teve como objectivo geral «garantir que as organizações educativas funcionem segundo objectivos e metas claramente definidas e auto-reguladas, na defesa do direito a uma educação de qualidade», recorrendo a uma análise comparativa de uma determinada situação com critérios de referência pré-estabelecidos.

Este relatório apresenta os resultados da intervenção em 101 Unidades de Gestão – agrupamentos e escolas não agrupadas (8% deste universo, no Continente), o que condiciona a generalização das conclusões obtidas. Por outro lado, ressalta como principal dificuldade a recolha de informação e a sustentação das aferições pelas equipas inspectivas, pelo facto de a maioria das escolas ter processos não sistematizados de auto-avaliação, muitas vezes sem a percepção do valor do trabalho desenvolvido.

Entre as conclusões, será de destacar que:

• na maioria das observações efectuadas, desenvolvem-se processos de auto-avaliação;

• o desempenho médio das Unidades de Gestão pode considerar-se satisfatório;

• as fragilidades mais evidenciadas no processo de auto-avaliação prendem-se com a inexistência de referenciais, falta de planeamento e de sistematização das actividades de avaliação;

• as escolas singulares e os agrupamentos de média dimensão apresentam um melhor desempenho nos processos de auto-avaliação;

• e afigura-se que o Programa Avaliação Integrada das Escolas, desenvolvido em anos anteriores (2000-2002), teve impacto positivo no desenvolvimento e na qualidade dos processos de auto-avaliação.

No final de 2006, tendo a IGE sido incumbida da realização do Programa de Avaliação Externa das Escolas, optou-se por suspender esta actividade por falta de recursos. No entanto, fica sempre em aberto a possibilidade de retomar uma actividade de aferição ou de acompanhamento das práticas de auto-avaliação em articulação com a avaliação externa das escolas.

(6)

SUMÁRIO EXECUTIVO

A Lei n.º 31/2002, de 20 de Dezembro, que aprova o sistema de avaliação da educação e do ensino não superior, especifica que «a avaliação estrutura-se com base na auto-avaliação, a realizar em cada escola ou agrupamento de escolas e na avaliação externa».

A Efectividade da auto-avaliação das escolas desenvolvida pela Inspecção-Geral da Educação (IGE), em 2005 e 2006, bem como a actividade sequencial, em 2007, integrada no Programa de Aferição, assume como objectivos:

• Desenvolver e consolidar uma atitude crítica e de auto-questionamento relativamente ao trabalho realizado nas escolas;

• Promover, nos estabelecimentos de educação e de ensino, uma cultura de qualidade, de exigência e de responsabilidade, orientada para a melhoria da qualidade dos processos e dos resultados;

• Obter uma panorâmica do estado actual das dinâmicas de auto-avaliação, enquanto actividade promotora do desenvolvimento das escolas, e acompanhar o progresso dos dispositivos externos de suporte à auto-avaliação das escolas.

A aferição da efectividade da auto-avaliação incide sobre 9 Indicadores de Qualidade (IQ), agrupados em 4 áreas-chave, designadas por campos de aferição:

CAMPO DE AFERIÇÃO I – VISÃO E ESTRATÉGIA DA AUTO-AVALIAÇÃO

1.1 OBJECTIVOS E VALORES

1.2 ESTRATÉGIA PARA A AUTO-AVALIAÇÃO E MELHORIA

CAMPO DE AFERIÇÃO II – AUTO-AVALIAÇÃO E VALORIZAÇÃO DOS RECURSOS

2.1 RECURSOS HUMANOS

2.2 RECURSOS FINANCEIROS E FÍSICOS

CAMPO DE AFERIÇÃO III – AUTO-AVALIAÇÃO E MELHORIA DOS PROCESSOS ESTRATÉGICOS

3.1 LINHAS ORIENTADORAS E PADRÕES DE QUALIDADE

3.2 PLANEAMENTO E IMPLEMENTAÇÃO DAS ACTIVIDADES DE AUTO-AVALIAÇÃO 3.3 PLANEAMENTO E IMPLEMENTAÇÃO DE ACÇÕES DE MELHORIA

CAMPO DE AFERIÇÃO IV – AUTO-AVALIAÇÃO E EFEITOS NOS RESULTADOS EDUCATIVOS

4.1 AUTO-AVALIAÇÃO DOS RESULTADOS EDUCATIVOS

4.2 EFECTIVIDADE DA AUTO-AVALIAÇÃO NA MELHORIA DO DESEMPENHO GLOBAL

Cada indicador é analisado sob o prisma dos seus aspectos mais relevantes, os quais constituem os Sub-Indicadores de Qualidade (SIQ), conforme o Quadro I.3.2 – Campos de Aferição e Indicadores de Qualidade (no corpo do relatório).

(7)

A aferição da Efectividade da auto-avaliação das escolas (aqui entendidas como Unidades de Gestão (UG), quer se trate de escolas singulares ou de agrupamento de escolas) desenvolve-se a partir de uma atitude de interpelação que decorre da seguinte questão orientadora:

Qual a efectividade da auto-avaliação que a UG faz da qualidade do seu funcionamento e dos serviços que presta, de forma a desenvolver acções que contribuam para reforçar os seus pontos fortes e superar os pontos fracos?

As conclusões extraídas dos dados provenientes da intervenção, em 2005 e 2006, em 101 UG - 8% do universo das 1276 UG existentes à data – abrangendo 792 estabelecimentos de educação e de ensino de diferentes tipologias, podem estruturar-se em:

Avaliaçãodos Resultados

Recomendações dos Relatórios

Permite conhecer a qualidade dos processos auto-avaliativos das unidades intervencionadas, a partir das avaliações quantitativas da totalidade dos IQ

Afere o estado de cada UG, utilizando como referencial uma matriz previamente construída a partir do conhecimento científico e de boas práticas em matéria de auto-avaliação de escolas. Pretendeu-se, assim, apreciar a qualidade da auto-auto-avaliação, particularizada por indicador e potenciais factores com influência no desempenho das UG

Sintetizam os aspectos a melhorar que foram apresentados às UG.

Os Dados Caracterizadores de Experiências de Avaliação Interna

Constituem uma fotografia em matéria de auto-avaliação ou de avaliação interna das unidades intervencionadas;

(8)

Avaliação dos Resultados –

Conclusões

Na maioria das observações efectuadas, as UG desenvolvem processos de avaliação. Porém, apenas um quarto das apreciações denotam um trabalho de qualidade elevada.

As fragilidades mais evidenciadas prendem-se com a não definição de referenciais de auto-avaliação, constituídos por padrões de qualidade, com a falta de planeamento e de sistematização das actividades de auto-avaliação e de

avaliação interna e a não avaliação pelas UG das consequências das suas decisões e acções.

Não se verificou uma relação causa-efeito linear entre o nível do IDS dos concelhos onde se situam as UG e a qualidade dos seus processos de avaliação.

Afigura-se que o Programa Avaliação Integrada das Escolas teve impacto no desenvolvimento e na qualidade dos processos de avaliação actualmente desenvolvidos pelas escolas, em 6 dos 9 IQ. O tipo de organização e a dimensão das UG têm

influência na qualidade dos processos de avaliação, sendo o melhor desempenho o das escolas singulares (essencialmente escolas secundárias) e dos agrupamentos de média dimensão (constituídos por 6 a 10 escolas cada).

O desempenho médio das UG pode considerar-se satisfatório em termos de auto-avaliação, embora com múltiplas fragilidades.

Apresenta valores de Não Satisfaz

IQ 4.2 – Efectividade da auto-avaliação na melhoria do desempenho Oscila entre o Satisfaz e o Bom:

IQ 1.1 – Objectivos e valores

É de Satisfaz:

IQ 1.2 – Estratégia para a auto-avaliação e melhoria IQ 2.1 – Recursos humanos

IQ 2.2 – Recursos financeiros e físicos

IQ 3.2 – Planeamento e implementação das actividades de auto-avaliação IQ 4.1 – Auto-avaliação dos resultados educativos

Situa-se entre o Satisfaz e o Não Satisfaz

(9)

Dados Caracterizadores de Experiências de Avaliação Interna

Conclusões

 As avaliações sinalizadas incidiram, com maior expressão, sobre os projectos de escola e as aprendizagens curriculares dos alunos.

 Os principais objectivos dos processos de auto-avaliação e de avaliação interna foram a melhoria das ofertas formativas e das produções dos alunos, nomeadamente os resultados escolares.

 Os processos de avaliação foram, maioritariamente, desencadeados e implementados por elementos da UG. O trabalho conjunto de elementos internos e externos às UG teve pouca expressão nas experiências sinalizadas.

 O apoio externo prestado às UG, em quase metade das avaliações, ocorreu nas modalidades de formação ou de informação aos elementos responsáveis pela avaliação. Este apoio foi prestado, maioritariamente, por especialistas e por Serviços tutelados pelo Ministério da Educação, sendo o apoio dado pelos Centros de Formação de Associação de Escolas pouco expressivo.

 As metodologias mais utilizadas foram os questionários e a análise documental. Menos significativa foi a utilização de informação obtida em situações de comunicação pouco estruturada e de pautas de avaliação.

 Os processos de avaliação anuais foram identificados em quase metade dos projectos, ao passo que os de duração superior a um ano constituem mais de um quarto.

 Os principais produtores da informação utilizada nos processos de avaliação das escolas, aqui designados como respondentes, foram os docentes e os alunos. Na maioria das avaliações contabilizaram-se vários respondentes.

 Os efeitos resultantes da auto-avaliação ou da avaliação interna foram registados na quase totalidade das experiências e tiveram repercussões em diversas áreas da vida da escola, nomeadamente na gestão, nos projectos e nas práticas académicas.

 Na maioria das avaliações foram registados aspectos positivos. Os aspectos negativos podem não estar associados a uma apreciação desfavorável do processo, mas sim a dificuldades a superar.

(10)

Considerações Gerais dos Relatórios

O número de intervenções inspectivas permite delinear tendências nos processos avaliativos desencadeados nas escolas:

 Os procedimentos de avaliação registam, como aspectos mais conseguidos, a definição de objectivos e a afectação de recursos para a implementação de actividades de avaliação e de acções de melhoria.

 A auto-avaliação não tem por base um processo coerente, sustentado por linhas orientadoras, padrões de qualidade, planeamento e consequente avaliação das acções desenvolvidas.

 As experiências de avaliação interna, com incidência no ensino, na aprendizagem e nos resultados escolares, predominam em relação às de gestão e aos projectos de escola.

 As UG intervencionadas no âmbito do Programa Avaliação Integrada das Escolas apresentam melhores resultados do que as restantes.

 A formação ou a informação foram as modalidades maioritárias de apoio externo às UG. Os Centros de Formação de Associação de Escolas estiveram, na maioria dos casos, alheados.

 Os responsáveis pelas UG reconheceram os efeitos positivos da maioria dos projectos realizados para a tomada de decisão participada, planeamento de actividades de desenvolvimento e identificação de pontos fortes e fracos da qualidade do desempenho.

A intervenção sequencial da actividade Efectividade da Auto-Avaliação das Escolas, realizada no ano lectivo de 2006-2007, teve por objectivo apreciar a evolução do desempenho das UG em processos de avaliação face à situação anteriormente aferida. A intervenção ponderou os resultados da Avaliação dos Indicadores de Qualidade e as Recomendações do Relatório da actividade regular, diferenciando as UG em termos de qualidade do processo avaliativo. Assim, foram objecto da intervenção sequencial as UG distribuídas nos 1.º e 3.º quartis.

As conclusões da Avaliação dos Indicadores de Qualidade, que de seguida se listam, resultam do tratamento de dados dos relatórios de 15 UG de diferentes tipologias:

3.º quartil

• Auto-Avaliação dos Resultados Educativos  em termos globais os resultados foram de nível

Bom

• Efectividade da Auto-Avaliação na Melhoria do Desempenho Global  os resultados situaram-se, globalmente, ao nível do Satisfaz

• Evolução dos processos auto-avaliativos das UG  um número significativo registou uma evolução positiva.

(11)

1.º quartil

• Linhas orientadoras e padrões de qualidade  distribuição equitativa dos níveis de Não Satisfaz e de Bom, o que indicia uma dispersão qualitativa no desempenho das UG

• Planeamento e Implementação das Actividades de Auto-Avaliação  predomínio da avaliação de nível de Satisfaz

• Planeamento e Implementação das Acções de Melhoria  o nível de Satisfaz foi o mais frequentemente atribuído

• Evolução dos processos auto-avaliativos das UG  numa maioria expressiva de UG ocorreu uma evolução positiva em matéria de práticas auto-avaliativas

A tónica das Considerações Finais dos Relatórios da intervenção sequencial incidiu sobre:

• Referencial de avaliação

• Dispositivo de avaliação das próprias UG

• Monitorização das acções desenvolvidas pelas UG sobre o processo de avaliação e áreas-objecto de avaliação

Registaram-se aspectos de qualidade acrescida, que têm a ver com:

• Implementação de medidas decorrentes da actividade regular

• Criação de um dispositivo de auto-avaliação sustentado num Observatório de Qualidade

(12)

I – APRESENTAÇÃO

O presente relatório respeita à actividade regular e à sequencial da Efectividade da Auto-Avaliação das Escolas1_{. Está estruturado em seis grandes capítulos, que incluem, para a actividade regular, a}

Apresentação, Dados Gerais, Avaliação dos Resultados, Dados Caracterizadores de Experiências de Avaliação Interna e Recomendações dos Relatórios; por sua vez, a actividade sequencial contempla, num único capítulo, a Apresentação, Dados Gerais, Avaliação de uma selecção de Indicadores de Qualidade e Recomendações dos Relatórios.

A Apresentação tem como objectivo contextualizar a actividade, expor o modelo conceptual, a metodologia e os critérios utilizados para a selecção das Unidades a intervencionar.

Nos Dados Gerais caracteriza-se o universo das UG, bem como os recursos inspectivos mobilizados para o efeito.

A Avaliação dos Resultados permite conhecer a qualidade dos processos avaliativos das Unidades, a partir das avaliações quantitativas da totalidade dos IQ, complementada pela análise dos dados desagregados, trabalhados nas categorias de IDS concelhio, tipo de organização, intervenção no âmbito do Programa Avaliação Integrada das Escolas e dimensão das UG. Estas categorias afiguram-se como potenciais factores que influenciam a qualidade da auto-avaliação. A apreciação dos IQ permite aferir o estado de cada UG, utilizando como referencial uma matriz previamente construída a partir do conhecimento científico e de boas práticas de auto-avaliação.

Os Dados Caracterizadores de Experiências de Avaliação Interna constituem uma fotografia em matéria de avaliação das UG. A decomposição desta fotografia põe em destaque os aspectos onde o desempenho é já bastante satisfatório e os que revelam debilidades.

Finalmente, complementando a análise efectuada nos capítulos anteriores, procede-se ao agrupamento em categorias das Recomendações dos Relatórios.

A actividade sequencial destina-se a conhecer o desenvolvimento e a consolidação da auto-avaliação, enquanto prática sistemática, integrada na cultura das organizações escolares.

Com a colaboração das UG e partindo de uma interpelação sobre as práticas implementadas e respectiva demonstração de procedimentos, os inspectores procuraram identificar evidências e avaliar as acções desenvolvidas após a intervenção regular, em termos de progressão ou regressão. Esta aferição permitiu sinalizar possíveis constrangimentos ao desenvolvimento dos processos de auto-avaliação ou de auto-avaliação interna.

O relatório apresenta, também, um Siglário, bem como Anexos, que incluem Dados Estatísticos e Relatos de Experiências de Avaliação Interna.

(13)

1. Antecedentes da actividade e trabalhos preparatórios

Esta actividade foi desenhada à luz das competências da IGE, explorando novas áreas de intervenção que potenciassem os papéis regulador e indutor da inspecção.

A competência de Aferição, contemplada à data no quadro legal, dada a polissemia do conceito, foi a que melhor parecia corresponder a uma abordagem de cariz inovador da prática inspectiva. O trabalho exploratório nessas áreas, contemplado no diploma publicado sobre o Sistema de Avaliação da Educação e do Ensino Não Superior, destacava a auto-avaliação das escolas, reconhecendo a sua importância, para processos de avaliação externa, o que está em consonância com o que se verifica nalguns países europeus.

A literatura associada ao projecto ESSE – Effective School Self-Evaluation – desenvolvido no âmbito da Conferência Permanente das Inspecções Regionais e Gerais da Educação (SICI) e a experiência que a participação no mesmo deu à IGE, contribuíram igualmente para a escolha da auto-avaliação das escolas como objecto de uma actividade de aferição. O quadro conceptual e os princípios que lhe estão subjacentes decorreram de dois projectos internacionais desenvolvidos num passado recente: o ESSE, já referido, e o SEQuALS (Supporting the Evaluation of Quality And the Learning of Schools) no âmbito do programa comunitário Sócrates-Comenius.

2. Enquadramento da actividade de Aferição Efectividade da

Auto-Avaliação das Escolas

A Efectividade da Auto-Avaliação das Escolas é entendida como uma aferição entre uma situação real observada e outra de referência, construída a partir do normativo, do conhecimento científico, da experiência profissional e das boas práticas.

Esta actividade decorre do Sistema de Avaliação da Educação e do Ensino Não Superior - Lei n.º 31/2002, de 20 de Dezembro – que determina que a auto-avaliação tenha em linha de conta o grau de concretização do Projecto Educativo, o nível de execução das actividades, o desempenho dos órgãos da administração e gestão e de orientação educativa, o sucesso escolar e a prática de uma cultura de colaboração. Neste sentido, pretende-se que a auto-avaliação seja assegurada por uma prática sistemática e integrada na cultura das organizações escolares, devendo ser entendida como um processo reflexivo que conduz a acção e que é essencial para a consolidação de mudança e de melhoria.

Na garantia da qualidade, compete à IGE aferir da eficiência de procedimentos e da eficácia na prossecução dos objectivos e resultados fixados, contribuindo para o processo de avaliação externa das escolas.

(14)

Objectivos da actividade

A actividade de aferição Efectividade da auto-avaliação das escolas pretende constituir-se como parte integrante de uma cultura de reflexão institucional sobre os dispositivos de avaliação implementados pelas escolas. Tem, assim, como propósito o desenvolvimento e a consolidação de uma atitude crítica e de um auto-questionamento, por parte das escolas, relativamente ao seu trabalho.

Esta actividade visa promover uma cultura de qualidade, de exigência e de responsabilidade, estimulando a melhoria dos processos e dos resultados, obter uma panorâmica do estado das dinâmicas de auto-avaliação e acompanhar o progresso dos dispositivos externos que lhe servem de suporte.

3. Modelo conceptual

A aferição da Efectividade da auto-avaliação desenvolvida nas escolas incide sobre nove IQ, agrupados em quatro áreas-chave, também designadas por campos de aferição: Visão e estratégia da auto-avaliação, Auto-avaliação e valorização dos recursos, Auto-avaliação e melhoria dos processos estratégicos e Auto-avaliação e efeitos nos resultados educativos.

O Quadro I.3.1 apresenta o modelo conceptual da actividade, incluindo as quatro áreas-chave ou campos de aferição, sendo visível, em cada um, os IQ que lhe estão subjacentes.

QUADRO

I.3.1 –

MODELO

CONCEPTUAL

O Quadro seguinte mostra os 4 campos de aferição, os 9 IQ e respectivos SIQ e as questões utilizadas pelos inspectores, durante a intervenção, para orientar a interpelação.

VISÃO E ESTRATÉGIA DA AUTO-AVALIAÇÃO  OBJECTIVOS E VALORES  ESTRATÉGIA PARA A AUTO-AVALIAÇÃO E MELHORIA EFECTIVIDADE DA AUTO-AVALIAÇÃO

AUTO-AVALIAÇÃO E VALORIZAÇÃO DOS RECURSOS

 RECURSOS HUMANOS

 RECURSOS FINANCEIROS E FÍSICOS

AUTO-AVALIAÇÃO E EFEITOS NOS RESULTADOS EDUCATIVOS  AUTO-AVALIAÇÃO DOS RESULTADOS EDUCATIVOS  EFECTIVIDADE DA AUTO-AVALIAÇÃO NA MELHORIA DO DESEMPENHO GLOBAL

AUTO-AVALIAÇÃO E MELHORIA DOS PROCESSOS ESTRATÉGICOS

 LINHAS ORIENTADORAS E PADRÕES DE

QUALIDADE

 PLANEAMENTO E IMPLEMENTAÇÃO DAS

ACTIVIDADES DE AUTO-AVALIAÇÃO

 PLANEAMENTO E IMPLEMENTAÇÃO DE

ACÇÕES DE MELHORIA

(15)

QUADRO

I.3.2 –

CAMPOS

DE

AFERIÇÃO

E

INDICADORES

DE

QUALIDADE

CAMPO DE AFERIÇÃO I – VISÃO E ESTRATÉGIA DA AUTO-AVALIAÇÃO

Indicadores de Qualidade Sub-Indicadores de Qualidade

1.1

OBJECTIVOS E VALORES

Questão orientadora da interpelação (QO): Que provas existem de que as lideranças tenham originado objectivos comuns, claros e partilhados?

SIQ1.1.1 Condições para uma efectiva partilha e compreensão dos objectivos SIQ1.1.2 Enfoque dos objectivos da escola na melhoria do sucesso escolar SIQ1.1.3 Divulgação dos objectivos e valores

SIQ1.1.4 Utilização dos objectivos de escola para a auto-avaliação SIQ1.1.5 Relação das acções de melhoria com os objectivos da escola

1.2

ESTRATÉGIA PARA A AUTO-AVALIAÇÃO E MELHORIA

QO: A escola tem uma estratégia clara e apropriada para a avaliação sistemática da qualidade do seu trabalho e para pôr em prática as medidas necessárias à sua melhoria?

SIQ1.2.1 Estratégia da escola para avaliar as áreas-chave do seu trabalho

SIQ1.2.2 Consistência do planeamento das acções de melhoria face à auto-avaliação SIQ1.2.3 Participação em actividades de auto-avaliação

SIQ1.2.4 Dispositivo de consultoria e comunicação aos encarregados de educação e outros parceiros da escola em questões de planeamento

CAMPO DE AFERIÇÃO II – AUTO-AVALIAÇÃO E VALORIZAÇÃO DOS RECURSOS 2.1

RECURSOS HUMANOS

QO: Como é que a escola avalia e melhora o desempenho pessoal?

SIQ2.1.1 Procedimentos para avaliação dos docentes e não docentes SIQ2.1.2 Condições para o desenvolvimento profissional

SIQ2.1.3 Relação do desenvolvimento profissional com o planeamento das acções de melhoria

2.2

RECURSOS FINANCEIROS E FÍSICOS QO: Como é que a escola avalia a utilização dos recursos financeiros e físicos?

SIQ2.2.1 Procedimentos para avaliação da utilização dos recursos financeiros e físicos SIQ2.2.2 Relação entre a utilização de recursos financeiros e físicos e o planeamento das

acções de melhoria

CAMPO DE AFERIÇÃO III – AUTO-AVALIAÇÃO E MELHORIA DOS PROCESSOS ESTRATÉGICOS

3.1

LINHAS ORIENTADORAS E PADRÕES DE QUALIDADE

QO: Com que segurança transmite a escola uma ideia clara de práticas e de padrões de qualidade que devem ser alcançados na implementação dos processos estratégicos?

SIQ3.1.1 Existência de linhas orientadoras e padrões de qualidade para as principais actividades da escola

SIQ3.1.2 Utilização das linhas orientadoras e padrões de qualidade

3.2

PLANEAMENTO E IMPLEMENTAÇÃO DAS ACTIVIDADES DE AUTO-AVALIAÇÃO QO: Qual a qualidade da avaliação que a escola faz dos seus processos estratégicos?

SIQ3.2.1 Dimensão do processo de auto-avaliação SIQ3.2.2 Utilização das opiniões dos parceiros SIQ3.2.3 Consistência e fiabilidade da auto-avaliação SIQ3.2.4 Utilização do aconselhamento externo

3.3

PLANEAMENTO E IMPLEMENTAÇÃO DE ACÇÕES DE MELHORIA

QO: Os resultados da auto-avaliação traduzem-se em planos de acção com impacto efectivo na melhoria dos processos estratégicos?

SIQ3.3.1 Selecção de prioridades

SIQ3.3.2 Condições para o desenvolvimento de acções de melhoria SIQ3.3.3 Implementação efectiva de acções de melhoria

CAMPO DE AFERIÇÃO IV – AUTO-AVALIAÇÃO E EFEITOS NOS RESULTADOS EDUCATIVOS

4.1

AUTO-AVALIAÇÃO DOS RESULTADOS EDUCATIVOS

QO: Qual a qualidade da monitorização e avaliação que a escola faz dos seus resultados educativos?

SIQ4.1.1 Envolvimento dos docentes/não docentes na avaliação dos resultados educativos SIQ4.1.2 Informação utilizada

SIQ4.1.3 Utilização dos indicadores e padrões de qualidade SIQ4.1.4 Monitorização do progresso dos alunos

SIQ4.1.5 Envolvimento dos parceiros 4.2

EFECTIVIDADE DA AUTO-AVALIAÇÃO NA MELHORIA DO DESEMPENHO GLOBAL QO: Em que medida existam evidencias de que a auto-avaliação levou a melhorias do desempenho global?

SIQ4.2.1 Nível de satisfação dos parceiros SIQ4.2.2 Evidências factuais da melhoria

(16)

4. Escala de apreciação

O roteiro inclui uma escala de quatro níveis para a aferição, com o intuito de proporcionar um entendimento partilhado, enunciando, para cada IQ, o perfil de uma caracterização de nível Bom, que corresponde à ilustração do Nível 3 da escala. A aferição da efectividade da auto-avaliação, para cada IQ, é, portanto, realizada de forma objectiva e sustentada, pela equipa inspectiva (Quadro I.4.1):

NÍVEL 4 Muito bom – As evidências relativas a este IQ comprovam que a UG superou _{claramente o objectivo. Nos SIQ considerados, o desempenho da UG ultrapassou o} esperado para o contexto, face ao contemplado no normativo e às práticas comuns.

NÍVEL 3 Bom – As evidências relativas a este IQ comprovam que a UG cumpriu plenamente o _{objectivo. Nos SIQ considerados, o desempenho da UG é dominado por pontos fortes}

em tudo o que é essencial.

NÍVEL 2 Satisfaz_{regista um número significativo de pontos fortes, podendo existir aspectos a corrigir,} – As evidências relativas a este IQ comprovam que o desempenho da UG

desde que não afectem significativamente a eficácia do IQ apreciado. O objectivo ficou perto de ser totalmente cumprido.

NÍVEL 1 Não satisfaz_{cumprir o objectivo. Nos SIQ considerados, o desempenho da UG regista um número} – As evidências relativas a este IQ comprovam que a UG ficou longe de significativo de pontos fracos, podendo existir alguns aspectos positivos, pouco relevantes, para a eficácia do IQ apreciado.

A apreciação do processo de auto-avaliação tem em conta os campos de incidência delimitados pelos IQ e fundamenta-se na demonstração da correcção de procedimentos e na efectividade dos resultados educativos alcançados, mediante as evidências recolhidas.

5. Metodologia da intervenção

A aferição da Efectividade da auto-avaliação das escolas desenvolve-se a partir de uma atitude de interpelação que decorre da seguinte questão orientadora:

Qual a efectividade da auto-avaliação que a UG faz da qualidade do seu funcionamento e dos serviços que presta, de forma a desenvolver acções que contribuam para reforçar os seus pontos fortes e superar os pontos fracos?

A interpelação sobre as práticas em uso nas UG conduz à demonstração de evidências dos procedimentos para a prossecução dos objectivos e dos resultados obtidos. Os juízos de valor registados pelos inspectores, na escala de 4 níveis, têm por base a verificação da distância entre a situação encontrada e o referente construído (matriz conceptual).

(17)

Cabe à equipa inspectiva questionar sobre as estratégias de avaliação escolhidas e os resultados alcançados e ao interpelado comprovar a efectividade dos procedimentos, demonstrando a sua correcção e eficácia.

O processo de aferição desenvolvido pela IGE produz informação de retorno para as UG, que se pretende que constitua um factor indutor de uma cultura institucional de qualidade e de aperfeiçoamento.

6. Critérios de selecção das Unidades de Gestão

O universo de intervenção desta actividade compreende os estabelecimentos de educação pré-escolar e de ensino básico e secundário da rede pública. A IGE, ponderados os recursos disponíveis e a capacidade de realização, seleccionou anualmente um conjunto significativo de UG, visando a desejável representatividade do trabalho executado.

A selecção das UG é realizada pelos Serviços Centrais da IGE em articulação com as Delegações Regionais, tendo em conta critérios como:

• proporcionalidade regional;

• distribuição representativa das Unidades em função dos níveis de Índice de Desenvolvimento Social (IDS) dos concelhos onde estão localizadas;

• UG com vivências conhecidas de situações de auto-avaliação;

• inclusão de UG (cerca de 50%) de uma lista de escolas intervencionadas no âmbito do Programa de Avaliação Integrada das Escolas.

(18)

II – DADOS GERAIS

1. Universo da intervenção

Nos anos de 2005 e 2006 foram aferidas 101 UG (Quadro II.1.1), que compreendem 792 estabelecimentos de educação e de ensino, de diferentes tipologias, frequentadas por 105 584 alunos.

Q

UADRO

II.1.1

–

U

NIDADES INTERVENCIONADAS POR

D

IRECÇÃO

R

EGIONAL DE

E

DUCAÇÃO Direcção Regional de Educação UG

Norte (DREN) 42

Centro (DREC) 19

Lisboa e Vale do Tejo (DRELVT) 21

Alentejo (DREALT) 11

Algarve (DREALG) 8

Totais 101

Os dados referentes às UG intervencionadas foram desagregados em função de factores exógenos e endógenos, que pareceram influenciar o seu desempenho. Esta desagregação teve como objectivo identificar a possível influência destes factores na qualidade do desempenho em processos de auto-avaliação.

No que respeita aos factores exógenos, considerou-se a localização geográfica, em termos da repartição do território nacional por Direcções Regionais de Educação2_{e o Índice de Desenvolvimento}

Social (IDS) do concelho a que pertencem.

Os factores endógenos visaram o tipo de organização, a intervenção no âmbito do Programa Avaliação Integrada das Escolas e a dimensão.

Factores exógenos às Unidades intervencionadas

O maior número de UG intervencionadas (Gráfico II.1.1) ocorreu na área de influência da DREN, com 41%, a que se seguiu a da DRELVT com 21% (sub-representada face ao universo de escolas a intervir) e a da DREC com 19%. Com uma percentagem menor, embora sobre-representadas, encontram-se a DREALT e a DREALG, respectivamente, com 11 e 8 %.

2_{Direcções Regionais de Educação – Áreas das Delegações Regionais da IGE: Direcção Regional de Educação do} Norte (DREN), Direcção Regional de Educação do Centro (DREC), Direcção Regional de Educação de Lisboa e Vale do Tejo (DRELVT), Direcção Regional de Educação do Alentejo (DREALT) e Direcção Regional do Algarve (DREALG).

(19)

O Índice de Desenvolvimento Social (IDS)3_{, outro dos factores exógenos considerados, permitiu}

distribuir as UG em função dos níveis de desenvolvimento concelhio. A maioria destas UG (Gráfico II.1.2) está localizada em concelhos com um elevado IDS – nível 4 (60%), seguida das de nível 3 (23%).

3_{IDS – Calculado com base na esperança de vida à nascença, no nível educacional e no conforto e saneamento} (Portaria n.º 200/2004, de 4 de Fevereiro).

8%

11%

21%

19%

41%

GRÁFICO II.1.1 – DISTRIBUIÇÃO DAS UG EM FUNÇÃO DA DIRECÇÃO

REGIONAL DE EDUCAÇÃO ONDE ESTÃO LOCALIZADAS

8%

9%

23%

60%

GRÁFICO II.1.2 – DISTRIBUIÇÃO DAS UG EM FUNÇÃO DO ÍNDICE DE

DESENVOLVIMENTO SOCIAL

DREALG

DREALT

DRELVT

DREC

DREN

Nível 1

Nível 2

Nível 3

Nível 4

(20)

Factores endógenos das Unidades intervencionadas

Analisados os factores exógenos, importa conhecer a distribuição das UG intervencionadas em função dos factores endógenos atrás mencionados.

Tipo de organização

Os dados referentes às UG foram desagregados em função da sua organização – escolas singulares (S) e agrupamentos de escolas (A). A maioria das UG constitui-se em agrupamentos (77%), correspondendo as restantes a escolas singulares (23%).

Intervenção no âmbito do Programa Avaliação Integrada das Escolas

As UG distribuem-se, de um modo equilibrado, entre as que foram e as que não foram objecto de intervenção no âmbito do Programa Avaliação Integrada das Escolas – 49 % e 51 %, respectivamente.

Dimensão

A desagregação dos dados, em função da dimensão das UG intervencionadas, foi medida pelo número de escolas que as compõem – singulares, agrupamentos de pequena dimensão (2 a 5 escolas), agrupamentos de média dimensão (6 a 10 escolas) e agrupamentos de grande dimensão (>10 escolas). As UG constituídas por escolas singulares e por agrupamentos de pequena dimensão (Gráfico II.1.3) apresentam valores percentuais mais significativos (23% e 45%), sendo menor o peso das Unidades compostas por agrupamentos de grande e de média dimensão (20% e 12%).

20%

12%

45%

23%

GRÁFICO II.1.3 – DISTRIBUIÇÃO DAS UG EM FUNÇÃO DA SUA DIMENSÃO

Singulares

Pequena dimensão

Média dimensão Grande dimensão

(21)

III – AVALIAÇÃO DOS RESULTADOS

A avaliação das UG suporta-se na apreciação dos 9 IQ da totalidade das Unidades intervencionadas e estrutura-se, como anteriormente referido, numa análise global e numa análise desagregada de dados em função dos factores exógenos e endógenos.

1. Análise global de resultados

A análise global de resultados visa dar uma noção da distribuição das avaliações, a nível nacional e regional, pelos 4 níveis da escala.

Níveis atribuídos

O gráfico seguinte mostra a partilha, pelos 4 níveis da escala, das 909 avaliações registadas pelos inspectores, nos 9 IQ observados e aferidos. O Nível 2 – Satisfaz – foi o atribuído com maior frequência (57 %), enquanto o Nível 3 – Bom – ocorreu em 21 % das avaliações e o Nível 1 – Não satisfaz – em 22%. O Nível 4 – Muito Bom – verificou-se apenas em três avaliações. Assim, quase num quarto das apreciações foi observado um trabalho de qualidade elevada (níveis 3 e 4).

A análise dos 9 IQ, com recurso à média ponderada4

4_{Média ponderada – Valor que resulta do quociente entre a soma dos produtos dos níveis pelas respectivas} frequências e o total das frequências observadas.

(Quadro III.1.1), comprova que o valor mais elevado (2,3) situa-se no IQ 4.1 – Auto-avaliação dos resultados educativos, resultando um número superior de pontos fortes. Os indicadores 1.1 – Objectivos e valores, 2.1 – Recursos Humanos e 2.2 – Recursos financeiros e físicos obtiveram também apreciações significativamente superiores (2,2), portanto com um desempenho Satisfatório apesar de múltiplas fragilidades detectadas ao nível da definição de referenciais de avaliação e da sistematização e consistência das acções de avaliação desenvolvidas.

22%

57%

21%

<1%

GRÁFICO III.1.1 – DISTRIBUIÇÃO DOS NÍVEIS ATRIBUÍDOS EM TODOS OS IQ

Nível 1

Nível 2

(22)

O desempenho não satisfatório, igualmente obtido com recurso à média ponderada, foi encontrado nos Indicadores 3.1 – Linhas orientadoras e padrões de qualidade, 3.2 – Planeamento e implementação das actividades de auto-avaliação e 4.2 – Efectividade da auto-avaliação na melhoria do desempenho global, o que revela a existência de muitos pontos fracos e indicia que as UG não avaliam a consequência das suas acções.

Q

UADRO

III.1.1

–

I

NDICADORES DE

Q

UALIDADE

–

M

ÉDIAS

P

ONDERADAS

Indicador de

Qualidade ponderadas Médias IQ1.1 2,2 IQ1.2 2,0 IQ2.1 2,2 IQ2.2 2,2 IQ3.1 1,8 IQ3.2 1,8 IQ3.3 2,0 IQ4.1 2,3 IQ4.2 1,6

A média geral, calculada a partir da soma das médias ponderadas dos IQ (Gráfico III.1.2) em todas as UG, foi de 2,0, o que significa que o desempenho médio das UG, nos 9 Indicadores, situa-se no limiar do aceitável.

GRÁFICO III.1.2 – AVALIAÇÃO POR IQ – MÉDIAS PONDERADAS

2,2 2 2,2 2,2 1,8 1,8 2 2,3 1,6 0 0,5 1 1,5 2 2,5 1.1 1.2 2.1 2.2 3.1 3.2 3.3 4.1 4.2 M éd ias P on de rad as Indicadores de Qualidade Média = 2

(23)

2. Análise de dados desagregados

Na sequência da análise global importa, agora, entender o comportamento dos potenciais factores exógenos e endógenos com influência na qualidade do desempenho das UG, em matéria de auto-avaliação, com recurso à desagregação de dados.

Resultados por Direcção Regional de Educação

Esta análise (Quadro III.1.2) visou conhecer a qualidade do desempenho das UG em cada região. Porém, o número de intervenções permite, apenas, obter uma visão da qualidade dos processos de avaliação, apontando para tendências.

A média ponderada mais alta ocorreu no IQ 4.1 – Auto-avaliação dos resultados educativos e no IQ 1.2 – Estratégia para a auto-avaliação e melhoria, respectivamente com 2,8 e 2,6, na área da DREALG. É, ainda, possível constatar, que seis dos 9 IQ obtiveram o nível médio mais elevado nesta mesma Direcção Regional.

Na DREALT e na DRELVT os níveis médios mais elevados verificaram-se, respectivamente, no IQ 2.2 – Recursos financeiros e físicos (2,5) e no IQ 4.2 – Efectividade da auto-avaliação na melhoria do desempenho global (2,0).

O valor médio mais elevado, a nível regional, no conjunto dos 9 IQ, foi igualmente atribuído às UG aferidas na área da DREALG (2,4), ao passo que as intervencionadas na DREN e na DREC obtiveram os níveis médios mais baixos, respectivamente 1,8 e 1,9.

Q

UADRO

III.1.2

–

I

NDICADORES DE

Q

UALIDADE

–

D

ISTRIBUIÇÃO DOS

N

ÍVEIS

M

ÉDIOS

P

ONDERADOS

,

POR

D

IRECÇÃO

R

EGIONAL DE

E

DUCAÇÃO

IQ

DRE IQ1.1 IQ1.2 IQ2.1 IQ2.2 IQ3.1 IQ3.2 IQ3.3 IQ4.1 IQ4.2 MÉDIA

DREN 2,2 1,7 2,3 2,1 1,5 1,5 1,8 2,0 1,4 1,8 DREC 2,1 1,9 2,1 2,1 1,8 1,8 1,7 2,1 1,7 1,9 DRELVT 2,3 2,2 2,1 2,2 2,3 2,0 2,6 2,2 2,0 2,2 DREALT 2,5 2,0 2,2 2,5 1,7 1,9 2,0 2,0 1,5 2,0 DREALG 2,5 2,6 2,5 2,0 2,4 2,3 2,4 2,8 1,9 2,4 IDS concelhio

O objectivo desta análise (Quadro III.2.1) foi o de identificar a possível influência do IDS do concelho na qualidade do desempenho das UG, em matéria de auto-avaliação, tendo em conta o número de Unidades intervencionadas em cada uma das categorias. Em síntese, constata-se que as localizadas em concelhos com:

• IDS1 – menor desenvolvimento social têm o valor médio mais elevado em 7 dos nove indicadores (8 UG);

• IDS2 – não obtiveram destaque em nenhum dos IQ (9UG);

• IDS3 – obtiveram o valor médio mais elevado no IQ 3.2 – Planeamento e Implementação das Actividades de Auto-Avaliação (23 UG);

(24)

Os valores da média ponderada dos IQ distribuídos pelo IDS dos concelhos onde se localizam as UG não se afiguram como conclusivos. O nível médio mais elevado respeita às UG de concelhos de IDS1 (2,1), surgindo, de seguida, as dos concelhos de IDS3 e de IDS4 (2,0). As Unidades situadas em concelhos com o IDS2 encontram-se abaixo do nível satisfatório.

Q

UADRO

III.2.1

–

I

NDICADORES DE

Q

UALIDADE

–

D

ISTRIBUIÇÃO DOS

N

ÍVEIS

M

ÉDIOS

P

ONDERADOS

,

POR

Í

NDICE DE

D

ESENVOLVIMENTO

S

OCIAL

IQ

IDS IQ1.1 IQ1.2 IQ2.1 IQ2.2 IQ3.1 IQ3.2 IQ3.3 IQ4.1 IQ4.2 MÉDIA IDS1 2,5 2,1 2,4 2,4 2,3 1,8 2,1 2,1 1,5 2,1

IDS2 1,9 1,7 1,9 2,0 1,6 1,7 1,9 2,1 1,6 1,8

IDS3 2,5 2,0 2,2 2,1 1,7 2,0 2,0 2,1 1,7 2,0

IDS4 2,1 2,0 2,3 2,2 1,8 1,8 2,0 2,1 1,6 2,0

MÉDIA 2,3 2,0 2,2 2,2 1,9 1,8 2,0 2,1 1,6 2,0

Tipo de organização das Unidades de Gestão

Esta análise (Quadro III.2.2) procurou identificar a influência da organização das UG na qualidade do seu desempenho em matéria de auto-avaliação. As médias ponderadas dos 9 IQ distribuídos em função dessa organização – escolas singulares (23 UG) e agrupamentos de escolas, verticais ou horizontais (78 UG) – permitem concluir que as escolas singulares obtiveram valores superiores na totalidade dos IQ. No entanto, com recurso aos valores médios, não é muito visível a influência do Tipo de Organização da UG no desempenho.

Q

UADRO

III.2.2

–

I

NDICADORES DE

Q

UALIDADE

–

D

ISTRIBUIÇÃO DOS

N

ÍVEIS

M

ÉDIOS

P

ONDERADOS

,

POR

T

IPO DE

O

RGANIZAÇÃO DA

U

NIDADE DE

G

ESTÃO

IQ Tipo

de Organ,

IQ1.1 IQ1.2 IQ2.1 IQ2.2 IQ3.1 IQ3.2 IQ3.3 IQ4.1 IQ4.2 MÉDIA

Singular 2,4 2,1 2,3 2,3 2,0 1,9 2,1 2,4 1,7 2,1

Agrupamento 2,2 1,9 2,2 2,1 1,8 1,8 2,0 2,2 1,6 2,0

MÉDIA 2,3 2,0 2,3 2,2 1,9 1,9 2,1 2,3 1,7 2,1

UG intervencionadas no âmbito do Programa Avaliação Integrada das Escolas

O objectivo desta análise (Quadro III.2.3) foi o de detectar, no desempenho das UG, a possível influência da intervenção do Programa Avaliação Integrada das escolas. O desempenho em 8 IQ, embora com valores próximos, revelou-se superior nas UG onde decorreu o referido Programa (50), relativamente às não intervencionadas (51). Apenas no IQ 2.1 – Recursos humanos, os valores das médias ponderadas foram iguais nos dois casos. Verifica-se, assim, que o desempenho global é Satisfatório nas escolas onde anteriormente se realizou o programa, enquanto nas restantes os níveis mínimos de qualidade não atingiram este valor.

(25)

Q

UADRO

III.2.3

–

I

NDICADORES DE

Q

UALIDADE

–

D

ISTRIBUIÇÃO DOS

N

ÍVEIS

M

ÉDIOS

P

ONDERADOS

,

POR

E

SCOLAS QUE FORAM OU NÃO OBJECTO DE AVALIAÇÃO INTEGRADA DE ESCOLAS

IQ

AVI IQ1.1 IQ1.2 IQ2.1 IQ2.2 IQ3.1 IQ3.2 IQ3.3 IQ4.1 IQ4.2 MÉDIA Não AVI 2,2 1,8 2,2 2,1 1,6 1,7 1,8 2,1 1,5 1,9 Sim AVI 2,3 2,1 2,2 2,3 2,0 1,9 2,2 2,2 1,8 2,1 O gráfico III.2.1 traduz os resultados do Quadro anterior, destacando um valor médio de desempenho superior para as Unidades intervencionadas no âmbito do referido Programa. Afigura-se, pois, que o Programa Avaliação Integrada das Escolas teve reflexos na qualidade dos processos de auto-avaliação actualmente desenvolvidos.

GRÁFICO III.2.1 – MÉDIAS PONDERADAS NOS 9 IQ DISTRIBUÍDOS POR ESCOLAS QUE FORAM

OU NÃO OBJECTO DE AVALIAÇÃO INTEGRADA DAS ESCOLAS

Dimensão

O objecto deste estudo (Quadro III.2.4) foi o de identificar a provável influência da dimensão das UG, categorizada em função do número de escolas que a compõem, na qualidade do seu desempenho em matéria de auto-avaliação.

Os agrupamentos de média dimensão (entre 6 e 10 escolas) obtiveram as médias ponderadas mais altas em 6 dos indicadores, a saber:

• IQ 1.2 – Estratégia para a auto-avaliação e melhoria

• IQ 2.1 – Recursos Humanos

• IQ 2.2 – Recursos Financeiros e Físicos

• IQ 3.1 – Linhas Orientadoras e Padrões de Qualidade

• IQ 3.3 – Planeamento e Implementação de Acções de Melhoria

• IQ 4.1 – Auto-Avaliação dos Resultados Educativos 0 0,5 1 1,5 2 2,5 3 3,5 4

IQ1.1 IQ1.2 IQ2.1 IQ2.2 IQ3.1 IQ3.2 IQ3.3 IQ4.1 IQ4.2

M éd ia P on der ada Indicadores de Qualidade Sem Avaliação Com Avaliação

(26)

E as escolas singulares:

• IQ 1.1 – Objectivos e Valores

• IQ 1.2 – Estratégia para a Auto-Avaliação e Melhoria

• IQ 3.2 – Planeamento e Implementação das Actividades de Auto-Avaliação

• IQ 4.1 – Auto-Avaliação dos Resultados Educativos

Não obstante, em dois casos surgem valores iguais aos dos agrupamentos de média dimensão (IQ 1.2 e IQ 4.1). Por seu turno, os agrupamentos de grandes dimensões (mais de 10 escolas) registaram as médias mais baixas em 5 indicadores: IQ 1.2, IQ 3.1, IQ 3.2, IQ 3.3 e IQ 4.2 Efectividade da Auto-Avaliação na Melhoria do Desempenho Global. As UG com um desempenho Satisfatório são constituídas por agrupamentos de média dimensão (2,2) e por escolas singulares (2,1).

Q

UADRO

III.2.1

–

I

NDICADORES DE

Q

UALIDADE

–

D

ISTRIBUIÇÃO DOS

N

ÍVEIS

M

ÉDIOS

P

ONDERADOS

,

POR

D

IMENSÃO DA

U

NIDADE DE

G

ESTÃO

IQ

Dimensão IQ1.1 IQ1.2 IQ2.1 IQ2.2 IQ3.1 IQ3.2 IQ3.3 IQ4.1 IQ4.2 MÉDIA Agrup. grande 2,2 1,9 2,3 2,2 1,6 1,7 1,8 2,0 1,5 1,9 Agrup. médio 2,3 2,1 2,6 2,4 2,2 1,8 2,6 2,3 1,6 2,2 Agrup. pequeno 2,1 1,9 2,1 2,0 1,8 1,8 1,9 2,1 1,7 1,9 Singulares 2,4 2,1 2,3 2,3 2,0 1,9 2,1 2,3 1,6 2,1 MÉDIA 2,3 2,0 2,3 2,2 1,9 1,8 2,1 2,2 1,6 2,0

Síntese

A análise global e desagregada do comportamento dos potenciais factores exógenos e endógenos com influência no desempenho das UG, em matéria de auto-avaliação, indicia:

 Tendência para um melhor desempenho das UG localizadas na área de influência da DREALG;

 Inexistência de uma relação causa - efeito linear entre o nível do IDS dos concelhos onde se situam as UG e a qualidade dos seus processos de auto-avaliação;

 Qualidade superior dos resultados das escolas singulares quando comparadas com os agrupamentos;

 Melhor desempenho das UG intervencionadas no âmbito do Programa Avaliação Integrada das Escolas;

(27)

IV – DADOS CARACTERIZADORES DE EXPERIÊNCIAS DE

AVALIAÇÃO INTERNA

Um dos objectivos das intervenções desenvolvidas, no âmbito da actividade de aferição da Efectividade da auto-avaliação das escolas, foi o de caracterizar os processos de auto-avaliação ou avaliação interna nas UG intervencionadas. Para tal, as equipas de inspectores procederam:

 Em primeiro lugar, à identificação de práticas de avaliação implementadas por elementos da própria Unidade ou por entidades externas – em ambos os casos, as UG assumiram um papel de relevo e utilizaram os dados de modo a servir os objectivos internos. Tratou-se da fase de sinalização da experiência.

 Numa segunda fase, procuraram caracterizar as práticas ou experiências de auto-avaliação e de avaliação interna, com recurso à matriz predefinida, o que correspondeu à fase do relato das experiências.

A matriz compreende 10 elementos: objecto da avaliação, objectivo(s), iniciadores e implementadores, apoio externo, modalidades de apoio externo, metodologia utilizada, aspectos organizativos, respondentes, efeitos da avaliação e reflexões sobre a avaliação.

Para melhor caracterizar cada elemento da matriz foram criadas categorias, o que permitiu destacar a especificidade de cada UG e, ainda, em termos globais, proceder a uma análise conjunta, identificando e agrupando o que há de comum e de diferente. Assim, este processo permitiu conhecer preferências e tendências.

A caracterização de cada elemento da matriz consistiu, basicamente, na construção de:

• uma caixa com a identificação das categorias criadas e a explicação do seu significado;

• gráficos que permitem visualizar as tendências e ilustrar a análise realizada.

Nos elementos aspectos organizativos, efeitos e reflexões foram, ainda, incluídos exemplos extraídos dos Relatórios de Escola, com o intuito de melhor ilustrar a sua diversidade.

Em 101 Unidades de Gestão intervencionadas verificou-se que:

• três não tiveram qualquer registo de experiências de auto-avaliação ou de avaliação interna;

• nas restantes 98, foram registadas, para cada Unidade, entre 1 a 3 experiências (número limite), tendo, no seu conjunto, totalizado 231.

(28)

1. Objecto da avaliação

Neste elemento, os dados foram recolhidos e organizados em função das seguintes categorias: A – aprendizagens curriculares dos alunos, a nível de processo e de resultados.

B – projectos de escola, independentemente da sua natureza (educativos, curriculares ou de complemento curricular).

C – organização escola (aqui entendida como UG), nomeadamente o funcionamento dos órgãos de gestão e administração, as interacções entre a escola e a comunidade, o dispositivo interno de comunicação ou as directrizes que regem o seu funcionamento.

D – recursos, tais como Bibliotecas/Centros de Recursos, equipamentos educativos e serviços (cantina, papelaria, bufete, etc.).

E – estudos prospectivos ou para a investigação, tais como os diagnósticos das características de uma população ou a meta-avaliação5_.

O elemento Objecto identifica, em cada uma das experiências sinalizadas, o enfoque da avaliação. O gráfico IV.1.1 permite visualizar o objecto de avaliação das 231 experiências sinalizadas agrupado em categorias6_.

O valor mais significativo das avaliações sinalizadas incidiu sobre os projectos de escola (43%) e as aprendizagens curriculares dos alunos (23%). Com valores inferiores, e próximos entre si, encontram-se as avaliações de aspectos organizacionais (15%) e dos recursos (11%). Finalmente, com menor peso, encontram-se as avaliações que decorreram no âmbito de estudos prospectivos e de investigação (8%).

5_{A meta-avaliação – Avaliação do próprio dispositivo de avaliação.}

6_{Duas das avaliações sinalizadas têm um duplo enfoque de avaliação, combinando as categorias B e E, num} caso, e A e C no outro. Por este motivo, os cálculos apresentados tiveram como base 233 objectos de avaliação.

A

23%

B

43%

C

15%

D

11%

E

8%

(29)

2. Objectivo da avaliação

Neste elemento, os dados foram recolhidos e organizados em função das seguintes categorias:

A – melhoria das produções dos alunos, quer de natureza académica (aprendizagens e resultados escolares), quer de desenvolvimento de comportamentos e atitudes.

B – melhoria das condições da escola, em termos de recursos ou de serviços prestados.

C – melhoria da própria organização escolar, nomeadamente, em termos de eficiência dos órgãos de gestão e administração, da imagem e do grau de satisfação dos utentes.

D – melhoria das ofertas formativas, curriculares ou extracurriculares (actividades e projectos).

E – produção de informação sobre o objecto avaliado, para um melhor conhecimento, independentemente da ulterior utilização.

O Objectivo pretende identificar, em cada uma das experiências sinalizadas, a intencionalidade do processo de avaliação desencadeado.

O gráfico IV.2.1 visualiza os objectivos das 231 avaliações agrupadas em categorias.7

O objectivo, em 25% das situações, foi o de melhorar as ofertas formativas da escola, a nível curricular ou a nível de projectos extra-curriculares. A melhoria das produções dos alunos, nomeadamente os resultados escolares, foram, em 23% dos casos, o objectivo da avaliação interna, ao passo que em 22% das experiências o propósito foi o de conhecer melhor o objecto avaliado, sem que houvesse a intencionalidade de uma tomada de decisão. A qualidade da própria organização escolar, e dos seus recursos e serviços, constituem o objectivo de 17% e 13%, respectivamente, das avaliações internas sinalizadas.

7_{Duas das avaliações sinalizadas têm explícitas em si dois objectivos de avaliação, combinando as categorias C e} E, num caso, e D e E, no outro. Por este motivo, os cálculos apresentados tiveram como base 233 objectivos de avaliação.

A

23%

B

13%

C

17%

D

25%

E

22%

(30)

3. Iniciadores e implementadores do processo de avaliação

Neste elemento, os dados foram recolhidos e organizados em função das seguintes categorias: A – internos: os iniciadores e implementadores que fazem parte da comunidade escolar8

B – externos: os iniciadores e implementadores que não integram a comunidade escolar, nomeadamente, os pais, os parceiros e os Serviços do Ministério da Educação.

, ou seja, os regulares utilizadores da UG.

C – os iniciadores e implementadores que reúnem elementos das categorias anteriores.

O elemento Iniciadores e implementadores do processo de avaliação reconhece os elementos envolvidos directamente na iniciativa e na operacionalização da avaliação, agrupando-os em categorias consoante a sua natureza – internos e externos. Foi, ainda, criada uma outra categoria prevendo a possibilidade de um trabalho conjunto.

O gráfico IV.3.1 mostra a taxa de envolvimento de elementos internos e externos à comunidade escolar nas 231 experiências sinalizadas.

A maioria dos processos de avaliação – 86% – foram desencadeados e implementados por elementos internos. Em 13% das experiências sinalizadas, a avaliação resultou de um trabalho conjunto de elementos internos e externos, sendo de notar que 1% das avaliações foram realizadas por elementos externos.

8_{Comunidade escolar - Pessoal docente e não-docente, alunos, e pais e encarregados de educação que} participam nos órgãos de gestão e administração da escola.

A

86%

B

1%

_13%

C

(31)

4. Apoio externo

Neste elemento, os dados foram recolhidos e organizados em função das seguintes categorias: A – apoio por um Centro de Formação de Associações de Escolas (CFAE).

B – apoio por uma organização local, nomeadamente, a autarquia ou a biblioteca municipal.

C – apoio por especialistas, quer a nível individual, como é o caso dos amigos críticos, quer a nível de instituições de ensino superior ou outras com conhecimento científico relevante.

D – apoio a nível institucional, designadamente, por Serviços do Ministério da Educação, tais como Rede de Bibliotecas Escolares ou escolas.

N – sem qualquer tipo de apoio externo.

No Apoio externo procurou-se assinalar os processos que contaram com a colaboração de elementos exteriores à comunidade escolar e, nesses casos, identifica-los em função das categorias consideradas.

A maioria das avaliações sinalizadas não recorreu a apoio externo (53%). Nas situações em que tal ocorreu (Gráfico IV.4.1) constatou-se que as UG obtiveram o apoio de elementos externos (47%), nomeadamente, de Serviços tutelados pelo Ministério da Educação (17%), de especialistas (16%) e de organizações locais (10%). O apoio prestado pelos Centros de Formação de Associações de Escolas (CFAE) efectuou-se, apenas, em 4% das avaliações.

As situações em que se verificou apoio9_{externo utilizaram, na maioria dos casos, um único apoio}

(71%). A utilização de dois (26%) ou três (3%) apoios ocorreram com menor frequência.

9_{A designação de apoio corresponde aqui a uma categoria de elementos que prestou apoio.}

A

4%

B

10%

C

16%

D

17%

N

53%

(32)

5. Modalidades de apoio externo

Neste elemento, os dados foram recolhidos e organizados em função das seguintes categorias: A – apoio de carácter formativo ou informativo.

B – apoio logístico, nomeadamente financeiro, cedência de equipamentos ou de espaços.

C – apoio directo ao processo de avaliação, desde a concepção dos instrumentos até à sua aplicação. D – apoio no processamento e análise de dados.

O elemento Modalidade10_{de apoio externo identifica o tipo de apoio prestado, agrupado em} categorias.

Nas experiências que recorreram a apoio externo (47%), constatou-se que a formação ou a informação dada aos elementos responsáveis pela implementação da avaliação (59%) foi a mais comum (Gráfico IV.5.1). As restantes modalidades, com menor expressão, ocorreram sob a forma de apoio logístico, nomeadamente, ao nível dos equipamentos, materiais ou instalações (19%), do apoio directo ao processo de avaliação (11%) e ao tratamento de dados (11%).

O apoio externo utilizou, na maioria das situações, uma única modalidade de apoio (66%). No entanto, foram sinalizadas situações como recurso a 2 (31%) ou a 3 (3%) modalidades de apoio.

10_{Modalidade – Categoria que pode aglutinar vários tipos de apoio com características semelhantes entre si.}

A

59%

B

19%

C

11%

D

11%

(33)

6. Metodologia utilizada

Neste elemento, os dados foram recolhidos e organizados em função das seguintes categorias:

A – suportes escritos (questionários, testes, ou grelhas de objectivos) preenchidos directamente pelos respondentes.

B – entrevistas.

C – dados numéricos (tratamento estatístico, pautas de resultados escolares, etc.) utilizados para comparação entre escolas.

D – análise documental, excepto quando resulta na produção quase exclusiva de dados numéricos, os quais já estão incluídos na categoria anterior.

E – processos de observação de situações presenciais ou de imagens (filme ou fotografia).

F – situações de comunicação que não as entrevistas – reuniões, painéis, debates, ou contactos informais.

O elemento Metodologia utilizada reconhece a diversidade de técnicas, a sua incidência e combinação. A incidência das diversas técnicas utilizadas nas 231 avaliações sinalizadas, agrupadas em categorias (Gráfico IV.6.1), mostra a preferência pela aplicação de questionários (38%), seguindo-se as avaliações com base na análise documental (23%). Menos significativa, foi a utilização de informação obtida em situações de comunicação pouco estruturada (reuniões e debates) e de dados numéricos, nomeadamente os que foram extraídos de pautas (15%). As técnicas de observação foram pouco utilizadas (7%) e o recurso a entrevistas foi inexpressivo (2%).

Regista-se uma predominância de experiências que usaram mais do que uma técnica de avaliação (69%), mais precisamente a duas (41%), três (16%) ou quatro (2%). Porém, um número muito significativo de experiências utilizou uma única técnica (41%).

A

38%

B

2%

C

15%

D

23%

E

7%

F

15%

(34)

7. Aspectos organizativos

Neste elemento, os dados foram recolhidos e organizados, em função da duração do processo de avaliação, nas seguintes categorias:

A – trimestral ou período inferior. B – anual.

C – período superior a um ano. D – pontual.

N – sem indicação da duração ou da temporização do processo de avaliação.

O elemento Aspectos organizativos deu particular atenção à natureza temporal dos mesmos, designadamente, à duração do processo de avaliação e ao registo dos momentos críticos.

Os cálculos dos valores foram realizados a partir de 76% das avaliações sinalizadas, uma vez que nas restantes 24% não foram feitas referências, de natureza temporal, que permitissem ter a noção da sua duração.

Os processos de avaliação anuais foram identificados em 47% das situações onde constam referências de natureza temporal (Gráfico V.7.1). Os de duração superior a um ano constituíram 30% dos casos. Os que decorreram num período com duração igual ou inferior a um trimestre e os realizados pontualmente foram sinalizados, respectivamente, em 16% e 7% das situações.

A

16%

B

47%

C

30%

(35)

8. Respondentes

11

Neste elemento, os dados foram recolhidos e organizados em função das seguintes categorias de respondentes:

A – órgãos de gestão e administração das UG ou elementos dos mesmos em sua representação:

B – docentes, independentemente da natureza das funções exercidas na escola (professor, director de turma, professor de apoio, etc.).

C – alunos matriculados nas UG.

D – pais e/ou encarregados de educação de alunos matriculados nas UG. E – não-docentes em funções nas UG.

F – outros elementos, exteriores à comunidade escolar e que não se encontravam na situação de encarregados de educação (especialistas, serviços do Ministério da Educação, autarquias, etc.).

O pessoal docente (34%) e os alunos (28%) foram os principais respondentes das 231 avaliações sinalizadas (Gráfico IV.8.1). Num segundo grupo, surgem os pais e/ou encarregados de educação (15%) e o pessoal não-docente (12%). Quase inexpressiva, foi a utilização de informação de representantes dos órgãos de gestão e administração (6%) e de elementos exteriores à comunidade escolar, que não pais e/ou encarregados de educação (5%).

A UG recorreram, de uma forma geral, a 1 (29%) ou a 2 respondentes (28%) conforme se observa no gráfico IV.8.2., onde igualmente se verifica que o recurso a 3 (20%) ou a 4 (21%) teve menor significado e é inexpressivo (2%) para mais de 4 respondentes.

11_{Respondentes – Produtor de informação utilizada para a avaliação. Por exemplo, nas situações de análise de} dados numéricos ou documental, foram designados como respondentes os produtores desses dados.

B

2%

C

28%

D

15%

E

12%

GRÁFICO IV.8.1 – RESPONDENTES

1 29%

2 28%

3 20%

4 21%

+ de 4

2%

GRÁFICO IV.8.1 – APOIO

RESPONDENTES POR AVALIAÇÃO

(36)

9. Efeitos

Neste elemento, os dados foram recolhidos e organizados em função das seguintes categorias: S – produção de efeitos da avaliação.

N – não produção de efeitos da avaliação. NR – ausência de resposta ou informação.

Nos Efeitos procurou-se recolher, junto das UG, a consciência dos impactos produzidos por cada experiência de avaliação registada pelos inspectores no decurso da acção.

Em 93% das experiências sinalizadas (Gráfico IV.9.1) registaram-se efeitos resultantes da avaliação, ao passo que em 6% tal não sucedeu, incluindo-se, nesta última situação, os processos de avaliação iniciados há pouco tempo, cujos efeitos ainda não são visíveis. No gráfico estão igualmente assinaladas, com um valor de 1%, as ausências de resposta ou de informação.

Os efeitos da avaliação fizeram-se sentir em diversas áreas da vida da escola, nomeadamente na gestão, nos projectos, nas práticas académicas e nas normas e cultura de escola, conforme o demonstram alguns extractos dos Relatórios de Escola, agrupados por assuntos afins.

S

93%

NR

1%

(37)

Efeitos sentidos em práticas de gestão e no funcionamento da organização:

a) Consolidou práticas de participação e auscultação dos actores educativos, (...) ao nível pedagógico, da produção de material didáctico (...) e da cultura de escola, com reforço da dimensão europeia da educação.

b) Definição de planos de acção de melhoria nos órgãos e estruturas de orientação educativa; aumento do sucesso escolar.

c) Introdução de alterações ao plano de acção visando a melhoria nas actividades propostas. d) Reformulações sucessivas e lançamento de experiências e de práticas inovadoras;

e) O projecto [de avaliação] tem vindo a identificar os pontos fortes e fracos da qualidade do trabalho desenvolvido pelo agrupamento.

f) …sensibilização dos alunos para as questões de higiene e de saúde.

Efeitos sentidos em projectos de escola:

a) Diversificação da oferta educativa; Reformulação de Projectos Curriculares de Turma.

b) …consequências directas na melhoria de actividades propostas para o Centro Experimental de Ciência, alargamento a maior número de alunos e a outras escolas e à participação em concursos nacionais e internacionais.

Efeitos sentidos no ensino e aprendizagem e nos resultados escolares:

a) A Escola consciencializou-se da dimensão dos seus produtos. Redução do abandono escolar. b) O projecto, resultou como elemento facilitador da revelação de novas competências dos alunos

nas diferentes disciplinas do currículo escolar.

c) Alteração nos processos de ensino-aprendizagem (…) maior utilização de estratégias que privilegiam a componente prática e (...) uma maior adequação dos conteúdos programáticos ao perfil dos alunos.

Efeitos sentidos nas normas de escola:

a) …assimilação de novas regras por parte dos alunos.

Efeitos sentidos na cultura de escola:

a) …Contributo para o desenvolvimento de uma cultura de auto-avaliação… [e] desenvolvimento de comportamentos de partilha/co-responsabilização em planos de acção...