Avaliação externa de escolas: Análise dos resultados do 1º ciclo de avaliação

Avaliação externa de escolas:

Análise dos resultados do 1º ciclo de avaliação

Carlos Barreira

Maria da Graça Bidarra Piedade Vaz-Rebelo

Faculdade de Psicologia e de Ciências da Educação da Universidade de Coimbra 27 de Outubro de 2012

Seminário "Avaliação Externa de Escolas: Princípios,

Processos e Efeitos“ FPCEUP

Objetivo geral

Divulgar alguns estudos realizados

com base nos dados obtidos no 1º

ciclo de avaliação externa de

escolas.

Questões de investigação

Qual o desempenho das escolas nos

diferentes domínios do quadro de referência

da AAE?

Quais as principais tendências que nos

revelam os dados obtidos no processo de AAE no

1º ciclo de avaliação?

Coimbra

29 de Outubro de 2009

Domínios e Factores de Avaliação

4. Liderança 1.1. Sucesso académico

1.2. Participação e desenvolvimento cívico 1.3. Comportamento e disciplina

1.4. Valorização e impacto das aprendizagens

2. A prestação do serviço educativo 2.1. Articulação e sequencialidade

2.2. Acompanhamento da prática lectiva em sala de aula

2.3. Diferenciação e apoios

2.4. Abrangência do currículo e valorização dos saberes e da aprendizagem

3. A organização e gestão escolar 3.1. Concepção, planeamento e

desenvolvimento da actividade 3.2. Gestão dos recursos humanos

3.3. Gestão dos recursos materiais e financeiros 3.4. Participação dos pais e outros elementos da comunidade educativa 3.5. Equidade e justiça 1. Resultados 4.1. Visão e estratégia 4.2. Motivação e empenho 4.3. Abertura à inovação 4.4. Parcerias, protocolos e projectos

5. Capacidade de auto-regulação e melhoria da Escola/Agrupamento 5.1. Auto-avaliação

Níveis da escala de avaliação

As classificações dos domínios e fatores que constituem o quadro

de referência são atribuídas numa escala qualitativa com quatro

níveis:



Muito Bom



Bom



Suficiente



Insuficiente

A distinção entre estes níveis faz-se tendo em conta:



O balanço entre o número de pontos fortes e fracos;



O carácter mais ou menos generalizado das ações e

procedimentos eficazes adotados pela unidade de gestão;

Pareceres do Conselho Nacional de Educação

nº5 de 2008 e nº3 de 2010



Alertam para a existência de uma certa tensão entre as

duas lógicas avaliativas presentes na AEE: a lógica

formativa e a lógica sumativa.



Referem algumas redundâncias entre alguns domínios e

fatores.



Apontam para o interesse de uma eventual hierarquização

dos domínios de avaliação e de uma explicitação dos

indicadores de cada fator e a respetiva ponderação.



Necessidade de reforçar a centralidade dos resultados.

Desempenho das escolas nos diferentes domínios

Principais tendências

Estudo A

Metodologia

Questões de investigação: Qual é o desempenho das escolas

nos diferentes domínios e quais são as principais tendências que

se evidenciam a partir da análise das classificações por domínios

das escolas avaliadas?

Base de dados



Relatórios publicados pela IGE sobre a Avaliação Externa de

Escolas, relativos a quatro anos letivos, entre 2006 e 2010

(IGE, 2008, 2009, 2010, 2011).

o

2006-2007: 100 escolas

2007-2008: 273 escolas

2008-2009: 287 escolas

2009-2010: 300 escolas

Estudo A

Metodologia

Procedimentos

 Por conveniência de representação gráfica e de análise da

evolução da classificação nos diferentes domínios, a escala de classificação nos quatro níveis de Insuficiente, Suficiente, Bom e

Muito Bom, foi convertida numa escala de 1 a 4.

 Em seguida, para cada ano letivo, foi calculada a pontuação de

cada domínio pesando cada valor da escala com a respetiva percentagem com que o domínio aparece. Por exemplo, para o ano letivo 2006-2007, o domínio Liderança obtém a pontuação de (40x4+43x3+16x2+1x1)/100=3.22.

Percentagens dos níveis de classificação atribuídos às escolas

por ano letivo em função dos domínios do quadro de referência

1 2 3 4 2006_2007 2007_2008 2008_2009 2009_2010 C la ss if ic aç ão (1 -i n su f 4 -M .B om ) Ano académico Resultados

Prestação do serviço educativo Organização e gestão escolar Liderança

Capacidade de auto-regulação e melhoria da escola

Classificação dos Domínios

 Predomínio de níveis de classificação positivos em todos os domínios,

correspondentes a Bom e Muito Bom, com exceção do domínio

Capacidade de autorregulação e melhoria da escola.

 Esta tendência não só se manteve, como se tem manifestado de forma

crescente, com exceção do ano de 2007-2008.

 Níveis de classificação mais elevados na Liderança e Organização e

Gestão, seguidos de Prestação do Serviço Educativo e Resultados.

 O domínio em que estes níveis são inferiores é o da Capacidade de

autorregulação e melhoria da escola, em que se regista mesmo um

decréscimo das classificações, vindo a atingir-se um valor próximo do inicial no último ano.

Padrões de associação entre domínios

e entre fatores e domínios

Estudo B

Metodologia

Questões da investigação: Quais os fatores mais associados ao respetivo

domínio? Quais os fatores que se constituem como melhores preditores relativamente às classificações no domínio? Em que medida é possível dar conta da existência de ponderações implícitas entre os fatores dos respetivos domínios?

Objetivo: Conhecer o padrão de intercorrelações entre domínios e entre

fatores e domínios.

Base de dados: Este estudo foi efetuado com uma base mais restrita, que

compreendeu 167 escolas da zona centro dos anos letivos de 2007-2008, 2008-2009 e 2008-2009-2010.

Procedimento: Conversão da escala de 4 níveis (Insuficiente. Suficiente,

Bom, Muito Bom) usada no âmbito da AEE em 1, 2, 3, 4, à semelhança do que foi feito no estudo 1.

Análise estatística: Análise de correlação/regressão múltipla para cada um

dos domínios, tomando como variável critério a pontuação do domínio e como variáveis preditoras as pontuações nos fatores.

Correlações interdomínios

Domínios Dom 1 Dom 2 Dom 3 Dom 4 Dom 5

Domínio 1: Resultados 1.00 — — — —

Domínio 2: Prestação do Serviço Educativo .66 1.00 — — —

Domínio 3: Organização e Gestão Escolar .44 .38 1.00 — —

Domínio 4: Liderança .54 .47 .61 1.00 —

Domínio 5: Capacidade de Auto-Regulação e Melhoria da Escola .39 .48 .50 .58 1.00

• Os domínios aparecem todos positivamente correlacionados entre si.

• Existem correlações mais elevadas entre os domínios Prestação do

serviço educativo e Resultados, por um lado, e Liderança e Organização e gestão, por outro, ainda que as restantes correlações

Análise em Componentes Principais (Rotação VARIMAX)

Saturações

Domínios Componente 1 Componente 2

Domínio 3: Organização e Gestão Escolar .84 .18

Domínio 4: Liderança .79 .36

Domínio 5: Capacidade de Auto-Regulação e Melhoria da Escola .77 .27

Domínio 2: Prestação do Serviço Educativo .26 .88

Domínio 1: Resultados .29 .86

Valores Próprios 2.06 1.74

Percentagem de Variabilidade Explicada 41.2 34.8

Esta análise permite-nos fazer uma leitura dos padrões de associação subjacentes a esta matriz, sendo identificados dois componentes principais que explicam respetivamente 41.2% e 34.8% da variabilidade.

1ºcomponente

_{2ºcomponente}

Aspetos

estruturais/

organizacionais

da escola

Aspetos

funcionais/

pedagógicos

 Prestação do serviço educativo

 Resultados

Quais são os fatores que se constituem como melhores preditores do respetivo domínio?

Ou dito de outro modo, se se tivesse de reduzir os fatores por domínio, quais se mantinham?

A n á l i s e d a c o r r e l a ç ã o / r e g r e s s ã o m ú l t i p l a • V a r i á v e l c r i t é r i o : p o n t u a ç ã o d o d o m í n i o • V a r i á v e i s p r e d i t o r a s : p o n t u a ç õ e s n o s f a t o r e s 3 n í v e i s d e a n á l i s e • C o e f i c i e n t e d e c o r r e l a ç ã o m ú l t i p l a • C o e f i c i e n t e d e c o r r e l a ç ã o s i m p l e s • D e c o m p o s i ç ã o d e R2

A pontuação no domínio não pode ser integralmente

derivada dos factores; caso isto acontecesse, então R = 1.00

Para cada factor, tomado isoladamente, a correlação com o domínio indica o respectivo valor preditivo.

A análise dos

contributos únicos dos fatores permite-nos

identificar a redundância dos diferentes factores na classificação no domínio

Domínio 1: Resultados R = .92 R2 = .85

Fatores r sr2

F1 – Sucesso académico .87 .23

F2 – Participação e desenvolvimento cívico .58 .03

F3 – Comportamento e disciplina .57 .02

F4 - Valorização e impacto das aprendizagens .71 .01 R2 −  sr2= .57

Hipótese

O quadro de referência dos avaliadores envolve uma ponderação diferencial dos fatores.

Domínio 1: Resultados R = .92 R2 = .85

Fatores r sr2

F1 – Sucesso académico .87 .23 F2 – Participação e desenvolvimento cívico .58 .03 F3 – Comportamento e disciplina .57 .02 F4 - Valorização e impacto das aprendizagens .71 .01

R2 −  sr2= .57

Domínio 2: Prestação do Serviço Educativo R = .84 R2 = .70

Fatores r sr2

F1 – Articulação e sequencialidade .75 .10 F2 – Acompanhamento da prática letiva em sala de aula .63 .01 F3 – Diferenciação e apoios .61 .05 F4 – Abrangência do currículo e valorização dos saberes .59 .03

R2 −  sr2= .51

Domínio 3: Organização e Gestão Escolar R = .89 R2 _{= .79}

Fatores r sr2

F1 – Conceção/planeamento/desenvolvimento da atividade .76 .05 F2 – Gestão dos recursos humanos .73 .04 F3 - Gestão dos recursos materiais e financeiros .63 .03 F4 – Participação dos pais e de outros elementos da

comunidade .55 .02 F5 – Equidade e justiça .61 .02 R2 _{−  sr}2_{= .62} Domínio 4: Liderança R = .88 R2 _{= .78} Fatores r sr2 F1 – Visão e estratégia .77 .07 F2 – Motivação e empenho .70 .08 F3 – Abertura e inovação .63 .02 F4 – Parcerias, protocolos e projetos .66 .03

R2 _{−  sr}2_{= .58}

Domínio 5: Capacidade de Autorregulação e Melhoria da Escola R = .90 R2 = .80 Fatores r sr2 F1 - Autoavaliação .85 .17 F2 - Sustentabilidade e progresso .80 .07 R2 _{−  sr}2_{= .56}

Domínio 1: Resultados

Fatores

F1 – Sucesso académico

F2 – Participação e desenvolvimento cívico

Domínio 2: Prestação do Serviço Educativo

Fatores

F1 – Articulação e sequencialidade F3 – Diferenciação e apoios

Domínio 3: Organização e Gestão Escolar

Fatores

F1 – Conceção/planeamento/desenvolvimento da atividade F2 – Gestão dos recursos humanos

Domínio 4: Liderança

Fatores

F1 – Visão e estratégia F2 – Motivação e empenho

Domínio 5: Capacidade de Autorregulação e Melhoria da Escola

Fatores

F1 - Autoavaliação

Hipótese

O quadro de referência dos avaliadores envolve uma ponderação diferencial dos fatores.

Ponderação igual para todos os factores

Ponderação 2 para o 1º factor e 1 para os restantes.

Reproduz parcialmente as

classificações atribuídas.

Reproduz de forma quase

perfeita as classificações

atribuídas.

Para testar a hipótese da ponderação diferencial dos fatores, formulámos dois modelos hipotéticos de ponderação

Média Aritmética (Ponderacão Igual) dos Factores do Domínio Resultados

1 2 3 4 4 R R R R R     1 2 3 4 .25 .25 .25 .25 R R  R  R  R

Conversão das Classificações nos Factores

Insuficiente  1 Suficiente _ 2 Bom  3

Muito Bom  4 Média Aritmética (Ponderação Diferencial)

dos Factores do Domínio Resultados

1 2 3 4 2 5 R R R R R    1 2 3 4 .40 .20 .20 .20 R R  R  R  R

Conversão das Médias nos Domínios

1.00 R 1.50  Insuficiente

1.50 R 2.50  Suficiente

2.50 R 3.50  Bom

3.50 R 4.00  Muito Bom

Cruzamento das Classificações Atribuídas com as Classificações Esperadas de Acordo com o Modelo de Ponderação Igual

Classificações Esperadas

Insuficiente Suficiente Bom Muito_Bom Total

C la ss if ic a ç õ e s A tr ib u íd a s Insuficiente 0 2 0 0 2 Suficiente 0 24 26 0 50 Bom 0 0 75 16 91 Muito Bom 0 0 0 24 24 Total 0 26 101 40 167

Classificações convergentes: 123 Escolas (73.7%)

Classificações não convergentes: 44 Escolas (26.3%)

Cruzamento das Classificações Atribuídas com as Classificações Esperadas de Acordo com o Modelo de Ponderação Diferencial

Classificações Esperadas

Insuficiente Suficiente Bom Muito_Bom Total

C la ss if ic a ç õ e s A tr ib u íd a s Insuficiente 0 2 0 0 2 Suficiente 0 49 1 0 50 Bom 0 0 89 2 91 Muito Bom 0 0 0 24 24 Total 0 51 90 26 167

Classificações convergentes: 162 Escolas (97.0%)

Conclusões

Não existem ponderações explícitas dos fatores e

domínios no quadro de referência da AEE, mas

existem ponderações implícitas no quadro de

referência dos avaliadores.

Os dados obtidos dão algum apoio ao novo

quadro de referência do novo ciclo de avaliação,

que envolve já uma redução de domínios e uma

redução de fatores.

Implicações

É possível:



reduzir os fatores aos preditores, o que em certa

medida já se verifica no novo quadro de

referência.



estabelecer um quadro explícito de ponderação e

NOVO CICLO: QUADRO DE REFERÊNCIA

DOMÍNIOS

RESULTADOS

PRESTAÇÃO DO SERVIÇO

EDUCATIVO

LIDERANÇA E GESTÃO

CAMPOS DE ANÁLISE

 MONITORIZAÇÃO E AVALIAÇÃO DAS

APRENDIZAGENS

 LIDERANÇA  GESTÃO

OBRIGADA PELA VOSSA ATENÇÃO!

•

Barreira, C., Bidarra, G., & Vaz-Rebelo, M. P. (2011).

Avaliação externa de escolas: Do quadro de

referência aos resultados e tendências de um

processo em curso. Revista Portuguesa de

Pedagogia, Extra-Série, 81-94.

ESCALA DE AVALIAÇÃO

 EXCELENTE- A acção da escola tem produzido um impacto consistente e muito acima dos

valores esperados na melhoria das aprendizagens e dos resultados dos alunos e nos respectivos

percursos escolares.Os pontos fortes predominam na totalidade dos campos em análise. A escola distingue-se pelas práticas exemplares em campos relevantes

 MUITO BOM- A acção da escola tem produzido um impacto consistente e acima dos valores

esperados na melhoria das aprendizagens e dos resultados dos alunos e nos respectivos percursos

escolares.Os pontos fortes predominam na totalidade dos campos em análise, em resultado de práticas organizacionais generalizadas e eficazes.

 BOM- A acção da escola tem produzido um impacto em linha com o valor esperado na melhoria

das aprendizagens e dos resultados dos alunos e nos respectivos percursos escolares. A escola apresenta uma maioria de pontos fortes nos campos em análise, em resultado de práticas organizacionais eficazes.

 SUFICIENTE- A acção da escola tem produzido um impacto aquém dos valores esperados na

melhoria das aprendizagens e dos resultados dos alunos e nos respectivos percursos escolares. As acções de aperfeiçoamento são pouco consicstentes ao longo do tempo e envolvem áreas limitadas da escola

 INSUFICIENTE- A acção da escola tem produzido um impacto muito aquém dos valores

esperados na melhoria das aprendizagens e dos resultados dos alunos e nos respectivos percursos

escolares.Os pontos fracos sobrepõem-se aos pontos fortes na generalidade dos campos em análise. dos campos em análise. A escola não revela uma prática coerente, positiva e coesa.