MEDIÇÃO DE IMPACTO SOCIAL

(1)

Clique para editar o estilo

RUI SERÔDIO, ALEXANDRA SERRA, JOSÉ ALBINO LIMA,

COM A COLABORAÇÃO DE LUÍSA CATITA, BRUNO PINTO, SOFIA BRITO, HUGO GUIMARÃES, IRENE GOMES, MADALENA CATALINO

AMP – SEMINÁRIO INOVADOR_INTEGRAR_DESENVOLVER; CASA DA MÚSICA, PORTO, 24 OUTUBRO 2018

TRILHOS PARA

A INOVAÇÃO EDUCATIVA

M

EDIÇÃO DE

I

MPACTO

S

OCIAL

EVIDÊNCIA CIENTÍFICA AO SERVIÇO DA INOVAÇÃO NAS POLÍTICAS SOCIAIS

(2)

I. ENQUADRAMENTO: INOVAÇÃO, CAPACITAÇÃO E EVIDÊNCIA CIENTÍFICA AO SERVIÇO DAS

POLÍTICAS SOCIAIS

II. O MODELO DE MEDIÇÃO DE IMPACTO SOCIAL DO TRILHOS: CENÁRIO DE IMPACTO – “ALVOS”,

DIMENSÕES E INDICADORES

III. PROJETOS TRANSFORMERS E CRIATIVIDADE: PRINCIPAIS RESULTADOS DA MEDIÇÃO DE

IMPACTO SOCIAL

(3)

I. ENQUADRAMENTO:

INOVAÇÃO, CAPACITAÇÃO E EVIDÊNCIA CIENTÍFICA

AO SERVIÇO DAS POLÍTICAS SOCIAIS

(4)

I. INOVAÇÃO, CAPACITAÇÃO E EVIDÊNCIA CIENTÍFICA AO SERVIÇO DAS POLÍTICAS SOCIAIS

DESENVOLVIMENTO DE POLÍTICAS E PRÁTICAS SOCIAIS NA AMP

SUSTENTAÇÃO NA RELAÇÃO ENTRE TRÊS EIXOS FUNDAMENTAIS

INOVAÇÃO SOCIAL

CAPACITAÇÃO

EVIDÊNCIA

DESENVOLVIMENTO,

(5)

DESENVOLVIMENTO DE POLÍTICAS E PRÁTICAS SOCIAIS NA AMP

SUSTENTAÇÃO NA RELAÇÃO ENTRE TRÊS EIXOS FUNDAMENTAIS

INOVAÇÃO SOCIAL

CAPACITAÇÃO

EVIDÊNCIA

DESENVOLVIMENTO,

INCLUSÃO E COESÃO SOCIAL

(6)

INOVAÇÃO SOCIAL

CAPACITAÇÃO

CONHECIMENTO CIENTÍFICO DEVE SER UM DOS PILARES DE SUSTENTAÇÃO DA INOVAÇÃO SOCIAL – ORIENTAÇÃO PARA A INTERVENÇÃO E PARA A PRÁTICA BASEADA NA EVIDÊNCIA

CONHECIMENTO CIENTÍFICO É BASE DE CAPACITAÇÃO

EM ÁREAS-CHAVE DA INOVAÇÃO SOCIAL – UMA SOLUÇÃO SOCIAL TEM “REQUISITOS ESPECÍFICOS”

EVIDÊNCIA

DESENVOLVIMENTO,

(7)

EMPREENDER UMA RESPOSTA SOCIAL INOVADORA EXIGE MAIS DO QUE “UMA BOA IDEIA” –

EXIGE CONHECIMENTOS E COMPETÊNCIAS ESPECÍFICAS

INOVAÇÃO SOCIAL

CAPACITAÇÃO

EVIDÊNCIA

DESENVOLVIMENTO,

(8)

EVIDÊNCIA

CAPACITAÇÃO

UMA RESPOSTA SOCIAL INOVADORA BEM SUCEDIDA GERA COMPETÊNCIAS QUE PERMITEM

CAPACITAR NOVAS SOLUÇÕES

UMA RESPOSTA INOVADORA COM EVIDÊNCIA DE IMPACTO SOCIAL GERA CONHECIMENTO SOBRE “AS SOLUÇÕES QUE FUNCIONAM”

E, IDEALMENTE, SOBRE OS PROCESSOS NA BASE DO IMPACTO

INOVAÇÃO SOCIAL

DESENVOLVIMENTO,

(9)

INOVAÇÃO SOCIAL

CAPACITAÇÃO

EVIDÊNCIA

CONHECIMENTO DEVE SER UM DOS PILARES DE SUSTENTAÇÃO DA INOVAÇÃO SOCIAL – ORIENTAÇÃO PARA A INTERVENÇÃOE PARA A PRÁTICA BASEADA NA EVIDÊNCIA

EMPREENDER UMA RESPOSTA SOCIAL INOVADORA EXIGE MAIS DO QUE “UMA BOA IDEIA” – EXIGE CONHECIMENTO E COMPETÊNCIAS ESPECÍFICAS

CONHECIMENTO É BASE DE CAPACITAÇÃO EM ÁREAS-CHAVE DA INOVAÇÃO SOCIAL – UMA SOLUÇÃO SOCIAL TEM “REQUISITOS ESPECÍFICOS”

UMA RESPOSTA SOCIAL INOVADORA BEM SUCEDIDA GERA COMPETÊNCIAS

QUE PERMITEM CAPACITAR NOVAS SOLUÇÕES UMA RESPOSTA INOVADORA COM EVIDÊNCIA DE IMPACTO SOCIAL GERA CONHECIMENTO SOBRE “AS SOLUÇÕES QUE FUNCIONAM”

E, IDEALMENTE, SOBRE OS PROCESSOS NA BASE DO IMPACTO

DESENVOLVIMENTO,

NO TERRITÓRIO METROPOLITANO

DESENVOLVIMENTO DE POLÍTICAS E PRÁTICAS SOCIAIS NA AMP

(10)

ORIENTAÇÃO ESTRATÉGICA PARA A

PILOTAGEM / EXPERIMENTAÇÃO

DE

PROJETOS COM POTENCIAL DE

DISSEMINAÇÃO

/ IMPLEMENTAÇÃO EM

CONTEXTOS ALARGADOS E PARA A

VERIFICAÇÃO DO SEU IMPACTO

.

INVESTIMENTO E DISSEMINAÇÃO DE POLÍTICAS E

PRÁTICAS SOCIAIS NO TERRITÓRIO METROPOLITANO

SUSTENTADAS EM

EVIDÊNCIA CIENTÍFICA

DESENVOLVIMENTO DE

POLÍTICAS E PRÁTICAS SOCIAIS

MEDIÇÃO DE IMPACTO SOCIAL INTEGRADA NA ESTRATÉGIA

(11)

DESENVOLVIMENTO DE

POLÍTICAS E PRÁTICAS SOCIAIS

MEDIÇÃO DE IMPACTO SOCIAL INTEGRADA NA ESTRATÉGIA

INOVAÇÃO

SOCIAL

DESENVOLVIMENTO INCLUSÃO COESÃO SOCIAL

( + )

+

RE

INVESTIMENTO INVESTIMENTO ESTRATÉGICO E SUSTENTADO

POLÍTICA

SOCIAL

+

( + )

MEDIÇÃO DE IMPACTO SOCIAL “O MEDIADOR”

(12)

PIICIE – PLANO INTEGRADO E INOVADOR DE

COMBATE AO INSUCESSO ESCOLAR

OBJETIVO

Testar o

IMPACTO SOCIAL

dos 4 projetos integrados no PIICIE da AMP –

TRILHOS PARA A INOVAÇÃO EDUCATIVA

1. Projeto CriAtividade – Problem Solvers em Ação

[2017/2018]

2. Projeto Movimento Transformers – Escolas de Superpoderes

[2017/2018]

3. Projeto Escola e Trabalho: Pontes em Construção

[2018/2019]

4. Projeto Whyschool –de Promoção da Saúde Mental em Contexto Escolar

[2018/2019]

“TRILHOS PARA A INOVAÇÃO EDUCATIVA” “ISIEE – IMPACTO SOCIAL, INOVAÇÃO EDUCATIVA E EVIDÊNCIA NA AMP”

(13)

S

E

N

T

ID

O

D

A

P

R

E

S

E

N

TA

Ç

Ã

O

ONDE ESTAMOS ?

(14)

II. O MODELO DE MEDIÇÃO DE IMPACTO SOCIAL DO “TRILHOS”:

(15)

IDENTIFICAÇÃO E EXPLICITAÇÃO DO IMPACTO SOCIAL ESPERADO VALOR OU MUDANÇA SOCIAL

OS “INTERLOCUTORES” NA

DEFINIÇÃO DE UM MODELO DE MIS

(16)

I. ENQUADRAMENTO ESTRATÉGICO

DEFINIÇÃO DO “CENÁRIO DE IMPACTO SOCIAL”

“ALVOS”, DIMENSÕES E INDICADORES

PREMISSA-BASE

DO MODELO MIS

TESTAR RELAÇÃO TANGÍVEL ENTRE

PARTICIPAÇÃO NOS “PROJETOS TRILHOS” E MELHORIA DO INSUCESSO ESCOLAR

4

PROMOÇÃO DA SAÚDE MENTAL EM CONTEXTO ESCOLAR WHYSCHOOL

C

RIA

T

IVIDADE PROBLEM SOLVERS EM AÇÃO

2

ESCOLA E TRABALHO PONTES EM CONTRUÇÃO

3

1 COMBATE AO

INSUCESSO

ESCOLAR

(17)

AMP

PROJETO “TRILHOS”

PIICIE

SINCLab

MODELO DE MIS

I R I S

I

NDICADORES

R

ELEVANTES DE

I

MPACTO

S

OCIAL

1 DEFINIÇÃO DE METODOLOGIAS OPERACIONALIZAÇÃO DE MEDIDAS 2 OPERACIONALIZAÇÃO DE INDICADORES DE IMPACTO AS “VARIÁVEIS DEPENDENTES” 3 CRIATIVIDADE TRANSFORMERS PONTES PARA O FUTURO

WHYSCHOOL PROMOÇÃO DE FATORES DE CONCORREM PARA A DIMINUIÇÃO DO INSUCESSO ESCOLAR VALOR OU MUDANÇA SOCIAL ∅

(18)

S

E

N

T

ID

O

D

A

P

R

E

S

E

N

TA

Ç

Ã

O

ONDE ESTAMOS ?

(19)

III. PROJETOS TRANSFORMERS E CRIATIVIDADE:

(20)

III. PROJETO TRANSFORMERS:RESULTADOS DA MEDIÇÃO DE IMPACTO SOCIAL

2ª ETAPA

METODOLOGIA DE MIS ADEQUADA

1ª ETAPA

OBJETIVO DA MIS

_TESTAR

_{RELAÇÃO ENTRE PARTICIPAÇÃO NOS}

“PROJETOS TRILHOS” E

:

1. PROMOÇÃO DE COMPETÊNCIAS QUE CONCORREM

PARA A DIMUIÇÃO DO INSUCESSO ESCOLAR

2. DIMINUIÇÃO DO INSUCESSO ESCOLAR

ESTUDOS

QUASI-EXPERIMENTAIS

COM PRÉ-TESTE, PÓS-TESTE E GRUPO DE CONTROLO

(21)

PRÉ-TESTE

“PROJETO”

PÓS-TESTE

O

X

O

GRUPO-EXPERIMENTAL

no Projeto

GRUPO-CONTROLO

Fora do Projeto

(22)

DEFINIÇÃO DA

ABORDAGEM METODOLÓGICA

MUNICÍPIO

AMP

1 TURMA

17 TURMAS

1 TURMA

17 TURMAS

GRUPO-EXPERIMENTAL

no Projeto

GRUPO-CONTROLO

Fora do Projeto

“CENÁRIO DA MEDIÇÃO DE IMPACTO”

POR MUNICÍPIO E AMP

X 2 PROJETOS

(23)

III. PROJETOS TRANSFORMERS E CRIATIVIDADE:RESULTADOS DA MEDIÇÃO DE IMPACTO SOCIAL

DEFINIÇÃO DA

ABORDAGEM METODOLÓGICA

3ª ETAPA

“ALVOS” DA MIS

1. PIICIE –

ALUNAS E ALUNOS

2. TRILHOS – ALUNAS E ALUNOS DOCENTES

4ª ETAPA

INDICADORES

DA MIS

1. PIICIE –

“INDICADORES DE RESULTADO”

(I) Redução ≥ 10% da taxa de alunos nos 1º, 2º e 3º Ciclos e Secundário com níveis negativos(a pelo menos uma disciplina) dos anos curriculares abrangidos

(II) Diminuição ≥ 25% da taxa de retenção e desistência nos anos curriculares abrangidos

2. TRILHOS – INDICADORES DE RESULTADO PIICIE

(24)

DEFINIÇÃO DA

ABORDAGEM METODOLÓGICA

5ª ETAPA

OPERACIONALIZAÇÃO

DOS INDICADORES

DA MIS

1. PIICIE

AVALIAÇÕES ESCOLARES DO ANO LETIVO 2016/2017 VS. 20117/2018 (I) Percentagem de crianças SEM RESULTADOS NEGATIVOS

(II) Percentagem de crianças que NÃO TRANSITAM DE ANO

2. TRILHOS

AUTOESTIMA

AUTOATRIBUIÇÃO DE COMPETÊNCIA ESCOLAR IMPACTO ATRIBUÍDO À ESCOLA

IDENTIFICAÇÃO COM A ESCOLA COMPORTAMENTO NA ESCOLA

ORIENTAÇÃO PARA A PARTICIPAÇÃO CÍVICA CRENÇAS SOBRE A CRIATIVIDADE

AUTO-ATRIBUIÇÃO E ORIENTAÇÃO PARA A CRIATIVIDADE

TRANSFORMERS

CRIATIVIDADE TRANSFORMERS

(25)

II. ESTUDOS DE MIS EM CURSO: MATERIAIS

(26)

II. ESTUDOS DE MIS EM CURSO: MATERIAIS

(27)

PARTICIPAÇÃO DA

COMUNIDADE ESCOLAR

TRANSFORMERS

831

7ºANO CRIANÇAS

₆₀₄

DOCENTES

227

6ºANO

878

CRIANÇAS

671

DOCENTES

207 CRIATIVIDADE

PARTICIPANTES NO PRÉ-TESTE

TRANSFORMERS

826

7ºANO CRIANÇAS

₆₁₆

DOCENTES

210

6ºANO

844

CRIANÇAS

673

DOCENTES

171 CRIATIVIDADE

PARTICIPANTES NO PÓS-TESTE

(28)

A ÁREA METROPOLITANA DO PORTO

A ESCOLA

AGRUPAMENTOS

33 TURMAS

68 ESCOLAS

34 MUNICÍPIOS

17 TÉCNICAS E TÉCNICOS LOCAIS

17 PARTICIPAÇÃO DA

COMUNIDADE ESCOLAR

(29)

(30)

RESULTADOS:

PERFIL ACADÉMICO DE ALUNAS E ALUNOS, ANTES DOS PROJETOS

ACESSO A DADOS RELATIVOS ÀS CLASSIFICAÇÕES, E OUTROS

RELEVANTES, NO PERCURSO ACADÉMICO DE CADA ALUNA/O

Em linha com os objetivos globais dos PIICIEs, os municípios propõem

múltiplas ações / atividades focadas em alunas/os com

“perfil de risco” de insucesso ou abandono escolar.

(31)

0,8

_0,63

0 1 2 3 CONTROLO EXPERIMENTAL

RESULTADOS:

PERFIL ACADÉMICO DE ALUNAS E ALUNOS, ANTES DOS PROJETOS

(2016/2017)

NOTA: ACESSO A DADOS ACADÉMICOS DE 68% DA AMOSTRA

24,4%

75,60%

1,11

2,26

TRANSFORMERS

Nº DE NEGATIVAS NÃO TRANSITARAM TRANSITARAM

5,3%

94,70%

CRIATIVIDADE

Nº DE NEGATIVAS NÃO TRANSITARAM TRANSITARAM

(32)

RESULTADOS:

PERFIL ACADÉMICO DE ALUNAS E ALUNOS, ANTES DOS PROJETOS

(2016/2017)

42,1

13,3 14,4 4,1 3,6

22,6

65,9

10,0 7,0 3,7 5,0 8,4

TRANSFORMERS

0 Nº DE NEGATIVAS

1

2

3

4 ≥ 5

30,6%

17,1%

69,4

13,5 8,3 4,2 2,8

1,7

65,3

13,8 11,1 4,0 2,4 3,4

CRIATIVIDADE

0 Nº DE NEGATIVAS

1

2

3

4 ≥ 5

8,7%

9,8%

(33)

RESULTADOS:

PERFIL ACADÉMICO DE ALUNAS E ALUNOS, ANTES DOS PROJETOS

(2016/2017)

16,7

33 26,7

12,0

19,3

21,0

TRANSFORMERS

CLASSIFICAÇÃO NEGATIVA O U T R A (S ) M A T E M Á T IC A P O R T U G U Ê S

8,7

19,4

28,1

11,1

19,2

33,6

CRIATIVIDADE

CLASSIFICAÇÃO NEGATIVA O U T R A (S ) M A T E M Á T IC A P O R T U G U Ê S EXPERIMENTAL

NÃO TRANSIÇÃO DE ANO

EXPERIMENTAL

(34)

(35)

RESULTADOS:

IMPACTO NA RETENÇÃO DE ANO

ALVO PIICIE:

DIMINUIÇÃO EM 25%, OU MAIS

(36)

86,4%

13,6%

TRANSFORMERS

Nº DE NEGATIVAS

NÃO TRANSITARAM TRANSITARAM 24,4% 75,60% 1,11 2,26 0 1 2 3 CONTROLO EXPERIMENTAL 2016 / 2017 Nº DE NEGATIVAS NÃO TRANSITARAM TRANSITARAM

0,86

1,71

-44,3%

-60,7% GRUPO CONTROLO 11,7% 4,6%

(37)

100%

CRIATIVIDADE

Nº DE NEGATIVAS

TRANSITARAM 0,8 _0,63 0 1 2 3 CONTROLO EXPERIMENTAL 5,3% 94,70% 2016 / 2017 Nº DE NEGATIVAS NÃO TRANSITARAM TRANSITARAM

0,53

_0,35

0 1 2 3 CONTROLO EXPERIMENTAL -35% GRUPO CONTROLO 4,0% 2,6%

(38)

RESULTADOS:

IMPACTO NAS CLASSIFICAÇÕES

NEGATIVAS

ALVO PIICIE:

DIMINUIÇÃO EM 10%, OU MAIS

(39)

TRANSFORMERS

42,1 13,3 14,4 4,1 3,6 22,6 65,9 10,0 7,0 3,7 5,0 8,4 2016 / 2017 0 Nº DE NEGATIVAS 1 2 3 4 ≥ 5 30,6% 17,1% 34,1% 57,9%

58,5

9,3 8,5 5,9 2,5

15,3

68,9

11,9 4,6 6,0 2,6 6,0

0 Nº DE NEGATIVAS

1

2

3

4 ≥ 5

41,5%

31,1%

-28,3%

-8,8% +39,0% +3,9%

(40)

69,4 13,5 8,3 4,2 2,8 1,7 65,3 13,8 11,1 4,0 2,4 3,4 2016 / 2017 0 Nº DE NEGATIVAS 1 2 3 4 ≥ 5 8,7% 9,8%

CRIATIVIDADE

34,7% 30,6%

80,1

8,1 11 0 0

0,7

76,8

6,3 12,1 0,5 1,6 2,6

0 Nº DE NEGATIVAS

1

2

3

4 ≥ 5

19,9%

23,2%

-34,9%

-33,1% +15,0% +17,6%

(41)

6,8

28,2

11,9

9,3

17,9

9,2

TRANSFORMERS

16,7 33 22 12,0 19,3 17,1 2016 / 2017 CLASSIFICAÇÃO NEGATIVA O U T R A (S ) M A T E M Á T IC A P O R T U G U Ê S 16,7 33 26,7 12,0 19,3 21,0 CLASSIFICAÇÃO NEGATIVA O U T R A (S ) M A T E M Á T IC A P O R T U G U Ê S

-14,5%

-7,3% -22,5% -56,2%

-59,3%

-55,4%

(42)

2,2

14,7

6,6

7,9

8,4

14,0

CRIATIVIDADE

-24,2%

-56,3% -28,8% -58,3%

-74,7%

-76,5%

8,7 19,4 28,1 11,1 19,2 33,6 2016 / 2017 CLASSIFICAÇÃO NEGATIVA O U T R A (S ) M A T E M Á T IC A P O R T U G U Ê S

(43)

S

E

N

T

ID

O

D

A

P

R

E

S

E

N

TA

Ç

Ã

O

ONDE ESTAMOS ?

(44)

IV. CONSIDERAÇÕES

(45)

IV. CONSIDERAÇÕES FINAIS

PROJETOS DIFERENCIADOS

A AMP INVESTIU EM 2 PROJETOS

DE INOVAÇÃO EDUCATIVA COM

DIFERENTES ENFOQUES

1

TRANSFORMERS

I. Ação focada em alunas e alunos com elevado insucesso escolar e com perfil de

elevado risco de abandonoescolar precoce; II. Promoção de relação / identificação mais positiva com a escola. III. Elevada participação das/os docentes no acesso às classificações finais (68%)

CRIATIVIDADE

I. Ação dirigida a alunas e alunos de contextos escolares “normativos”,

nomeadamente em termos de insucesso escolar; II. Enfoque na promoção de competências que concorrem para o sucesso escolar

III. Participação menos expressiva das/os docentes no acesso às classificações finais (48%)

(46)

IMPACTO NOS INDICADORES DOS PIICIE

TAXA DE RETENÇÃO

DIMINUIÇÃO SUPERIOR À META DE 25%

2

TRANSFORMERS

As alunas e alunos que participaram no projeto diminuíram em 44,3% a

retenção de ano, partindo de um valor muito elevado de 24,4%, situando-se no corrente ano em 13,6%.

CRIATIVIDADE

A taxa de retenção de ano entre as alunas e alunos que participaram no projeto era baixa à partida (5.3%) sendo nula no final do corrente ano. Efetivamente, este é um indicador pouco relevante neste o “perfil de aluna/o”.

(47)

IMPACTO NOS INDICADORES DOS PIICIE

TAXA DE ALUNOS COM

CLASSIFICAÇÕES NEGATIVAS

DIMINUIÇÃO SUPERIOR À META DE 10%

2

TRANSFORMERS

Diminuição muito substancial da taxa de alunas/os com pelo menos uma

negativa em cerca de 20% (57,9% vs. 41,5%), superando largamente a meta

proposta com uma diminuição de 28,3%.

CRIATIVIDADE

Diminuição ainda mais substancial desta taxa, atingindo-se o valor de -34,9%,

(48)

IMPACTO NA TAXA DE

ALUNOS

SEM

CLASSIFICAÇÕES NEGATIVAS

3

TRANSFORMERS

Verifica-se um aumento muito elevado de 30% na taxa de alunas/os

SEM resultados negativos, partindo de 42.1% para 58,5%.

CRIATIVIDADE

Também se verifica um forte aumento de 15 % nesta taxa entre as/os

(49)

IMPACTO NAS CLASSIFICAÇÕES A

PORTUGUÊS E MATEMÁTICA

4

TRANSFORMERS

I. Diminui para menos de metade a percentagem de alunas/os que reprovam a

Português(16,7% vs. 6,8%), numa muito elevada diminuição de 59,3%.

II. A matemáticaa diminuição é menos expressiva, mas é de uns muito significativos 14,5%(de 33% para 28,2).

CRIATIVIDADE

Entre as/os participantes no CriaTividade a diminuiçãoda taxa de reprovação a Português e Matemática

é ainda mais elevada, de 74,7% e 24,2%, respetivamente.

Contudo, os pontos de partida são muito mais baixos, de 8,7% para 2,2% e de 19,4 para 14,7%.

(50)

IV. CONSIDERAÇÕES FINAIS INOVAÇÃO SOCIAL INOVAÇÃO EDUCATIVA EMPREENDEDORISMO INVESTIMENTO SOCIAL PÚBLICO / PRIVADO -POLÍTICA SOCIAL E EDUCATIVA PÚBLICA / PRIVADA

-IMPACTO

SOCIAL

AMP

TRANSFORMERS CRIATIVIDADE

MIS

(51)

Clique para editar o estilo

RUI SERÔDIO, ALEXANDRA SERRA, JOSÉ ALBINO LIMA,

COM A COLABORAÇÃO DE LUÍSA CATITA, BRUNO PINTO, SOFIA BRITO, HUGO GUIMARÃES, IRENE GOMES, MADALENA CATALINO

AMP – SEMINÁRIO INOVADOR_INTEGRAR_DESENVOLVER; CASA DA MÚSICA, PORTO, 24 OUTUBRO 2018