O complexo quebra-cabeça da avaliação na educação

O complexo quebra-cabeça da

avaliação na educação

Dr. Miguel Székely, Diretor, Center for Education and Social Studies

Preparado para o Seminário Internacional “Caminhos para a qualidade da educação pública:

Impactos e Evidências ”, São Paulo, 15 de setembro, 2016 2

Center for Education

Educação:

o setor com o maior poder de promover

transformação …

… e, normalmente, o mais difícil de ser

transformado

Conteúdo:

1. As peças do quebra-cabeça

2. Evoluindo para um sist. educacional moderno

3. O complexo quebra-cabeça

4. Atores, partes interessadas e interesses

5. Alguns casos ilustrativos

• Matriz Curricular • Padrões de aprendizagem • Mapas de progresso • Programas de alimentação • Transferência de renda condicionada • Segurança na escola • Transporte

O que deve ser aprendido?

Líderes de aprendizagem • Infraestrutura • Equipamentos, serviços • Materiais • Tecnologia Inputs Acessibilidade

Aprender para quê?

• Professores e padrões de

professores

• Diretores - Padrões para

gestão escolar • Professores: treinamento, carreiras, avaliação • Mecanismos de participação: comunidade e família • Urbano, rural, marginalizado • Multicultural-Multilingual • Na escola – virtual, à distância • Padrão-Alternativo Quem, como?

• Sistema integrado de informações • Monitoramento e avaliação • Coordenação intragovernamental • Orçamentação • Avaliação de alunos Facilitadores-deflagradores Objetivo 1 Modelo pedagógico 2 Modalidade de suprimento 3 Recursos humanos 4 Inputs 5 Gestão escolar 6 Acesso para todos

Conteúdo:

1. As peças do quebra-cabeça

2. Evoluindo para um sist. educacional moderno

3. O complexo quebra-cabeça

4. Atores, partes interessadas e interesses

5. Alguns casos ilustrativos

• Matriz Curricular • Padrões de aprendizagem • Mapas de progresso • Programas de alimentação • Transferência de renda condicionada • Segurança na escola • Transporte

O que deve ser aprendido?

Líderes de aprendizagem • Infraestrutura • Equipamentos, serviços • Materiais • Tecnologia Inputs Acessibilidade

Aprender para quê?

• Professores e padrões de

professores

• Diretores - Padrões para

gestão escolar

• Professores: treinamento,

carreiras, avaliação

• Mecanismos de participação:

comunidade e família

• Urbano, rural, marginalizado • Multicultural-Multilingual • Na escola – virtual, à distância • Padrão-Alternativo

Quem, como?

• Sistema integrado de informações • Monitoramento e avaliação • Coordenação intragovernamental • Orçamentação • Avaliação de alunos Facilitadores-deflagradores Objetivo 1 Modelo pedagógico 2 Modalidade de suprimento 3 Recursos humanos 4 Inputs 5 Gestão escolar 6 Acesso para todos

Cobertura do Currículo Desenvolvimento de Competências 1 Transmissão linearde conhecimento, 1 Uso de demonstração colaborativa; aplicação Memorização – repetição – acumulação de fatos, dados,

informações

Compreensão, utilização de informação para objetivos

concretos, sendo criativo, analítico, proativo Desenvolvimento de competências 1 Modelo pedagógico

Cobertura do Currículo Desenvolvimento de Competências Modelo de expansão para

capitalizar economias de escala e atingir mais estudantes rapidamente

Oferta adaptada à cultura, ao contexto socioeconômico e ao

meio ambiente para promover aprendizagem Desenvolvimento de competências 2 Tipo de Oferta 2 Adaptação a diferentes circunstâncias Privilegia modelo central único

Cover curriculum Desenvolvimento

de competências

Instrutor dá ordens mostra o caminho a ser seguido

Parceiro na aprendizagem facilita desenvolvimento de

competências, promove estratégias para garantir

progresso Desenvolvimento de competências 3 Human Resources Professor ensina, estudantes aprendem Professor facilita, indica, guia

Desenvolvimento de competências

11

Desenvolvimento de competências Sala de aula fixa: todos

devem prestar atenção a instruções

Permite ritmos diferentes, interage com o ambiente,

promove colaboração e interação Sem flexibilização Padrões fixos Flexível em espaço e tempo, colaborativo interativo

Cover curriculum Desenvolvimento de Competências

Administração de recursos para que o ensino aconteça

(diretor = administrador)

Gestão para que a aprendizagem aconteça

(envolvimento com desenvolvimento do professor, adaptação do espaço da escola: tecnologia,

inovação) Oferta de ensino a ser performada Oferta de Aprendizagem a ser desenvolvida Desenvolvimento de competências 5 Gestão escolar

Cover curriculum Desenvolvimento de Competências Foco no aumento da oferta

(mais estudantes na escola)

Foco em mais estudantes em ambientes de aprendizagem (adaptação, flexibilidade, acessibilidade, adaptação a diferentes circunstâncias) Mais espaço, mais estudantes Espaço para diferentes tipos de estudantes Desenvolvimento de competências 6 Acesso para todos

Conteúdos:

1. As peças do quebra-cabeça

2. Evoluindo para um sist. educacional moderno

3. O complexo quebra-cabeça

4. Atores, partes interessadas e interesses

5. Alguns casos ilustrativos

Objetivo Modelo pedagógico Modalidade de oferta Recursos humanos Inputs Gestão escolar Acesso para todos Serviços Infraestrutura Comunicações Tecnologia Condições geográficas Atividade econômica Padrões culturais Instituições Marco legal Estrutura familiar Relações familiares Nível educacional Capital social Cultura/tradição, valores. Recursos econômicos Habilidades cognitivas Capacidade física Saúde/nutrição Inteligência emocional Motivação Características pessoais, familiares e do contexto Serviço de educação C ontex to

=

Resultado da educ.

=

Efeito da educação Interação Contexto econ. Padrões culturais Valores, tradições Ambiente institucional e

legal. Aplicação da lei, direitos humanos, sistema judicial Ambiente geográfico, serviços, infraestrutura, contexto econômico local tecnologia Características pessoais e familiares Contexto familiar Características pessoais Contexto social Contexto comunitário Pessoal e familiar Contexto geral Interação B em -es tar , des env ol v im ent o hum ano , se nso de poder pes soa l, ci dada ni a, fel ici da de et c. Qua li da de na educ aç ão

Qualidade do serviço de educação

(Medida em que a oferta é exibida e adaptada)

1

Qualidade dos resultados da educ.

(Medida em que a oferta a que os alunos são expostos gera os objetivos

educacionais com equidade)

2

Qualidade dos efeitos da educação

(Medida em que o resultado da educação gera bem-estar, desenvolvimento humano, senso de poder pessoal, felicidade)

3

R es ul tado da eduç aã o

Avaliação dinâmica

Resultado observado/esperado Resultado observ./esperado Resultado observ./esperado Resultado observ./esperado Linha de base Linha de base Linha de base

Elementos de Complexidade

1.

Tamanho: Tipicamente, um setor muito grande em termos financeiros

e demográficos

• Grandes interesses envolvidos;

• Grande número de pessoas empregadas = poderosos sindicatos e organizações (a complexidade da aglomeração).

2.

Dificuldade de medir sucesso e/ou fracasso no curto prazo:

• Dificuldade de optar por outra escola, pois, normalmente, usuários de

serviços de educação no setor público não escolhem a escola que usarão: são clientes “cativos” que precisam frequentar uma escola;

• Sistema de propriedade difuso (com poderosos sindicatos envolvidos); • Dificuldade de responsabilizar e cobrar: usuários do sistema não podem

reclamar seus direitos retrospectivamente.

3. Processo de longa duração (12 anos de educação básica) com

complexa função de produção

• Requer permanente esforço estruturado que vai além dos ciclos políticos; • Dificuldade de medir o efeito de cada componente (cada professor,

tecnologia, materiais) – muitos atores envolvidos, muitas partes

5.

Multiplicidade de objetivos

• Alcançar todo mundo x qualidade da educação • Educação Primária x Superior

• Prover boas condições para os que trabalham no sistema

• Lidar com questões que são relevantes para grupos diferentes

• Em geral, confusão entre privilegiar o processo e privilegiar o objetivo final

6.

Resistência normal a mudanças

• Requer mudar comportamentos

• Mais difícil quando os demais elementos do sistema não estão alinhados • Requer contínuos ajustes detalhados para a implementação

• O problema de incentivos desalinhados (p.ex., direitos dos trabalhadores x qualidade)

18

Conteúdos:

1. As peças do quebra-cabeça

2. Evoluindo para um sist. educacional moderno

3. O complexo quebra-cabeça

4. Atores, partes interessadas e interesses

5. Alguns casos ilustrativos

Curriculum Coverage 1 Pedagogical model 2 Type of of supply 3 Human resources 4 Inputs 5 School management 6 Access for all

1 Collaborative demonstation use, application 1 Linear transmission of knowledge, _Privilege central single model Teacher teaches, student learns One-sided, standard, fixed Supply for teaching to be performed More space, more students Desenvolvimento de competências 1 Pedagogical model 2 Type of of supply 3 Human resources 4 Inputs 5 School management 6 Access for all

1 Colaborativo demonstração uso, aplicação ₂ Adaptação a difer. circunstâncias Professor facilita, indica, guia Flexível em espaço e tempo, colaborativo interativo Oferta para desenvolver a aprendizagem Espaço para dif. tipos de estudantes

Fatores

impulsionadores

Setor produtivo

Fatores atratores

Compreendendo os atores

•

Doadores externos, investidores (públicos e privados)

•

Tomadores de decisão de alto nível

•

Pesquisadores, especialistas, avaliadores

•

Professores, diretores/outros profissionais

Diferentes objetivos

Políticos

Pesquisadores

Objetivo =

• Reeleger-se • Renomeação • Manter o barco à tona

Objetivo =

• Pureza acadêmica • Publicações • Prestígio

Utilidade prática x

rigor

Diferentes tempos e ritmos

Políticos

Pesquisadores

Necessidade de mostrar resultados

(atender às clientelas, e tempo

curto para colher benefícios)

Tempo necessário para aumentar

qualidade da produção acadêmica (probabilidade de publicação)

Paciência x

impaciência

Diferentes implicações

Políticos

Pesquisadores

Resultados incertos, capitalização

política incerta (somente por

meio de impacto positivo)

Publicação depende de rigor

metodológico e teórico, não de

efeitos positivos ou negativos

Diferentes prioridades

Políticos

Pesquisadores

•

Factibilidade política

•

Factibilidade econômica

•

Factibilidade social

•

Rigor acadêmico

•

Produção de conhecimento

Questões de curto prazo

X

Conteúdos:

1. As peças do quebra-cabeça

2. Evoluindo para um sist. educacional moderno

3. O complexo quebra-cabeça

4. Atores, partes interessadas e interesses

5. Alguns casos ilustrativos

3 casos ilustrativos no México

1. Avaliação de diretores de escolas

2. Resultados da avaliação

3. Avaliação de mecanismos de incentivo

• A consolidação de uma cultura de avaliação leva tempo

• Importante saber o porquê de avaliar (não um fim, mas um meio)

• Avaliação deve ter consequências, ou vira um exercício acadêmico

• O problema da interpretação (classificação)

• O erro de ligar resultados a escolas linearmente (punir os sem culpa)

• O problema da interpretação (escopo da avaliação)

• Os desafios de lidar com grupos de controle

• Risco de investir sem continuidade (dependência, equívocos)

• Melhor não insistir se a mudança não for viável

O complexo quebra-cabeça da

avaliação na educação

28

Center for Education

and Social Studies

CEES

Dr. Miguel Székely, Diretor, Center for Education and Social Studies

Preparado para o Seminário Internacional “Caminhos para a qualidade da educação pública: