Melhorando a aprendizagem com dados e análise: a experiência da Austrália

(1)

(2)

Barry McGaw

Honorary Professorial Fellow, Universidade de Melbourne

Ex-Presidente da Australian Curriculum, Assessment and Reporting Authority (ACARA) Ex-Diretor de Educação, OCDE

Melhorando a aprendizagem com dados

e análise: a experiência da Austrália

Seminário Internacional Instituto Unibanco

Caminhos para a qualidade da educação pública: Gestão Escolar

São Paulo, Brasil 2 e 3/09/ 2015

(3)

mcgaw group pt y ltd ABN 34 117 491 228



Monitorando a aprendizagem no nível de sistema



Avaliações baseadas em amostras



Avaliações completas de grupos /coortes



Monitorando a aprendizagem no nível da escola



Relatório público dos resultados da escola



Oferecendo comparações justas com outras escolas



Identificando e remediando os pontos fracos

(4)

(5)

(6)



Levantamentos internacionais



OCDE PISA – 2000, 2003, 2006, 2009, 2012, 2015



IEA

• TIMSS

– 1995, 1999, 2003, 2007, 2011, 2015

• PIRLS

–

2001

,

2006

, 2011, 2016

• Educação Cívica e Cidadania –

1971

, 1999,

2016

• Informática/tecnologia –

1989

,

1992

,

1998

, 2001,

2006

, 2013



Levantamentos Nacionais



Conhecimentos de Ciências (6º Ano):



Educação Cívica e Cidadania (6º, 10º Anos):



Conhecimentos de ICT (6º, 10º Anos):

Monitorando o sistema com levantamentos baseados em amostras

2003, 2006, 2009, 2012, 2015 2004, 2007, 2010, 2013, 2016 2005, 2008, 2011, 2014, 2017

(7)

(8)

1989 – Programa de Exame de Aptidões Básicas NSW, seguiram-se

outros

1996 – Conselho Ministerial queria comparabilidade nacional

1996 – Usada estrutura de relatórios nacionais, em seguida

escalas comuns

2002 – Problema no estabelecimento de escalas comuns

2006 – Iniciou estudos/testes dos exames comuns

2007 – Passou para exames comuns

2008 – Programa Nacional de Avaliação: Leitura, Escrita e Aritmética

(NAPLAN)

2017 – NAPLAN Eletrônico a ser introduzido (NAPLAN Online)

(9)

Estrutura de um NAPLAN eletrônico adaptativo

A _{- Itens padrão}

B _{- Itens mais fáceis} D _{- Itens mais difíceis}

C _{- Itens fáceis e diiagnósticos} E - Itens difíceis

F _{- Itens desafiadores}

(10)



Melhor medição de todos os estudantes



Medidas mais precisas para todos os estudantes



Melhor medição dos estudantes com desempenho mais elevado e mais baixo



Mais rapidez na apresentação dos resultados



Exames menos previsíveis



Conjunto de avaliações mais ricos como um todo que combinam com o currículo

•

Qualquer noção de ensinar/preparar para o exame fica prejudicada



Avaliações escolares



Banco de questões ou exames específicos nos quais os professores podem se basear



Resultados expressos em escala nacional



Crescimento do estudante pode ser mapeado

(11)

(12)

mcgaw group pt y ltd ABN 34 117 491 228 -4,0 -2,0 0,0 2,0 4,0 800 850 900 950 1000 1050 1100 1150 1200

Desempenho versus vantagem sócioeducacional

Índice de vantagem sócioeducacional (ICSEA)

Performanc

e

Escola B

Escola A

Escola C

(13)

(14)

(15)

(16)

(17)

Escore médio das Escolas

As linhas que se estendem em

qualquer um dos lados dos diamantes localizando o escore médio em que a escola está indicam as faixas de erro de 90% para as estimativas das

(18)

Tanto em 2008 quanto em 2009, Indooroopilly estava bem acima da média nacional mostrada nos quadrados roxos. .

As diferenças foram estatisticamente

significativas visto que os

“bigodes” [whiskers] que se estendiam abaixo da média de Indooroopilly não se sobrepunham as médias nacionais.

As diferenças também foram significativas (ou seja, educacionalmente dignas de nota), pois as médias de Indooroopilly nos dois anos foi de mais de 0,2, embora inferior a 0,5, nos desvios padrão acima das médias nacionais, conforme indicado em verde claro. (Se as diferenças tivessem sido de 0,5 ou mais de desvios-padrão, a cor seria verde escura).

(19)

(20)

Esta tela compara Indooroopilly com 60 escolas em que os

estudantes estavam nos mesmos níveis de vantagem

sócio educacional em relação àqueles de Indooroopilly.

Tanto em 2008 quanto em 2009, Indooroopilly estava significativamente (os “bigodes”não se sobrepõem) (entre 0,2 e 0,5 nos desviospadrão -portanto cor de rosa) atrás da média de 60 outras escolas com estudantes semelhantes. .

A comparação com as médias nacionais deram a

Indooroopilly grande satisfação. A comparação com outras escolas que tinham estudantes semelhantes chocaram a comunidade de Indooroopilly. Se não houvesse o Minha

(21)

Em 2010, Indooroopilly não era significativamente (os “bigodes” se

sobrepõem) e não substancialmente diferente da média (inferior a 0,2 de desvios-padrão – por isso a cor branca) de 60 outras escolas com

(22)

Escolas em roxo escuro estão 0,5 ou mais de desvio-padrão a frente da Indooroopilly

Escola Primária Indooroopilly

430

417-443

Escolas em roxo claro estão mais de 0,2 ou menos de 0,5 de desvio-padrão em relação a Indooroopilly

(23)

Escola Primária Indooroopilly 484

471-497

(24)

Escola Primária Indooroopilly

483

470-496

(25)

(26)

(27)

(28)

Indooroopilly Primary School (K-7)

Situação financeira das escolas (reportadas para todas as escolas na Australia)

St Peters Lutheran College, Indooroopilly (K-12) Indooroopilly High School (8-12)

(29)

Identificando e remediando os pontos fracos:

o kit de ferramentas NSW para escolas

(30)

Desenvolvido pelo Departamento de Educação de New

South Wales

Utilizado no Território de New South Wales e da Capital Australiana

 Escolas do governo (públicas)

 Escolas católicas

 Escolas independentes

Fornece informações de diagnóstico e sugestões corretivas

 Para escolas

(31)

Cada círculo é um estudante. No 3º ano, a escola está se saindo melhor na leitura do que na aritmética.

(32)

No 5º ano, o desempenho da escola em leitura se equipara ao de aritmética.

(33)

Aqui está um item

difícil no qual a escola

não vai tão bem

(34)

Aqui está o item e

as informações nos

quais os alunos não

estavam certos.

Clicando aqui leva a estratégias sugeridas de ensino para remediar a situação.

(35)

Esta é a página sobre estratégias

sugeridas de ensino para a qual o

usuário é levado.

(36)

Aqui está uma

representação do

crescimento do 3º

Ano ao 5º Ano, de

cada estudante na

classe.

Aluna: Emma Wood Nota Ano 3: 493 Nota Ano 5: 531 Crescimento: 38 Cresc. esperado: 47 Média estadual: 76 Média da escola: 84 Percentil 25 Percentil 75

(37)

Emma Wood respondeu 13 das 39 perguntas de maneira incorreta. Esta tela mostra, item

por item no exame o que ela respondeu acertadamente e o que errou, e qual foi a

(38)

(39)

Há muitas estratégias sendo utilizadas para melhorar o desempenho escolar na Austrália. Elas incluem aumento da descentralização da responsabilidade e decisão para as escolas.

A principal ponto destacado nesta apresentação é a utilização dos dados sobre desempenho dos

estudantes para mensurar o progresso e revelar as deficiências, com elos para aconselhamento sobre estratégias de ensino com as quais as deficiências poderiam ser remediadas/corrigidas.

Para que isto ocorra, diretores e funcionários das escolas têm de ser bem treinados na análise e uso de dados e os recursos analíticos disponibilizados para eles precisam ser fáceis de usar e apresentar

(40)