SeçõeS
A divulgação dos resultados do Avalie Alfa
O direito a uma educação de qualidade
Matrizes de referência para a avaliação
Metodologia e análise dos testes
O trabalho continua
AVALIE ALFA
2011
REVISTA DA AVALIAÇÃO
Governador
Jaques Wagner
Vice-Governador
Otto Alencar
Secretário da Educação
Osvaldo Barreto Filho
Subsecretário
Aderbal Castro Meira Filho
Chefe de Gabinete
Paulo Pontes da Silva
Superintendência de Acompanhamento e Avaliação do Sistema Educacional
Eni Santana Barretto Bastos
Coordenação de Acompanhamento, Avaliação e Informações Educacionais
Marcos Antônio Santos de Pinho
Coordenação de Acompanhamento e Avaliação
Fátima Cristina Dantas Medeiros
Coordenador Geral do Pacto com os municípios
Antônio Marcos Barreto Silva
Equipe Técnica da Avaliação
Adinelson Farias de Souza Filho Edileuza Nunes Simões Neris Índia Clara Santana Nascimento Lindinalva Gonçalves de Almeida
Neire Goes Ribeiro Bride Rita de Cássia Moreira Trindade
Rogério da Silva Fonseca Sandra Cristina da Mata Neri
Prezado(a) gestor(a),
C
om a intenção de garantir a alfabetização de crianças até os oito anos de idade e de extinguir o analfabetismo escolar, o Sistema de Avaliação Baiano da Educação (Sabe) ampliou seu universo de atendimento, incluindo os estudantes do 2º ano de escolarização no processo avaliativo. O Avalie Alfa foi concebido numa ação parceira, inicialmente com 217 municípios, com a finalidade identificar os níveis de alfabetização das crianças.O Avalie Alfa é constituído por duas avaliações diagnósticas, que são realizadas em momentos diferentes: uma no início do ano letivo e outra no final. A Provinha Brasil, avaliação elaborada pelo Inep e distribuída aos municípios, é utilizada como um dos instrumentos do Avalie Alfa, no início do ano letivo. No segundo semestre, a avaliação é constituída por provas de Língua Portuguesa (leitura e escrita) e Matemática, além de questionários destinados a professores e gestores, elaborados pelo Centro de Políticas Públicas e Avaliação da Educação (CAEd). As duas avaliações têm o objetivo de produzir informações sobre os processos de ensino e aprendizagem das redes públicas e redefinir políticas voltadas para a melhoria da alfabetização.
Em 2011, os resultados da Provinha Brasil revelaram o desempenho dos estudantes do 2º ano de escolarização em Língua Portuguesa (leitura), o quantitativo de participação de estudantes, por escola e por município, e o percentual médio de acertos, por estudante e por escola, permitindo aos sistemas de ensino reflexões e redefinições de políticas voltadas à educação.
Esta publicação tem por objetivo apresentar os resultados das avaliações aplicadas no segundo semestre, envolvendo gestores escolares, dirigentes regionais e municipais e do órgão central. Sua estrutura contempla o arcabouço teórico-metodológico do Avalie Alfa.
A revista faz parte de uma iniciativa que, aliada a outras desta secretaria, reiteram o propósito do Governo do Estado da Bahia de tornar a avaliação um instrumento que contribui para a constituição de um sistema educacional transparente, equânime e emancipatório.
Assim, esperamos que você, gestor(a), utilize esta publicação para discussão, reflexão, definição de encaminhamentos e produção de novos conhecimentos sobre o processo de ensino e aprendizagem.
Osvaldo Barreto Filho
Secretário da Educação do Estado da Bahia
Osvaldo Barreto Filho
O TRABALhO cOnTInUA
O DIREITO A UMA EDUcAÇÃO
DE QUALIDADE
MATRIZES DE REFERÊncIA
PARA A AVALIAÇÃO
METODOLOGIA E AnÁLISE
DOS TESTES
33
11
15
27
12
13
16
19
28
29
30
30
31
O Sistema de Avaliação Baiano de Educação
com a palavra, a superintendente
Elementos que compõem a matriz de referência
Matriz de referência da Alfabetização
composição dos cadernos
Análise dos testes
O propósito da avaliação
Padrões de desempenho
com a palavra, a coordenadora
REVISTA DA AVALIAÇÃO
A Revista da Avaliação apresenta os objetivos, alcances e metodologias da avaliação. A publicação traz informações sobre as matrizes de referência utilizadas no Avalie Alfa, a composição dos testes e as técnicas de análise adotadas. Além disso, a edição publica artigos com importantes discussões sobre as áreas de conhe-cimento avaliadas. As revistas de divulgação da edição
2011 trazem os resultados do Avalie Alfa, projeto integrante do Sistema de Avaliação Baiano de Educação (Sabe). Elas apresentam os resultados gerais do estado, das regionais, dos municí-pios, das escolas e, inclusive, de cada um dos estudantes. De posse desse diagnóstico, é possível uma dupla orientação: referenciar, por parte da Secretaria Estadual da Educação, a elaboração de políticas públicas para todo o sistema educacional da Bahia e, por parte das escolas, orientar a construção da proposta pedagógica e a elaboração de seu planejamento.
Para o cumprimento das metas de melhoria da educação, propostas para a Bahia, as ações de monitoramen-to do sistema precisam contar com instrumentos de divulgação que infor-mem, da melhor maneira possível, os resultados alcançados. É preciso as-segurar que esses resultados sejam apropriados pelos gestores, profsores, estudantes e comunidade es-colar como indicativos da qualidade educacional. A apropriação, de forma crítica e autônoma, permite a esses agentes a utilização dos resultados para aperfeiçoar o próprio sistema. Com esse propósito, a Secretaria Estadual da Educação, em parceria com o Centro de Políticas Públicas e Avaliação da Educação da Universi-dade Federal de Juiz de Fora (CAEd/ UFJF), apresenta uma ampla política
de divulgação e apropriação dos re-sultados do Avalie Alfa.
Revistas para os gestores e professores, cartazes personalizados com os dados de cada unidade escolar, material para oficinas de estudo e vídeos educativos compõem uma série de produtos dis-tribuídos às escolas públicas estaduais e municipais da Bahia. Esses produtos foram elaborados sob três importantes princípios: o de informar os resultados do Avalie Alfa, o de subsidiar as ações de intervenção pedagógica e o de for-necer indicadores para a elaboração de ações de gestão.
Com essa ação, o governo da Bahia presta contas à sociedade acerca da qualidade dos serviços educacionais desenvolvidos em sua rede de ensino.
REVISTA DO GESTOR
REVISTA PEDAGÓGIcA
A Revista do Gestor ofe-rece informações gerais sobre a participação dos estudantes na avaliação e os resultados de proficiên-cia alcançados. Apresen-ta, de modo sintético, os padrões de desempenho estudantil definidos para o projeto Avalie Alfa além de discussões sobre po-líticas e metas para uma educação de maior quali-dade para todos.
A Revista Pedagógica apresenta os resulta-dos com foco na análise pedagógica por etapa e disciplina (Língua Por-tuguesa e Matemática) para as turmas seria-das por escola e para as turmas multisseriadas, por município.
Aliado aos materiais de divulgação de resultados, o Portal da Avaliação é o espaço interativo para a discussão e divulgação de informações e dados. Pelo link www.avalieba.caedufjf.net é possível ter acesso à coleção Sabe Avalie Alfa 2011, às matrizes de referência, aos roteiros das oficinas, aos vídeos instrucionais,
aos fóruns e a muitas outras informações sobre avaliação, disponíveis também no site da SEC www.educacao.ba.gov.br
PORTAL DA AVALIAÇÃO
o dIreIto a UMa edUCaÇÃo de QUaLIdade
O
s debates sobre o acesso do estudante à escola, assim como a permanência nela e a qualidade do ensino vêm ganhan-do cada vez mais destaque no âmbito da União, dos estados e dos municípios. Isso porque são esses entes que devem ga-rantir a educação formal com a qualidade exigida pelo avanço social, econômico, cultural e tecnológico da sociedade. A Constituição Federal, a Lei de Diretrizes e Bases da Educação Nacional (LDB) e o Plano Nacional de Educação (PNE) são algumas das referências que obrigam o poder público a cumprir esse dever. En-tretanto, se até o final do século passado a ênfase era o acesso à escola, atualmente são as questões relacionadas à perma-nência nela e à sua qualidade que mais preocupam, visto que são prerrogativas fundamentais de uma educação que pre-pare o estudante, de forma plena, para a vida em sociedade. Educação de qualidade e no tempo certo é, portanto, um direito de todos. As avaliações em larga escala buscam aferir o quanto os sistemas edu-cacionais se aproximam ou se distanciam do cumprimento desse direito.Ao produzir informações precisas sobre o desempenho escolar, as avaliações possi-bilitam, por parte dos atores educacionais, a execução de ações e estratégias voltadas à redução das desigualdades e ampliação das oportunidades educacionais. Dito de outra forma, a garantia do direito a uma educação de qualidade passa, necessariamente, pela avaliação dos sistemas de ensino.
Dada a necessidade de obter informa-ções específicas de sua rede de ensino, muitos estados e municípios brasileiros criaram seus próprios sistemas de avalia-ção, aplicando testes de forma censitária. Seguindo essa tendência, a Bahia optou por executar um sistema de avaliação próprio, o Sistema de Avaliação Baiano de Educação (Sabe), que vem a assumir o papel de prover um diagnóstico da qua-lidade do ensino no estado.
o sIsteMa de aVaLIaÇÃo BaIaNo de edUCaÇÃo
Com o propósito de criar um sistema de ensino mais justo e inclusivo, com chances de aprendizado iguais para todos os estudantes, a Secretaria Estadual da Educação desenvolveu o sistema de avaliação da rede de edu-cação pública.
O Sabe se configura como uma impor-tante política pública de avaliação da edu-cação, capaz de melhorar a qualidade do ensino e da aprendizagem. Com os dados gerados pelas avaliações, é possível pro-porcionar um diagnóstico mais preciso e rico da educação ofertada nas escolas do estado. Assim, subsidia a implementa-ção, a (re)formulação e o monitoramento de políticas educacionais, contribuindo efetivamente para a melhoria da quali-dade da educação no estado.
O objetivo maior é utilizar os resulta-dos das avaliações como base para
intervenções destinadas a garantir o direito do estudante a uma educação de qualidade. Em 2011, a Secretaria Estadual da Educação, em parceria com o Centro de Políticas Públicas e Avaliação da Educação da Universi-dade Federal de Juiz de Fora (CAEd/ UFJF), realizou a primeira edição do Avalie Alfa.
Criado como uma política de estado, o Avalie Alfa fortalece o regime de cola-boração estado-municípios em torno de uma questão fundamental do processo de escolarização: a alfabetização. Com a realização da avaliação dos estudan-tes do Ensino Fundamental – 2º ano, o estado da Bahia convoca a comunidade educacional para a assunção de um compromisso coletivo que assegure o direito de aprender dos estudantes no ciclo da infância.
O Avalie Alfa objetiva ava-liar o nível de alfabetiza-ção das crianças do 2º ano de escolarização das escolas da rede estadual e dos municípios que ade-riram ao Programa Todos pela Escola – Pacto com os Municípios. Utiliza instru-mentos de avaliação em larga escala, subsidian-do os sistemas de ensino para a tomada de decisões e intervenções na prática pedagógica.
2011 Série avaliada
Disciplinas envolvidas
Abrangência Participantes
2º ano de escolarização da rede estadual e dos 217 municípios que aderiram à 1ª ação do Programa Todos pela Escola
Língua Portuguesa (leitura) na avaliação de entrada, e Língua Portuguesa (leitura e escrita) e Matemática, na avaliação de saída
8.434 escolas estaduais e municipais Estudantes, professores e gestores
Avaliação, informações precisas e mobilização de pessoas
“U
m sistema avaliativo de amploalcance e bem estruturado pos-sibilita a tomada de decisões de forma segura e bem fundamentada, além de orientar intervenções pedagógicas qua-lificadas. Não deve ser uma ação de governo, mas uma política de Estado, para que seja assegurada sua continui-dade e seu aperfeiçoamento.” Esta é a opinião de Eni Santana Barretto Bastos, Superintendente de Acompanhamento e Avaliação do Sistema Educacional, a respeito da importância do processo avaliativo da Educação.
Eni ainda ressalta que as informações precisas sobre a rede escolar, o desem-penho dos estudantes e outros fatores relacionados produzidos são elementos fundamentais para a definição de políticas voltadas para a melhoria da educação.
Indagada sobre quais fatores poderiam prejudicar o processo avaliativo, a su-perintendente destaca o
“desconheci-mento dos objetivos, dos conteúdos e dos procedimentos adotados; e a não disseminação ampla dos resultados das avaliações.” Ao encontro destes fato-res, Eni enfatiza que para o processo se realizar com sucesso, é necessária “a clareza de objetivos, a coerência de procedimentos adotados para o alcan-ce desses objetivos, a mobilização das pessoas envolvidas com a avaliação, a rapidez na consolidação e na divulgação dos resultados.”
A mobilização dos participantes, como lembrado pela superintendente é ne-cessária para o sucesso do sistema avaliativo. Diante disso, Eni pondera que, apesar das avaliações em larga escala serem relativamente recentes, a comunidade tem observado avanços, como o “aumento de interesse de ges-tores e professores pelos resultados das avaliações e um maior empenho dos profissionais no desenvolvimento das ações de responsabilidade da escola.”
COm A PALAVRA, A SuPeRInTenDenTe
MeLhorIa da edUCaÇÃo
eni Santana Barretto Bastos
Superintendente
MatrIzes de reFerÊNCIa Para a aVaLIaÇÃo
N
as avaliações em larga escala, as matrizes de referência apresentam o objeto dos testes. São formadas por um conjunto de descritores que descre-vem as habilidades mínimas esperadas dos estudantes, em seus diversos níveis de complexidade, em cada área de co-nhecimento e etapa de escolaridade. Cada matriz de referência é estruturada em Eixo ou Tema e respectivos descri-tores, que indicam as habilidades das disciplinas a serem avaliadas.As matrizes são construídas a partir de estudos das propostas curriculares de ensino sobre os currículos vigentes no país, além de pesquisas em livros didáticos e debates com educadores
atuantes e especialistas em educação. A partir daí, são selecionadas habilida-des passíveis de aferição por meio de testes padronizados de desempenho que sejam relevantes e representativos de cada etapa de escolaridade.
As matrizes de referência são elabo-radas sem a pretensão de esgotar o repertório das habilidades necessárias ao pleno desenvolvimento do estudante. Portanto, estas não devem ser entendi-das como habilidades únicas a serem trabalhadas em sala de aula. Sua fina-lidade é balizar a criação de itens dos testes, o que as distingue das propostas curriculares, estratégias de ensino e diretrizes pedagógicas.
No Brasil, as primeiras matrizes de referência para avaliação foram apre-sentadas pelo Sistema Nacional de Avaliação da Educação Básica (SAEB). Desde então, essas matrizes vêm sendo utilizadas como base para as avaliações realizadas pelos estados e municípios brasileiros que possuem seus próprios programas de avaliação em larga escala. Na Bahia, as matrizes de referência para avaliação do Avalie Alfa foram elaboradas tendo como base as habilidades presentes nas matrizes do Provinha Brasil, bem como os Parâ-metros Curriculares Nacionais. Para a melhor compreensão da estruturação de uma matriz, é importante entender o significado de descritores e Eixo\Tema.
O tópico, eixo ou tema representa uma subdivisão de acordo com o conteúdo, competências e habilidades. Em Língua Portuguesa, os eixos que compõem a matriz de referência do Avalie Alfa são: Apropriação do sistema de escrita – habilidades relacionadas à identifica-ção, ao reconhecimento de aspectos relacionados à tecnologia da escrita; Leitura – habilidades relacionadas à leitura de palavras, de frases e de textos e Procedimentos de escrita. Como se vê, esses eixos são definidos a partir de habilidades básicas de leitura e
es-crita, elementos essenciais à formação e ao aprimoramento do escritor/leitor. A partir desses eixos, os descritores são elaborados.
Nas matrizes de referência para ava-liação em Matemática, os temas sele-cionados – Espaço e Forma, Grandezas e Medidas, Números e Operações/ Álgebra e Funções, e Tratamento da Informação – representam conteúdos com base nos quais são elaborados descritores que expressam habilidades nesta área de conhecimento.
Os descritores têm origem na associa-ção entre os conteúdos curriculares e as operações mentais desenvolvidas pelo estudante que se traduzem em certas habilidades. É a matéria-prima para a elaboração dos itens.
Como o próprio nome sugere, os descrito-res constituem uma sumária “descrição” das habilidades esperadas ao final de cada período escolar avaliado. Implicam, como fundamento, aspectos conceituais ou teó-ricos relacionados às diferentes áreas do conhecimento a serem avaliadas. A função dos descritores é, portanto, indicar as ha-bilidades que serão objetos de avaliação no conjunto de itens que compõem o teste.
eIxO/TemA
DeSCRITOR
MatrIz de reFerÊNCIa de aLFaBetIzaÇÃo
O Avalie Alfa utiliza duas matrizes, uma para Língua Portuguesa e outra para Matemática, que contemplam as habi-lidades do 2º ano de escolarização do Ensino Fundamental. A sua elaboração está apoiada em estudos atuais sobre os processos de Alfabetização e Letra-mento e de Alfabetização Matemática, os quais pressupõem a consolidação de competências que precisam ser desenvolvidas pelos estudantes nos primeiros anos do Ensino Fundamental.
aVaLIe aLFa - MatrIz de reFerÊNCIa de LÍNgUa PortUgUesa
2º aNo do eNsINo FUNdaMeNtaL
Eixo 1: Apropriação do sistema de escrita - habilidades relacionadas à identificação, ao reconhecimento de aspectos relacionados à tecnologia da escrita 1.1 - Quanto ao reconhecimento de letras
D1 Identificar letras entre desenhos, números e outros símbolos gráficos.
D2 Reconhecer as letras do alfabeto.
1.2 - Quanto ao domínio das convenções gráficas
D3 Identificar as direções da escrita.
D4 Identificar o espaçamento entre palavras na segmentação da escrita.
D5 Reconhecer as diferentes formas de grafar uma mesma letra ou palavra.
1.3 - Quanto ao desenvolvimento da consciência fonológica
D6 Identificar rimas.
D7 Identificar o número de sílabas de uma palavra.
D8 Identificar sílabas canônicas (consoante/vogal) em uma palavra.
D9 Identificar sílabas não canônicas (vogal, consoante/vogal/consoante, consoante/ consoante/vogal etc.) em uma palavra.
Eixo 2: Leitura - habilidades relacionadas à leitura de palavras, de frases e de textos 2.1 - Quanto à leitura de palavras
D10 Ler palavras no padrão canônico (consoante/vogal).
D11
Ler palavras nos padrões não canônicos (vogal, consoante/vogal/consoante, consoante/consoante/vogal etc.).
2.2 - Quanto à leitura
de frases D12 Ler frases.
2.3 - Quanto à leitura
aVaLIe aLFa - MatrIz de reFerÊNCIa de LÍNgUa PortUgUesa
2º aNo do eNsINo FUNdaMeNtaL
Eixo 2: Leitura - habilidades relacionadas à leitura de palavras, de frases e de textos 2.3 - Quanto à leitura de textos
D14 Inferir informação em texto verbal.
D15 Interpretar textos não verbais e textos que articulam elementos verbais e não verbais.
D16 Reconhecer o assunto de um texto.
D17 Identificar o propósito comunicativo em diferentes gêneros.
Eixo 3: Procedimentos de escrita
3.1 - Uso adequado da
página D18 Copiar frases respeitando o alinhamento e direcionamento do texto na página.
3.2 - Escrita de palavras D19 Utilizar, como escritor, o princípio alfabético na escrita de palavras(com ou sem apoio de imagem).
3.3 - Escrita de frases D20 Utilizar, como escritor, o princípio alfabético na escrita de frases, a partir de uma imagem.
aVaLIe aLFa - MatrIz de reFerÊNCIa de MateMÁtICa
2º aNo do eNsINo FUNdaMeNtaL
I. Espaço e Forma
D1 Identificar a localização/movimentação de objetos em mapas, croquis e outras representações gráficas.
D2 Identificar propriedades comuns e diferenças entre poliedros e corpos redondos.
D3 Identificar propriedades comuns e diferenças entre figuras bidimensionais pelo número de lados e tipos de ângulos.
II. Grandezas e Medidas
D4 Comparar ou ordenar comprimentos.
D5 Comparar quantidades de objetos.
D6 Num problema, estabelecer trocas entre cédulas e moedas do sistema monetário brasileiro.
D7 Ler horas em relógio de ponteiro ou digital.
D8 Num problema, reconhecer e utilizar as unidades usuais de medidas de tempo: dia, semana, mês e ano.
III. Números e Operações/ Álgebra e Funções
D9 Associar quantidades de objetos à sua representação numérica.
D10 Relacionar números a diferentes representações escritas.
D11 Comparar e/ou ordenar números naturais.
D12 Reconhecer e utilizar características do sistema de numeração decimal, tais como agrupamentos e trocas na base 10 e princípio do valor posicional.
aVaLIe aLFa - MatrIz de reFerÊNCIa de MateMÁtICa
2º aNo do eNsINo FUNdaMeNtaL
III. Números e Operações/ Álgebra e Funções
D14 Calcular o resultado da adição ou subtração de números naturais.
D15 Resolver problema envolvendo adição e/ou subtração de números naturais.
D16 Resolver problema envolvendo multiplicação ou divisão de números naturais.
IV. Tratamento da Informação
D17 Ler informações e dados apresentados em tabela.
D18 Ler informações e dados apresentados em gráficos (particularmente em gráficos de coluna).
eQUIdade e dIreIto à aLFaBetIzaÇÃo
U
ma escola comprometida com apromoção da equidade é aquela que assegura o pleno acesso à leitura e à escrita. Afinal, é a alfabetização que viabiliza o trânsito pelas diversas esferas da vida social, permitindo que crianças, jovens e adultos se expressem e interajam no mundo em que vivem.
Por isso, a democratização do acesso à escola implica, necessariamente, a democratização do acesso ao conhe-cimento sistematizado. Entretanto, as avaliações externas evidenciam que, no Brasil, a escola ainda encontra di-ficuldades no cumprimento dessa que, provavelmente, é sua principal missão no mundo contemporâneo.
Uma pessoa analfabeta, segundo a definição aceita internacionalmente, é aquela que não sabe ler nem escrever um bilhete. Essa definição se refere a uma apropriação da habilidade de codificação e decodificação da escri-ta para fazer frente a uma demanda elementar do cotidiano. Ela repre-senta um avanço em relação àquela adotada anteriormente – na qual um indivíduo alfabetizado seria capaz de ler e escrever o próprio nome. Porém, ser alfabetizado, hoje, vai além dessas
definições, pois significa saber utilizar o código alfabético nos âmbitos mais amplos das práticas sociais.
Dimensionando nosso desafio
Em uma década o analfabetismo no país caiu quatro pontos percentuais. Segundo o Censo 2010, do Instituto Brasileiro de Geografia e Estatística (IBGE), há 13,9 milhões de analfabetos com 15 anos ou mais – 9,63% da população nessa faixa etária ante a 13,64% em 2000. A maior parcela está no Nordeste.
É verdade que a maior parte desse contingente é de pessoas com mais de 40 anos, mas ainda há muitos analfa-betos entre as crianças, adolescentes e jovens inseridos no sistema escolar: em 2007, 2,1 milhões dos estudantes entre 7 e 14 anos, embora frequentas-sem a escola, não sabiam ler. Esse fato evidencia que os sistemas de ensino ainda precisam consolidar o acesso à leitura e à escrita.
Outra indicação das lacunas do sistema educacional em alfabetizar plenamente as crianças, em especial, diz respeito à discrepância entre o tempo de estudo esperado e aquele efetivamente
* Projeto longitudinal que focaliza a aprendizagem nas primeiras fases do ensino fundamental para estudar os fatores escolares e sociofamiliares que incidem sobre o desempenho escolar.
bido. Por exemplo, espera-se que uma criança de 11 anos tenha permanecido 4 anos na escola, mas a média é de 3,3 anos, o que indica a persistência da eva-são no início do Ensino Fundamental.
O Censo Escolar mostra que os três primeiros anos de escolaridade – justa-mente o ciclo de alfabetização – ainda representam um “funil” que colabora fortemente para a distorção idade-série, com uma taxa de reprovação de 23,9%, considerando os três anos. Como esse percentual tende a se concentrar nas ca-madas mais pobres da população, sobre-tudo no Norte e no Nordeste, constata-se que a escola não tem sido igualmente eficaz para todas as crianças.
É verdade que muitos fatores extraescola-res corroboram para a construção desse cenário: desigualdades na distribuição de renda repercutem em fraco acesso de certos segmentos sociais a bens culturais e na persistência do trabalho infantil, por exemplo. Mas reconhecer essa complexi-dade não exime a escola de seu papel na promoção de condições mais equânimes de acesso e permanência dos estudantes no sistema de ensino.
Os anos iniciais de escolarização são cruciais para o sucesso da
aprendiza-gem. De um lado, marcam as primei-ras experiências dos estudantes com o universo escolar; de outro, nessa etapa, crianças encontram-se num momento especialmente propício ao desenvolvimento de habilidades cog-nitivas fundamentais.
Projetos como o Estudo Longitudinal sobre Qualidade e Equidade no Ensi-no Fundamental Brasileiro (GERES*), que acompanhou um mesmo grupo durante um período, e avaliações em larga escala, como o Avalie Alfa, têm demonstrado que os primeiros anos de escolarização são aqueles em que os estudantes obtêm avan-ços mais significativos nos níveis de proficiência.
Embora esses ganhos permaneçam em etapas posteriores da escolariza-ção, nestas eles ocorrem num ritmo mais lento. Daí a necessidade de in-vestimentos consistentes na primeira etapa estudantil, de modo a assegurar esses ganhos a todos os estudantes. Nesse processo, o Avalie Alfa tem de-sempenhado o importante papel de oferecer subsídios para a definição desses investimentos.
MetodoLogIa e aNÁLIse dos testes
N
a avaliação interna, realizada em sala de aula, o professor, com base no planejamento pedagógico, pode uti-lizar vários instrumentos para avaliar o processo de aprendizagem dos es-tudantes. Em geral, a nota atribuída a cada estudante resulta dos acertos e erros às questões propostas. Esse procedimento é próprio do que se denomina Teoria Clássica dos Testes (TCT).No Avalie Alfa, diferente da avaliação interna, os testes são aplicados a um grande número de estudantes e os resultados levam em consideração cada uma das habilidades presentes nas matrizes de referência para a ava-liação. Outra diferença marcante são as unidades básicas componentes dos testes, os itens. Em sala de aula, cada questão de uma prova pode mobilizar diversas habilidades em sua resolu-ção. Em um teste de proficiência, no entanto, cada item tem o objetivo de avaliar uma única habilidade.
Os itens que compõem o teste do Avalie Alfa são elaborados dentro de critérios técnicos e pré-testados, ou seja, previamente aplicados a amostras de estudantes. Somente os itens que apresentaram boa qualidade pedagó-gica e estatística constituem a prova.
A definição do número de itens é um ponto importante na composição dos testes do Avalie Alfa. Os instrumentos cognitivos devem conter tantos itens quantos forem necessários para que se produza uma medida abrangente de habilidades essenciais ao período de escolaridade avaliado. Os testes não podem ser excessivamente longos, pois isso inviabilizaria sua resolução pelo estudante. Para solucionar essa difi-culdade, tem-se utilizado um tipo de planejamento de testes denominado Blocos Incompletos Balanceados (BIB).
mATemÁTICA
mATemÁTICA mATemÁTICA mATemÁTICA mATemÁTICA mATemÁTICA mATemÁTICA
mATemÁTICA mATemÁTICA mATemÁTICA mATemÁTICA mATemÁTICA mATemÁTICA
CoMPosIÇÃo dos CaderNos
no 2º ano do ensino Fundamental de matemática, por exemplo,
são 56 itens, divididos em 7 blocos, com 8 itens cada.
No 2º ano do Ensino Fundamental de Língua Portuguesa, são 12 mo-delos de caderno, distribuídos em 07 blocos formados por 07 itens cada um. Cada caderno é formado por 3 blocos + 1 bloco de escrita com 4 itens, totalizando 25 itens por caderno, sendo 21 de leitura e 4 de escrita.
No 2º ano do Ensino Fundamental de Matemática são 12 modelos de caderno, distribuídos em 07 blo-cos formados por 08 itens cada um. Cada caderno é formado por 3 blocos, totalizando 24 itens por caderno.
3 blocos aleatórios formam um modelo de caderno.
Ao todo, são 12 modelos diferentes de cadernos
= 1 item
i i i i i i i i
i i i i i i i i
i i i i i i i i
i i i i i i i i
i i i i i i i i
i i i i i i i i
i i i i i i i i
i i i i i i i i
(TRI) Teoria da Resposta ao Item
parâmetro
parâmetro
parâmetro
Capacidade do item de discriminar, entre os estudantes, aqueles que desenvolveram habilidades
e os que não desenvolveram.
Discriminação
Está relacionado ao percentual de estudantes que respondem corretamente ao item. Assim, quanto
menor o percentual de acerto, maior a dificuldade do item.
Dificuldade
Leva em consideração a probabilidade de o estudante “chutar” e acertar o item.
Probabilidade de acerto ao acaso
A
B
c
aNÁLIse dos testes
A proficiência é uma medida do conhe-cimento não observável de maneira direta. No Avalie Alfa, essa medida é obtida por meio da análise dos resulta-dos resulta-dos itens resulta-dos testes. Para analisá--los, são utilizados os procedimentos da Teoria da Resposta ao Item (TRI), por meio de softwares específicos. A TRI é um modelo estatístico capaz de produ-zir informações sobre as características dos itens utilizados nos testes, ou seja, o grau de dificuldade de cada item, a capacidade que ele tem de discriminar diferentes grupos de estudantes que o acertaram ou não e a possibilidade de acerto ao acaso. Denominamos essas características de parâmetros.
A análise dos testes por meio da TRI permite colocar, em uma mesma es-cala, a proficiência dos estudantes e comparar os resultados entre diferen-tes programas avaliativos (SAEB, Prova Brasil, Avalie Alfa) e de um mesmo programa ao longo de suas edições.
O propósito da avaliação é contribuir para a garantia do direito fundamental de todo estudante: o direito de aprender. Para tanto, ela deve estar relacionada aos objetivos de desenvolvimento cogni-tivo dos estudantes, estabelecidos pelo estado. Esses objetivos, por sua vez, devem levar em conta o cumprimento mínimo do currículo proposto para cada disciplina avaliada e etapa escolar. Logo, devem existir metas, traduzidas em per-fis e características de desempenho dos estudantes, assumidas como um verda-deiro compromisso e que sejam conhe-cidas por todos: gestores, professores e sociedade em geral. Cumprem esse papel os padrões de desempenho estu-dantil traçados pela Secretaria Estadual da Educação. Os padrões, ao mesmo tempo em que apresentam o ponto em que se encontra o desenvolvimento acadêmico dos estudantes avaliados, também indicam o horizonte de metas acerca do que se espera em termos de qualidade educacional.
o ProPósIto da aVaLIaÇÃo
Os padrões são cortes importantes das escalas de proficiência e representam uma caracterização do desempenho dos estudantes com base no perfil das habilidades que eles demonstram nos testes. São referenciais para a in-terpretação dos resultados do Avalie Alfa em Língua Portuguesa quatro categorias: inicial, intermediário, bá-sico e avançado e em Matemática as categorias recebem o nome de: níveis I, II, III e IV.
Estar nos padrões mais baixos de desempenho significa maiores pro-babilidades de evasão, abandono e consequente fracasso escolar, caso não sejam implementadas ações ime-diatas de intervenção pedagógica. Ao contrário, os padrões mais altos de desempenho indicam maiores pos-sibilidades de cumprir, com êxito, a trajetória escolar e determinam, para todo o sistema, a grande meta de qua-lidade a ser perseguida.1
1 A descrição dos padrões é apresentada na revista pedagógica.
PADRõES DE
DESEMPEnhO
Avaliação como subsídio para políticas públicas
A
Coordenadora de Avaliação daSecretaria da Educação do Esta-do da Bahia, Fátima Cristina Dantas Medeiros, entende a avaliação externa como elemento ímpar para o avanço da educação. Nessa perspectiva, “as informações produzidas pelo Sistema de Avaliação Baiano da Educação (Sabe) proporcionam ao estado e aos municí-pios a formulação de políticas para a melhoria do ensino e da aprendizagem dos estudantes”, comenta.
Fátima afirma que, com base no diag-nóstico proveniente das avaliações, algumas ações já começaram a ser implementadas, no intuito de garantir aos estudantes o direito de aprender. “Esse diagnóstico revela o perfil dos gestores, dos professores e dos estu-dantes, além de identificar os fatores contextuais que favorecem ou compro-metem a aprendizagem dos estudantes, explica a coordenadora.
Questionada sobre quais fatores pode-riam prejudicar o processo de avaliação, a coordenadora citou a baixa participação dos estudantes, informações inconsis-tentes advindas do preenchimento do censo escolar, a seleção inadequada de profissionais para acompanhamento da avaliação e a ausência de treinamento para os aplicadores, “além de algumas questões logísticas que, em um estado com 417 municípios como a Bahia, podem comprometer o processo”, completa.
Em sua opinião, a desinformação ou o desconhecimento sobre os objetivos da avaliação podem também dificultar o processo de aplicação das avaliações externas. Por isso, defende a
comunica-ção, o conhecimento sobre os objetivos, a boa construção da base, a divulgação das ações e a organização da equipe da unidade escolar.
Fátima partilha da ideia de que o re-sultado das avaliações deve subsidiar a formulação de políticas públicas, pois estas, em suas palavras, “produzem in-formações sobre o desempenho acadê-mico dos estudantes, competências e habilidades construídas e por construir, indicando o que ainda não está bom e que precisa de intervenção”.
Para a coordenadora, a rede pública de ensino vem superando a ideia de avalia-ção relacionada à puniavalia-ção, passando a entendê-la como um instrumento ne-cessário para a realização de mudanças e que possibilita o monitoramento de processos. “As discussões realizadas nos últimos anos vêm contribuindo para esse avanço. Observa-se que os profes-sores e gestores validam as ações do Sabe-Avalie Alfa como uma ferramenta importante para o diagnóstico da rea-lidade, a promoção da aprendizagem dos estudantes e melhoria da unidade escolar”, enfatiza.
Para encerrar, perguntamos que fa-tores devem ser priorizados para que a avaliação seja um sucesso. Fátima detalha: “a ampla divulgação das fi-nalidades da avaliação na comunidade escolar, bem como sua sensibilização e responsabilização; a garantia de qua-lidade dos instrumentos avaliativos; a organização logística com a definição de um calendário unificado e a utiliza-ção dos resultados para o planejamento de políticas educacionais”.
dIreIto de aPreNder
COm A PALAVRA, A COORDenADORA
Fátima Cristina Dantas medeiros
coordenadora de Avaliação da Secretaria da
Educação do Estado da Bahia
É crucial assegurar que, juntamente com as informações
que a avaliação fornece, sejam implementadas ações que contribuam para a solução dos problemas educacionais que nos
afetam. A avaliação, sob esse prisma, deve ser entendida como
um importante instrumento a ser utilizado para corrigir rumos e (re)pensar o futuro. As informações fornecidas pelo Avalie
Alfa, portanto, ganham força ao serem divulgadas, discutidas e entendidas como necessárias à edificação de uma educação mais justa e com qualidade para
Lina Kátia Mesquita Oliveira
Coordenação Técnica do Projeto
Manuel Fernando Palácios da Cunha Melo
Coordenação da Unidade de Pesquisa
Tufi Machado Soares
Coordenação de Análises e Publicações
Wagner Silveira Rezende
Coordenação de Instrumentos de Avaliação
Verônica Mendes Vieira
Coordenação de Medidas Educacionais
Wellington Silva
Coordenação de Operações de Avaliação
Rafael de Oliveira
Coordenação de Processamento de Documentos
Benito Delage
Coordenação de Produção Visual
Hamilton Ferreira
Responsável pelo Projeto Gráfico
Reitor da Universidade Federal de Juiz de Fora
Henrique Duque de Miranda Chaves Filho
Coordenação Geral do CAEd
Lina Kátia Mesquita Oliveira
Coordenação Técnica do Projeto
Manuel Fernando Palácios da Cunha Melo
Coordenação da Unidade de Pesquisa
Tufi Machado Soares
Coordenação de Análises e Publicações
Wagner Silveira Rezende
Coordenação de Instrumentos de Avaliação
Verônica Mendes Vieira
Coordenação de Medidas Educacionais
Wellington Silva
Coordenação de Operações de Avaliação
Rafael de Oliveira
Coordenação de Processamento de Documentos
Benito Delage
Coordenação de Produção Visual
Hamilton Ferreira
Responsável pelo Projeto Gráfico
Edna Rezende S. de Alcântara
Ficha Catalográfica
VOLUME 1
BAHIA. Secretaria da Educação do Estado. SABE (Sistema de Avaliação Baiano de Educação). AVALIE ALFA – 2011/ Universidade Federal de Juiz de Fora, Faculdade de Educação, CAEd.
v. 1 (jan/dez. 2011), Juiz de Fora, 2011 – Anual
MELO, Manuel Fernando Palácios da Cunha e; OLIVEIRA, Camila Fonseca de; OLIVEIRA, Lina Kátia Mesquita; REZENDE, Wagner Silveira; SILVA, Wellington; VIEIRA, Verônica Mendes.
ISSN 2238-3077
