A problemática de pesquisa: origem, contexto e justificativa

Considerando a potencialidade que as políticas de avaliação possuem para influenciar no processo educativo escolar, chama a atenção no contexto brasileiro o terreno favorável para se viabilizarem especialmente pela difusão de iniciativas de avaliações externas nas diferentes redes públicas de escolas. Durante os anos de 1990, as avaliações externas passam a estar inseridas em um conjunto mais amplo e complexo de iniciativas, com políticas de descentralização administrativa, financeira e pedagógica, e reformas curriculares (BONAMINO, 2002). Nesse período, a promulgação da Lei de Diretrizes e Bases da Educação Nacional (LDB), Lei nº 9.394 de 20 de dezembro de 1996, teve um importante papel na medida em que colocou sob a responsabilidade da União a avaliação do rendimento escolar – de modo que tal esfera deveria “[...] assegurar processo nacional de avaliação do rendimento escolar no ensino fundamental,

médio e superior, em colaboração com os sistemas de ensino, objetivando a definição de prioridades e a melhoria da qualidade do ensino” (BRASIL, 1996) –, legitimando as iniciativas que já vinham sendo implementadas pelo MEC e fortalecendo tais políticas. A lei contribuiu, assim, para elevar as avaliações externas a umas das principais frentes da política educacional do Brasil.

Nesse contexto, a permanência e regularidade das aplicações do Sistema Avaliação da Educação Básica (Saeb) propiciaram um quadro de estabilização das políticas de avaliação no Brasil, consolidando-as como política de Estado. De acordo com Sousa e Oliveira (2010), foi a partir da implantação do Saeb que houve uma disseminação dos sistemas de avaliação nas unidades federais, movimento que também chegou às redes municipais, como é o caso de São Paulo, que criou, em 2005, o SAAE- RME, revelando a influência do quadro nacional na RME-SP.

Essa disseminação de iniciativas mostra que as ações federais possuem força para interferir no andamento das políticas elaboradas em instâncias intranacionais. A exemplo disso, Sousa e Oliveira (2010), ao conduzirem um estudo sobre as avaliações externas de alguns estados brasileiros, analisaram o processo de elaboração dos itens das provas e concluíram que o Saeb, bem como os Parâmetros Curriculares Nacionais (PCN), são referências comuns para as iniciativas estaduais. Nesse sentido, cabe uma investigação mais aprofundada (o que não é o objetivo dessa Dissertação) sobre se de fato a organização de descritores específicos pelos estados tem resultado em expectativas de proficiência diferentes das previstas no Saeb, uma vez que o estudo coordenado por Sousa e Oliveira (2010) mostrou uma tendência de que os itens das provas dos diferentes estados eram semelhantes e que os sistemas procuravam gerar seus resultados na escala de proficiência do Saeb, bem como utilizar sua matriz de referência como ponto de partida, quando não usando-a integralmente.

Com efeito, muitos municípios passaram a desenvolver seus próprios sistemas de avaliação, objetivando um maior detalhamento dos resultados obtidos no Saeb, já que não se reconheciam nos resultados da avaliação externa de abrangência nacional – que inicialmente tinha um desenho amostral que impossibilitava um diagnóstico por escolas – nem nas realizadas pelos estados. Mesmo com o desenvolvimento da Prova Brasil, com um desenho censitário, observa-se uma continuidade dos sistemas estaduais já existentes e, também, a criação de novos, tanto estaduais quanto municipais. Tais iniciativas poderiam representar o anseio dessas esferas de serem suas próprias avaliadoras, de terem sob sua tutela o controle do processo de elaboração e aplicação

das provas, divulgação e uso dos resultados, sem deixar, com isso, de validar as aplicações e os resultados de âmbito federal. Essa perspectiva é reforçada por pesquisa realizada por Nigel Brooke, Maria Amália Cunha e Matheus Faleiros em parceria com o Grupo de Avaliação e Medidas Educacionais da Faculdade da Universidade Federal de Minas Gerais (BROOKE; CUNHA; FALEIROS, 2011, p. 08) que destaca:

A expansão das avaliações subnacionais parece refletir justamente a necessidade de controlar mais detidamente as etapas que envolvem o processo de avaliação e, assim o fazendo, traçar um diagnóstico mais contextual da aprendizagem dos alunos para, com base nisso, elaborar instrumentos e estratégias talvez mais eficazes.

Com a consolidação da Prova Brasil e a criação do Índice de Desenvolvimento da Educação Básica (Ideb) uma nova perspectiva é trazida para o debate da qualidade da educação brasileira, com a divulgação e fornecimento de “valores” de referência para a qualidade por meio de um diagnóstico mais preciso e contextualizado, em uma perspectiva de qualidade circunscrita à posse de determinados conteúdos e domínio de competências e habilidades. No entanto, a institucionalização unilateral dessas políticas pelo governo federal fez surgir, além de resistências à publicação dos resultados das redes e das escolas, dois problemas, segundo Sousa e Oliveira (2010, p. 812):

De um lado, os estados passam a questionar-se acerca da validade da manutenção de sistemas próprios, com seus altos custos e complexidade logística, para realizar a mesma função que o governo federal já realiza. De outro, se estabelece uma frequência muito alta de aplicação de provas, o que inviabiliza, até mesmo, o tempo necessário para que seus resultados sejam absorvidos, analisados e transformados em ações por parte das redes de ensino.

Destarte, mesmo com esses aspectos sendo uma realidade, a tendência que se percebeu, como já apontado, foi a consolidação do Saeb/Prova Brasil como política de avaliação externa nacional e o alicerçamento de sistemas estaduais e municipais que, como o governo federal, também passaram a criar índices educacionais atrelados às avaliações externas próprias (BROOKE; CUNHA; FALEIROS, 2011).

O grande interesse, adesão e mobilização em torno das avaliações externas, tanto de gestores públicos quanto das comunidades escolares, reforçam a importância de se investigar profundamente as avaliações externas das redes de ensino. Acentuando essa importância, e analisando a trajetória da avaliação de sistemas educacionais nos 25 anos de sua existência no Brasil, Gatti (2013, p. 65-66) considera que:

Os pesquisadores em educação precisam voltar-se mais ao estudo e à discussão das avaliações externas em larga escala, quer quanto aos aspectos relativos às políticas e ações educacionais, quer quanto aos aspectos teóricos e aos procedimentos implementados à luz de uma perspectiva também pedagógica. [...] É preciso refletir sobre os objetivos e impactos desse processo, que tem consequências pessoais, institucionais, sociais. Os processos avaliativos são processos que implicam necessariamente julgamento de valor e é preciso que se tenha consciência ética em relação aos objetivos, finalidades, procedimentos empregados, socialização das informações e ações decorrentes e seus consequentes.

Nesse sentido, justifica-se a investigação dos propósitos, princípios, delineamentos, potencialidades, deficiências e riscos inerentes à formulação, desenvolvimento, implementação e consequências das avaliações externas, sendo merecedoras de atenção as suas relações com outras dimensões das políticas públicas educacionais, como, por exemplo, sua vinculação com ações curriculares que, como evidenciado em Freitas (2007), também se configuraram como lócus estratégico da ação do Estado central no Brasil.

Em pesquisa recente da Fundação Carlos Chagas (FCC) (BAUER; REIS, 2013), foi realizado o mapeamento e a análise da produção acadêmica sobre os sistemas de avaliação no Brasil no período de 1988 a 2011, que revelou um número crescente de pesquisadores dedicados ao estudo da temática, tendo como preocupação, inclusive, aspectos como: 1) identificar e compreender o papel da avaliação de redes de ensino na evolução da qualidade da escola pública; 2) contribuir para o desenvolvimento teórico- metodológico das avaliações em curso no país; e 3) compreender as implicações dessas avaliações para a política educacional, para os programas e projetos educacionais existentes e para as escolas e seus agentes. No entanto, a pesquisa também constatou lacunas nas produções acadêmico-científicas e indicou que as reflexões produzidas pelos estudos parecem ter pouco impacto entre os gestores das políticas, uma vez que “[...] a incorporação da crítica e uso dos conhecimentos elaborados para a reorientação das avaliações parece estar fora do rol de intenções dos técnicos responsáveis pelo gerenciamento das avaliações” (BAUER, 2012, p. 15).

Outra importante contribuição do estudo realizado pela FCC para a presente pesquisa está na identificação de um grupo de produções acadêmico-científicas que versam sobre as implicações, impactos e efeitos das avaliações no currículo, na dinâmica escolar, na avaliação escolar, na formação e no trabalho dos professores, entre outros aspectos, buscando estabelecer um diálogo com a implantação de uma cultura da

avaliação e compreendendo-a em sua relação com outras políticas educacionais, com destaque para as de currículo e de materiais didáticos (BAUER; REIS, 2013).

Barretto ao analisar, em 2001, a produção de periódicos acadêmicos que abrangiam modelos de avaliação propostos para o ensino básico (publicados em âmbito nacional nos anos 1990), trata dos escritos que introduziam modelos e metodologias de avaliação em larga escala nos meios educacionais, destacando a função reguladora e o lugar privilegiado que essas avaliações tinham nas reformas educativas em curso em diferentes países, já dando destaque para a relação que tais avaliações passaram a estabelecer com o currículo. Segundo a autora (BARRETTO, 2001, p. 57-58):

A avaliação nesse modelo ganha importância nunca antes experimentada no cenário educacional, tornando-se componente imprescindível das reformas educativas. Ela permite não só a ampliação do controle do Estado sobre o currículo e as formas de regulação do sistema escolar, como também sobre os recursos aplicados na área. Nesse sentido, os imperativos da avaliação terminam por pressionar a formulação de currículos nacionais em países que nunca os tiveram, ou levam à sua reformulação e atualização nos que já os possuíam, visto que eles são a referência “natural” para o emprego da aferição padronizada do rendimento escolar, instrumento privilegiado do modelo.

Assim, um olhar sobre a literatura educacional revela as potenciais e efetivas influências que a avaliação pode ter sobre os currículos e os programas de redes de ensino (BONAMINO e SOUSA, 2012; CAPPELLETTI, 2010; GATTI, 2014; LOPES, 2004; LOPES e MACEDO, 2010; MADAUS, 1988; PELETTI, 2012; PERRENOUD, 2003; SANTOS, 2002; SOUSA, 2002; SOUSA, 2003; SOUSA e ARCAS, 2010). Para Gatti (2014, p 21), tem havido um movimento cada vez maior de referenciação das avaliações externas no currículo, o que, segundo a autora, acontece em razão de que

[...] na ausência de orientações curriculares nacionais mais claras, as matrizes de avaliação vêm tomando o seu lugar, o que é um contrassenso: currículos para a formação na educação básica são muito mais abrangentes e portadores de uma filosofia educacional dinâmica mais ampla, do que o que espelha uma matriz operacional de avaliação que, necessariamente, é restrita em seu escopo. As avaliações passaram a ser tomadas como a grande política de currículo educacional e, mais recentemente, como política definidora de equidade social. Cabe perguntar que elementos pedagógicos realmente oferecem para a renovação educacional, mesmo que seja apenas nas duas áreas consideradas? Olhando o modelo utilizado universalmente nessas avaliações e a escala utilizada, há pouca informação que possa alimentar e orientar processos de ensino.

Desse modo, frente às relações que têm sido estabelecidas entre as políticas de avaliação externa e de currículo e aos inúmeros questionamentos sobre as influências

que a avaliação pode exercer sobre o currículo – principalmente no sentido de um direcionamento e da sua redução, potenciais e efetivos, gerando, assim, discussões que têm pautado importantes debates educacionais na última década e vêm dando centralidade às políticas curriculares e avaliativas –, acredita-se ser necessário analisar essas políticas do ponto de vista do desenvolvimento de ações oficiais do governo. A razão para isso é que elas podem evidenciar elementos centrais da forma de agir estatal no que diz respeito à educação e apreender os possíveis aspectos que marcam a relação entre tais políticas, buscando a qualificação de elementos dessa relação.

Considerando essa perspectiva, a SME-SP firmou-se como um exemplo significativo da difusão de iniciativas de avaliações externas desenvolvidas por gestões municipais. Seguindo uma tendência nacional, mas, também, com particularidades carregadas pelo contexto da cidade, que corroboram para se fazer questionamentos importantes, a Secretaria iniciou, no mesmo período em que elaborou sua avaliação externa, um movimento de reorientação curricular, com a produção de materiais para uso dos professores e estudantes. Entre as expectativas vinculadas a esta produção, os resultados das avaliações seriam considerados como indicativos importantes para se observar as dificuldades de aprendizagem dos alunos.

Assim, o SAAE-RME, que também se destacava pelas dimensões físicas da Rede mobilizada – com aproximadamente milhão de estudantes, 83,8 mil funcionários, entre professores, gestores e pessoal de apoio – e pelo potencial de influência deste município sobre as demais redes públicas do país, além de sua importância econômica e política, compreendia a Prova da Cidade e a PSP3_{. O sistema tinha como principal} objetivo desenvolver um sistema de avaliação do desempenho dos alunos do ensino fundamental (EF) e médio da RME-SP, em diferentes componentes curriculares (SÃO PAULO, 2005b) para subsidiar a SME-SP na tomada de decisões quanto à política educacional. O SAAE-RME pretendia, também, fornecer informações às equipes técnico-pedagógicas das então Coordenadorias de Educação e às escolas. Desse modo, objetivava contribuir com a política de formação continuada do magistério; a reorientação e o aprimoramento das propostas pedagógicas; a articulação dos resultados com o planejamento no âmbito escolar – prevendo, inclusive, o estabelecimento de metas para o projeto pedagógico de cada escola –, e com a orientação para os trabalhos

3 _{No capítulo 4 a Prova São Paulo será mais amplamente explorada a partir de características sobre sua}

criação, formato e desenvolvimento que revelam a produção de importantes documentos e processos que foram articulados desde sua formulação até a consolidação.

desenvolvidos nas Salas de Apoio Pedagógico (SAP) das unidades com os alunos que necessitassem de reforço na aprendizagem (SÃO PAULO, 2005b).

É possível apreender, nos objetivos iniciais declarados, o intuito de que o sistema de avaliação que estava sendo criado subsidiasse as ações práticas das escolas, inclusive no que tange às propostas pedagógicas. A decisão expressa uma intencionalidade de influenciar na delimitação daquilo que se ensina e revela uma pretensa relação entre a política de avaliação externa e de currículo desenvolvida. Tal compreensão ganha dimensões importantes, pois juntamente à proposição do SAAE- RME, a SME-SP desenvolveu um projeto de trabalho que objetivou a definição de “Matrizes de Referência para a Avaliação do Rendimento Escolar” que articulava-se, de acordo com o governo (SÃO PAULO, 2007b, p. 03), com a busca pela “[...] construção de referenciais curriculares para orientar a avaliação do Ensino Fundamental”, abrangendo as competências e habilidades para cada um dos anos avaliados, sobre as quais se elaboravam os itens.

Ademais, também em 2005, foram publicadas as “Orientações Gerais para o ensino de Língua Portuguesa no Ciclo I”, que sistematizava conteúdos de ensino (SÃO PAULO, 2005g, e foi instituído o “Programa Ler e Escrever - Prioridade na Escola Municipal”, que visava à superação do fracasso escolar por meio do desenvolvimento de ações para reverter o quadro de analfabetismo e abrangiam a produção de materiais didáticos para professores e alunos (SÃO PAULO, 2005d). Também foram produzidas as “Orientações Gerais para o ensino de Língua Portuguesa e de Matemática no Ciclo I” “Orientações Curriculares: Expectativas de Aprendizagem e Orientações Didáticas”, que definem expectativas de aprendizagem para cada ano nas escolas da Rede, e os “Cadernos de Apoio e Aprendizagem” para professores e estudantes do 1º ao 9º ano.

Um primeiro olhar sobre essas políticas revela que foram formuladas em um mesmo período, compartilhavam alguns objetivos comuns e declaravam a existência de uma relação entre a PSP e a criação de materiais de apoio para a RME-SP4_:

Os Cadernos de Apoio e Aprendizagem, destinados aos estudantes dos nove anos do Ensino Fundamental, têm como finalidade contribuir para o trabalho docente visando à melhoria das aprendizagens dos alunos. Sua elaboração teve como critérios para seleção das atividades as dificuldades apresentadas pelos alunos na Prova São Paulo e na Prova da Cidade e o desafio que envolve o alcance das expectativas de aprendizagem contidas nos documentos de Orientações curriculares.

4 _{Disponível em: <http://www.portalsme.prefeitura.sp.gov.br/Projetos/fundemedio/Anonimo/cadernosdea}

Assim, diante da perspectiva de que a PSP teve possíveis implicações sobre a política curricular é relevante considerar, também, a forma como estavam organizados os setores responsáveis pela formulação de políticas educacionais na SME-SP. Tendo como referência o organograma da Figura 1, identifica-se, por exemplo, que a PSP encontrava-se sob responsabilidade do Núcleo de Avaliação Educacional (NAE)5_{, que} esteve subordinado à Assessoria Técnica de Planejamento (ATP) até 2013, dissociado da Diretoria de Orientação Técnica (DOT), setor responsável pelo currículo6_{. À primeira} vista, tal organização suscita um questionamento, pois o mais plausível seria encontrar, em face daquilo que também estava nos documentos oficiais, o NAE integrado ao setor responsável pelo currículo.

Figura 1 - “Quem somos” – Organograma da SME-SP Fonte: SME-SP

Com esse quadro de organização inicial é possível o questionamento acerca de um divórcio entre o NAE e a DOT, o que entraria em contradição com as declarações oficiais de articulação entre a PSP e as ações curriculares, mas, ao mesmo tempo,

5 _{Criado pelo Decreto nº 47. 683, de 14 de setembro de 2006, com atribuições relativas ao SAAE-RME.} 6 _{Em 2013 foi publicado no Diário Oficial da Cidade o Decreto nº 54.092 que transfere o NAE, sem}

alterar as suas atribuições, da ATP para o DOT. Tal ação pode se constituir, em uma primeira análise, como uma tentativa de eliminar a contradição anteriormente evidenciada. Contudo, para verificar tal hipótese são necessários estudos mais aprofundados que tenham como foco o contexto e as ações propostas pela nova gestão do prefeito Fernando Haddad, o que não é o caso da presente pesquisa.

poderia evidenciar que a produção curricular teria “imunidade” em relação às pressões da avaliação externa, pelo menos da PSP.

Ademais, no interior da RME-SP, a PSP suscitou questionamentos de várias ordens, que abrangiam, inclusive, tensões sobre sua relação com o currículo da Rede: Qual a pertinência da realização de uma avaliação externa própria? Quais seriam suas consequências para as escolas? Essa avaliação está reduzindo o currículo da Rede? Quais têm sido as iniciativas decorrentes de seus resultados para a melhoria do ensino?

Tais questões, entre outras, acarretam muitas polêmicas e resistências, como, por exemplo, as verificadas no meio sindical. A principal entidade que representa os professores e professoras da RME-SP, o Sindicato dos Profissionais em Educação no Ensino Municipal de São Paulo (Sinpeem), estabeleceu, no texto de referência de seu 19º Congresso, que um dos desafios da gestão de Gilberto Kassab era lidar com os resultados da PSP, que apontavam uma diferença de desempenho entre os alunos da Rede. Com essa abordagem, a entidade parecia reconhecer esse sistema de avaliação como um “termômetro para perceber as diferenças” existentes7_{. No entanto, em outro} trecho do mesmo documento, as avaliações externas são colocadas como instrumentos que “subestimam o papel da escola”, pois “[...] menospreza o conjunto de saberes, habilidades e valores construídos no ambiente escolar, camufla as condições precárias que foram previamente oferecidas tanto aos alunos como aos educadores”. Nesse sentido, para o Sinpeem, as avaliações externas, como a PSP, responsabilizam apenas os professores e estudantes pelo fracasso.

Esse posicionamento é reiterado nas resoluções do 20º Congresso do Sindicado8_, quando as críticas às avaliações externas destacavam que estas seriam ferramentas para “responsabilizar o servidor pelas mazelas causadas pela própria omissão do governo”, comprometidas, assim, com a “precarização da educação” e com interesses privatistas do governo. Foi com esse argumento também que o Sinpeem se posicionou de modo contrário à elaboração e divulgação de ranking das escolas, rejeitando essas avaliações como instrumentos para aferir a aprendizagem do aluno, pois “[...] cristalizam resultados e não apontam para melhorias paulatinas e crescentes”. Tal posicionamento ressalta um aspecto importante, o de que um processo avaliativo pode, a partir de seus critérios de julgamento, permitir – e muitas vezes é justamente por esperar que permita

7 _{Texto de Referência do 19º Congresso. Disponível em:<http://www.sinpeem.com.br/lermais_materias.p}

hp?cd_materias=2148#.U3pLQNJdVR8>. Acesso em: 20 jun. 2015.

8 _{Texto de Referência do 20º Congresso. Disponível em: <http://www.sinpeem.com.br/materias.php?cd_}