A Prova Brasil sob o olhar da SEE/DF

No intuito de analisarmos em que medida os resultados da Prova Brasil têm servido de subsídios para o trabalho de planejamento da SEE/DF é relevante investigar o entendimento que os gestores e equipes escolares possuem sobre o papel da avaliação externa para a educação básica. Isto porque acreditamos que a consequência dada aos resultados produzidos pela avaliação podem, de certa forma, decorrer da concepção que esses atores possuem a respeito do papel da política de avaliação nacional.

Inicialmente, buscamos verificar como a avaliação está normatizada no âmbito da SEE/DF, para depois conhecer a percepção dos seus diversos atores. Identificamos, então, dentre as competências gerais da SEE/DF, descritas nos incisos de I a XVIII, do Capítulo II, Artigo 2º, do seu Regimento Interno, as seguintes:

VI – zelar pelo cumprimento das normas e diretrizes da educação nacional e do Distrito Federal, bem como avaliar o referido cumprimento; [...]

VII – realizar pesquisas e estudos, avaliação e levantamentos de dados estatísticos e o Censo Escolar, voltados para a melhoria do ensino público no Distrito Federal; [...]

XVI – utilizar resultados de avaliações, pesquisas, dados estatísticos e informações como elementos necessários ao planejamento e desenvolvimento do ensino e elaboração do Plano de Educação do Distrito Federal. (DF, 2009)

Um primeiro entendimento de avaliação que observamos é o de controle. A SEE/DF deve utilizar as avaliações para supervisionar o cumprimento das diretrizes e normas nacionais pela sua rede de ensino. Os dados gerados pela avaliação também aparecem como subsídios necessários para o planejamento de ações que visam à melhoria da qualidade educacional. Diante disso, observamos que no plano oficial a avaliação ocupa um papel estratégico na condução dos trabalhos da SEE/DF, pois elas colaboram com o monitoramento da rede de ensino e está na base do processo de formulação de projetos, programas, e políticas que visam o desenvolvimento do ensino.

A partir dessa função normatizada da atividade avaliativa, investigamos a percepção dos níveis central e intermediário da SEE/DF a respeito da avaliação externa da educação básica. De maneira geral, nos depoimentos dos atores desses níveis a avaliação externa é

considerada importante, pois possibilita conhecer a realidade escolar e orientar o desenvolvimento de ações para a melhoria do ensino.

Acredito que [a avaliação externa] seja positiva, uma vez que estabelece um diagnóstico da educação em âmbito nacional e das séries/anos em que são aplicadas. Assim, cada Estado [...] pode traçar metas e ações a fim de buscar uma educação de mais qualidade para sua rede de ensino. (GESTOR 1-NC, informação escrita)

[...] a avaliação por si só, é o único norte possível que permita o acerto. Então, a Prova Brasil através da avaliação de todos os descritores ali postos, trás um alinhamento do sistema [...]. Para a política nacional, é fundamental saber como esses sistemas se apresentam [...] para melhorar a qualidade da educação. Então, esse realmente foi, na educação básica, na ultima década, o grande ganho. [...] saber, exatamente, quem precisa melhorar e no que precisa melhorar. (GESTOR 3-NC, informação verbal)

[a Prova Brasil...] facilita no sentido de direcionar o nosso trabalho, porque como ela é um indicador, indica exatamente onde nós temos que ir. Ela mostra para gente quem é [a escola] que está precisando de mais ajuda e onde está precisando de ajuda. (COORDENADOR 1-NI, informação verbal) [as avaliações externas...] permitiram, que víssemos [...] que a escola funciona de maneira sistemática, o que faz a gente, em termos de Secretaria, começar a pensar em funcionar como rede. Porque nós de rede, só temos a nomenclatura, trabalhamos como ilhas, e agora ou se trabalha como rede ou está fadado ao fracasso. (COORDENADOR 2-NI, informação verbal)

Um ponto de confluência que traçamos entre os depoimentos e as competências dispostas no Regimento Interno da SEE/DF é a compreensão da avaliação como um instrumento orientador das ações dos diversos atores, em prol da qualidade do ensino. Notamos que, para os gestores da Secretaria, as informações produzidas a partir das avaliações, possibilitam conhecer a realidade das escolas e redes para assim identificar “os caminhos a serem perseguidos” (LUCKESI, 1995, p. 43), em seus três níveis: central, intermediário e local.

Diante disso, poderíamos dizer que a avaliação é compreendida como instrumento que possibilita o alcance da qualidade da rede de ensino. No entanto, a partir dos relatos do Gestor 3-NC e do Coordenador 1-NI, observamos que a Prova Brasil deixa de ser instrumento para ela mesma, por meio dos resultados produzidos, atestar a qualidade de determinada instituição de ensino. Temos, assim, uma distorção do papel da avaliação que, sozinha, não pode indicar quais escolas precisam melhorar e nem mostra em que elas precisam melhorar, ela apenas fornece subsídios que possibilitam essas análises.

Dentre os relatos apresentados destacamos o do Gestor 3-NC, que apresenta a avaliação como o único caminho para se alcançar o acerto. Tal como discutido por Esteban

(2003), o acerto está associado à aprendizagem, ao saber demonstrado pelos estudantes na avaliação. Sendo assim, inferimos que o espaço para análises dos erros cometidos seja pequeno, pois o que se pretende é “alinhar” o sistema ao que é cobrado pelas avaliações. Além disso, observamos uma distorção no entendimento da prática avaliativa quando ela é indicada como “caminho”, quando na realidade ela deveria ser fonte de informações que laça luzes para as diversas trilhas possíveis.

A partir da análise é possível identificar o poder de controle que o “Estado avaliador brasileiro” exerce sobre determinada rede de ensino. Na estratégia de regulação desse modelo estatal percebemos que a qualidade do ensino está atrelada àquilo que é cobrado nas avaliações. No plano do discurso oficial, os resultados da avaliação servem para subsidiar reflexões e planejamentos para aperfeiçoar a gestão pública educacional e o trabalho escolar. No entanto, na prática percebemos a ocorrência do que Bonamino (2003) debate sobre o Estado definir os critérios de avaliação e determinar hierarquicamente os padrões de qualidade, com o propósito de “alinhar” o sistema educacional às metas estabelecidas no contexto internacional.

Dessa forma, inferimos que na dinâmica do “Estado avaliador”, a SEE/DF, ao buscar o acerto via avaliação, acaba desconsiderando a complexidade e especificidade da ação pedagógica em cada unidade escolar, reduzindo a discussão da qualidade a uma questão de ordem técnica. Com efeito, o que se pretende é o ajuste da rede de ensino ao que é cobrado na avaliação nacional e não, o conhecimento aprofundado das particularidades do ensino- aprendizagem em cada uma das escolas.

Ainda dentre os depoimento apresentados anteriormente, outro que reflete as ações desse modelo estatal é o do Coordenador 2-NI, quando se refere à capacidade da avaliação contribuir para o funcionamento coeso da rede de ensino. Depreendemos desse relato, que antes da avaliação as atividades desenvolvidas nas instituições de ensino eram distintas e desarticuladas, talvez, como consequência, da própria autonomia pedagógica. Após a avaliação externa, a SEE/DF reforça sua regulação de controle, de maneira a conduzir às suas escolas ao “sucesso” estabelecido pelo governo central, a partir das notas do Ideb projetadas para cada dois anos. Como a avaliação externa produz dados sobre o desempenho das unidades escolares, a Secretaria pode verificar a discrepância do rendimento médio das escolas entre si, em cada área avaliada, tal como sugere a Tabela 4.

Tabela 4 – Maiores x menores médias de desempenho Prova Brasil (2005 e 2007) das escolas de 4ª série/5ºano do Ensino Fundamental da SEE/DF

Ano

Língua Portuguesa Matemática

Máximo Mínimo Máximo Mínimo

2005 _{231,48 167,18 236,62 176,4} 2007 _{231,19 162,02 247,75 176,18}

Fonte: Inep/Prova Brasil/2005/2007

Diante da análise dos números expressos na tabela 4, no âmbito do DF, é possível observar, que em 2005, existia uma distância de 64 pontos nas médias das escolas que obtiveram maior e menor desempenho em Língua Portuguesa. Em 2007, esta diferença aumenta para 69,17. Na área de matemática, em 2005, a diferença entre os desempenhos é de 60,22 pontos, subindo para 71,57, em 2007. Esses números, referentes às médias de desempenho ou proficiência, evidenciam uma disparidade entre as escolas da rede local, o que poderia indicar aos gestores da SEE/DF a necessidade de rever a forma de articulação com as escolas, no intuito de tornar os dados mais equilibrados.

Todavia, acreditamos que articular os trabalhos da SEE não é estabelecer um objetivo comum para que as escolas atingirem determinado padrão de qualidade. A coesão da rede de ensino deve passar por um planejamento de ações que atenda as especificidades de cada instituição. Para tanto, é necessário que os gestores vejam os resultados das avaliações para além dos números, analisando o seu significado em termos de habilidades e competências trabalhadas por suas escolas e desenvolvidas pelos estudantes. Estas análises mais qualitativas se apóiam na escala de proficiência da Prova Brasil e, também, nas informações produzidas pelos questionários de contexto que são aplicados.

A escala de proficiência da avaliação traduz, para usar uma linguagem mais simplificada, as médias alcançadas pelos estudantes em habilidades e competências desenvolvidas. Desta forma, o número atribuído a uma instituição escolar, denominado média de desempenho ou proficiência, apresenta o desempenho médio dos alunos nas habilidades avaliadas. A partir da interpretação da escala é possível identificar, de maneira geral, quais habilidades foram desenvolvidas pelos estudantes e quais aquelas, próprias da série avaliada, eles não conseguiram desenvolver. Este tipo de análise, acompanhada da investigação dos fatores socioeconômicos, além de outras realidades do ambiente interno e externo à instituição, permitem que os números passem a ter sentido e consequência para a unidade escolar.

No entanto, durante as entrevistas com os atores dos níveis central e intermediário somente o Gestor 1-NC fez menção aos questionários de contexto, sem contudo dar maiores detalhes sobre a sua utilização. Talvez, a pouca ênfase destinada aos dados coletados pelos questionários aplicados a alunos, professores e direção das escolas participantes, seja decorrente da pequena disseminação dessas informações por parte do Inep. Pelo que pudemos identificar, nos documentos produzidos pelo MEC e INEP, o último relatório que apresenta análises de fatores associados ao desempenho foi publicado e distribuído no relatório do Saeb 2003. No que diz respeito à Prova Brasil, não localizamos nenhuma publicação, no período de 2005 a 2010, com vasta distribuição, que apresentasse os dados coletados nos questionários ou estudo de fatores associados ao desempenho. Para os pesquisadores e demais educadores interessados nessa temática que fizerem uma solicitação via e-mail ou correspondência impressa desses dados ao Inep foram disponibilizados os microdados116 _{da Prova Brasil 2007,}

nos quais constam todas as informações coletadas na avaliação.117

Com relação à análise da escala, conseguimos identificar apenas uma referência no depoimento do Coordenador 2-NI, segundo o qual costuma analisar a articulação feita entre os conteúdos distribuídos na matriz curricular da SEE/DF e a categorização dos níveis de proficiência da avaliação. No entanto, ele afirma que essa não é uma tarefa simples, pois percebeu nas visitas de acompanhamento às escolas que

[...] o professor, hoje, não consegue acompanhar como que um mesmo conteúdo pode transitar por esses níveis de proficiência e essa é uma das grandes dificuldades da rede como um todo. (COORDENADOR 2-NI, informação verbal)

A falta desse elemento no discurso dos atores nos remeteu às lacunas do material de divulgação da Prova Brasil, que tende a se concentrar mais na expressão numérica do desempenho, do que em sua leitura pedagógica. Sendo assim, como a interpretação da escala de proficiência não tem sido enfatizada nas disseminações de resultados, ainda existe certa dificuldade em enxergar pedagogicamente os dados da avaliação, como podemos verificar no seguinte relato.

Quando a gente consegue ter acesso aos resultados, faz toda uma análise pensando [...] não apenas no número em si, mas em quanto cada uma dessas

116 _{Os microdados consistem no menor nível de desagregação dos dados de uma pesquisa ou levantamento,}

retratando sob a forma de códigos numéricos o conteúdo dos questionários, as respostas dos estudantes, preservando o sigilo das informações.

escolas cresceu ou não cresceu. A gente trabalha muito a questão dos participantes e dos não participantes e faz reagrupamentos por tipologia de escolas, reagrupamentos por [Diretoria] Regional de Ensino tentando auxiliar a escola a compreender esses números, transformado como se fossem planilhas. Isso é distribuído para as [Diretorias] Regionais de Ensino para que elas possam trabalhar com essas escolas. (GESTOR 3-NC, informação verbal)

Esse Gestor compreende que a análise não pode ficar restrita à média de desempenho, ou ao Ideb, isoladamente. No entanto, os trabalhos que declarou realizar ainda não ultrapassam o campo numérico, identificando o quanto as escolas cresceram ou diminuíram nas médias e índices. Além disso, a elaboração de planilhas para as DRE indica que há uma organização dos dados em ordem crescente ou decrescente de desempenho e, possivelmente, dos índices que devem ser perseguidos, para o cumprimento das metas do Ideb.

Ainda no intuito de investigarmos o entendimento da SEE/DF frente à avaliação, questionamos aos gestores e coordenadores dos níveis central e intermediário, o que eles conheciam a respeito do processo de elaboração da Prova Brasil. No caso dos gestores do nível central, apresentados a seguir, observamos que os entrevistados sabem que a elaboração da Prova Brasil está pautada na Matriz de Referência da avaliação, na qual constam descritas todas as habilidades e competências avaliadas.

A elaboração da Prova Brasil é realizada a partir de matrizes de referências, que trazem quais serão as habilidades e conteúdos a serem avaliados, bem como as séries/anos, de acordo com os Parâmetros Curriculares Nacionais e as propostas pedagógicas dos Estados da Federação e de alguns municípios, além das orientações para as questões. Os livros didáticos também são utilizados para a elaboração. (GESTOR 1-NC, informação escrita)

Eu vejo o edital de contratação, o trabalho do Inep com relação a isso [processo de elaboração da Prova Brasil], a constituição das matrizes, dos itens e do trabalho de pré-testagem. (GESTOR 3-NC, informação verbal)

A fala do Gestor 1-NC denota que ele possui informações sobre o trabalho de construção das Matrizes de Referência da avaliação que foi coordenado pelo governo federal e contou com a consulta dos PCN, dos currículos de algumas UF e municípios e dos livros didáticos mais utilizados. Inferimos, também, que ele teve acesso ao material contendo tais Matrizes, distribuído pelo MEC, pois nessa publicação possui uma explicação sobre a construção desse documento e “orientações para as questões”. Por sua vez, o relato do Gestor 3-NC demonstra que ele conhece, além da matriz, elementos mais específicos em torno da execução da Prova Brasil, como, por exemplo, o edital no qual consta o projeto da avaliação

com seus detalhes técnicos e o processo de pilotagem dos itens antes de seu uso definitivo no teste, chamado de pré-teste.

Consideramos relevante que o nível central da SEE/DF conheça cada uma das etapas envolvidas no processo de elaboração da Prova Brasil. Desta forma, os gestores estarão mais cônscios das informações e trabalhos que deverão ser encaminhados junto aos níveis intermediário e local.

Além de conhecer todos os passos envolvidos no planejamento e execução da Prova Brasil, ponderamos que seria fundamental a participação efetiva da SEE/DF em cada um dos seus estágios. O fato de não estarem envolvidos na construção e demais etapas da avaliação gera certa desconfiança nos dados produzidos, tal como sugerem os depoimentos a seguir:

[...] existe uma ansiedade na rede após a aplicação da Prova Brasil [em 2009]. A gente teve muitos problemas com essa aplicação, problemas de logística, provas que não chegavam [...] e, assim, não foi fácil o nosso trabalho com a contratada do MEC dentro do DF, demandou bastante paciência. Então, [...] tenho certo receio que eles [Inep e MEC] justifiquem um possível mau desempenho do DF, por conta das dificuldades da aplicação. (GESTOR 3-NC, informação verbal)

Isso aí [o processo de construção da Prova Brasil] é coisa do MEC e de lá eu não sei se eles melhoram o currículo que está aqui [no DF] e depois aplicam a prova [...]. Porque isso aí é um pacote fechado e a gente só aplica. A prova vem do MEC e a gente abre no dia da aplicação e não pode nem ficar com a prova [...] não sei exatamente como é gerada essa Prova Brasil. [...] Nessas avaliações, o que é “super” perigoso é uma coisa chamada “maquiagem” que é possível fazer [dos dados] e aí o resultado na escola sai lá em cima e, às vezes, não diz a realidade. (GESTOR 1-NI, informação verbal)

Na fala do Gestor 3-NC, percebemos certa preocupação com a fidelidade dos resultados das escolas do DF na Prova Brasil. Esse fato pode fazer com que a SEE/DF não se reconheça nos dados gerados pela avaliação e, assim, não os utilize para fins de planejamento de suas ações. Já o Gestor 1-NI, responsável pela coordenação dos trabalhos junto às instituições de ensino, pelo fato de não conhecer as minúcias envolvidas na construção da Prova Brasil, sugere que os resultados podem ser adulterados.

Diante de tais depoimentos, notamos que, apesar de as informações produzidas pela Prova Brasil chegarem à Secretaria de Educação e serem reconhecidas como um instrumento sinalizador de estratégias em prol da rede, o processo avaliativo ainda está centralizado no governo central. Esta centralização da avaliação é outra marca do “Estado avaliador”, que nega o regime de colaboração entre os entes da federação, previsto na CF/1988 e reforça o seu

papel controlador e não o de promotor de um envolvimento de todas as redes com a análise pedagógica dos dados da avaliação.

Para Cury (2002), “se a avaliação é competência própria da União, ela o é também sob o regime de colaboração recíproca.” (p. 195). Sendo assim, deve ocorrer um trabalho conjunto entre os agentes públicos das três esferas do governo, em todos os processos da avaliação, com o propósito de se conseguir alcançar os objetivos da educação nacional. Segundo o autor, a não cooperação entre os entes federados pode transformar os sistemas de avaliação em um novo programa curricular, com o estabelecimento de um currículo mínimo nacional, cerceando a autonomia e a criatividade das escolas e, estabelecendo, um sofisticado e disfarçado mecanismo de controle.

Também Lapointe (1995) argumenta que os educadores e administradores tendem a olhar com certa desconfiança para os programas externos de medidas e monitoramento da educação. Diante disso, ressalta que é essencial um sério envolvimento de todos no planejamento e desenho da avaliação. O autor sugere que professores, diretores, gestores e especialistas devem ser responsáveis pela elaboração dos objetivos a serem medidos pelos instrumentos avaliativos, tais como testes e questionários e, ainda, participar da revisão e validação dos mesmos. Isto porque um maior envolvimento dos atores aumenta as possibilidades do programa se efetivar.

Acreditamos, então, que uma vez integrados e partícipes dos processos envolvidos na Prova Brasil, os gestores poderão monitorar o seu desenvolvimento assegurando uma maior credibilidade e “validade consequencial” aos dados finais. Conforme aponta Vianna (2003) essa validade diz respeito às mudanças efetivas que a avaliação pode e deve produzir, promovendo mudanças de pensamento, induzindo novas ações, contribuindo para a melhoria dos prováveis problemas diagnosticados.

Com base nessas análises, consideramos também relevante investigar se a concepção de avaliação no nível local apresenta correspondência com a dos níveis central e intermediário da SEE/DF. Sendo assim, questionamos os diretores escolares sobre o papel da avaliação externa para a educação básica. As respostas, em geral, qualificam que a importância da avaliação está na sua possibilidade de estabelecer um parâmetro para a educação ofertada no DF, tal como podemos perceber nos relatos seguintes:

No meu ver, ela [avaliação] deve servir de parâmetro para mensurar [...] se o nível do que está sendo ensinado pela nossa Secretaria [de Estado de Educação do DF] está condizente com o que está sendo dado no Brasil. Porque, assim, temos um parâmetro com os outros estados e aí a gente pode se observar num gráfico e ver em que patamar a gente está, se está num nível mais elevado ou se a gente precisa melhorar. (DIRETOR E-26)

[...] acho de suma importância a gente ter esses resultados [...] da Secretaria [de Estado de Educação do DF]. [...] não como uma competitividade que, muitas vezes, é vista por alguns gestores, mas para a gente está avaliando qual o nosso papel. [...] Como eu já tive essa oportunidade de dirigir uma escola, sem esses resultados, a gente fica achando que está ótimo ou que está ruim, e a gente não tem parâmetros [...]. (DIRETOR E1, informação verbal)

Da análise das declarações, depreendemos que a avaliação, à semelhança da compreensão dos níveis central e intermediário, é percebida como um instrumento que estabelece os parâmetros do nível de ensino que deve ser perseguido pelas instituições. Sendo