Avaliações institucionais do Plano Nacional de Educação no âmbito da União

Com a premissa de que a avaliação é componente inerente à implementação de uma política pública, cabe registrar aqui algumas avaliações específicas do PNE fomentadas no âmbito da União. Acredita-se que, quanto maior a explicitação desse problema, dentro de seu respectivo contexto temporal e situacional, maior será a possibilidade de aproximação de realidades que precisam ser entendidas. Reconhecida a relevância das avaliações no contexto do processo de implementação do PNE, entende-se que elas deveriam ser norteadas nas perspectivas apontadas nas diretrizes e nos objetivos do Plano. Dessa maneira, pode-se verificar ou medir se houve a efetiva aplicação dos dispositivos legais na consecução das políticas públicas de educação e dos seus processos.

A avaliação adequada abre possibilidade de aferição crítica e reflexiva dos alcances, limites e implicações decorrentes das ações realizadas. Isso permite que os processos – caso necessitem – sofram intervenções no devido tempo, independentemente do estágio, da forma e do local que se apresentem. Em suma, este tópico discute algumas avaliações externas (realizadas por setores vinculados ou não aos órgãos da União diretamente responsáveis pela educação e pesquisadores da área) e internas (oficialmente no âmbito do MEC).

Essa análise traça relações entre as diversas avaliações desenvolvidas, dentro dos devidos contextos em que foram materializados. Nessa direção, cabe salientar que as questões envolvidas na avaliação do PNE são fortemente imbricadas entre si e com outros aspectos e contextos ligados ao Plano. O entendimento desse universo pressupõe um exercício reflexivo que leve a compreender, por exemplo, que:

[...] a avaliação do PNE vai além da técnica e da indicação de cenários. Implica a mobilização pela defesa da educação. É preciso conseguir apoio político, social e institucional para que seja executado o que foi planejado. Para ampliar o público envolvido na avaliação, com a participação dos

diferentes atores do Plano, precisamos encontrar e usar uma linguagem compreensível; os indicadores de avaliação das metas têm que ser entendidos e discutidos também lá nos pequenos municípios. (DIDONET, 2006, p. 17).

Nessa direção, Cohen (2011, p. 108) esclarece que nem todas as avaliações são iguais. Para o autor, as diferenças podem ser estabelecidas por vários critérios: “o tempo de sua realização e os objetivos procurados”; “quem a realiza”; “a natureza que possuem”; “a escala que assumem”; e “a que alçadas decisórias são dirigidas”. Essa reflexão possibilita entender as circunstâncias presentes nos contextos dos processos de implementação do PNE de 2001. Note-se que as avaliações de processo olham para frente (para as correções ou adequações) e que as avaliações de impacto olham para trás (verifica se o projeto funcionou ou não), com vista a descobrir as causas. Sobre essas avaliações, acrescenta-se que:

[...] a primeira procura afetar as decisões cotidianas, operativas; por outro lado, a última se dirige para fora, além do projeto, sendo utilizável para decidir sobre sua eventual continuação, para formular outros projetos futuros e, em fim, para tomar decisões sobre política. Isto faz com que os usuários da avaliação também sejam diferentes: enquanto em um caso serão os próprios funcionários que administram o projeto, no outro serão autoridades do projeto ou inclusive aqueles que têm capacidade de decidir orientações mais gerais. A avaliação de processos, chamada também avaliação contínua, é realizada durante a implementação do projeto ou em sua fase de operação. [...] A avaliação de impactos pode ser efetuada durante ou depois de finalizar o projeto. (COHEN, 2011, p. 110).

Considerando o momento em que se realiza e os objetivos que se persegue, muitos autores ou especialistas classificam as avaliações em dois tipos: “ex-ante” e “ex-post”. Para Cohen (2011, p. 110), o primeiro tipo é “realizado no começo do projeto, antecipando fatores considerados no processo decisório” e o segundo “ocorre quando o processo já está em execução ou já está concluído e as decisões são adotadas tendo como base os resultados efetivamente alcançados”. De acordo com a dimensão temporal prevista na última fase, esse autor admite para a avaliação “ex-post” “a possibilidade de aplicação de uma avaliação de processo (concomitante), ou de impacto” (COHEN, 2011, p. 108).Essas reflexões, além de embasarem as análises do estudo deste tópico, ajudam na compreensão de outras questões abordadas neste estudo. Entre outros fatores, a avaliação é uma questão intrínseca aos Planos Decenais; no caso específico do PNE 2001-2010, a própria lei que o aprovou estabeleceu acompanhamento permanente e ciclos avaliativos. Essa prerrogativa, além de estar destacada especificamente no capítulo VI – “Avaliação e Acompanhamento do Plano” – da referida lei,

está inferida nos seus artigos introdutórios.

A decisão de analisar os fatores que influenciaram a implementação do PNE no âmbito da União, a priori, parte de pressupostos que a existência ou inexistência de avaliação do referido instrumento, nos moldes ou de formas similares àquelas avaliações configuradas acima, apresenta-se como fator influenciador do processo e, consequentemente, da não consecução das suas metas previstas. Ressalta-se que alguns órgãos públicos federais estavam estreitamente ligados ao Plano, em cumprimento ao art. 3º da Lei nº 10.172/01:

Art. 3º. A União, em articulação com os Estados, o Distrito Federal, os Municípios e a sociedade civil, procederá a avaliações periódicas da implementação do Plano Nacional de Educação. § 1º. O Poder Legislativo, por intermédio das Comissões de Educação, Cultura e Desporto da Câmara dos Deputados e da Comissão de Educação do Senado Federal, acompanhará a execução do Plano Nacional de Educação. § 2º. A primeira avaliação realizar-se-á no quarto ano de vigência desta lei, cabendo ao Congresso Nacional aprovar as medidas legais decorrentes, com vistas à correção das deficiências e distorções. (BRASIL, 2001, art. 3º).

Conforme o exposto e o Relatório Técnico apresentado por Brasil (2006), os seguintes órgãos da União estavam diretamente vinculados à questão avaliativa do PNE:

O MEC: responsável pela iniciativa e execução das ações que levam ao alcance dos objetivos ou das metas fixadas para o sistema de ensino da União e pela assistência técnica e cooperação financeira aos sistemas de ensino dos demais entes federados nos termos das legislações vigentes, inclusive o PNE.

O Inep: conduz diversos programas de avaliação da educação básica e o sistema nacional de avaliação da educação superior (Sinaes), apresentou em 2004 um conjunto de estatísticas demográficas e indicadores educacionais44 com o objetivo de subsidiar a elaboração dos planos decenais de educação e avaliar o PNE;

O CNE: dentre suas competências, tem a responsabilidade de subsidiar a elaboração e acompanhar a execução do PNE (art. 7º, § 1º). Em 2002, aprovou a Indicação nº 2, pela qual o PNE seria um dos seus focos de estudo45;

A Comissão de Educação e Cultura da Câmara dos Deputados: tem a competência de acompanhar a execução do Plano como parte da avaliação.

44 _{Trata-se da publicação Os Desafios do Plano Nacional de Educação, publicada pelo MEC, em 2004.}

45 _{As referidas iniciativas do CNE tiveram destaque em dois momentos: a) nas ações conjuntas do SEB/Dase/Inep} a partir da criação do Dase (2004), especialmente entre 2005-2006 e no momento em que se passou a discutir a Conae 2010 e o novo PNE. Nos três anos seguintes ao lançamento do PDE, confirmando uma tendência dos demais órgãos da União, pouco fez esse Conselho para avaliar e acompanhar o PNE, que estava vigente, mas “solenemente ignorado” (SAVIANI, 2007). Complementando essas informações, registram-se no quadro a seguir algumas ações promovidas e/ou desenvolvidas pelos órgãos referidos.

MEC 2005 Colóquio Nacional sobre Mecanismos de Acompanhamento e Avaliação do Plano Nacional de Educação

Realizado em Brasília, em 2005. A gravação e a transcrição das falas permitiram a releitura cuidadosa dos comentários e sugestões dos diversos palestrantes e debatedores que compuseram a primeira mesa46 _{e a segunda mesa}47_{, nas quais ocorreram grandes debates} avaliativos do PNE 2001-2010.

MEC 2006 Seminários regionais de acompanhamento e avaliação do PNE e dos Planos Decenais Correspondentes, realizados nas cinco regiões do País em 2006.

Os resultados foram apresentados em documento técnico com lições do processo de elaboração dos planos decenais, recomendações para aperfeiçoamento do processo, novas questões, dificuldades no processo de elaboração, fatos marcantes da experiência estadual ou municipal e temas que requereram maior estudo e debate. (BRASIL, 2006b).

MEC 2006 Diagnósticos regionais da situação educacional frente às metas do PNE, realizados pelo Centro de Planejamento e Desenvolvimento Regional – CEDEPLAR (BRASIL, 2006c).

Consta de cinco volumes, um por Região. Cada um contém três partes: (a) Sumário Executivo, com análise da situação nacional, síntese da Região e de cada Estado; (b) Tipologias regionais dos estabelecimentos escolares da Região; e (c) Projeção demográfica e de matrículas, taxas de atendimento e de transição e os indicadores do censo escolar. O objetivo desse estudo foi subsidiar os sistemas estaduais e municipais na elaboração, no acompanhamento e na avaliação dos seus respectivos planos decenais. Foi distribuído um volume para cada região nos Seminários Regionais de Acompanhamento e Avaliação do Plano Nacional de Educação e dos Planos Decenais Correspondentes.

Inep 2006 Avaliação do Plano Nacional de Educação Essa avaliação do Inep versou sobre os níveis e modalidades educacionais de acordo com a configuração do PNE 2001-2010. Nesta avaliação foram incluídos também o financiamento e a gestão educacional. Cada capítulo iniciava com uma introdução sobre o tema, situando o estágio da questão educacional abordada. Segundo Brasil (2006, p. 8), cada meta do Plano era considerada conforme os indicadores selecionados: “eram feitas observações e recomendações para ampliar o nível de avaliação da meta”. Para cada meta avaliada, constava no documento uma conclusão com comentários aos quais se seguiam as políticas

46 _{De acordo com Brasil (2006), a primeira mesa foi composta pelo representante do Ministro da Educação (o Secretário da SEB), pelo Presidente da Comissão de Educação e} Cultura da Câmara dos Deputados, pela Presidente da UNDIME e pelo representante do presidente do CNE. Além disso, estavam nesse ato: i) os representantes da Unicef, da Unesco, Pnud, do Consed, da Undime nacional e estadual, do Fórum dos Conselhos de Educação, da UNCME, dirigentes e Técnicos do MEC.

47 _{De acordo com Brasil (2006), a segunda mesa foi constituída pelo Deputado Federal Carlos Abicalil, membro da Comissão de Educação da Câmara dos Deputados; pelo} Professor Neroaldo Pontes de Azevedo, Secretário Estadual de Educação da Paraíba e Conselheiro do CNE; pela Sra. Oroslinda Goulart, diretora de Tratamento e Disseminação de Informações Educacionais; pelo Sr. Eduardo Luiz Gonçalves Rios Neto, Professor do Departamento de Demografia do Centro de Desenvolvimento e Planejamento Regional da Universidade Federal de Minas Gerais; pelo Prof. Arlindo Queiroz, Coordenador Geral de Articulação e Fortalecimento Institucional do Sistema de Ensino da Secretaria de Educação Básica do MEC; e pelo Sr. Horácio Reis, Diretor do Departamento de Articulação e Desenvolvimento do Sistema de Ensino.

documento abrangeu todas as metas do plano dentro desse mesmo princípio lógico. Esse trabalho era realizado em parceria com as secretarias fins do MEC, especialmente a SEB, por meio do Dase/Cafise48_{. Conforme aponta Brasil (2006, p. 8), “[...] O estudo foi} impresso, ainda em versão interna, em onze fascículos, alcançando um total de 701 páginas”. Esse documento serviu de base para a produção de outro documento contendo 4 volumes e que seria publicado pelo Inep. O último volume foi produzido no Dase por meio do Programa de Acompanhamento do PNE referido.

CNE 2005 Ciclo de Debates Foi realizado com o “objetivo de subsidiar o MEC no envio de propostas ao Congresso Nacional” (BRASIL, 2006, p. 8). Cada capítulo do PNE foi atribuído a um Conselheiro, para que procedesse à análise dos objetivos e metas. Após sua fala, houve debate com os presentes. Com base nos registros de Brasil (2006, p. 8), foram convidados “os órgãos e entidades responsáveis pela implementação e avaliação do Plano, sendo que a presença às sessões era franqueada aos interessados”. A abertura do Ciclo foi feita pelo Ministro da Educação, com a participação dos Presidentes do CNE, da Comissão de Educação e Cultura da Câmara dos Deputados e da Comissão de Educação do Senado Federal49_.

Câmara dos

Deputados 2004 Estudo sobre o acompanhamento e a avaliação do PNE 2001-2010 (primeira versão)

De acordo com Brasil (2006), o minucioso estudo sobre a implementação do Plano de 2001 foi solicitado pela Comissão de Educação e Cultura da Câmara dos Deputados à Consultoria Legislativa do referido órgão. “O estudo foi publicado por aquela Comissão, em 2004” (BRASIL, 2006, p. 8). Esse estudo foi atualizado, em 2006, a partir de novos dados apresentados50_.

Câmara dos Deputados

2006 Estudo sobre o acompanhamento e a avaliação do PNE 2001-2010 (versão atualizada)

No segundo semestre de 2006, a Comissão recebeu outro estudo da Consultoria Legislativa, que faz novas análises, com dados estatísticos e informações sobre programas governamentais voltados à implementação do PNE, considerando dados mais atualizados.

48 _{Neste contexto, o Programa de Acompanhamento do PNE (discutido no item 2.4.1) fazia as articulações (internas e externas) promovendo a integração dos dados sobre o} andamento das metas nos entes federativos (estados, DF e municípios), tendo apoio de entidades, setores e órgãos parceiros.

49 _{Brasil (2005) Relatório da atuação do CNE na avaliação do Plano Nacional de Educação. Brasília: CNE, 2005. Novamente cabe destacar o momento da realização desse} evento – 2005 – momento que o MEC havia acordado para as questões do PNE. Tal momento antecede o lançamento do PDE em 2007, quando se interrompeu ou modificou, praticamente, todas essas atividades iniciadas, conjuntamente pelos órgãos da União responsáveis pela Avaliação do PNE, em consonância com as prerrogativas legais. 50 _{Muitos desses dados foram produzidos no Dase/Cafise, por meio do Programa de Acompanhamento do PNE, com a colaboração dos programas e parceiros relacionados à}

Propondo-se a reiniciar os debates que visavam alicerçar proposições para o futuro PNE, o Conselho Nacional de Educação (CNE), conforme configurado na Portaria CNE/CP nº 10, de 6 de agosto de 2009, considerou a necessidade de se recuperar algumas avaliações sobre o Plano de 2001, vigente na data da publicação da Portaria. Entre as avaliações o Conselho destacou:

i) a desenvolvida pela Comissão de Educação e Cultura da Câmara dos Deputados (2004); b) a do Conselho Nacional de Educação (2005); iii) a da Secretaria de Educação Básica do MEC (2005-2006); iv) a do Centro de Planejamento e Desenvolvimento Regional (CEDEPLAR, 2006); v) a do INEP/MEC (2005). (BRASIL, 2009)

Do conjunto de avaliações mencionadas pelo CNE, destaca-se a apontada no item iii: “a da Secretaria de Educação Básica do MEC (2005-2006)”. Essa avaliação foi produzida no âmbito das ações do Programa de Acompanhamento e Avaliação do PNE e dos Planos Decenais Correspondentes, localizado na SEB/Dase, preliminarmente referido e que será tratado mais especificamente no item 2.4.1 deste estudo.

Essa avaliação foi realizada com a colaboração de vários órgãos, entidades e agentes públicos das diferentes esferas federativas. Nesse contexto, o pesquisador deste estudo teve participação efetiva em várias etapas de elaboração na condição de técnico do programa, responsável pela coordenação do estudo. Com base em Brasil (2006), a referida pesquisa foi publicada somente em caráter preliminar.

Apesar disso, serviu de base para a produção de um significativo documento Avaliativo do PNE, composto de quatro volumes, totalizando mais de 700 páginas, com previsão de publicação no primeiro semestre de 2007. Neste documento, a pesquisa da SEB representava o IV volume. Tal documento chegou até a fase de diagramação e seria publicado em parceria da SEB com o Instituto Nacional de Estudo e Pesquisas Educacionais (Inep), por meio da sua Diretoria de Tratamento e Disseminação de Informações Educacionais (DTDIE) (extinta também com o lançamento do PDE em 2007).

A distribuição do documento teria como público-alvo aqueles órgãos e setores envolvidos diretamente com o PNE, na União, nos estados, Distrito Federal e, principalmente, nos municípios. A distribuição, inclusive, era uma das ações do programa de Acompanhamento do Plano (da Cafise) programada para o primeiro semestre de 2007. Essa ação foi abortada pelo Ministério da Educação, provavelmente em função do lançamento do PDE (2007). Os registros do referido documento foram reutilizados e serviram de base e fundamentação de outra avaliação do PNE, realizada por iniciativa da Secretaria Executiva

Adjunta (SEA) do MEC, publicada em 2011. As referências apontadas por Dourado (2011) ajudam a situar e compreender melhor esse contexto.

Ainda conforme Portaria CNE/CP nº 10, de 9 de agosto de 2009 a partir dos atos avaliativos do CNE com vistas a contribuir com plano vindouro, o órgão detectou alguns problemas no PNE de 2001-2010. Tais problemas foram divididos em duas dimensões do Plano – externas e internas. No primeiro caso, segundo o critério estabelecido pelos conselheiros do CP, estão as dimensões que analisam a maneira de implementar o PNE e que, portanto, extrapolam seu próprio texto, a saber:

1) Pouca utilização do PNE no primeiro triênio após sua aprovação; 2) pouca consideração dada ao PNE quando do estabelecimento das políticas de governo, gerando algumas concepções, ações, programas e políticas diferentes das estabelecidas no PNE; 3) desarticulação entre o PNE e os planos setoriais de governo; 4) dissociação entre o PNE e os Planos estaduais e municipais de Educação; 5) descontinuidade na coleta de informações pelo INEP e secretarias do MEC; 6) pouca divulgação do PNE. 7) ausência de normatização do sistema nacional de educação e do regime de colaboração. 8) articulação tardia do PDE e do PAR com os princípios e metas do PNE. 9) minimização da universalização da Educação Básica como direito. 10) ausência de mecanismos para o acompanhamento e avaliação sistemáticos do PNE. (BRASIL, 2009, p. ).

No segundo caso, segundo o Conselho, estão as questões internas ao texto do PNE. Nesse contexto dimensional eles destacaram:

1) ausência de indicadores relativos às metas, para concretizar a possibilidade de acompanhamento e avaliação do desenvolvimento do PNE; 2) retirada dos mecanismos concretos de financiamento das metas, expressos no próprio PNE (vetos); 3) poucas políticas com capacidade de enfrentar as grandes desigualdades regionais; 4) desarticulação interna e superposição de metas, dado o formato assumido pelo PNE; 5) pouca expressividade das políticas voltadas para a diversidade; 6) focalização excessiva no Ensino Fundamental. 7) Supremacia das metas quantitativas sobre as qualitativas; e 8) excessivo número de metas que acabaram pulverizando e fragmentando as ações (BRASIL, 2009 – Portaria CNE/CP nº 10, de 09 de agosto)

As fundamentações e/ou embasamentos para a efetiva prática de planejamento, monitoramento e avaliação de políticas públicas, tal qual o Plano da envergadura do PNE de 2001, podem ser extraídos das análises de vários autores. Dentre estes, destaca-se Luck (2008, p. 46) para quem o monitoramento consiste no “conjunto de ações organizadas, contínua e sistemática de observação, acompanhamento, registros e análise de processos de implementação de planos de ação e intervenções não planejadas”.

Para a autora, o monitoramento visa: i) “garantir a realização das ações segundo os planos, mediante bom uso do tempo, dos recursos, espaços e competência humana”; ii) “analisar a eficiência dos processos e ações desencadeadas”; iii) “identificar a necessidade de realização de ações alternativas não previstas na fase de planejamento”; e iv) “manter mapas de registros do histórico do trabalho realizado” (LUCK, 2008, p. 46).

Ainda com relação ao monitoramento, cabe observar que:

[...] para além do necessário conjunto de informações decisórias produzidas no âmbito do “Monitoramento Gerencial” – voltado ao acompanhamento de metas e prazos de ações –, é imprescindível investir tempo e recursos para implantar no cotidiano de técnicos e gestores de programas as rotinas de “monitoramento analítico”, entendido […] como o exercício sistemático de análise de indicadores representativos dos fluxos de desembolso financeiros, de realização de atividades-meio, de entrega de produtos e de interferência de resultados dos programas junto a seus públicos-alvo, segundo critérios clássicos de avaliação de políticas públicas – como equidade, eficácia, eficiência e efetividade. (JANNUZZI, 2011, p. 37).

Do exposto, depreende-se que o monitoramento é uma ferramenta para o acompanhamento de metas, prazos e ações das políticas públicas educacionais. Reafirmando sua convicção quanto ao monitoramento, Jannuzzi (2011, p. 37) afere que “é imprescindível investir tempo e recursos para implantar no cotidiano de técnicos e gestores de programas as rotinas de monitoramento analítico51, devendo, portanto, ser inserido no cotidiano dos técnicos e gestores.”. Desse ponto de vista, é preciso, antes de adotar determinado tipo ou concepção de monitoramento, observar as características, diretrizes, objetivos e metas do programa analisado. É possível inferir que vários tipos e/ou concepções de monitoramento podem ser utilizados no processo de implementação de uma política pública, no caso deste estudo de natureza educacional. Nesse contexto, Luck salienta que o monitoramento:

[...] é o processo de acompanhamento sistemático e descritivo dos processos de implementação de plano ou projeto de ação, com objetivo de garantir sua maior efetividade; [é] uma atividade inerente à gestão e realizada de forma contínua, sistemática e regular, visando determinar em que medida a