Monitoramento e avaliação

Na conjuntura da análise de políticas públicas, o processo de monitoramento e avaliação são postos como indispensáveis durante a implementação de políticas e programas sociais. Ao reconhecer a relevância dessas atividades na fase de implementação, compreendemos que a atividade de monitoramento diferencia-se em aspectos qualitativos de um simples acompanhamento, pois durante o acompanhamento a sistematização dos dados fornece subsídios para a avaliação. Por sua vez, a avaliação possibilita ajuste/reajustes no planejamento das atividades em curso. Essa avaliação pode resultar em três situações:

a) contribuir na melhoria da política e, consequentemente, na sua continuação;

b) finalizar a política existente;

c) desenvolver uma nova política. (SERAFIM; DIAS, 2012). Com isso, reconhecemos que a:

avaliação, portanto, de uma política social e de seus programas, torna-se um processo fundamental para a introdução da correção de rumos no decorrer do processo de implementação de políticas sociais no Brasil. Por sua vez, deve-se estar atento a esse processo de avaliação que pode ser definido como a representação e descrição do programa, que se confunde com mecanismos de controle, constituindo referência para a programação de tarefas práticas. (PAESE; AGUIAR, 2012).

Tal análise, apresentada pelas autoras citadas, reforça a ideia do estabelecimento de um processo de avaliação que supere ações técnicas de controle das atividades realizadas, apontando, assim, para necessidade de realização de uma atividade baseada em elementos críticos da avaliação política. Isso não quer dizer que a padronização possa ser descartada, pois é necessária a compreensão da evolução tecnológica que já possibilita isso, inclusive com cruzamentos de dados qualitativos.

Certamente, trata-se do estabelecimento de um processo sistematizado que envolve a utilização de instrumentos e critérios coerentes com o objeto de avaliação. Assumimos, nesse estudo, a necessidade de uma avaliação que compreenda a política de forma contextualizada, tendo como princípio orientador o social, histórico, político e econômico do objeto avaliado (BELLONI; MAGALHÃES; SOUZA, 2007). Neste caso, o objeto em questão trata do Programa Brasil Profissionalizado em seu contexto.

Durante a aproximação nas escolas investigadas, buscamos identificar os respectivos processos, nos discursos dos gestores: as características e critérios de monitoramento e avaliação adotados (período de realização; instrumentos e técnicas de coleta de dados; métodos de análise; anexo documental e base de dados) e organização dos resultados de monitoramento e avaliação (questões centrais objeto do monitoramento e avaliação; descrição do Programa; principais resultados do

monitoramento e avaliação; implicações para o desenvolvimento do programa; recomendações de políticas ou de ação administrativa). (SILVA, 2014).

No Programa Brasil Profissionalizado, instituído por meio do Decreto nº 6.302/2007, as atividades de monitoramento e avaliação respaldam-se no Art. 7º, dispondo que o MEC coordenará a implantação, o acompanhamento, o monitoramento e a avaliação do Programa Brasil Profissionalizado. (BRASIL, 2007c), conforme vimos na análise dos Relatórios da SETEC/MEC na seção anterior.

Neste aspecto, as características e critérios de monitoramento e avaliação adotados no processo de implementação consideraram: evolução das obras, distribuição regional das obras, vagas para curso de formação, oferta de matrículas, e matrículas realizadas. Esses aspectos monitorados e avaliados foram sistematizados durante o período de implementação da proposta nos Relatórios de Gestão do Exercício da SETEC/MEC e na plataforma do SIMEC.

Compreendemos que, os sujeitos (internos e externos) que compõem esse processo de monitoramento e avaliação é composto por formuladores da política e executores da atividade48_{. Durante a realização da pesquisa, buscamos identificar} nos discursos dos gestores, os seguintes elementos sobre o processo de monitoramento e avaliação adotados pelo MEC/SEEC/DIRED: formas de acompanhamento da proposta adotados pelas entidades oficiais (MEC/SEEC/DIRED); formas de monitoramento dos resultados do Programa na escola; sistematização do resultados em relatórios sobre a implementação; critérios e instrumentos de avaliação adotados para discutir as ações e resultados durante a implementação.

Na escola Estadual Jerônimo Rosado relatou-se que durante a implementação do Programa Brasil Profissionalizado “não aconteceu um acompanhamento sistematizado por parte dos orgãos oficiais [MEC/SEEC/DIRED]”. (GESTOR 1, 2015). Além disso, quando questionados sobre a construção de relatórios sobre o processo de implementação, enfatizou-se que durante vigência da proposta na escola não foi “construídos relatórios com as atividades de implementação do Programa Brasil Profissionalizado”. (GESTOR 2, 2015). Vale

destacar que o processo de adesão/implementação da proposta na escola teve início em 2008.

Em 2015, durante a construção do Projeto Político Pedagógico (PPP) da escola “a orientação que chegou da Secretaria de Educação foi para retirar o Programa Brasil Profissionalizado das iniciativas a serem desenvolvidas na escola. Ficamos sem entender os motivos”. (GESTOR 1, 2015). Ou seja, com essa notificação a proposta deixaria de integrar as ações desenvolvidas na escola no referido ano. Essa ação é carregada de contradições, pois, mesmo sendo solicitado a remoção do Programa do PPP, a escola ainda aparece na lista das escolas que estão em vigência do processo de implementação da proposta nos relatórios da SEEC.

Sobre o marco operacionalização do monitoramento e avaliação dessa proposta, na Escola Estadual Abel Freire Coelho, os relatos dos gestores anunciam que:

era um acompanhamento muito falho e agravado quando acontecia eleição com as mudanças de governo, como tem muito cargo comissionado dentro das secretarias, [...] como era uma pessoa que era responsável e de repente outra pessoa assumia. Por isso, as informações são perdidas dentro das secretarias, pois não tem uma continuidade. A parte burocrática da secretaria é extremante complicada. Não disponibiliza o suporte que a escola precisa. Eu afirmo que é quase generalizando, porque nas reuniões de diretores não era um caso especifico do Escola Estadual Professor Abel Freire Coelho. (GESTOR 3, 2015).

Identificamos na fala citada que a dificuldade relacionada ao acompanhamento das propostas apresenta-se como um fato recorrente ao longo da história da instituição. Tal fato agrava-se com as mudanças ocorridas de forma recorrente nas mudanças de governo, pois resultam em algumas descontinuidades dos processos em andamento das propostas que estão sendo implementadas. Consideramos nesse estudo que cada equipe que assume tem suas ações mediadas por disputas, embates, interesses e concepções políticas distintas. Essa fase de monitoramento e avaliação envolve a responsabilidade de diferentes atores e não deve existir uma desconexão entre eles. Habitualmente, raras são as vezes que a política pública tem o controle da sociedade e é avaliada em um período mais longo de tempo. (SIMÕES, 2011).

A avaliação e o monitoramento da SEEC/DIRED são acompanhamentos muito burocráticos. As vezes de uma hora para outra chegavam técnicos do MEC que pediam para conversar, mas de forma muito rápida porque já tinha outras escolas para visitar no mesmo dia. Era uma visita apenas para preencher formulários fechados que tinham mais como finalidade assinar os documentos para constar que a visita foi realizada. Depois das reformas, tivemos algumas visitas de um técnico do MEC que fazia registros fotográficos da reforma. Ele registrava tudo que já tinha sido feito e das partes que ainda estavam para serem concluídas. Então, sempre que a gente perguntava sobre as partes que faltavam (banheiros e quadra) e pedia para que solicitasse a conclusão a resposta era: não! eu só vou mandar um relatório. Dessa forma, as coisas foram acontecendo e a avaliação mesmo para entender o porquê de não está funcionando e buscar soluções, nunca aconteceu (GESTOR 4, 2015).

Em síntese, o monitoramento das obras acontece por meio da plataforma do SIMEC, sendo alimentado com informações das obras conveniadas pelas entidades participantes do Programa. Destaca-se que além desse monitoramento, a SETEC elabora relatórios49 _{de cumprimentos do objeto relativo a recursos estruturais e} pedagógicos destinado ao Programa. Em entrevista, realizada pela equipe de fiscalização, o FNDE informou que em 2014 foram realizadas aproximadamente 8.000 fiscalizações. Nessa lógica, “cada consultor fica responsável por, em média, cinco estados. Divididos regionalmente, trabalham com diagnóstico e avaliação dos convênios in loco, vão diretamente às escolas potencialmente e efetivamente beneficiadas”. (BRASIL/TCU, 2015). Com isso, considera-se insipiente o número de técnicos distribuídos por região/cidades dos Estados brasileiros, acarretando um monitoramento superficial da implementação da proposta, como relata o Gestor 4.

As questões, apresentadas no discurso citado, são discutidas também no Relatório do Tribunal de Contas da União (BRASIL/TCU, 2015). Esse Relatório tem como escopo acompanhar as ações da Secretaria de Educação Profissional e Tecnológica (SETEC/MEC). Em análise, destacamos que o procedimento adotado para o monitoramento da execução do Programa Brasil Profissionalizado ocorre de forma mais gerencial e envolve os seguintes fatores: análise dos dados de execução (situação das obras, execução dos convênios e termos de compromisso); realização de reuniões com secretarias estaduais para avaliação da iniciativa; análise e

49 _{Podemos citar como exemplo desses relatórios elaborados e publicados pela SETEC o Relatório}

aprovação de solicitações de reformulação de convênios e termos de compromisso; e, análise e aprovação de solicitações para utilização dos rendimentos de aplicações financeiras derivadas dos recursos do ajuste mantidos em conta corrente específica. (BRASIL/TCU, 2015).

Dessa maneira, percebemos que, o monitoramento e avaliação desenvolvidos no Programa Brasil Profissionalizado cumpre em parte suas finalidades, pois a avaliação deve cumprir tarefas descritivas e conter características de mecanismos de controle, deve contemplar também avaliações analíticas dos contextos. (PAESE; AGUIAR, 2012, p. 73). Do ponto de vista do monitoramento e avaliação do Programa Brasil Profissionalizado executado nas duas escolas de Mossoró/RN, percebemos que, não acontece uma análise crítica e sistematizada dos dados e informações coletadas pelos técnicos que visitam às escolas contempladas com a implementação da proposta. Portanto, uma vez que as medidas foram concebidas e os dados coletados, é hora da tarefa crucial de análise das informações. Ela consiste em abordar diretamente a questão do que constitui um “bom” desempenho, ou seja: quão perto o programa está de atingir seus objetivos originais. (WU et al, 2014, p. 130).

4.2.5 Possibilidades de integração a partir da implementação do Programa