Conceituação e importância

A busca de fortalecimento da “função avaliação” na administração pública tem sido justificada pela necessidade de “modernização” da gestão governamental, especialmente em um contexto de busca de maior dinamização (racionalização) e legitimação da concepção da Reforma do Estado (FARIA, 2005).

Mas é importante ressaltar que, desde a década de 1960, observa-se a utilização de instrumentos de avaliação na gestão governamental, especialmente nos países desenvolvidos (SCRIVEN, 1972; WEISS, 1983 e SCHNEIDER, 1986). Entretanto, o fortalecimento desse campo ganhou maior expressividade a partir das décadas de 1970 e 1980 e, principalmente, de 1990, momentos em que a avaliação de políticas e programas públicos passou a desempenhar papel importante no planejamento e gestão de políticas públicas. Conforme destaca Calmon (1999), alguns fatores contribuíram para aumentar a demanda por ações avaliativas. Dentre os principais fatores apontados pelo autora e outros estudos, destaca-se que, na década de 1990 do século passado, houve um crescimento vertiginoso das agências multilaterais em programas governamentais, dirigidos para apoiar os países em desenvolvimento a superar a crise socioeconômica e política, a exemplo do Brasil, bem como havia a preocupação com os resultados.

Nesse sentido, a liberação dos recursos estava diretamente condicionada ao controle das metas e resultados dos investimentos feitos. Assim, foram definidas pelas referidas agências condicionalidades para a liberação dos recursos, demandando, pois, o cumprimento de metas, indicadores e índices específicos de eficácia, eficiência e, mais recentemente de efetividade, dos programas contratados (CALMON, 1999; THOENIG, 2000 e FARIA, 2005).

Outro fator relevante apontado na literatura sobre o tema foi a necessidade de avaliar programas públicos diante do aprofundamento da crise fiscal, da escassez de recursos do setor público e da imprescindível intervenção governamental para atender à população mais necessitada, base fundamental da chamada Reforma do Estado, conforme já apontado acima (COTTA, 1998; COSTA e CASTANHAR, 2003; CANO, 2004).

Esta reforma, chamada também de gerencial, visava aumentar a eficiência e a efetividade dos órgãos do Estado, melhorar a qualidade das decisões estratégicas do governo e assegurar o caráter democrático da administração pública. Os princípios norteadores do movimento foram: desburocratização, descentralização, transparência, accountability, ética, profissionalismo, competitividade e enfoque no cidadão (BRESSER-PEREIRA e SPINK, 1998).

16

Destaca-se, ainda, a crescente participação da sociedade civil, assim como de grupos políticos, organizações e outras associações nas discussões sobre a destinação dos recursos públicos. Esse movimento recente que algumas nações em desenvolvimento, particularmente as que se encontravam em processo redemocratização, como foi o caso de alguns países latino-americanos, passaram a ser pressionados para implantar processos de descentralização e participação social no planejamento e gestão pública local. Essa pressão social exigiu progressivamente a integração de indicadores de resultados, transparência, racionalidade decisória e eficiência alocativa, o que demandou esforços por parte do governo e da sociedade para avaliar os investimentos realizados (COTTA, 1998; CALMON, 1999 e CANO, 2004).

A literatura corrente demonstra que existem diversas definições sobre o conceito de Avaliação, vinculados naturalmente, aos diversos conceitos de políticas públicas. Isto porque são campos amplos e complexos, já que abrangem diferentes atores sociais – Stakeholders – no seu processo de gestão e pressupõe a imposição de diversas interações e percepções ideológicas distintas.

Para os objetivos desse estudo serão abordados alguns conceitos sobre Avaliação de Políticas Públicas, com o objetivo de identificar quais as bases conceituais e metodológicas que têm orientado a concepção e desenho dos instrumentos de avaliação do governo brasileiro, com ênfase nas ações do MDS, especialmente para avaliar o PBF.

Para Thoenig (2000, p.54), a avaliação pode ser caracterizada como uma “atividade dedicada à produção e análise de informações relevantes e pertinentes a respeito da relação entre os atos públicos, seus resultados e impactos”.

Já Costa e Castanhar (2003, p.972) afirmam que o propósito da avaliação é “guiar os tomadores de decisão, orientando-os quanto à continuidade, necessidade de correções ou mesmo suspensão de uma determinada política ou programa”.

Cohen e Franco (2007), por outro lado, conceituam avaliação como uma atividade que tem como objetivo maximizar a eficácia dos programas na obtenção de seus fins e a eficiência na alocação de recursos para a consecução dos mesmos.

Secchi (2010), apresenta a avaliação de políticas públicas como o momento em que o processo de implementação e o desempenho da política pública são examinados com o intuito de conhecer melhor o estado da política e o nível de redução do problema que a gerou.

De acordo com Subirats, et. al., (2008), a avaliação de uma política pública pretende examinar empiricamente a validez do modelo causal em que esta se fundamentou em seu

17

processo de elaboração. Em consequência o que se busca saber é se a teoria da ação em que está baseada a política tem fundamento e se o grau de aplicação real finalmente foi alcançado. Para Calmon (1999, pág.17), a avaliação consiste no “exame sistemático e na aplicação de métodos de pesquisa, quantitativos e/ou qualitativos, para verificar o design, a implementação, o impacto e os resultados alcançados por determinado programa”.

Na mesma direção, a avaliação de políticas públicas é definida por Carvalho (2003) como esforço para atender a demandas distintas e baseadas em orientações metodológicas heterogêneas. Salienta-se que a definição desta autora se refere à realidade da Fundação Seade (Sistema Estadual de Análise de Dados) de São Paulo que, em 2003, visando contribuir para o debate sobre o tema, realizou estudos sobre diversos programas sociais.

Escolar e Domench (2002), refletindo a experiência Argentina sobre a avaliação de projetos e programas sociais5, destacam a importância da Avaliação como uma instância de retroalimentação visando à melhoria dos Programas Sociais. Para estes autores a Avaliação é entendida no sentido de julgar o que está acontecendo, porque acontece, quais atividades e recursos ou resultados estão envolvidos nos vários estágios dos programas.

De acordo com Faria (2005), a avaliação deve ser utilizada para a melhoria da política ou programa em questão. Assim, para o autor o uso da avaliação subsidia à tomada de decisão, alteração, melhorias ou continuidade da política pública.

Costa e Castanhar (2003) enfatizam a importância da Avaliação sistemática, contínua e eficaz ressaltando que pode ser um instrumento fundamental para se alcançar melhores resultados e proporcionar uma melhor utilização e controle dos recursos neles aplicados, além de fornecer aos formuladores de políticas sociais e aos gestores de programas dados importantes para o desenho de políticas mais consistentes e para o alcance de uma gestão pública mais eficaz.

A visão de Boullosa (2009) expõe a complexidade da Avaliação, na medida em que é interpretada como um processo que envolve diferentes atores, direta e/ou indiretamente, através de dinâmicas, interações, entrevistas, opiniões, leituras, reuniões e muitos outros tipos de troca. Afirmando, desse modo, que a avaliação é palco de interação entre atores que desejam ou se envolvem na produção de um saber avaliativo carregado de poder de transformação.

Já Santos e Ribeiro (2011), propõem que qualquer esforço para avaliar políticas públicas (aqui compreendidas como políticas governamentais) exige, antes de mais nada, (...)

5

18

construir, sistematizar e analisar indicadores que [de fato] permitam avaliar e medir a natureza, conteúdo, dimensão e dinâmica da conjuntura dos fatos e atos administrativos para uma melhor compreensão do desempenho da gestão e da gerência das instituições – considerando os micros e macros processos –, de modo a possibilitar a realização de avaliação continuada.

Baseado na leitura dos autores destacados pode-se observar que não há consenso quanto à definição de avaliação, o que implica afirmar que esse conceito admite múltiplas definições, conforme sintetizados no Quadro 2.

• Consiste no exame sistemático e na aplicação de métodos de pesquisa, quantitativos e/ou qualitativos, para verificar o design, a implementação, o impacto e os resultados alcançados por determinado programa;

Calmon (1999)

• Atividade dedicada à produção e análise de informações relevantes e pertinentes a respeito da relação entre os atos públicos, seus resultados e impactos;

Thoenig (2000)

• Guiar os tomadores de decisão, orientando-os quanto à continuidade, necessidade de correções ou mesmo suspensão de uma determinada política ou programa;

Costa y Castanhar

(2003)

• Momento em que o processo de implementação e o desempenho da política pública são examinados com o intuito de conhecer melhor o estado da política e o nível de redução do problema que a gerou;

Secchi (2010) Cohen y

Franco (2007)

•Atividade que tem como objetivo maximizar a eficácia dos programas na obtenção de seus fins e a eficiência na alocação de recursos para a consecução dos mesmos.

Quadro 2 – Síntese de algumas definições sobre Avaliação Fonte: Elaboração própria, a partir dos autores citados.

Schneider (1986) introduz uma perspectiva na discussão sobre esse conceito ao justificar que a avaliação de políticas tem origem em várias disciplinas, o que implica a integração de ponto de vistas diferentes sobre o tema. Para a autora essa evolução sobre o conceito e práticas de avaliação produziu, portanto, uma massa confusa de “tipos” de avaliação ao invés de um quadro referencial coerente.

No mesmo sentido, Ballart (1996) discorre que a base teórica desenvolvida para Avaliação de Políticas Públicas é decorrente de outras disciplinas e da acumulação de experiências em áreas setoriais específicas. Ou seja, o campo possui tradições científicas diversas e seu desenvolvimento se procede de experiências em administrações

19

governamentais, departamentos universitários, institutos, dentre outros. Para Ballart (1996), seria um erro subestimar a importância da teoria de avaliação de políticas e as lições das experiências, por este motivo.

Desta maneira, com base nos conceitos sistematizados, pode-se observar que existem alguns elementos comuns nas definições, e que ajudam na reflexão das práticas avaliativas que têm sido mais utilizadas na gestão governamental na contemporaneidade. Neste sentido, definiu-se para esta tese a avaliação enquanto um processo que busca a produção e análise de informações no intuito de guiar os tomadores de decisão quanto ao desempenho da política pública, verificando, pois, a necessidade de correções ou mesmo suspensão de uma determinada política ou programa, visando contribuir para a gestão e a alocação de recursos mais eficiente e eficaz, baseado na aplicação de métodos de pesquisa para verificar o alcance dos resultados.

Pode-se concluir, pois, que aprofundar estudos sobre Avaliação de Políticas Públicas ganha importância para o aprimoramento da gestão governamental, especialmente porque se acredita que a análise de “boas práticas” sugere que a avaliação pode aumentar o nível de eficiência, isto é, os indicadores que confirmam o atendimento das metas de uma dada política, com relação aos recursos disponíveis. Desse modo o esforço de Avaliação:

“torna possível gerar outras formas de valor agregado que estão longe de ser negligenciáveis; dá visibilidade a um julgamento ou medida em termos da adequação (no nível em que as metas atribuídas são alcançadas); apoia a memória administrativa das soluções de ação; fornece variedade de habilidades para os tomadores de decisão em todos os níveis; apoia uma atitude de sabedoria (agir com conhecimento enquanto se duvida do que se sabe) e ajuda a criar competição por status baseada na habilidade administrativa” (THOENING, 2000, pág.66).

Em síntese, para o referido autor, a avaliação poderá, até certo ponto, impressionar usuários e observadores externos.

Ala-Harja e Helgason (2000), por outro lado, apresentam que as principais metas da avaliação podem ser caracterizadas como sendo a melhoria do processo de tomada de decisão, a alocação apropriada de recursos e a responsabilidade dos atores.

Desta maneira, entende-se que as avaliações que têm sido realizadas por órgãos institucionais da gestão governamental brasileira, a exemplo das políticas avaliativas concebidas e aplicadas pelo MDS, têm buscado exercer o que Faria (2005) chamou de “o propósito original da avaliação, que é melhorar a qualidade das decisões e garantir a maximização da consecução dos objetivos definidos pelas políticas e programas”.

20

Entretanto, é importante ressaltar que existem outros fatores, ainda pouco explorados, como a construção sócio-histórica de informações, o desenho e acesso de banco de dados, a promoção de ações que fortaleçam a transparência das ações públicas, o desenvolvimentos de modelos avaliativos compatíveis com cada contexto avaliado (o que implica dizer que a mera reprodução de matrizes externas podem comprometer o alcance do esforço avaliativo), os desdobramentos do esforço avaliativo como instrumento de aprendizagem organizacional (profissional ou individual), entre outros.