Avaliando Políticas Públicas

A análise de políticas públicas envolve um amplo espectro de profissionais, e muitos conflitos. Esta complexidade e amplitude se mostram ao buscarmos o tema “public policy” na livraria virtual Amazon (www.amazon.com), na qual se encontram 18.943 livros, enquanto outro tema também amplo, como engenharia civil (civil engineer), retorna pouco mais de um décimo, 2208 títulos24. Encontramos livros analisando políticas públicas por meio de enfoques político, econômico, sociológico, cultural, jurídico e outros.

Geralmente são os cientistas políticos e acadêmicos ligados à área de administração pública que analisam o processo em que as políticas públicas nascem, crescem e fenecem. Estes estudiosos, para facilitar o entendimento deste processo, descrevem uma estrutura com um estágio seqüencial de atividades, que não varia muito entre os diversos autores. A Figura 6.1 apresenta um modelo clássico de desenvolvimento de políticas públicas, baseado em

Theodoulou (1995). O processo inicia-se com o reconhecimento de um problema que pode exigir a ação do governo e a identificação das questões que ele envolve. Se reconhecidas como importante, pelas forças políticas e grupos de interesse da sociedade civil, estas questões poderão ser incluídas na agenda de governo. O tema “agenda” certamente é o mais difícil de ser entendido, devido ao conjunto de interações que compreende. Seu estudo envolve modelos de Estado, conceitos de democracia e pluralismo e a análise de conflitos entre elites políticas, econômicas, burocracia e sociedade civil, entre outros. As etapas seguintes não são tão disputadas na literatura, e os estudos envolvem discussões sobre a fronteira de cada uma e o relacionamento entre elas.

O passo seguinte é a formulação das propostas para resolver o problema, na qual se delineiam os diversos cursos de ação que poderão ser adotados. A obtenção de apoio para aceitação de uma das propostas culmina com sua legitimação e adoção. Muitas vezes o público entende que a decisão do governo sobre o que será feito resolve o problema. Mas ai inicia-se uma nova etapa que vai atestar se o que foi discutido nos gabinetes, e os pressupostos teóricos foram bem formulados. Esta fase, de implantação da política, vai lidar

Identificação do Problema Estabelecimento da Agenda

Figura 6.1: Desenvolvimento de Políticas Públicas

Baseado em Theodoulou (1995) Formulação Adoção Implementação Análise e Avaliação Políticos Burocracia Sociedade Civil

com uma nova burocracia, não mais dos gabinetes do primeiro e segundo escalão, mas com o pessoal que está na linha de batalha. A reação destes, que podem ser professores, médicos, engenheiros ou garis, será fundamental para o sucesso da política adotada. A próxima etapa é sobre o que trata este item, a avaliação da política, que resultará na sua continuidade, reestruturação ou eventual descontinuidade. O ciclo das políticas públicas apresentado compreende a participação de diversos atores, incluindo políticos do executivo e legislativo, burocracia e grupos de interesse da sociedade civil. A estrutura básica não varia muito se estamos discutindo a solução de um problema de trânsito em uma esquina da cidade, com a colocação de um semáforo ou uma passagem de nível, ou a reforma da previdência, se paramétrica ou paradigmática.

O processo político no Brasil não difere, em linhas gerais, do que descreve a teoria acima, elaborada nos países desenvolvidos. No entanto, em nosso caso, a avaliação das políticas públicas, por diversos motivos, não tem recebido a devida importância. De acordo com Vedung (1997, p. 3), avaliação é “careful retrospective assessment of the merit, worth, and value of administration, output, and outcome of government interventions, which is intended to play a role in future, practical action situations”. Se começamos a análise da política falando de um problema que precisa ser resolvido, a avaliação simplesmente deveria responder se o problema está sendo resolvido. No exemplo do parágrafo anterior, a colocação do semáforo diminuiu o número de acidentes, ou melhorou o trânsito da região? No entanto, a questão não é tão simples, e as intervenções sociais exigiram o desenvolvimento de uma série de ferramentas, cada vez mais sofisticadas, que permitem analisar os problemas e avaliar os resultados.

Geralmente as pessoas não gostam de serem avaliadas. Tanto o político que lutou pela aprovação de um projeto, quanto o burocrata, que detalhou a proposta, ou o que trabalhou na implantação poderão se sentir desprestigiados se a avaliação revelar que o projeto não atingiu seus objetivos. Avaliar um programa é um ato inerentemente político. Mesmo que o estudo seja metodologicamente rigoroso, desenvolvido de uma maneira eminentemente técnica, tomando cuidado de ser apartidário e politicamente neutro, seus resultados serão armas poderosas para os atores presentes na arena política. Desta forma, a avaliação, ou sua ausência, está intimamente ligada aos interesses políticos. Os métodos de avaliação provêm da estatística, demografia, economia, etc. Mas, quem trabalha com avaliação deve estar ciente da dimensão política de seu trabalho.

Além das pessoas não gostarem de ser avaliadas, avaliar custa caro. Preparar formulários, realizar entrevistas, colher dados, processá-los, analisar os resultados, verificar

sua consistência, todo este processo tem um custo bastante elevado. O Banco Mundial gasta cerca de 3% de seu orçamento administrativo anual, ou mais de US$ 50 milhões por ano, para avaliar seus pouco mais de 250 projetos25. Como o Brasil tem fortes restrições orçamentárias em seus projetos sociais, e a demanda é sempre superior à verba disponível, avaliar significa deixar de atender pessoas, ou atender provendo menos serviços. O programa PROGRESA/OPORTUNIDADES no México é considerado na literatura mundial um paradigma no processo de avaliação de política pública em país em desenvolvimento. Iniciado em 1992, com o objetivo de combater a pobreza extrema na área rural, no final de 1999 o programa cobria 2,6 milhões de famílias, ou cerca de 40% de todas famílias da área rural, em 72.345 localidades, com um orçamento de US$ 777 milhões, equivalentes a 0,2% do PIB mexicano naquele ano, transferindo para cada família 19,5% do total gasto, em média, em consumo daquela família26. Os custos administrativos deste programa foram de 8,9% do total do orçamento, sendo cerca de 5% para focalização e avaliação.

Se a avaliação implica eventualmente gerar conflitos políticos para quem está no poder e aumentar custos do programa, diminuindo os benefícios e, ou, o número de beneficiados, será que vale a pena avaliar?

Avaliar permite determinar a congruência entre objetivos e resultados, permitindo obter informações para julgar as decisões tomadas, dentro do leque inicial de alternativas. Mais do que controlar, avaliar implica aprender. Controlar é importante. Se o PROGRESA, muito bem acompanhado pelo governo mexicano e agências independentes, como a International Food Policy Research Institute (IFPRI), gerou custos administrativos de 8,9%, dois programas anteriores do governo mexicano, LICONSA e TORTIVALES, sem o mesmo acompanhamento, geraram custos administrativos de 40% e 14%, respectivamente27. Outro exemplo é a avaliação desenvolvida pelo Banco Mundial no sistema público de ensino primário em Uganda. Em uma pesquisa usada pela instituição para rastrear gastos em programas, denominada Public Expenditure Tracking Survey (PETS), verificou-se que somente 13% dos fundos alocados ao programa entre 1991 e 1995 chegaram nas escolas. O restante, 87%, se perdia no meio do caminho, por ineficiência e corrupção. Após um conjunto de modificações adotadas pelo governo de Uganda, entre 1999 e 2000, mais de 80% dos fundos do programa passaram a chegar nas escolas. O custo desta avaliação foi de US$ 60.000. Em um programa que em 1999 teve uma dotação de US$ 27,7 milhões, o acréscimo

25 _{Conforme www.worldbank.org, pesquisado em agosto de 2005.} 26 _{Skoufias (2001) e Skoufias, Davis e Vega (2001).}

de 13% para 80% representa US$ 18,5 milhões, uma excelente relação custo-benefício em prol da avaliação28.

No entanto, tão importante quanto controlar os gastos é controlar os resultados. Qual o resultado do dinheiro aplicado na educação fundamental? Está reduzindo a pobreza e a desigualdade? Está permitindo o país crescer? Está aumentando o bem-estar da população? O primeiro passo então é determinar quais valores que embasam a avaliação.

Valor está na etimologia de avaliação. A escala de valores do grupo que demanda a avaliação é que vai determinar os critérios que serão adotados no processo. Quando, no parágrafo anterior, se propõe avaliar se a educação fundamental reduz a desigualdade, se demonstra que “reduzir a desigualdade” é um conceito importante no ponto de vista de quem está propondo a avaliação. Um economista com um ponto de vista mais restrito valorizaria somente a eficiência econômica, e não a eqüidade, e provavelmente não iria analisar o impacto da educação na desigualdade, e sim no desempenho da economia. O posicionamento dentro do espectro ideológico é que irá determinar a base do processo de avaliação. Diferentes governos, como democracia liberal, socialismo ou fascismo, terão diferentes propostas de avaliação de políticas públicas. Não só os valores das metas a serem alcançadas serão diferentes, mas as próprias metas serão diferentes. Os valores e as metas a serem mensurados serão determinados pelos princípios de quem demanda a avaliação.

O primeiro tipo de avaliação consiste em verificar se um determinado programa atinge as metas propostas na sua elaboração. Esta fase consiste em desenvolver uma pesquisa, na qual se especifica o tipo de dados que serão necessários, como coletá-los, seleção das populações que serão estudadas, coleta, tratamento e análise dos dados e elaboração das conclusões. No entanto, o trabalho do avaliador pode ultrapassar a análise técnica. Em vez de assumir o sistema de valores de quem solicita a avaliação, ele pode analisar as razões deste sistema de valores e propor alterações. Ele vai avaliar os critérios de quem demanda a avaliação. O programa Bolsa Escola aumentou o número de crianças matriculadas na escola, mas será isto suficiente para considerar o programa um sucesso? Quais eram os objetivos do programa: aumentar o número de matrículas, ou reduzir a pobreza e a desigualdade? Ou será que o objetivo principal era propiciar o crescimento econômico do país? A qualidade do ensino oferecido está de acordo com os objetivos propostos? Como harmonizar aumento de matrículas e qualidade para atingir estes objetivos? Como medir a relação entre educação, crescimento econômico, redução de pobreza e desigualdade? Claro que estas questões todas

não serão objetos da avaliação do programa, mas devem ser pensadas aos se estabelecer os critérios com os quais será avaliado. Ao analisar uma política pública, e propor sua continuidade, ampliação ou desativação, deve-se fazer um acurado estudo dos critérios que serão pesquisados. Fischer (1980) aponta como falha em avaliações feitas do programa Head Start, do governo norte-americano, projetado para ajudar o aprendizado de crianças pobres, o fato do foco da avaliação ter se concentrado só na área cognitiva, enquanto o programa era muito mais amplo, abrangendo saúde, nutrição, e outros objetivos comunitários, que não foram contemplados na pesquisas realizadas. Indagando “how can it (the Head Start Program) be judge weak without considering these other criteria?”(op. cit., p. 122), ele conclui “In short, it would be a mistake to eliminate the program on the basis of these narrow criteria”(idem, p. 123). Somente com critérios bem delineados é possível obter resultados significativos na avaliação de um programa.

Os recursos computacionais unidos à modelagem econômica permitem ampliar a definição de Vedung citada de avaliação, e simular a implantação de uma política pública antes de ela ocorrer, fazendo uma avaliação ex-ante. Avaliações ex-ante por meio de modelos simulados são amplamente usadas nos países desenvolvidos quando da elaboração de políticas públicas ou da reforma de uma já existente, pois é mais fácil realizar experimentos em computadores do que em pessoas. Este método diminui o custo de desenvolvimento de projetos pilotos, evita a criação de grupos de controles, possibilita testar várias hipóteses de desenho da política e projetar diferentes cenários, ampliando as chances de sucesso para resolver o problema em pauta. Geralmente esta metodologia é usada para simular o resultado de alterações em políticas tributárias ou redistributivas, como, por exemplo, avaliar os efeitos de variar a tributação direta e indireta ou de transferências monetárias. Desta forma, é possível antever as alterações em renda média, índice de Gini, pessoas abaixo da linha de pobreza e outros parâmetros, simulando diversos cenários de tributação, diferentes alíquotas e valores de transferência. Avaliações ex-ante também podem complementar avaliações ex-post. A observação dos resultados reais pode ser complementada pela simulação de contrafactuais, ou de alternativas de execução do programa avaliado. Assim, esta técnica propicia resolver, pelo menos no nível laboratorial, o problema fundamental da avaliação em ciências sociais, que é não podermos observar uma pessoa tendo participado de um programa e não tendo participado ao mesmo tempo. No lugar de caros, complicados, demorados e limitados experimentos com grupos de controle, a microssimulação permite analisar os resultados de diversas alternativas e escolher a mais conveniente.