Técnicas de Avaliação das Políticas Públicas

As políticas públicas de caráter ambiental podem ser avaliadas no âmbito do monitoramento da cobertura terrestre e do impacto de suas medidas sobre determinada variável resposta. Segundo Gertler et al. (2016), em publicação do Banco Mundial, os programas e políticas são elaborados para alterar resultados como, por exemplo, aumentar a renda, melhorar o aprendizado ou reduzir cenários negativos como pobreza e desigualdade. As avaliações de políticas perpassam pela análise de dados estatísticos que buscam aperfeiçoar a prestação de contas, determinar a alocação orçamentária e orientar a tomada de decisões por parte dos governantes (GERTLER et al., 2016).

Draibe (2001) entende que a política pode ser analisada e avaliada de maneira temporal, perfazendo uma distinção entre dois tipos: avaliação ex ante (prospesctiva) e avaliação ex post (retrospectiva). As avaliações ex ante, ocorrem durante a fase de formulação e preparação da política, produzindo orientações, parâmetros e indicadores adequados para implementação do projeto. Já as avaliações ex post são feitas durante a execução da política ou ao término dela e buscam verificar o grau de eficiência e eficácia da política no âmbito de seus objetivos e da efetividade no âmbito dos resultados.

A percepção da política se dá a partir de levantamento e processamento de dados que geram evidências de como ela está sendo executada e, sobre isso, Gertler et al. (2016) afirma que os dados podem auxiliar em análises de avaliação de impacto. A avaliação pode fomentar bases para reforçar a prestação de contas, a inovação e o aprendizado.

A teoria de avaliação segundo Chelimsky (1997) perpassa por três perspectivas que são: accountability – realizada por auditores, órgãos governamentais, financiadores de projetos internacionais e órgãos de fomento e tem o caráter mais técnico; knowledge – feita para gerar conhecimento e explicações a partir de estudos oriundos de pesquisadores independentes em universidades, tendo o caráter mais científico e a developmental – perspectiva de caráter científico que funciona como ferramenta diretiva para o estabelecimento de uma agenda de pesquisa na instituição científica a fim de recomendar mudanças e desenvolver indicadores e metas de desempenho que impactam na efetividade dos programas (CHELIMSKY, 1978 e 1997).

As perspectivas de avaliação foram propostas a partir de um simpósio organizado pela The MITER Corporation, em parceria com o National Institute of Law Enforcement and Criminal Justice (NILECJ). Neste evento, foram discutidos teorias e métodos de avaliação de políticas pelas Agências Federais e reuniu diversas autoridades governamentais (Departamento de Comércio, Departamento do Trabalho, Agência de Proteção Ambiental entre outras) nos Estados Unidos.

De modo geral, os métodos de avaliação geralmente são norteados pela relação dual de causa e efeito, onde a causalidade determina as metodologias que podem ser usadas. Para poder estimar o efeito causal ou o impacto de um programa nos resultados, o método de avaliação de impacto deve estimar o chamado contrafatual, ou seja, o que teria ocorrido como resultado aos participantes do programa se a política não tivesse sido implementada (GERTLER et al., 2016).

O estudo de impacto do presente trabalho versa sobre uma análise da eficácia do programa político, onde é discutido o contrafatual e comparações antes e depois dos chamados participantes e não participantes do programa. Diante disso, alguns métodos vêm sendo empregados com o uso das variáveis instrumentais. Essas variáveis permitem estimações consistentes contrapondo variáveis explicativas com as dependentes na busca de uma correlação com os termos de erro de regressão. A partir da escolha das variáveis instrumentais, por exemplo, é possível calcular a relação através da chamada Regressão Descontínua (no inglês, Regression Discontinuity Design) (THISTLETHWAITE; CAMPBELL, 1960). Esse tipo de regressão foi introduzido nas pesquisas de avaliação de

impacto com o intuito de determinar as inferências causais dos experimentos (GERTLER et al., 2016).

No campo da literatura de avaliação de impacto, Imbens e Zajonc (2008) discutem o uso da regressão descontinua na exploração de relações causais, onde a probabilidade de mudanças no tratamento é descontínua se uma covariável escalar exceder um corte temporal. Ao mesmo tempo, os autores consideram que o tratamento dos dados é complexo e dependem de um vetor de covariáveis.

Salinas e Solé-Ollé (2009), em um estudo realizado na Espanha, detectaram com o uso da descontinuidade que a descentralização das políticas educacionais teve um impacto positivo sobre o desempenho dos alunos. No mesmo sentido, Lee e Lemieux (2010) a partir de exemplos empíricos analisam a teoria que versa sobre o uso da regressão descontínua em pesquisas, suas vantagens e desvantagens e importância na avaliação das políticas. Mais recentemente, um estudo brasileiro realizado por Teixeira e Balbinoto Neto (2016) avaliou empiricamente a influência do Programa Brasileiro de Seguro-Desemprego sobre o salário de reinserção dos seus beneficiados usando uma regressão com descontinuidade (simulação Probit) para obtenção do Propensity Score.

O escore de propensão ou propensity score é o resultado da simulação binária e que pode ser avaliada a partir da regressão de descontinuidade. O escore de propensão foi desenvolvido pela primeira vez por Rosenbaum e Rubin (1983) que na época, propuseram o escore de propensão como a probabilidade de êxito condicional de se atribuir um tratamento a um dado vetor a partir de determinadas covariáveis. No seu artigo seminal, os autores dizem que as aplicações do escore de propensão incluem: i) a combinação da amostragem no escore de propensão perfazendo uma generalização do pareamento, ii) ajustamento multivariado por subclassificação em escore de propensão estimando efeitos de tratamento e iii) representação visual do ajustamento de covariâncias multivariadas em gráficos bidimensionais.

Além do escore de propensão, técnicas mais recentes como o Controle Sintético (CS) tem sido empregada na avaliação de políticas públicas abordando o uso de variáveis instrumentais que incidem sobre as políticas indicando o impacto sobre unidades tratadas em relação a uma unidade “sintética”, perfazendo o contrafatual dos efeitos de uma determinada intervenção política (AMARAL, 2014; GERTLER et al., 2016).