A parte final deste capítulo busca operacionalizar os critérios de análise das políticas públicas, bem como descrever as formas de avaliação que são normalmente empregadas para verificar o grau de sucesso de um programa ou projeto. Para tanto, serão apresentados os conceitos de eficiência, eficácia e efetividade.
De acordo com Belloni, Magalhães e Sousa (2007, p. 61-62), ―A eficiência diz respeito ao grau de aproximação e à relação entre o previsto e realizado, no sentido de combinar os insumos e implementos necessários à consecução dos resultados visados. Refere-se à otimização dos recursos utilizados, funcionando como causa elucidativa do resultado que se busca avaliar, além de ser um indicador de produtividade das ações desenvolvidas‖.
A eficiência não faz sentido se analisada fora de um contexto maior que permita comparar um programa com outro correlato. Enquanto a eficácia e a efetividade são critérios objetivos, a eficiência é um critério relacional (insumos < produtos).
Da mesma forma, uma política pública só será eficiente se estiver interagindo com outras políticas com vistas a evitar a sobreposição de ações, retrabalho ou ações desencontradas. Como dizem Belloni, Magalhães e Sousa (2007, p. 61):
Um princípio fundamental de elaboração de uma política pública é sua interação com outras políticas governamentais. Do ponto de vista da avaliação, a clara interação com outras políticas aponta em tese na direção de maior eficiência de seu funcionamento, evitando duplicação e desencontros de ações e, com isso, melhor uso dos recursos públicos envolvidos.
Ao analisar a eficiência, observa-se ―método, metodologias, procedimentos, mecanismos e instrumentos utilizados para planejar, projetar, tratar objetos ou problemas, tendo em vista a consecução criteriosa de diretrizes e objetivos finalísticos determinados‖ (BELLONI, MAGALHÃES e SOUSA, 2007, p. 62).
Para Cavalcanti (2006, p, 9), ―a eficiência de uma política pública refere-se à otimização dos recursos utilizados, ou seja, o melhor resultado possível com os recursos disponíveis‖. Cotta (1998 apud CAVALCANTI, 2006, p. 9) traduz o conceito de eficiência da seguinte forma:
O conceito de eficiência diz respeito à relação entre os resultados e os custos envolvidos na execução de um projeto ou programa. Quando ambos podem ser traduzidos em unidades monetárias, recorre-se à Análise Custo- Benefício (ACB) que, grosso modo, pretende verificar se os benefícios líquidos do projeto excedem seus custos operacionais.
Entretanto, analisar eficiência de uma política pública é um terreno instável, pois boa parte dos efeitos esperados não pode ser avaliada no curto prazo, bem como muitos dos resultados não esperados não são computados nos relatórios de avaliação. Além disso, muitas das exigências de um governo democrático como a exigência de governança do processo, podem ser vistos como perda de eficiência se a análise tiver como parâmetro a iniciativa privada. Belloni, Magalhães e Sousa (2007, p. 64) trazem à tona o sentido mais profundo e operacional da avaliação de eficiência.
Em resumo, eficiência traduz-se por respostas dadas a questionamentos ou indicadores relativos a necessidades atendidas, recursos utilizados e gestão desenvolvida. A interação entre a política examinada e outras a ela relacionadas, assim como a não sobreposição ou duplicação de esforços, são indicadores de eficiência não apenas da política em foco, mas das ações governamentais como um todo.
A eficácia de uma política pública corresponde ao resultado de um processo; ―entretanto, contempla também a orientação metodológica adotada e a atuação estabelecida na consecução de objetivos e metas, em um tempo determinado, tendo em vista o plano, programa ou projeto originalmente proposto‖ (BELLONI, MAGALHÃES e SOUSA, 2007, p. 64-65).
No entendimento de Cohen e Franco (1993 apud CAVALCANTI, 2006, p. 10), a eficácia refere-se ao "grau em que se alcançam os objetivos e metas do projeto da população beneficiária, em um determinado período de tempo, independentemente dos custos implicados". Belloni, Magalhães e Sousa (2007, p. 65) adicionam ao debate a seguinte afirmação:
Quando se trata de política pública, considera-se que eficácia não pode estar restrita simplesmente a aferição de resultados parciais. Ela se expressa, também, pelo grau de qualidade do resultado atingido. Todavia, por relacionar-se a um processo e a uma metodologia de avaliação, depende dos insumos disponibilizados no e pelo ―processo eficiente‖; sua constatação ocorre, desse modo, quando da verificação dos indicadores apontados pela eficiência.
O conceito de efetividade é trazido por Cavalcanti (2006, p. 10) como sendo
o conceito que revela em que medida a correspondência entre os objetivos traçados em um programa e seus resultados foram atingidos. Como essa correspondência é averiguada em um contexto mais amplo, em que se procura dar conta dos resultados, tanto no plano econômico como social, da política em questão, trata-se de uma avaliação de impactos, pois, ao contrário da avaliação de resultados, que procura investigar os efeitos de uma intervenção sobre a clientela atendida, ela procura diagnosticar os reflexos desta mesma intervenção no contexto maior.
De acordo com Belloni, Magalhães e Sousa (2007, p. 66), ―a efetividade social como um critério social de avaliação que procura dar conta dos resultados, tanto econômicos quanto sociais, da política pública‖. Os autores continuam, ―na concepção adotada para a avaliação externa, efetividade social tem a ver com os resultados objetivos e práticos da política junto aos setores sociais visados‖.
Nas avaliações de efetividade, Cotta (1998 apud CAVALCANTI, 2006, p. 11) aponta alguns pré-requisitos:
a) os objetivos da intervenção devem estar definidos de maneira a permitir a identificação de metas mensuráveis; b) sua implementação deve ter ocorrido de maneira minimamente satisfatória, pois, caso contrário, não faria sentido tentar aferir impacto.
Este último modelo é o mais complexo e de dificuldade de operacionalizar em virtude de diversos cuidados de ordem metodológica que devem ser observado, assim como o acesso a dados confiáveis. De acordo com Belloni, Magalhães e Sousa (2007, p. 70):
A acepção de efetividade social adotada envolve indicadores de caráter macrossocial, nem sempre disponíveis quando se desenvolve avaliação de política, em especial quando os resultados de uma política podem ser manifestos em prazos longos ou mediante indicadores difíceis de serem diretamente aferidos.
Por fim, Belloni, Magalhães e Sousa (2007, p. 71) afirmam que para se fazer uma avaliação de efetividade social deve-se considerar as seguintes dimensões:
1. Verificar quais são e como são estabelecidas as carências e as metas para se saber qual o padrão de referência;
2. Verificar, entre os beneficiários, a presença de grupos não visados pelas ações da política;
3. Verificar se ações propostas têm a ver com as necessidades dos beneficiários e da sociedade;
4. Verificar se as ações propostas diferem ou não do usualmente oferecido em atividades similares;
5. Verificar a forma e as condições em que ocorre a participação dos setores sociais envolvidos, seja na concepção, seja na gestão da política; 6. Verificar o potencial de mudança presente nas ações implementadas; 7. Examinar a interação das ações propostas com outras políticas governamentais.
As avaliações de políticas públicas podem ser divididas em três tipos: avaliação de eficácia, eficiência e efetividade. Por avaliação de eficácia, entende-se a avaliação da relação entre os objetivos e instrumentos explícitos de um dado programa e seus resultados efetivos (FIGUEIREDO & FIGUEIREDO, 1986 apud ARRETCHE, 1999, p. 34).
Por avaliação de eficiência, entende-se a avaliação da relação entre o esforço empregado na implementação de uma dada política e os resultados alcançados. (FIGUEIREDO & FIGUEIREDO, 1986 apud ARRETCHE, 1999, p. 34).
Por avaliação de efetividade, entende-se o exame da relação entre a implementação de um determinado programa e seus impactos e/ou resultados, isto é, seu sucesso ou fracasso em termos de uma efetiva mudança nas condições sociais prévias da vida das populações atingidas pelo programa sobre avaliação (FIGUEIREDO & FIGUEIREDO, 1986 apud ARRETCHE, 1999, p. 34).