Universidade Federal do ABC Curso: Políticas Públicas Disciplina: Avaliação e Monitoramento de Políticas Públicas Profa.

Universidade Federal do ABC

Curso: Políticas Públicas

Disciplina: Avaliação e Monitoramento de

Políticas Públicas

Profa. Maria Luiza Levi

Marco ou Quadro Lógico

 USAID – United States Agency for International Development (anos 60): dificuldade em mostrar a efetividade de projetos de cooperação internacional – reduzida precisão dos mecanismos de planejamento e ausência de identificação clara de

responsabilidades = dificuldades para a avaliação (acabava se convertendo em um processo de aprimoramento do planejamento)

 Consultores se basearam na metodologia “Management by Objectives”

(Gerenciamento por Objetivos) e elaboraram o “Logical Framework Approach” (Abordagem do Quadro Lógico, ou Marco Lógico)

 Posteriormente foi feita uma adaptação para que a metodologia fosse aplicada sob uma lógica participativa, com técnicas de moderação ou facilitação, via workshops, facilitando o envolvimento das equipes na produção do “Quadro Lógico” do

programa/projeto

 Embasamentos: a compreensão compartilhada (e eventualmente a própria construção de detalhes da intervenção) facilita sua implementação e constitui referência para a sua avaliação

 O resultado é um instrumento de planejamento e uma referência para a execução e para a tomada de decisão, e que normalmente sob a forma de uma matriz

Marco/Quadro Lógico: apresentação sob a forma de matriz

Modelo Lógico

 Recurso metodológico para explicitar a estrutura de uma intervenção, orientado

para evidenciar seus resultados e especificamente desenvolvido como uma ferramenta de avaliação

 O ponto de partida é a construção da estrutura lógica da intervenção, que

mapeia a relação entre os recursos disponíveis e os resultados esperados:

 A ênfase aqui é principalmente no que se denomina “teoria do programa” (ou da

intervenção)

Modelo Lógico: metodologia IPEA

A metodologia do IPEA para os programas do PPA juntou elementos das duas

abordagens, metodologia para o planejamento (Marco/Quadro Lógico) e para o processo de avaliação (Modelo Lógico)

Instrumento que serve para apoiar o processo de elaboração dos programas do PPA e sua avaliação

Modelo Lógico: metodologia IPEA

I. Identificação e apresentação de um problema passível de ser abordado por meio de um programa ou projeto, no âmbito de uma política pública

 Por meio de “referências básicas” do programa  Por meio da “árvore de problemas”

II. Estruturação do Programa para alcance de Resultados III. Definição de indicadores de desempenho

IV. Identificação de Fatores Relevantes de Contexto V. Análise de consistência do programa

VI. Análise de vulnerabilidade do programa

Modelo Lógico: metodologia IPEA

I. Identificação e apresentação de um problema de um problema de política pública, que pode motivar um Programa/Projeto

Duas abordagens:

Conceitos utilizados

(Carlos Matus – “pai” do Planejamento Estratégico Situacional/PES):

a. Descritores: elementos que demonstram de forma clara que o problema existe, auxiliam na

posterior construção dos indicadores de monitoramento

b. Causas críticas: também referidas por “nós” críticos, são os elementos essenciais sobre os

quais deve incidir a ação. Devem: (i) ter alto impacto na mudança do problema; (ii) serem passíveis de ações, ou seja, deve ser possível atuar sobre tais causas de modo prático; (iii) deve ser politicamente oportuno agir sobre tais causas

c. Critérios de priorização: essencial mapear critérios de priorização em situações em que os

recursos disponíveis para um determinado período não são suficientes para alcançar todos os beneficiários possíveis. Referências básicas do Programa Árvore de problemas

Modelo Lógico: metodologia IPEA

Exemplo: Programa “Segundo Tempo” (Governo Federal-Ministério do Esporte) I. Explicação do problema, objetivos, público-alvo e beneficiários (referências básicas =

enunciado do problema e respectivos “descritores”)

Modelo Lógico: metodologia IPEA

Ou por meio da “Árvore de Problemas” (identificação de causas e consequências do problema)

Modelo Lógico: metodologia IPEA

Muitas frequentemente, a ação orçamentária de um programa tem característica “guarda chuva”. Nesses casos, é fundamental definir as “ações de fato”, ou seja, aquelas que, ao serem

operacionalizadas, viabilizarão o programa

II. Estruturação do Programa para alcance de Resultados

Modelo Lógico: metodologia IPEA

Alguns conceitos e questões relevantes do slide anterior

 O Programa funciona via chamamento público (um edital público com regras para a concessão de recursos), direcionado a ONGs. Elas devem apresentar projetos de constituição de Núcleos de Esporte Educacional para o desenvolvimento de

atividades esportivas

 Ações orçamentárias e não orçamentárias: determinadas ações são fundamentais para que o programa ocorra, mas não dependem da realização de despesas pelo governo (no caso, a elaboração dos projetos dos Núcleos)

 Ação orçamentária “guarda-chuva”: no orçamento público, os recursos (“verba”) são estimados para cada ação orçamentária. Quanto mais específica é a ação,

maior a necessidade de que sua previsão seja correta, do contrário será necessária alterar o valor ao longo da execução orçamentária. Ações mais genéricas são

conhecidas como “guarda-chuva”

 A estruturação para resultados envolve enunciar o Programa de acordo com os

Modelo Lógico: metodologia IPEA

Resultado final, impactos diretos e indiretos

Eficácia Efetividade Os efeitos esperados têm vínculos causais de distintas naturezas com o programa. O método do Modelo Lógico ajuda a evidenciar o que é mais ou menos factível, ou mais ou menos gerenciável

Modelo Lógico: metodologia IPEA

Modelo Lógico: metodologia IPEA

Modelo Lógico: metodologia IPEA

Qual o tipo de avaliação que pode ser feita a partir da análise desses indicadores?

Modelo Lógico: metodologia IPEA

Esse exercício é voltado para minimizar problemas imprevistos. Ele é tanto mais rico quanto mais houver conhecimento do “terreno” (perfil do 3º setor, escolas, comunidades) e quanto mais se puder fazer uso de experiências semelhantes

iv. Identificação de Fatores Relevantes de Contexto

Modelo Lógico: metodologia IPEA

Consistência e vulnerabilidades da intervenção

V. Análise de consistência: uma vez identificada a lógica (ou cadeia causal) da

intervenção, é bom verificar se faz realmente sentido dizer que “se X (ação) for feito .... resultará Y (produto) e consequentemente deverão ser verificados W e Z (resultados intermediários e finais).

Aqui entram considerações não só lógicas mas também relacionadas à suficiência dos recursos, ao tempo necessário para a operacionalização das ações e aos

elementos que constituem seus pré-requisitos

VI. Análise de vulnerabilidade: toda intervenção tem uma série de pressupostos e

apostas, explícitos ou não. É fundamental fazer uma análise dos elementos que podem fragilizar ou invalidar essas apostas, ação por ação

Situações identificadas como mais críticas (em que há maior risco de

inviabilização da ação) devem ensejar a definição de ações complementares que possam mitigar os riscos

Modelo Lógico: metodologia IPEA

Análise/Matriz de vulnerabilidade: Programa Segundo Tempo

Modelo Lógico: metodologia IPEA

Recomendações para o Plano de Avaliação – Estrutura

 Propósito da avaliação: identificar objetivos e usos da avaliação que será feita  Perguntas de avaliação: devem estar alinhadas aos usos e objetivos e elaborar

suas respostas deve ser factível

 Método(s) de avaliação: estratégia/desenho da avaliação, incluindo coleta e análise de dados

 Procedimentos/atividades previstas: detalhamento, identificação de responsáveis e disponibilização em cronograma de realização

 Composição da equipe de avaliação e orçamento

Revisão: Custo, eficiência, efetividade

“A opção X é mais vantajosa que a opção Y em termos de custo x benefício”

Expressão de uso corriqueiro, frequentemente utilizada de maneira imprecisa

No âmbito das políticas públicas devemos tentar expressar essa preocupação da “comparação em

termos de custo benefício” em:

Avaliação de eficiência Avaliação de custo-efetividade ou

Revisão: Custo, eficiência, efetividade

(no caso, de uma política pública, ou seja, de determinado bem ou serviço, ou mesmo de um conjunto de bens/serviços de uma política pública)

Um processo será mais eficiente que outro se for

capaz, com a mesma quantidade de recursos

(financeiros, humanos, etc.) produzir maior

quantidade de bens/serviços Ou seja, a avaliação de eficiência é essencialmente uma comparação entre processos de produção É uma comparação de alternativas de política pública. O

programa A será mais custo efetivo que o programa B se conseguir, com menos recursos, chegar a resultado

semelhante. Exemplo: (i) reduzir o número de alunos de uma classe pode ser mais custo efetivo em aumentar os níveis de aprendizagem do que o aumento do número de horas aula; (ii)

reduzir a compulsão alimentar pode ser mais custo efetivo com medicamentos do que com terapia