Indicadores, Painéis de Monitoramento e Pesquisas de Avaliação como instrumentos para aprimoramento de programas e projetos sociais

(1)

Sagi/

Paulo de Martino Jannuzzi

Secretaria de Avaliação e Gestão da Informação do Ministério de Desenvolvimento Social e

Combate à Fome www.mds.gov.br/sagi

Indicadores, Painéis de Monitoramento e Pesquisas de Avaliação como instrumentos para aprimoramento de programas e projetos

sociais

(2)

Sagi/

MDS Sagi/

MDS

Antes, porém, uma correção oportuna: Uma boa manchete ou uma reportagem inverídica ?

O Globo,

27/05/2012,p.3

(3)

Sagi/

Sítio SAGI/MDS: www.mds.gov.br/sagi

Disponibilidade pública de resultados de

pesquisas e base de microdados

(4)

Sagi/

MDS Sagi/

MDS

Nota de resposta ao Jornal

O Globo,

31/05/2012,p.7

(5)

Sagi/

Não há uma pesquisa ou estudo avaliativo que possa compreender toda a realidade. Daí a opção da SAGI pela disseminação das pesquisas, para produção contínua de conhecimento sobre nossas

políticas e programas

Triangular significa abordar o objeto de pesquisa a partir de mais de uma técnica diferente de investigação ou sujeitos a entrevistar, como linhas não paralelas na forma de um triângulo cercando o objeto de pesquisa ao centro.

(6)

Sagi/

MDS Sagi/

MDS

O que é Avaliação de Programas e Projetos ?

Para que serve ?

(7)

Sagi/

Constatação 1

As metodologias de avaliação de programas sociais têm sido objeto de severas críticas. Basicamente, afirma-se que, na prática, as avaliações não subsidiam o processo decisório porque seus resultados são

inconclusivos, inoportunos e irrelevantes. Inconclusivos em função das próprias limitações deste tipo de estudo, inoportunos devido à

morosidade do processo avaliativo e irrelevantes, porque não

respondem às demandas informacionais de todos os agentes sociais afetos à intervenção (COTTA 1998, p.118).

Há um certo desencanto com a Avaliação...

(8)

Sagi/

MDS Sagi/

MDS

Constatação 2

De vez em quando, uma “avaliação” mal concebida ou mal executada produz informações que, no melhor dos casos, seriam enganosas e, no pior, absolutamente falsas. Embora essas ocorrências sejam raras,

podem causar problemas graves. Como geralmente tem ar de

respeitabilidade, essas avaliações não costumam ser questionadas, e o resultado é que decisões importantes sobre programas e serviços

essenciais baseiam-se inadvertidamente em informações falaciosas.

(WORTHERN et al. 2004, p.44).

Há um certo desencanto com a Avaliação...

(9)

Sagi/

Constatação 3

Há um certo desencanto com a Avaliação...

Garcia, 2001, p.21

(10)

Sagi/

MDS Sagi/

MDS

Possíveis fatores que contribuem para o desencanto com a Avaliação

1) Complexidade do objeto –> Complexidade da forma de avaliá-lo

• Problemas sociais são complexos e multi-causais,

• Públicos-alvo bastante distintos e dispersos

• Parte significativa dos programas são muito recentes

• Natureza diversa das “entregas” – benefícios monetários, produtos, serviços

• Complexidade do contexto de operação dos programas, envolvendo articulação entre setores da Política Social, entes federativos e

organizações não governamentais

(11)

Sagi/

2) Tecnocratismo ingênuo

• Capacidade de implementação superestimada

• Crença na elevada programabilidade dos projetos sociais

• Planejamento top-down, baixa interação com técnicos envolvidos na operação dos programas

• Gestores e técnicos mais como expectadores do que

protagonistas, encarando M&A mais como espasmos ou estorvos avaliativos do que como ferramentas para

aprendizado e aprimoramento dos programas

Possíveis fatores que contribuem para o desencanto com

a Avaliação

(12)

Sagi/

MDS Sagi/

MDS

3) Limitações dos desenhos das Pesquisas de Avaliação realizadas:

• Pesquisas qualitativas com amostras intencionais permitem conhecimento exploratório importante, mas tem limitações na generalização de resultados

• Desenhos metodológicos muito específicos (quase-

experimentais) garantem validade interna, mas comprometem a generalização de resultados

• Amostras nacionais são muito dispendiosas e não

necessariamente mais precisas ou relevantes para determinadas questões

Possíveis fatores que contribuem para o desencanto com

a Avaliação

(13)

Sagi/

4) Inexistência, deficiência ou problemas na estruturação de Sistemas de Indicadores de Monitoramento de Programas

• Em que pese a disponibilidade de dados e informações geradas a todo momento na operação dos programas, eles não estão organizados, acessíveis, sistematizados na forma de

indicadores

• Baixo uso das estatísticas oficiais, cadastros públicos e registros administrativos, mesmo quando disponíveis na Internet

• Baixa utilização de informações produzidas por orgãos de controle e auditoria

Possíveis fatores que contribuem para o desencanto com

a Avaliação

(14)

Sagi/

MDS Sagi/

MDS

5) Cultura de monitoramento e avaliação de programas é incipiente, assim como seu principal elemento estruturador (Sistema de Proteção Social)

• Desconhecimento sobre o estágio de Avaliabilidade dos

Programas, levando a antecipação de avaliações externas de natureza mais de auditoria ou medição de resultados e impactos em detrimento de avaliações de desenho da intervenção ou do processo de implementação, mais voltados ao aprimoramento do programa

• Avaliação de programas têm sido realizadas por equipes com boa experiência em Análise de Macro-Políticas, Conjuntura Social ou projetos de pesquisa acadêmicos, mas sem muita experiência na implementação real de programas. sem a interdisciplinaridade exigida, com participação pouco ativa do gestor

Possíveis fatores que contribuem para o desencanto com

a Avaliação

(15)

Sagi/

Ciclo de Políticas e Programas Públicos

Como superar o desencanto: Produzir e organizar informação ajustada às necessidades do programa ou projeto no estágio do Ciclo de Programas

(16)

Sagi/

MDS Sagi/

MDS Diagnóstico de

Condições de Vida

A demanda por informação estruturada no Ciclo de Programas

Indicadores sociais Censos Demográficos Cadastros Públicos CadUnico

(17)

Sagi/

Diagnóstico propositivo

Indicadores de diagnóstico Públicos-alvo (Censos, Cadastros e registros de programas)

Agentes implementadores (Registros, MUNIC)

Participação social (Munic, registros de reuniões)

(18)

Sagi/

MDS Sagi/

MDS Gestão e

implementação dos programas

Indicadores de monitoramento (produzidos pelo próprio

programa e outros programas no Ministério e fora dele)

Insumos ($$, RH, Adesões etc) Processos (Ações, ativ. meio) Resultados (Entregas, uso e

consumo de serviço) Impacto (Mudança social)

(19)

Sagi/

Avaliação somativa dos programas

Informação para avaliação (pesquisas específicas)

Indicadores de Resultados e Impactos

Informação de natureza qualitativa

(20)

Sagi/

MDS Sagi/

MDS Avaliação ex-ante

de demandas

Avaliação de desenhos de implementação

Avaliação de resultados e impactos Avaliação custo-

efetividade

Avaliação de processos Tipologia de

pesquisas de

avaliação segundo maturidade do programa ( Peter Rossi)

(21)

Sagi/

Ciclo de Políticas Públicas

Pesquisas de Avaliação Sistemas de

Indicadores

Enfoque

avaliativo

(22)

Sagi/

MDS

SM&A pode ser entendido, em um sentido lato, como o conjunto de atividades – articuladas, sistemáticas e

formalizadas- de produção, registro, acompanhamento e análise crítica de informações geradas na Gestão de

Políticas Públicas, de seus programas, produtos e serviços, por meio das organizações, agentes e públicos-alvo

envolvidos, com a finalidade de subsidiar a tomada decisão quanto aos esforços necessários para aprimoramento da

ação pública.

Trata-se, pois, de um conjunto de atividades inerentes ao ciclo de gerenciamento da produção das Políticas Públicas,

voltadas à sistematização de informação acerca dos

aspectos considerados críticos para sucesso dos programas.

Enfoque avaliativo -> Sistemas de M&A

(23)

Sagi/

Monitoramento e Avaliação de Programas

Exemplo didático: acompanhando a saúde de uma criança

Monitoramento Avaliação

1º. Observação do comportamento

sintoma:sinal de mal-estar 1º. Busca da avaliação de decisão:tomar a temperatura um médico

2º. Termômetro 2º. Exame clínico sintoma: febre decisão: remédio 1 decisão: antitérmico 3º. Exames diversos 3º . Termômetro decisão: remédio 2 e 3

sintoma: febre persistente 4º. Retorno- Nova Avaliação

(24)

Sagi/

MDS Sagi/

MDS

Monitoramento e Avaliação de Programas

Exemplo didático: acompanhando aprendizagem do aluno

Monitoramento Avaliação

1º. Observação do comportamento

sintoma:dispersão/conversa 1º. Investigar com outros prof. se decisão: alertar acontece em outras aulas

2º. Lista de exercício 2º. Investigar problema do aluno sintoma: não entrega decisão: nova data para entrega decisão: cobrança 3º. Investigar com os pais

3º . Prova de conhecimentos decisão: alertar para reprovação

sintoma: nota baixa 4º. Avaliar se houve mudança de comp.

decisão: reprovar

(25)

Sagi/

Sistemas de Monitoramento Pesquisas de Avaliação

subentende um lógica da intervenção desenho pode ser objeto avaliação vale-se de dados já coletados envolve em geral coleta primária

busca dispor de indicadores informação qualitativa e quantitat.

na forma de Painéis gerenciais relatório de avaliação, respondendo ou Painéis analíticos - mérito da demanda

- recursos e insumos - desenho e institucionalidades - processos e produtos - dificuldades da implementação - resultados e impactos - resultados e impactos

- qualidade, produtividade - custo-efetividade

Aprimoramento da Gestão do Programa

Monitoramento e Avaliação de Programas

(26)

Sagi/

MDS Sagi/

MDS

Monitoramento e avaliação são processos analíticos organicamente articulados, que se complementam no tempo, com o propósito de subsidiar o gestor público de informações mais sintéticas e tempestivas sobre a operação do programa –resumidas em painéis ou sistemas de indicadores de monitoramento – e informações mais analíticas sobre o funcionamento desse, levantadas nas pesquisas de avaliação

.

Integração de Sistemas de Monitoramento e

Pesquisas de Avaliação

(27)

Sagi/

O que é um Indicador ?

Para que serve ?

(28)

Sagi/

MDS Sagi/

MDS

• Recurso metodológico para “retratar” a realidade social, de forma simplificada, mas objetiva e padronizada

• Os indicadores apontam, indicam, aproximam, traduzem em termos operacionais as dimensões sociais de interesse

definidas a partir de escolhas teóricas ou políticas realizadas anteriormente.

• Eles se prestam a subsidiar as atividades de planejamento público e formulação de políticas nas diferentes esferas de governo, possibilitam o monitoramento das condições de vida, da conjuntura econômica e qualidade de vida da população

Indicadores Sociais

(29)

Sagi/

Representação da realidade: fotos

(30)

Sagi/

MDS Sagi/

MDS

• Tal como as fotografias, os indicadores procuram retratar um aspecto da realidade. Fotos reduzem a tridimensionalidade da realidade para o plano bidimensional do papel fotográfico. Podem ser preto e branca ou coloridas, com maior nitidez, luminosidade ou contraste

dependendo da resolução da máquina fotográfica e da destreza do fotógrafo em escolher o momento e contexto adequado para o que ele quer destacar.

• A imagem captada no indicador é também uma redução da realidade, isto é, uma representação simplificada de um aspecto da mesma, tão melhor quanto mais específico for o aspecto de interesse e quanto mais confiável e precisas as informações usadas para cômputo do indicador.

Indicadores Sociais

(31)

Sagi/

Representação da realidade: indicadores

(32)

Sagi/

MDS Sagi/

MDS

Representação da realidade das condições de vida da

população: Taxa de mortalidade Infantil

(33)

Sagi/

www.ibge.gov.br/home/estatistica/populacao/condicaodevida/pof/2008_2009_encaa/default.shtm

Representação da realidade nutricional da população

brasileira: indicadores antropométricos de 5 a 9 anos

(34)

Sagi/

MDS Sagi/

MDS

SAGI – Secretariat of Evaluation and Information Management

www.ibge.gov.br/home/estatistica/populacao/seguranca_alimentar_2004_2009/default.shtm

Representação da realidade nutricional da população brasileira: indicadores de percepção objetivada de

segurança alimentar

(35)

Sagi/

www.ibge.gov.br/home/estatistica/populacao/pense_avaliacao_nutricional_2009/pense_avaliacao_nutricional_2009.pdf

Representação da realidade nutricional da população brasileira: indicadores antropométricos de

adolescentes

(36)

Sagi/

MDS Sagi/

MDS

• Recurso metodológico para “filmar” as atividades, ações e programas promovidas pelo setor público, assim como a mudança social impactada pelos mesmos

• Medidas que operacionalizam o acompanhamento da ação pública

Alocação e execução do gasto

Realização de etapas e processos

Oferta de serviços

Entrega de produtos e obras

Medição de efeitos das ações

•resultados mais imediatos

•impactos mais de médio/longo prazo e mais abragentes

Indicadores de Monitoramento de Programas e

Projetos Sociais

(37)

Sagi/

Indicadores de Monitoramento de Programas e

Projetos Sociais

(38)

Sagi/

MDS Sagi/

MDS

O terremoto de 8 graus da escala Richter atingiu o município de Wenchuan, na província de Sichuan, às 14h28 do dia 12 de maio 2008

(39)

Sagi/

22,6 22,9

17,3 17,7 17,8 16,8 17,4 17,4 16,5 17,5

15,4

13,5

11,1 10,5

8,9 8,5

0,0 5,0 10,0 15,0 20,0 25,0

1992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹

Evolução da pobreza extrema (%) - Brasil - 1992/2009

Fonte: IBGE, Pesquisa Nacional por Amostra de Domicílios . Eleboração IETS.

*1 A área rural da região norte do país, a exceção do estado de Tocatins passou a integrar a amostra em 2004.

Os resultados da coluna 2004*, 2005*, 2006*, 2007*, 2008* e 2009* foram estimados incorporando a amostra da área rural da região norte.

Indicadores de Monitoramento de Programas e

Projetos Sociais

(40)

Sagi/

MDS Sagi/

MDS

Indicadores de Monitoramento de Programas e

Projetos Sociais

(41)

Sagi/

0,58

0,60

0,60 0,60 0,60 0,60

0,59 0,59

0,59

0,58

0,57

0,56

0,55

0,54

0,50 0,51 0,52 0,53 0,54 0,55 0,56 0,57 0,58 0,59 0,60 0,61

1992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹

Coeficiente de GINI - Brasil - 1992/2009

(42)

Sagi/

MDS 0

100 200 300 400 500 600 700 800 900 1000

mar/02 jul/02 nov/02 mar/03 jul/03 nov/03 mar/04 jul/04 nov/04 mar/05 jul/05 nov/05 mar/06 jul/06 nov/06 mar/07 jul/07 nov/07 mar/08 jul/08 nov/08 mar/09 jul/09 nov/09 mar/10 jul/10 nov/10 mar/11 jul/11 nov/11

(em mil pessoas)

Pessoas de 10 anos ou mais de idade, desocupadas na semana de referência , com menos de 8 anos de estudo nas principais Regiões

Metropolitanas - 2002/2012 (em mil pessoas)

Fonte: IBGE, Pesquisa Mensal de Emprego.

(43)

Sagi/

Principais pesquisas e fontes de dados

(44)

Sagi/

MDS Sagi/

MDS

Sistema Estatístico Nacional

IBGE

Unidades estaduais

Agencias Municipais

Ministérios

Datasus INEP Sedet/MTE

Sagi/MDS MPS MCT

MMA Minc

Instituições subnacionais

Idesp PA Codeplan DF Seade - SP

FEE-RS Condepe PE Comitê de Estatísticas Sociais

(45)

Sagi/

Comitê de Estatísticas Sociais

(46)

Sagi/

MDS Sagi/

MDS

Oportunidades

(47)

Sagi/

Principais pesquisas e fontes de dados

Censos Demográficos

Demais Pesquisas IBGE

Cadastros Públicos

Registros Administrativos

Sistemas de Informação Programas

Pesquisas regulares de outras instituições

Pesquisas de Avaliação dos Ministérios Pesquisa Nacional por

Amostra de Domicílios

(48)

Sagi/

MDS Sagi/

MDS

Principais pesquisas e fontes de dados

(49)

Sagi/

Principais pesquisas e fontes de dados

(50)

Sagi/

MDS Sagi/

MDS

Página SAGI: www.mds.gov.br/sagi

(51)

Sagi/

Página SAGI: www.mds.gov.br/sagi

DataSocial

(52)

Sagi/

MDS Sagi/

MDS

Principais Relatórios Sociais

(53)

Sagi/

Principais Relatórios Sociais

(54)

Sagi/

MDS Sagi/

MDS

Principais Relatórios Sociais

(55)

Sagi/

(56)

Sagi/

MDS Sagi/

MDS

Propriedades e Tipologias de

Indicadores

(57)

Sagi/

1. Relevância Social 2. Validade

3. Confiabilidade 4. Cobertura

5. Sensibilidade 6. Especificidade

7. Periodicidade na atualização 8. Desagregabilidade

9. Factibilidade para obtenção 10. Comunicabilidade

11. Replicabilidade de sua construção 12. Historicidade

Propriedades dos Indicadores

(58)

Sagi/

MDS Sagi/

MDS

(59)

Sagi/

(60)

Sagi/

MDS Sagi/

MDS

(61)

Sagi/

(62)

Sagi/

MDS Sagi/

MDS

(63)

Sagi/

(64)

Sagi/

MDS Sagi/

MDS

Propriedades dos Indicadores

(65)

Sagi/

 Indicador simples/composto

 Indicador descritivo/normativo

 Indicador quantitativo/qualitativo

 Indicador objetivo/subjetivo

 Indicador insumo/fluxo/produto

 Indicador esforço/resultados

 Indicador performance/estoque

 Indicador eficiência/eficácia/efetividade social

 Indicador absoluto/relativo

Tipologias de Indicadores

(66)

Sagi/

MDS Sagi/

MDS

Indicadores Objetivos

(67)

Sagi/

Indicadores Subjetivos

(68)

Sagi/

MDS Sagi/

MDS Indicador-insumo

Recurso: quantidade de médicos por mil habitantes ou gasto monetário per capita em saúde

Indicador- processo Uso dos recursos:

Consultas ao mês por Criança até 1 ano

Indicador- produto

Resultado efetivo:

Taxa de

morbidade ou mortalidade

infantil por causa específica

Ciclo de formulação e avaliação

Indicador- impacto

Desdobramentos Mais abrangentes Melhora do nível nutricional

Melhora do desemprenho escolar

Economia futura em gastos com saúde

Indicadores de Monitoramento

(69)

Sagi/

Insumo → Processo → Resultado → Impacto

Gasto Público em Programas de

Transferência de Renda

%

Famílias cadastrada s

% famílias atendidas

Proporção de

Indigentes

Taxa de evasão escolar

Redução da desnutrição infantil

Indicadores de Monitoramento

(70)

Sagi/

MDS Sagi/

MDS

Indicador 1

Método de aglutinação

Índice

composto ou sintético

Indicador 2

Indicador 3

Índice de custo de vida Indice de Desenvolvimento Humano

Indice de Desenvolvimento da Educação

Que dimensões utilizar ? Como combinar ?

Que pesos atribuir ?

Indicadores Analíticos e Sintéticos

(71)

Sagi/ ⁷¹

Evolução do IDH Brasil : 1980 - 2011

O IDH cresce ano mesmo ritmo desde 1980 - 0,03 a cada cinco anos- em que pese a ampliação do escopo e escala da Política Social no Brasil, sobretudo após Constituição de 1988

(72)

Sagi/

MDS

1.382,84 1.381,91 1.489,34 1.581,93 1.596,35 1.681,57 1.769,64 1.810,72 1.803,52 1.943,60 2.081,80 2.265,95 2.430,38 2.556,48 2.827,15

1000,00 1200,00 1400,00 1600,00 1800,00 2000,00 2200,00 2400,00 2600,00 2800,00 3000,00

1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009

Gasto Social per capita, constantes de dez/2010, - Brasil - 1995/2009

O Gasto social per capita dobrou em 15 anos

(73)

Sagi/

(74)

Sagi/

MDS

(75)

Sagi/

12,4

11,3

9,9

8,3 8,7

6,9

5,5

4,2 3,8 3,5 3,8 3,4

3,0 3,1 2,8 2,5

0,0 2,0 4,0 6,0 8,0 10,0 12,0 14,0

1992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹

Taxa de analfabetismo das pessoas de 10 a 14 anos - Brasil - 1992/2009

(76)

Sagi/

MDS

81,8

83,4

85,9 87,1

89,0

91,5

93,0 93,9 94,5 94,7 94,7 95,3 95,8 96,6 96,6 97,0

70,0 75,0 80,0 85,0 90,0 95,0 100,0

1992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹

Percentual de pessoas que frequentavam escola na população de 7 a 14 anos de idade - Brasil - 1992/2009

(77)

Sagi/

47,0 45,1

43,3 41,4

39,5 37,9

36,4 34,8

33,2 31,7

30,1 29,2

28,4 27,5

26,6 25,8

25,1 24,3

23,3 22,5

0 5 10 15 20 25 30 35 40 45 50

1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009

Evolução da taxa de mortalidade infantil (por mil)- Brasil - 1990/2009

Fonte : IBGE

(78)

Sagi/

MDS

398 419

521 530 529 534

504 512 512

482 493

523

572 587

617 632

0 100 200 300 400 500 600 700

1992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹

Renda real domiciliar per capita - Brasil - 1992/2009

(79)

Sagi/

22,6 22,9

17,3 17,7 17,8 16,8 17,4 17,4 16,5 17,5

15,4

13,5

11,1 10,5

8,9 8,5

0,0 5,0 10,0 15,0 20,0 25,0

1992 1993 1995 1996 1997 1998 1999 2001 2002 2003 2004*¹ 2005*¹ 2006*¹ 2007*¹ 2008*¹ 2009*¹

Evolução da pobreza extrema (%) - Brasil - 1992/2009

(80)

Sagi/

MDS 80

Evolução do IDH Brasil : 1980 - 2011

Por quê o IDH não reflete essas

mudanças sociais tão significativas na última década ?

- Dados defasados e não reconhecidos - Escolhas técnicas não plenamente

consensuais na literatura - Conceito originário restritivo - Dimensões limitadas

- Indicadores pouco sensíveis

- Ênfase demasiada na modelização na composição do índice

(81)

Sagi/

Para finalizar: Indicadores, painéis e pesquisas podem

ser instrumentos úteis para transformar a realidade - t0

(82)

Sagi/

MDS Sagi/

MDS

Para finalizar: Indicadores, painéis e pesquisas podem

ser instrumentos úteis para transformar a realidade – t1

(83)

Sagi/

Tal como fotografias, os indicadores reduzem a realidade social a dimensões

tangíveis

(84)

Sagi/

MDS Sagi/

MDS

Uma boa fotografia depende da câmera, da

posição do fotógrafo, do foco da lente....

(85)

Sagi/

Mas dependem fundamentalmente da destreza do fotógrafo em retratar o que é efetivamente

relevante a ser apresentado

(86)

Sagi/

MDS Sagi/

MDS

O que é mais útil, relevante e pertinente para avaliação do Bem Estar e para advocacy de programas sociais? Um mosaico de fotografias

...

(87)

Sagi/

Ou uma fotografia composta a partir de técnicas

sofisticadas de diagramação ?

(88)

Sagi/

MDS Sagi/

MDS