Notas da Delegação Brasileira 1. Introdução O escritório de avaliação da ONU (UN Evaluation Office) estabeleceu como tarefa promover uma Conferência Internacional em Capacidades Nacionais em Avaliação, com frequência bi‐ anual. A primeira conferência foi realizada em Marrocos em 2009 e a segunda conferência foi realizada em Johannesburg, Africa do Sul, em setembro de 2011 e contou com a presença de diversos países, representados tanto pelo setor governamental como por organizações da sociedade civil dedicadas a desenvolver o tema nos diversos países. O Brasil foi representado por uma delegação de quatro pessoas das seguintes organizações: Junia Quiroga (Secretaria de Avaliação e Gestão da Informação do Ministério do Desenvolvimento Social e Combate à Fome), Márcia Joppert (Rede Brasileira de Monitoramento e Avaliação), Selma Serpa (Tribunal de Contas da União) e Armando Vieira Filho (Secretaria de Assuntos Estratégicos da Presidência da República). A Conferência com duração de três dias teve como tema norteador "O Uso da Avaliação" e contou com uma discussão conceitual, 2 sessões plenárias, seguidas por 2 painéis paralelos cada uma, com apresentações de 24 países. 2. Resumo dos Resultados Um resumo dos resultados e conclusões apresenta‐se abaixo:
• Sessão Plenária 1: Utilização da Avaliação pelas Políticas Públicas e Programas ‐ Desafios, Fatores e Oportunidades ‐ estudos de caso de países
Esta sessão contou a apresentação de estudos de caso de 4 países:
o India (O papel da avaliação em 5 anos de Planejamento na India);
o Sri Lanka (O papel de influência da avaliação nas Políticas Públicas ‐ a Perspectiva do Sri Lanka);
o Africa do Sul (A Questão do Uso na Africa do Sul: exemplos e Lições da Comissão de Serviços Públicos da Africa do Sul); e
o Colômbia (Avaliações Efetivas: processos de advocacia para mudanças nas Políticas Públicas).
Os principais pontos apontados foram:
1. Necessidade de articulação positiva entre departamentos de planejamento e avaliação independente;
2. Utilização da avaliação deve permitir explicar a implementação de políticas públicas e informar o parlamento e outras partes interessadas;
3. A participação da sociedade civil é fundamental (no entanto, não ficou claro qual sociedade civil: aquela que atua no campo da avaliação ou a sociedade civil em geral. Também não ficou claro em que momento deve começar a participar ‐ no momento da análise da avaliação ou desde o início do seu processo de construção); 4. Avaliações conjuntas entre beneficiários e financiadores são importantes, pois permitem consenso sobre as forças e debilidades; 5. A independência dos avaliadores (do ponto de vista político e financeiro) é fundamental para chegar a uma avaliação de qualidade;
6. O campo da avaliação num país necessita de um líder, um padrinho forte. Colômbia mostrou bem a importância de se ter um líder forte ‐ conclusões e recomendações do seu sistema de avaliação permitiram alcançar progresso e melhorar o desempenho do governo;
7. É necessário e pertinente avaliar os avaliadores. No entanto, não há um método claro para isso. A meta avaliação permitiria isso de maneira indireta;
8. As 4 apresentações realizadas referiram‐se à institucionalização da avaliação que é necessária. Mas, enfoques de tal institucionalização foram diferentes de um país para outro. • Painel 1: Fatores Sistêmicos que Contribuem para o Uso da Avaliação Este painel contou com apresentações dos seguintes países:
o Benin (Uso da Avaliação e Desenvolvimento numa Análise Nacional: o caso de Benin);
o India (A Experiência Indiana com o Sistema de Monitoramento e Avaliação de Desempenho ‐ PMES ‐ para os Departamentos Governamentais); e
o Guatemala (Sistemas de Avaliação com Participação de Múltiplos Atores no Campo da Política Pública: um Estudo de Caso da Guatemala). Os principais pontos apontados foram os seguintes: 1. India e Guatemala focaram nos atores que produzem um ambiente propício e um marco institucional que contribuem para o uso; 2. Guatemala apontou o fato que sistemas de avaliação são necessários como parte integral de um sistema democrático, devendo‐se ir além da prestação de contas e alcançando a transparência. Devem ser parte integral das políticas públicas, devem envolver diversos atores como a academia e a sociedade civil em processos participativos;
3. Para Benin, a avaliação das políticas públicas foi declarada prioridade nacional, contemplando um marco institucional patrocinado pelo Primeiro Ministro. Em Benin, as avaliações são realizadas e enviadas ao governo para um acompanhamento das recomendações e divulgadas entre as partes interessadas. Lá, foi elaborada uma Política
Nacional de Avaliação, um marco legal acerca da profissionalização da avaliação e o estabelecimento de um fundo um conselho nacional para a realização de avaliações; 4. As apresentações da Guatemala e de Benin permitem dizer que cada pais é identificado com um contexto local muitas vezes não comparáveis;
5. A Índia abordou o trinômio resultados‐qualidade‐comunicação em seu sistema de avaliação e a regulamentação do marco de resultados num longo documento. Pontuou a importância de diferenciar monitoramento e avaliação. Painel 2: Impacto das Auditorias e Orçamento em Avaliação Este painel contou com as seguintes apresentações: o Brasil (Promovendo Prestações de Contas e Melhorando Programas e Políticas por Meio do uso Instrumental de Avaliações Conduzidas pelo Tribunal de Contas da União)
o Marrocos (Orçamento com Responsividade de Gênero como uma Ferramenta de Avaliação de Políticas Públicas)
Este painel teve como resultado a conclusão de que auditorias são atividades que podem contribuir de forma complementar para a avaliação de políticas e que a integração da avaliação no processo orçamentário pode melhorar a efetividade das políticas públicas. O Brasil apresentou 3 casos de estudo que demonstraram como os resultados de auditorias operacionais foram utilizados para melhorar políticas e programas e que a diferença entre auditoria e avaliação não está sempre clara em termos de método. Apontou como auditorias de desempenho têm sido usadas como instrumentos de otimização do uso de recursos em muitos países. No Brasil, durante o processo de aplicação das auditorias operacionais, a participação ativa dos "fiscalizados" proporcionou credibilidade e legitimidade aos resultados. O monitoramento sistemático das medidas recomendadas revelou uma taxa de implementação de 60%. Além disso, percebe‐se que o uso de um mecanismo externo de controle para avaliar o desempenho governamental ajuda a melhorar a prestação de contas. Como recomendação principal, foi proposto o lançamento de uma discussão junto à comunidade de avaliação, com participação de representantes da auditoria e dos avaliadores para analisar metodologias, relações causais, competências dos auditores, etc., já que as práticas variam segundo tradições culturais e democráticas.
Marrocos mostrou a importância de desenvolver um bom marco avaliativo com indicadores baseados em gênero. Os resultados de caráter único da experiência marroquina dependem da incorporação da questão de gênero no marco legislativo, combinada com uma lei de família, na perspectiva dos direitos humanos. Com isso, haveria uma melhora no estado jurídico de mulheres e crianças. Foram apontadas 3 questões principais: a) um marco estatístico relacionado com a questão de gênero com indicadores melhoraria a prestação de contas e os resultados com relação aos direitos humanos, ressaltando a importância sistematizar as melhores práticas: instrumentalização da avaliação como ferramenta de tomada de decisões políticas. b) O uso de um marco analítico comum e a abordagem para avaliar as políticas públicas. c) Desenvolvimento de capacidades internas como agrupamento setorial dos ministérios
• Sessão Plenária 2: O Uso da Avaliação para Políticas Públicas e Programas ‐ Desafios, Fatores e Oportunidades
Esta sessão contou com as seguintes apresentações:
o China: "O Papel dos Usuários em Promover a Utilidade das Avaliações com Especial Referência à Avaliação Internacional do Financiamento e Gestão de Desempenho da Fundação Nacional para as Ciências Naturais da China"
o Uganda: "Direcionamento Nacional por meio da Avaliação: Avaliação do Plano de Ação para Erradicação da Pobreza de Uganda
o Marrocos: "O Sistema Nacional do Observatório Nacional de Desenvolvimento Humano como Instrumento de Avaliação da Política Pública de Desenvolvimento Humano"
o México: "Elementos Chave de Avaliação como instrumento de Apoio à Decisão: A Experiência da Avaliação de Desempenho Específica no México"
o Brasil: "O Sistema de Avaliação do Ministério do Desenvolvimento Social e Combate à Fome: Fortalezas e Fraquezas no Uso dos Resultados da Avaliação na Tomada de Decisões dos Programas Sociais"
A apresentação de Uganda mostrou que a avaliação apontou sérias deficiências de Coordenação das Ações para erradicação da pobreza e trouxe valiosas e acessíveis informações sobre o que deu e o que não deu certo. Resultou no sucessor Plano Nacional de Avaliação e fortaleceu a função avaliativa do Primeiro Ministro.
Em seu estudo de caso, o representante da China mostrou os objetivos da avaliação do fundo nos últimos 25 anos e as lições aprendidas: usuários primários da avaliação devem entender os seus propósitos; o uso e a disseminação devem ser pensados desde o plano de trabalho; um fator de sucesso é o envolvimento do Ministério da Fazenda. Foram apontados como assuntos pendentes, a intensidade do uso dos resultados, como equilibrar as funções dos usuários e a independência das avaliações e a possibilidade de descoberta pelos usuários do potencial valor das avaliações
Marrocos: o observatório nacional de desenvolvimento humano apresentado tem por missão analisar e avaliar o impacto dos programas de desenvolvimento humano e propor medidas e ações para o seu aprimoramento. É baseado em um sistema de informações centralizado, que coloca à disposição do público informações estruturadas e documentadas, construídas a partir de dados existentes, relativas ao desenvolvimento humano, para auxiliá‐ los em suas atividades de compreensão, análise a avaliação de tais políticas. O georreferenciamento das informações está previsto para 2012.
O México mostrou o modelo institucional criado para conduzir um conjunto de avaliações dos projetos sociais mexicanos e o modelo de Avaliação de Desempenho Específico (EED). O mais interessante na apresentação mexicana é a forma como apresentam os resultados de tais avaliações: um sumário executivo com apenas 9 páginas, abordando os seguintes aspectos: descrição do Programa, efeitos que podem ser atribuídos ao Programa, resultados de fim e propósito, avanços de indicadores e análise de metas, avanços no ano corrente, aspectos de melhoria derivados das avaliações externas, aspectos de melhoria derivados dos mecanismos de monitoramento, aspectos que o programa decidiu realizar a partir de 2011 e informações gerais sobre a avaliação (todos os resultados podem ser encontrados no link:
http://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/evaluaciones/especificas/ed d_2010_2011/fichas_narrativas_eed.es.do.
O Brasil apresentou as características gerais do país, a evolução das políticas sociais e seus investimentos e o impacto em relação à redução da pobreza, e os desafios da implementação da prática avaliativa na Secretaria de Avaliação e Gestão da Informação do MDS. Como principais desafios foram apontados, a cultura, a interdisciplinaridade e a rotatividade da equipe, o convencimento dos parceiros sobre a importância das avaliações, a definição da agenda, os ritmos diferentes entre os resultados e a necessidade da gestão, e a falta de experiência em processos de contratação desse tipo. • Painel 3: Monitoramento Como Fator de Facilitação do Uso da Avaliação Apresentações: o República Dominicana: "A experiência da República Dominicana no Desenho e Implementação de um Sistema de Monitoramento como um Método Comunitário de medir progresso e impactos dos Objetivos de Desenvolvimento do Milênio”
o Malawi: "O Uso da Avaliação na Gestão para Resultados do Desenvolvimento: Evidências de Malawi" o Nigéria: "O Processo de Controle em Avanços de Projeto (CAP) da Cooperação Internacional Alemã (GTZ): o caso do Programa CAP de Combate à Pobreza na Ningéria (LUCOP)" o Rwanda: "A Abordagem Baseada em Desempenho Imihigo: uma Ferramenta de Avaliação em Rwanda" (substituído pelo Tajiquistão e Tanzânia) Neste painel, foram apresentadas experiências de países quanto à contribuição do processo de monitoramento na utilização de avaliações. O coordenador do painel solicitou que os representantes dos países participantes focassem suas apresentações especialmente nos desafios que enfrentam em seus trabalhos de monitoramento.
De início, a República Dominicana, identificou os seguintes desafios:
• Dificuldades na disponibilização de dados estatísticos, especialmente relativos às metas de desenvolvimento do milênio. Não há uma metodologia comum para coleta dos dados; • Difícil coleta de informações em nível local por desconfiança das comunidades locais; • Monitoramento participativo em nível local é limitado. Foram desenvolvidos comitês que
permitem aos cidadãos participarem nos processos de coleta de informações e sistematização de experiências, o que promoveu um maior senso de pertencimento; • Mudanças de governos e descontinuidade de projetos foram apontadas como outros
desafios.
Dentre as recomendações apresentadas pelos países, destacou‐se a necessidade de se institucionalizar o envolvimento de diversos atores em processos avaliativos, além de uma definição clara dos públicos alvo envolvidos no processo.
O Malawi abordou o uso de avaliações na gestão dos resultados de desenvolvimento. O processo de revisão de sua Estratégica de Crescimento e Desenvolvimento corresponde à avaliação do desempenho das prioridades pelo país, o que é a base do planejamento
orçamentário. Apesar de serem conduzidas análises de desempenho da estratégia, este processo não pode ser considerado como um esforço de avaliação independente de outros processos. Para assegurar o melhor uso de recursos possível, o ministro estabelece metas e as avaliações são feita segundo os seguintes critérios:
• Alinhamento expresso pela proporção entre recursos alocados para cada objetivo de desenvolvimento do milênio;
• Parceiros de desenvolvimento alocam seus orçamentos com base nos processos de revisão dos ODMs;
• Este processo de revisão é também utilizado pelo Fundo Monetário Internacional (IMF); • Membros do parlamento também se beneficiam deste processo de revisão para checar a
atuação do poder executivo;
• Organizações da Sociedade Civil também usam este processo de revisão para implementar projetos, Identificando as lacunas no orçamento para conseguir recursos extras; • O setor privado também usa este processo de revisão para decidir onde alocar recursos. Para o país, as limitações do processo de revisão encontram‐se na organização por projeto, pois esta dificulta a identificação de alocação dos recursos orçamentários.
A Nigéria destacou a importância da contribuição do monitoramento e avaliação na condução e no uso dos resultados para o Programa de Luta Contra a Pobreza, no qual utilizou o conceito de avaliações de meio termo ou auto‐avaliarão. O papel das unidades ou células de monitoramento e avaliação durante essa avaliação e a disseminação dos resultados não se limitam à produção de informação útil para a avaliação. As unidades, células ou pessoas encarregadas do monitoramento e avaliação são os principais atores que asseguram: (1) a coerência do processo avaliativo, (2) a análise e provisão de informações cruciais para avaliação, (3) o envolvimento dos atores no desenvolvimento das ações, (4) a disseminação dos resultados das avaliações para todos os atores, (5) o desenvolvimento do debate em torno das questões levantadas pela avaliação, (6) utilização de meta avaliações no aprimoramento, aprendizado e melhorias inovadoras aos processos subseqüentes, (7) os processos conduzidos alcançaram bons resultados graças ao engajamento e responsabilização da unidade de monitoramento e avaliação.
No caso do Tajiquistão o uso do recurso de monitoramento é essencial ao alcance de resultados satisfatórios nas prioridades nacionais estipuladas pelo próprio país. Dessa forma, foram identificadas as seguintes necessidades específicas para o desenvolvimento de M&A no país: • Apoio político‐governamental na utilização de M&A; • Transformar as estruturas públicas em estruturas geridas por resultados;
• Parceiros devem ser mais focados na avaliação de setores e indústrias de forma completa; • O uso pelo setor privado e pelos investidores do M&A para desenvolvimento de negócios e eficiência de seus projetos e programas; • Aplicação das melhores práticas e fortalecimento de capacidades em M&A ; • Aprender com a experiência em M&A de países desenvolvidos; • Estabelecer uma rede unificada em M&A com parceiros de países em desenvolvimento; A Tanzânia apresentou os desafios do sistema de monitoramento de pobreza ‐ Sistema de Monitoramento Mkukuta – aplicado nas áreas prioritárias do país.
A primeira dificuldade encontrada remete‐se ao financiamento necessário à implementação do próprio sistema Mkukuta. Como solução foi criado um fundo comum para a manutenção do sistema que depende do apoio de financiadores. A Tanzânia também identificou o problema da irregularidade na qualidade de dados ‐ tanto em relação à sua disponibilidade quanto à qualidade que variam por setor. A falta de formatos padronizados e harmonizados gera uma qualidade irregular de relatórios setoriais do país.
No entanto, com o estabelecimento do sistema de monitoramento Mkukuta e com a participação dos diversos atores, a coordenação da produção dos dados foi fortalecida e o conceito de gestão baseada em resultados foi ampliado. O sistema focou no provimento de três principais pilares: (1) levantamento de dados rotineiros, (2) pesquisa e análises e (3) comunicação. Cabe ressaltar que na Tanzânia, o desenvolvimento de capacidades e a profissionalização em M&A ainda são a corrente principal dos programas nacionais de desenvolvimento humano, bem como da produção do relatório anual de implementação de programas.
Como encaminhamentos a Tanzânia prevê a existência de um escritório nacional de auditoria fortalecido por um profissionalismo diversificado; atividades de M&A institucionalizadas em todo o governo; a criação da Associação Tanzanense de Avaliação; a adoção do Plano Diretor de Estatística; e a oportunidade de construir uma base de evidências mais forte e mais robusta para a formulação de políticas de desenvolvimento econômico e redução da pobreza.
Os países participantes deste módulo enfatizaram de forma geral a importância do processo de monitoramento na produção de avaliações de qualidade e que o alcance para o sucesso de bons resultados perpassa pelo apoio político dos governos em implantarem M&A em suas atividades além da autonomia na realização e produção das avaliações.
• Painel 4: Estabelecendo Sistemas de Avaliação e Levando em conta o Uso dos seus Resultados
Apresentações:
o Chile: "Comissão Compasso, Abdul Latif Jameel Poverty Action Lab"
o Costa Rica: "Avaliação na Costa Rica sob a Perspectiva Governamental: a Situação Atual e Desafios no Contexto da Implementação do Plano Nacional de Desenvolvimento 2011‐2014"
o Malaysia: "Uso da Avaliação: Experiências da Malaysia"
o Mauritania: "Usando Avaliação na Tomada de Decisões para Políticas Públicas e Desenvolvimento de Programas: o caso da Mauritania"
o Mongolia: "Avaliação da Estratégia Nacional de Desenvolvimento Baseada nos Objetivos de Desenvolvimento do Milenio e a Utilização de seus Resultados" o Kazakhstan: "Avaliação de Desempenho do Governo: o caso do Kazaquistão ‐
Experiência, Desafios, Resultados Imediatos e Perspectivas Futuras"
O Chile descreveu a experiência do JPAL, que recebeu a incumbência de identificar os desafios sociais do país e propor políticas públicas inovadoras que pudessem ser avaliadas.
Enfatizou a diferença entre avaliações de processo e de impacto e, neste último caso, a dificuldade em estabelecer e isolar causalidades entre ações e impactos. Também ressaltou os resultados de avaliações de impacto como um bem público e que o uso e relevância das avaliações dependem diretamente do grau de lealdade entre a formulação da avaliação e ao objetivo do Programa. Para tanto, avaliações ex‐ante são chave. A Costa Rica mostrou a relação entre avaliações na área da saúde, especificamente sistemas de auditoria aplicados a cada evento de morte infantil e a redução de índices de mortalidade infantil como resultado direto para a sociedade. A experiência da Malásia aponta uma mudança de estratégia nas avaliações governamentais do país a partir de 2005: a avaliação de resultados externa foi substituída por uma avaliação interna. Apontou também a vinculação, a partir de 2011, da aprovação do orçamento aos resultados das avaliações, ressalvando que a avaliação de desempenho é feita apenas para 6 áreas estratégicas, não sendo possível realizá‐la em todos os projetos. As forças motrizes do processo são a Secretaria Geral da Presidência, o Ministério do Planejamento e o Ministério da Economia, sendo que o Ministério do Planejamento é o responsável por selecionar os projetos e programas que serão avaliados e por realizar as avaliações, produzindo informes regulares. Os principais resultados desse processo são a pactuação de resultados, a gestão para resultados, uma unidade de coordenação vinculada ao gabinete do 1º Ministro e a elaboração de guidelines.
A apresentação da Mauritania foi realizada pelo representante da Associação Nacional de Avaliação, mostrando sua atuação recente. O principal trabalho da Associação tem sido conscientizar os atores sobre a importância da avaliação e estudar o nível de capacidades avaliativas na Mauritânia (a partir de 2009). Tal estudo aborda a prática nas organizações (em 46% delas não houve avaliação de resultados e impactos nos últimos 3 anos), o quanto as avaliações se traduzem em mudanças (50% dos casos), como são difundidas (em relatórios e publicações, mas não na internet), o quanto são usadas (54% por agentes externos e 44% por agentes internos), o grau de punição dos responsáveis pelos desvios (quase nenhum). Aponta como desafios para a evolução da avaliação governamental na Mauritania: a falta de dados estatísticos, o despreparo da demanda, a falta de instâncias de supervisão, o gap de recursos humanos, orçamentos insuficientes, a ineficiência dos atores (parlamentares procuram não se envolver), fatores culturais e vontade política. Como sugestões de enderaçamento dos desafios: adoção de um marco geral como base de uma institucionalização e o reforço de capacidades.
Mongólia: a representante da Mongólia apresentou a experiência do relatório dos objetivos de desenvolvimento do milênio como base de uma estratégia e de um plano nacional de desenvolvimento, que conta com 6 diretrizes, 124 prioridades e 523 ações estratégicas. Enfatiza que o uso de sistemas de M&A com base em resultados precisa de preparação dos recursos humanos e financiamento. Como desafios, coloca a coordenação entre os setores e a falta de clareza de alguns indicadores. Os três principais resultados da experiência foram: o aumento da importância dada aos assuntos de desenvolvimento humano e o crescimento econômico sustentável, a inovação da gestão.
O Kazaquistão apresentou um interessante modelo de avaliação de desempenho governamental, aplicado anualmente, a partir de 6 dimensões:
‐ alcance dos objetivos ‐ gestão das ações (metas)
‐ gasto público (eficiência) ‐ uso dos recursos humanos ‐ uso das tecnologias de Informação e comunicação (TIC): especificamente, a transparência e o uso de sistemas eletrônicos de trocas de documentos ‐ serviços públicos
Todos os ministérios e agências são avaliados e as instituições designadas para tal função são: Ministério das Finanças, Presidência, Primeiro Ministro, Agência para os Assuntos dos Serviços Civis, o Ministério da comunicação e Informação (TIC) _ e as organizações da sociedade civil (serviços públicos).
Ao final, os resultados são anunciados para a mídia de massas. Os resultados de 2010 mostraram um desempenho sofrível nos serviços públicos, o que provocou as seguintes decisões: todos os serviços públicos devem ser revisados e colocados num registro; padronizados e propriamente regulados. Criação de um novo conceito de planejamento estratégico, intensificação do uso de TIC e o desenvolvimento de um novo modelo de serviço público. Questões gerais abordadas no painel: 1. Compromisso político de alcançar o balanço entre a participação e a independência das avaliações; 2. Fortalecimento das capacidades nacionais para gerir as avaliações ‐ fatores críticos são o turnover de pessoal, a falta de respaldo político, falta de envolvimento dos atores e restrições orçamentárias, entre outros; 3. Qualidade e disponibilidade de dados ‐ alguns países têm bons sistemas e em outros ainda é um desafio ‐ para fazer boas avaliações é fundamental ter bons dados; 4. Falta de um respaldo legal ‐ um grupo pode estar interessado, mas com uma mudança de governo vai tudo abaixo ‐ temos que ter um esquema mais independente das mudanças de governo para não obstaculizar o que se resolve com base legal;
5. Distinção entre monitoramento, avaliação e pesquisa: necessidade de procedimentos e métodos apropriados;
6. Falta de requisitos de acompanhamento ‐ achados são muito claros, mas não há um compromisso do governo para fazer um acompanhamento acerca das ações propostas 7. Mecanismos inadequados para comunicar os achados; 8. Financiamento da avaliação: ficou claro que em alguns países se investia no processo e em outros se enfrenta desafio ‐ impacto no sentido de apropriação. Sugestões para superar alguns dos pontos ou melhores praticas • a institucionalização e fortalecimento da capacidade profissional para avaliação ‐ inclui mecanismo de comunicação dos resultados;
• assegurar a utilização da evidência, sem impor uma avaliação, mas contando com a capacidade dos sistemas;
• sincronização da avaliação com o ciclo de planejamento e orçamento ‐ poderia ser emulada pelos países que estão praticando;
• participação ativa dos usuários ‐ se não se envolve desde o princípio, é muito difícil que se apliquem as recomendações;
• compromisso de governo com o financiamento da avaliação ‐ com esse compromisso podemos originar o tema da apropriação.
3. Boas Práticas e Lições Aprendidas
Um aspecto importante da experiência mexicana ‐ os templates de apresentação dos resultados das avaliações‐ apresentar os dados de uma maneira amigável ‐ experiência a considerar
Um tema que se repetiu foi a divulgação dos resultados / comunicação ‐ divulgação quer dizer que há informes que se distribuem ‐ partes interessadas não os recebem de uma maneira adequada ‐ comunicação tem que ser pensada desde o início ‐ está muito relacionada aos usos e deveríamos discutir os seus diferentes aspectos ‐ e os requisitos para responder a esses achados e recomendações de cima abaixo. Duas conclusões: o uso da avaliação depende de 3 fatores ‐ ambiente propício (pode existir ou não a cultura de boa governança de políticas públicas, de transparência , de gestão de resultados e uma sociedade civil forte que possa demandar e solicitar bons serviços), marco institucional (institucionalidades , existência de um marco político, um departamento específico, uma agenda clara para avaliações) e capacidades individuais.
Reconhecimento que avaliação é realizada tanto num ambiente técnico como num ambiente político ‐ estabelecer estratégias políticas para avaliação ‐ saber como é o processo de formulação de política para que a avaliação possa se orientar aos formuladores.
Também se discutiu sobre a oportunidade do uso de avaliações rápidas ‐ assegurar‐se que as avaliações podem afetar os ritos e processos e formulação de políticas ao nível de pais.
Há que se abordar o lado da oferta ‐ escutamos sobre a qualidade da avaliação como importante ‐ isso tem a ver com a relevância e ações de apoio.
4. Encaminhamentos
1. O que podemos fazer nos nossos países para manter vigente este grupo no tema das avaliações ‐ para brindar uma política publica é preciso conhecê‐la; 2. A avaliação como teoria, técnica, tática, está dentro de um contexto sempre político e a base da sustentabilidade dos processos de avaliação tem a ver com os processos políticos (os políticos normalmente fazem sua oferta eleitoral, mas não falam sobre como obtê‐las ‐ no sistema eleitoral não há indicadores que mostram como as promessas serão alcançadas). Avaliação acontece num contexto político, econômico e social; 3. Para avaliação de políticas públicas, a estratégia de comunicação é vital; 4. Avaliação como um meio democrático de um sistema de direito que possa blindar o tema do gasto público e o tema de contribuição de tributos ‐ ajuda a institucionalização. Será necessário criar uma lei específica em matéria de avaliação?
5. Como aproveitar as experiências daqui para desenvolver nossos processos de avaliação?
‐ grupo de discussão pela internet ‐ apoio do PNUD para tradução
‐ para a próxima conferencia: necessidade de discutir mais o uso ‐ contemplar perspectiva de múltiplos atores ‐ não só para a comunicação de resultados, mas para a produção de relatórios ‐ enfoque em stakeholders. Seguir uma ética de multiplicação do que estamos compartilhando aqui em nossos países e regiões. Mais participantes de América Latina e Caribe. Importância de apoiar Caribe. Possibilidade de sediar no Brasil.
5. Próximos Passos
• Decidir tema e local da próxima conferência (sugestões foram apresentadas: avaliação e o ciclo das políticas públicas, como aprimorar o uso das avaliações, tipos de uso, ferramentas, estatísticas, recursos humanos capazes de usar);
• Conceber indicadores de avanço dos países participantes de uma conferência para outra (PNUD);
• Promover a discussão de métodos: diálogos nacionais ampliados /diálogos regionais /grupos virtuais /publicações sobre boas praticas de controle social /apresentação dos resultados dessa conferência a atores políticos ‐ potencialização da cooperação sul‐sul ‐ seguimento aos fatores determinantes da avaliação de cada país para concluir sobre os avanços e retrocessos /apresentação de um resumo executivo dos participantes (prestação de contas, envolvimento da sociedade civil e liderança política da avaliação) /estudo dos esquemas de financiamento de estudos de M&A para que sejam sustentáveis no tempo ‐ alianças público‐privadas / convite de missões dos países participantes para compartilhar avaliações que se tenham executado.
