Reportagem
Sonia Ospina apresenta avaliação e
resultados da gestão pública na
América Latina
A Escola Nacional de Administração Pública (ENAP) recebeu, em nove de agosto deste ano, a professora e pesquisa-dora Sonia Ospina Bozzi da Universidade Estadual de Nova York, nos Estados Unidos. A pesquisadora colombiana esteve na escola para ministrar a aula inaugural do Curso Internacional sobre Avaliação de Programas Sociais promovido pela Escola Ibero-americana de Administração e Políticas Públicas (EIAPP) do Centro Latino-americano para o Desenvolvimento (Clad) e pela ENAP, do qual participaram 30 dirigentes públicos de áreas sociais de 13 países da América Latina.
Sonia Ospina é doutora em Sociologia pela Universidade Estadual de Nova York e professora associada de Gestão Pública na Universidade de Nova York (NYU). É
diretora acadêmica do Centro de Pesquisa para Liderança em Ação, que desenvolve estudo sobre liderança, câmbios sociais, gestão pública e governança na América Latina. Suas publicações incluem livros e artigos em revistas acadêmicas sobre os temas gestão e avaliação de políticas públicas, segundo site do Clad.
A exposição intitulada “A evolução dos resultados da gestão pública na América Latina: grandes temas e desafios” buscou traçar um mapa cognitivo sobre temas, tendências e desafios relacionados com o assunto de avaliação e monitoramento na América Latina. Este texto traz uma síntese dos temas levantados pela pesquisadora em sua aula inaugural.
Estado e gestão pública na América Latina
Sonia Ospina iniciou sua apresentação citando Bresser-Pereira, refinado analista da administração pública na América Latina, quando fala da importância da melhora na capacidade de gestão do Estado: Para ele, “A reconstrução da capacidade estatal é uma condição essencial para que os países latino-americanos enfrentem de forma mais exitosa os problemas da redemocratização, do desenvolvimento econômico e da distribuição da riqueza. Nesse contexto, a implementação da
Sonia Ospina Bozzi - professora e pesquisadora da Universidade Estadual de Nova York, nos Estados Unidos.
reforma gerencial é um aspecto funda-mental para melhorar a capacidade de gestão do Estado, assim como para aumentar a governabilidade democrática do sistema político”.
A fala de Bresser-Pereira, proferida em 1998 num discurso para o Centro Latino-americano de Administração para o Desenvolvimento (Clad) durante curso sobre o papel e a capacidade do Estado, marcou a fase de reconsideração sobre a importância do Estado ao longo das décadas de 1980 e 1990.
Para Sonia, antes se apontavam os problemas como oriundos todos do Estado. Após o consenso de Washington, foram oferecidos parâmetros para priva-tizar, cortar e contratar. Essas medidas redirecionaram as ações do Estado, retirando-lhe capacidade para investir em atividades produtivas e sociais. Para Bresser-Pereira, no entanto, esse quadro era um desastre, pois o Estado é necessá-rio. Não um Estado grande e pesado, mas um Estado enxuto e capaz. “Se a única maneira de as instituições democráticas funcionarem é com um Estado capaz, então é importante que nós possamos conduzir uma reforma estrutural na América Latina”, disse.
A organização da coisa pública é importante para considerar-se uma nova abordagem da governança, aplicada no início do século 21. É um movimento global de reforma que ocorre em todos os lugares. A passagem da noção de gestão pública para a visão de sistema público não é somente um jogo de palavras, segundo Ospina. Ela enumera cinco perguntas que se colocam e começam a influenciar a for-ma como os gestores pensam a questão.
1. Como podemos produzir mais? 2. Como usar os incentivos de mer-cado e orientar a burocracia tradicional para as ações sociais?
3. Como o Governo pode conectar-se de novo com os cidadãos para oferecer serviços efetivos e de qualidade?
4. Como o Governo pode criar programas e aperfeiçoá-los para que respondam às necessidades locais de maneira mais efetiva? Como descentrali-zar esses processos?
5. O que pode o Governo fazer para cumprir as promessas? Essa é uma questão de prestação de contas ou de responsabilização.
Em relação à primeira pergunta, Sonia Ospina destaca que a abordagem deve englobar não só como o Estado pode produzir mais serviços com menos recur-sos, mas também como se pode fazê-lo sem descuidar das estratégias de efetividade e eficiência para o desenvolvimento. “Com isso voltamos a uma perspectiva mais humana”, explicou.
A segunda questão também se aprofunda para a pesquisadora e suscita mais questões: Como é possível trabalhar com o mercado e a sociedade civil para abordar de maneira conjunta os proble-mas coletivos e superar dificuldades? Os três setores trabalhando juntos são o novo modelo de governança? Como pode o Governo se conectar melhor com os cidadãos para prover esses serviços? O que devemos fazer para que os cidadãos também participem dessa discussão?
A quarta questão trata da efetividade de programas e da descentralização. No entanto, lembra a pesquisadora, para que a descentralização tenha sentido é preciso responsabilidade. Por vezes, problemas surgem por causa de uma descentralização irresponsável, o que compromete a efetividade de qualquer programa.
Por último, a prestação de contas se mantém como uma questão em evolução para todos os modelos de gestão, diz Sonia Ospina. De certo modo, a ideia de
colaboração superou a do trabalho indivi-dualizado, que existe dentro e fora do setor público. A liderança colaborativa passou a ser o valor defendido, superando a liderança individual.
Nesta década a ênfase está no valor público: “Esta é uma mudança significati-va com relação à ideia que tínhamos nas décadas de 1980 e 1990. Significa uma nova visão de gestão pública. Já falamos de um gerente que não é neutro, mas, sim, político”. A professora citou Leonardo Guarnieri, que foi ministro do Planejamen-to na Costa Rica e um dos introduPlanejamen-tores do sistema de avaliação no país, para relembrar que o desenho da política pública é um exercício coletivo e democrático.
“Trata-se de um tema predominante-mente político porque ao se fazer política pública define-se quais as prioridades almejadas pela sociedade. Sendo assim, o gerente tem o papel fundamental de garantir que as políticas criem valor públi-co ao serem implementadas, para que as prioridades decididas no nível coletivo se transformem em realidade”, definiu.
O gerente não é neutro. Não se quer que ele seja menos político como a nova gestão pública (New Public Management) pretendia. O objetivo é que ele tenha maior capacidade política no melhor sentido da palavra, segundo a pesquisadora. A designação de recursos públicos é funda-mentalmente uma tarefa política. A visão geral da nova administração pública é a de que o gerente deve ser capaz de motivar os líderes da organização, para que todos cooperem para a concretização dos interesses públicos. Ele tem que trabalhar em diálogo com os técnicos e com os atores políticos.
Sonia Ospina destaca que esse é um novo enfoque conceitual, que de imediato nos leva a uma orientação para os resulta-dos das ações conduzidas pelo Governo.
A preocupação fundamental do gerente precisa ser produzir valor público. E a gestão por resultados seria a melhor forma de assegurar o conhecimento para corrigir o rumo à medida que se avança, para que se saiba no final se os objetivos foram atingidos.
Monitoramento e avaliação no setor público
A avaliação e a orientação por resultados são questões-chave para a pesquisadora. Inclusive, em avaliações ex-ante ou de processos, o olhar é orientado para o resul-tado. Essa visão importa porque estabelece a estrutura de motivação. Embora na aula inaugural ela tenha tratado avaliação e monitoramento como se significassem o mesmo para facilitar sua exposição, ao ini-ciar sua argumentação lembrou a todos que eram conceitos diferentes, apresentando para ambos os conceitos motivações diferenciadas, expressas de forma sintética no Quadro 1.
Quadro 1:
Avaliação:
— Valoração pontual e abrangente — Usada para explicar processos e/ou resultados
Monitoramento:
— Valoração periódica e parcial — Usado para dar seguimento a pro-cessos, produtos e resultados.
A pesquisadora destacou a partir desse quadro que o uso da palavra resultados pode criar confusão. Os resultados dizem respeito aos da intervenção pública, mas algumas vezes são interpretados erronea-mente como os resultados da avaliação.
Isso porque o monitoramento e a ava-liação dos resultados são ferramentas de uma gestão para resultados, que estão
Insumos
Autorização Recursos humanos Tecnologias & informação Recursos financeirosVisão/Missão
Processos de produ-ção e prestaprodu-ção de serviços (sistemas de gestão)Serviços & produtos – resultados (mudança)
Critérios de
avaliação:
Legalidade/Equidade Eficiência/Economia Responsividade Legitimidade Transparência Efetividade Qualidade/ImpactoQuadro 2 - Gestão para resultados: uma mudança cultural
inseridos na ideia da mudança da cultura de gestão para revisão do trabalho de maneira diferente. “O conceito pode soar óbvio, mas no contexto da administração é uma ideia nova”, disse.
Para entendê-lo um pouco melhor, considerando-se as três caixas presentes no Quadro 2 como sistemas de produção com insumos, processos e produtos para obtenção de um resultado concreto, pode-se ver a mudança na ênfapode-se dos critérios de avaliação.
Na visão tradicional da administração pública o que se enfatiza são os problemas dos recursos públicos. Em consequência, o gerente e o sistema têm permanecido focados na maneira de assegurar legalidade para as ações e garantir que os insumos se-jam bem administrados, em detrimento de fazer que as ações preparadas com insumos predeterminados produzam resultados con-cretos e efetivos para o cidadão.
Este foco na área de recursos tem implicações para os critérios de avaliação
que dizem respeito a insumos e processos. “Numa sociedade baseada no Estado de direito é fundamental dar atenção à igual-dade e à eficiência. Nós esquecemos a efetividade e a qualidade do impacto por-que estamos orientando a reação em por-que os principais usuários dos serviços são os próprios funcionários. Isso porque eles passariam a organizar as atividades para se protegerem. A ideia da orientação para os resultados é dizer que é necessário expan-dir, transformar o sistema para se tornar aberto”, explicou.
Se a ênfase for neste tipo de resultado e não apenas em seu aspecto financeiro, esses produzem uma energia que nos leva ao próximo passo. Eles criam novas capacidades, que possibilitam novos resul-tados. Quando o enfoque está no que se quer, usa-se a informação para ajustar o caminho ao fim, com inovação e criatividade. Se a informação é mal utiliza-da, redunda apenas em uma cultura de medo, de castigo e de culpas. Ou seja, é
preciso pensar como o trabalho pode ser feito para alcançar bons resultados, de forma que o enfoque não seja apenas orientado para penalizar ou castigar o servidor público, ponderou a pesquisadora. O ponto-chave para Ospina é como o monitoramento, a avaliação e a estrutura de resultados se relacionam com os arcabouços de desenvolvimento, que são os programas sociais e as aspirações cole-tivas. O maior trabalho é feito em nível intermediário, nos setores da administra-ção pública e na organizaadministra-ção. Não obstante, trabalhando, são fundamentais as conexões e os vínculos com o nível macro. É neces-sário saber como se relacionam a política internacional, as metas do programa de desenvolvimento do milênio, as políticas públicas nacionais e regionais, e o plano nacional de desenvolvimento.
Com isso, o que se busca é o enfoque sistêmico por gestão de resultados no con-texto da coisa pública. Ele menciona que a avaliação dos resultados não é apenas um fenômeno técnico, mas também apresenta dimensões políticas. No nível técnico, metodologias, instrumentos e medição são fundamentais, sobretudo porque, sem confiança na informação produzida, o trabalho se torna inútil.
“É preciso que existam parâmetros universais que permitam que as pessoas definam se o trabalho desenvolvido é confiável ou não. A dimensão política, entretanto, é fundamental também. Se nós reproduzirmos o processo mais perfeito de avaliação e, ao final, não usarmos as evidências produzidas, é como se nada tivesse sido feito”, destacou a professora da NYU.
Na opinião de Ospina, esse é o quadro em que infelizmente se encontram muitos países da América Latina. A dimensão gerencial, fundamental para tornar a avaliação útil, é esquecida. Segundo ela: “é
preciso haver uma mudança de cultura. É preciso que passemos a nos interessar pelos resultados, que devem ser orientados para a geração de valor público. E essa é a diferença em relação à discussão que tínhamos décadas atrás”.
Criação de valor público
O quadro apresentado até aqui repre-senta a situação na América Latina, desde as décadas de 1960 e 1970. Como mos-trado no Quadro 3, entre 1980 e 1990 acontece uma mudança no enfoque de reforma do Estado. E também na forma de considerar a avaliação. À época, dada a crise econômica da região, houve um período de não Estado, de regularização, privatização e regulamentação. O foco era redução de gastos e legitimização das decisões do ponto de vista da eficiência.
Como explicou Sonia Ospina, na virada do século a tendência se tornou melhorar cada vez mais a máquina públi-ca. A chave está no desempenho. A partir de tal ideia, a avaliação passa a ser consi-derada parte da administração pública, um instrumento fundamental e estratégico.
Na América Latina houve um aumen-to das cooperações internacionais. Elas exigem avaliações das políticas públicas e dos programas nas agências públicas, processo que também tem sido incentiva-do pelos processos de democratização. O que torna a prestação de contas fundamental. Outro processo que demanda monitoramento e avaliação é a descen-tralização de atividades no setor público. Quando há envio de recursos para um nível inferior, novos processos de avalia-ção são demandados e necessários. Por fim, os processos de modernização do Estado também estão alimentando a ideia da gestão por resultados.
Por isso, a avaliação e monitoramento dos resultados atendem quatro tópicos:
Período 60 e 70 80 e 90 95 Condições Prosperidade econômica Crise – retrocesso econômico Contração moderada – gerencialismo (bom governo) Enfoque da reforma Desenho e implementação de políticas; reorganizações; descentralização Desregulação; privatização; redução de custos Redução do tamanho; fortalecimento institucional; gestão do desempenho Enfoque da avaliação
•
Melhorar a política. Avaliação de programas•
Reduzir o gasto; legitimizar decisões (eficiência)•
Fortalecer, melhorar e legitimar o setor público. Parte do ciclo de gestão estratégica (política pública)Quadro 3 - Três grandes “períodos” na avaliação do público (programas, políticas e reformas)
•
Melhorar as decisões políticas (planificação estratégica);•
Melhorar a distribuição de gastos (orçamento);•
Melhorar a gestão das instituições e programas (aprendizagem);•
Melhorar a prestação de contas (democracia).Na prática, são poucos os sistemas dos países latino-americanos que conse-guem desenvolver todos os quatro elementos como eixos para as atividades do Estado. Por isso, é importante pensar no contexto institucional em que a avalia-ção é feita. Faz-se necessário o diagnóstico dos objetivos: saber se o intuito é diminuir os gastos ou melhorar a prestação de contas, por exemplo.
Na Figura 1, vê-se os sistemas avalia-dos na última pesquisa. Fica claro que os
países têm sistemas diferentes. Além disso, pode-se ver que se gasta muito tempo em programas de teste e pilotos antes de iniciar o programa formal.
Figura 1 - Evolução dos Sistemas
Chile - Colômbia - Costa Rica - Uru-guai - México - Brasil - Brasil - Nicarágua Peru - Paraguai - Honduras
Experimentação Sistema Formal
A partir dos quatro sistemas nacionais, que de alguma maneira foram precurso-res na América Latina no início da década de 1990 – Costa Rica, Uruguai, Colômbia e Chile –as pesquisas mostram que a maioria fala de avaliação e monitoramento, mas fazem apenas monitoramento.
Apenas alguns países, no momento da pesquisa, estavam desenvolvendo esforços no sentido da avaliação, como Colômbia, México, Brasil, sendo esses ainda específi-cos. Contudo, a ênfase se encontra no monitoramento, o que pode ser proble-mático porque tal processo não leva à explicação de causas ou ao esclarecimento do processo como um todo.
Existem diferenças também em rela-ção ao foco. Todos os sistemas avaliados têm um foco intermediário, estando esses programas baseados em agências. Por exemplo, na Colômbia todos eles tenta-ram se alavancar com o plano nacional de desenvolvimento. No caso do Uruguai, no nível micro o mais importante é a unidade em que se fazem os gastos.
Pode-se dizer que o Modelo Planeja-mento aparece, sobretudo, naqueles países em que há um plano nacional de desen-volvimento. O modelo está organizado em função de como se faz para que todas as atividades, todas as metas, todos os indicadores estejam inseridos na visão de longo prazo.
No segundo modelo, o de Orçamento, procuram-se casos racionalizados, como o exemplo do Uruguai em que os modelos e os sistemas estão identificados com as agências em que são usados.
O que os especialistas vem apontando, no entanto, é que o melhor modelo é uma combinação dos dois anteriores, isto é combinando planejamento nacional e gastos locais.
A investigação comparada – o que se aprendeu
Primeiramente, entre os muitos siste-mas, é preciso entender em que medida se está institucionalizando uma capacidade de monitoramento e avaliação no setor público. Ospina buscou tal explicação em pesquisa que resultou na publicação
“Avaliação de resultados para uma gestão pública moderna e democrática: experiên-cias latino-americanas”, escrita por ela e Nubia Cunill e publicada pela Clad: Editora Texto. As autoras pesquisaram exemplos de sistemas em 12 países da América Latina.
“Por institucionalização entende-se informação comparada e disponível, valorizada pelos diversos atores presentes no cenário público e, portanto, usada na busca do bom governo. Ou seja, há um reconhecimento de que existe uma organização e de que todos os elementos contribuem para o fortalecimento da governança democrática e para o avanço dos objetivos do desenvolvimento”, sintetizou.
Na América Latina o nível de insti-tucionalização ainda é baixo em relação ao ideal. Vale fazer uma diferenciação. Nesta pesquisa tomou-se como foco os sistemas de avaliação e monitoramento, não os países. Foram estudados quatro aspectos: os antecedentes e a visão geral do sistema; a orientação funcional do sistema e a natu-reza de seus instrumentos; a coerência institucional; e uso da informação. Apre-sentam-se a seguir os principais achados:
•
Foi constatado que sistemas mais antigos, como o caso da costa rica, são amadurecidos, sólidos. No entanto, mesmo esses sofrem ameaças por conta do contexto político. No exemplo costa-riquenho, o sistema sobreviveu a três mandatos de presidentes, mas no quarto perdeu o nível de institucionalização.•
Há poucos sistemas estáticos. A maior parte, inclusive os mais antigos, são sistemas dinâmicos, em constante reconfiguração. Isso significa, para as pesquisadoras, que não houve ainda uma institucionalização como se desejava. Para ela, a maior parte deles está em fase de reconfiguração ou redesenho.•
Nos quatro sistemas, há o predomi-nantemente político, em que se busca criar evidências para um nível macro, para ser levado à frente o conjunto de metas de desenvolvimento. O segundo é o predo-minantemente econômico, em que se procura melhorar a designação do gasto e fazê-lo de forma que tenhamos recursos mais bem usados.•
Existe um conjunto de sistemas que mistura o elemento econômico e político, o que significa que há esforços para combiná-los e talvez seja essa a preferên-cia, pois leva em consideração a comple-xidade do processo.•
Curiosamente, para Sonia Ospina, encontram-se sistemas que são predomi-nantemente sociais, o que constitui uma novidade, porque nesses casos há orien-tação direta e focada para avaliação e monitoramento dos programas sociais.•
A maior parte dos sistemas apresen-ta uma tendência à monofuncionalidade, apesar de na teoria eles se apresentarem como multifuncionais; e o desejo é de que eles sejam multifuncionais. “Existe uma contradição considerável e é importante pensar em trabalhá-la de alguma forma”, aconselhou.•
Dimensão técnica: Existem avanços. Percebeu-se uma linguagem técnica impor-tante, mas a informação continua sendo pouco usada. Muitos problemas são causados pela desconfiança em relação à procedência da informação.•
Dimensão política: O presidente e seus ministros são os mais importantes destina-tários das avaliações, pois deles surgem as maiores demandas. Outros destinatários quase não usam os sistemas de avaliação e monitoramento. “Um elemento que mere-ce destaque dentro da dimensão política é que a informação não produz impacto. Não existe um passo adiante. Não há prossegui-mento”, alertou a pesquisadora.•
Dimensão gerencial: Aponta-se que os resultados e a gestão por resultados fazem parte do diálogo do Estado. Mas existem problemas de transversalidade. Há muitas barreiras ainda difíceis de serem transpostas, em que as agências de contro-le não estão conversando com os sistemas nacionais.O assunto mais importante da ins-titucionalização da avaliação e monitoramento é o uso limitado da infor-mação para a tomada de decisões. “O que constatamos é que as pessoas não confiam na informação, em parte porque, quando se pede a informação para alimentar os sistemas, a qualidade é baixa. Quando o sistema de avaliação e monitoramento é alimentado com os dados ruins, não se pode esperar bons resultados”, disse.
Nos casos em que existem informações de qualidade, os diferentes usuários que poderiam se beneficiar com o acesso não as conhecem. Outro elemento interessante é que são gerados acréscimos de informação que podem ser inseridos no nível macro ou intermediário. Como há muitas escalas de dados, é preciso entender como essa infor-mação pode ser esmiuçada, quebrada, lembrou Sonia Ospina.
Lições e desafios
“Primeiro, no nível mais geral, é importante nos servirmos de um pensa-mento sistêmico. É primordial também relacionar o técnico com o político e o gerencial, além de trabalhar com as expectativas, saber que avaliação e monitoramento não são uma panaceia”, concluiu.
Para a pesquisadora, é preciso também distribuir a participação por todos os níveis. A liderança nos níveis mais altos é funda-mental, principalmente se combinada ao enraizamento e ao compromisso daqueles que põem as ações em prática.
“Termino a apresentação mencionan-do os grandes desafios que vejo neste momento com relação aos sistemas exis-tentes. Em termos de dimensão técnica, é necessário assegurar a credibilidade da informação. É preciso capacitar tanto técnicos quanto gestores e funcionários de nível médio. Todos devem entender a necessidade da excelência. A conscientização deve ser geral”, resumiu.
Na política, é preciso evitar o uso exclusivo dos presidentes e seus ministros, diz. Faz-se necessário que o congresso e
os cidadãos tenham consciência dos siste-mas de avaliação e monitoramento e que participem e façam uso dessa informação. Se, por um lado, a América Latina avançou muito, da mesma forma, a complexidade da implementação desses sistemas é enorme. “Para mim, depois de oito anos de trabalhos com sistemas, acredito que a maior lição é a necessida-de necessida-de diálogo entre todos os atores envolvidos. Avaliadores, gestores, políticos e funcionários envolvidos no processo”, finalizou.
