Instrumentos de Enquadramento das Conclusões da Avaliação Avaliação do impacto de género
Análise custo-benefício
Benchmarking (Avaliação comparativa de desempenho) Análise custo-eficácia
Avaliação do impacto económico Avaliação de impacte ambiental Avaliação ambiental estratégica Análise multicritério
Painéis de peritos
Análise Custo-Eficácia Descrição da técnica O objectivo da técnica
Circunstâncias em que se aplica
Os principais passos da sua implementação Pontos fortes e limitações da abordagem Bibliografia
Palavras-chave
Descrição da técnica
A análise custo-eficácia (ACE) consiste numa ferramenta que pode contribuir para a aplicação eficiente de recursos e investimentos em sectores onde os benefícios são difíceis de avaliar. Serve para identificar e seleccionar projectos alternativos com os mesmos objectivos (quantificados em termos físicos). A ACE poderá identificar um projecto alternativo que, para um determinado nível de resultados esperados, minimiza o valor real dos custos ou, para um custo específico, maximiza o nível dos resultados esperados. Por exemplo, o avaliador pode comparar através de relações lineares simples de resultado/custo os diferentes projectos que visam baixar a taxa de fertilidade, ou diferentes métodos de alfabetização, ou diferentes intervenções para baixar a taxa de mortalidade infantil.
A ACE aplica-se quando a medição dos benefícios em termos monetários se revela impossível ou a informação necessária é difícil de recolher, ou qualquer outro caso em que uma tentativa de proceder a uma medida monetária precisa seria complicada ou seria potencialmente alvo de grande discórdia. A ACE não tem em consideração apreciações subjectivas e não tem grande utilidade no caso de projectos com múltiplos objectivos. Neste ultimo caso, é possível recorrer a uma versão mais sofisticada da ferramenta, a análise custo-eficácia ponderada, que atribui determinadas ponderações aos objectivos com vista à sua medição numa escala de prioridades. Outra alternativa consiste na análise multicritério, que relaciona os custos de uma intervenção com os benefícios criados, estando esta técnica também intimamente ligada à avaliação “value for money” (melhor valor). Convém salientar que, na avaliação do valor de uma intervenção, obter “value for money” ou o melhor valor nem sempre significa cumprir com os objectivos ao custo mais baixo.
Caixa: Exemplo: O “National Audit Office” no Reino Unido
O National Audit Office (Departamento Nacional de Auditoria) do Reino Unido identifica três aspectos fundamentais do “value for money" na formulação de políticas públicas:
Economia: significa minimizar os custos dos recursos aplicados ou adquiridos – gastar menos
Eficiência: significa a relação entre os níveis de produção dos bens ou serviços e os recursos usados na sua produção – gastar bem; e
Eficácia: significa a relação entre os resultados esperados e os resultados efectivamente obtidos de projectos ou programas – gastar com sensatez.
Assim, uma avaliação “value for money" deverá procurar compreender o impacto de uma intervenção em relação aos três aspectos acima referidos.
O objectivo da técnica
A avaliação é em muitos aspectos um acto político, cujos resultados são discutidos publicamente. O objectivo consiste em informar a opinião pública sobre a eficácia da aplicação de Fundos Públicos, e em demonstrar a sua eficiência em termos de obtenção dos impactos esperados. Assim, a ACE e a avaliação “value for money" são necessárias na medida em que contribuem para estruturar esse debate. Deverá existir a percepção de que a avaliação se transforma numa ferramenta da democracia, ao informar os cidadãos, ainda que não se procure obter o seu consentimento em relação à despesa pública, e daí a necessidade de avaliar os custos de uma intervenção no orçamento público.
O objectivo da ACE consiste em avaliar a eficácia de um projecto, i.e., a sua capacidade de cumprir com os objectivos traçados. Estes devem ser definidos em termos físicos e não monetários, como por exemplo, a redução da taxa de morbilidade através de uma intervenção no sector da saúde, em relação aos custos para os atingir. A ACE será mais adequada quando se trata de decidir quais das alternativas maximiza os benefícios (expressos em termos físicos) ao mesmo custo ou, vice-versa, a que minimiza os custos atingindo o mesmo objectivo. A relação custo-eficácia permite a comparação e classificação de projectos de acordo com os custos necessários para atingir os objectivos estabelecidos. Dado que os objectivos não se podem converter num denominador comum ou unidade contabilística, não se pode recorrer à ACE para se tomar uma decisão em relação a um projecto considerado isoladamente, nem para decidir qual de dois projectos daria um melhor retorno em dois contextos diferentes.
que os múltiplos objectivos de uma programa de reabilitação sejam explicitamente incluídos, bem como a avaliação da aplicação eficiente dos recursos.
Circunstâncias em que se aplica
A ACE é fundamentalmente uma ferramenta que assiste na selecção de projectos no âmbito de um programa bem definido. Tem sido aplicada sobretudo na avaliação de projectos no sector da saúde, e em todos os casos em que os benefícios obtidos (ou os objectivos alcançados) são difíceis de traduzir num valor monetário. Usa-se para proceder a comparações entre alternativas que apresentam o mesmo âmbito de acção. Não pode ser usada para projectos com objectivos diferentes ou para um projecto com múltiplos objectivos. A ACE pode ser aplicada tanto na avaliação ex-ante como ex-post. Aplica-se também quando todos os resultados esperados já estão definidos e são homogéneos e/ou podem ser medidos em termos de um resultado chave (ex., número de empregos criados, número de estagiários, número de infecções prevenidas). É frequentemente aplicada na avaliação de projectos sociais (educação, saúde).
As avaliações “value for money" podem realizar-se tanto ex-ante como ex-post. Aplicam-se quando todos os efeitos esperados já estão definidos e podem ser medidos em termos de um resultado chave (ex., número de empregos criados, número de empresas criadas (“start-ups”) ou recuperadas). Por exemplo, se um departamento governamental estivesse a considerar a promoção de uma iniciativa que prestasse apoio a pequenas empresas, poderia proceder a uma avaliação ex-ante para identificar os potenciais benefícios e os custos por benefício da iniciativa, antes de a implementar. As conclusões dessa avaliação contribuiriam para a decisão de avançar ou não com a política. Este exercício ex-ante facultará ao avaliador a informação necessária para avaliar os custos dos recursos aplicados, ou inputs, e os resultados e realizações (ou outputs e outcomes) de uma determinada política. Permite-lhe assim formular um juízo sobre se a iniciativa proporciona um retorno adequado para o investimento monetário efectuado. As avaliações “value for money" são largamente usadas no Reino Unido, intimamente relacionadas com a iniciativa do governo britânico Modernising Government (Modernizar o Governo), que se centra na obtenção do Melhor Valor na prestação e provisionamento de serviços. O objectivo desta abordagem consiste em garantir que os órgãos / agentes públicos assumam a sua quota-parte da responsabilidade em prestar/adquirir serviços de elevada qualidade com a melhor relação custo-eficácia possível (tanto internamente como externamente).
Caixa: Análise custo-eficácia na escolha de tecnologia
A escolha de tecnologias é um exemplo típico de uma situação em que os benefícios só podem ser medidos em termos não monetários. Este é o caso de determinar o custo mínimo para um determinado resultado.
Estudo de caso: Melhoria das caldeiras num sistema distrital de aquecimento. As três alternativas tecnológicas são as seguintes:
Tecnologia A: substituição de todas as caldeiras existentes com novas caldeiras a lenha Tecnologia B: renovação de todas as caldeiras a gasóleo e a gás existentes
Tecnologia C: reparações essenciais das caldeiras existentes Os custos totais para cada projecto são:
Custos Totais
Milhares de Euro Investimento Custo de Custos de manutenção anuais fixos combustível Custo do
Tecnologia A 6000 150 300
Tecnologia B 3250 100 600
Tecnologia C 500 300 750
Demonstra-se a seguir como uma taxa de desconto (discount rate) poderá afectar a análise:
Fonte: D. Potts, 2002, Project planning and Analysis for Development
Opção A Opção B Opção C
Taxa de desconto Valor actual dos custos
informações úteis sobre os méritos do programa. A Caixa: Exemplo: Avaliação “Value for Money” do “Regional Selective Assistance” no Reino Unido oferece um exemplo de como a avaliação “value for money" poderá ser aplicada num exercício ex-post – analisar os custos de uma intervenção e os custos das realizações que dela resultaram. O objectivo consiste em determinar se as realizações proporcionaram o melhor valor para o contribuinte. Este exemplo realça como a avaliação “value for money" recorre de uma forma significativa a abordagens que envolvam a análise custo-eficácia. A ACE é uma abordagem simplificada de uma avaliação “value for money" onde o mérito de um programa expressa-se de uma forma meramente unidimensional.
Caixa: Exemplo: Avaliação “Value for Money” do “Regional Selective Assistance” no Reino Unido
Uma avaliação “value for money" ex-post foi realizada no Reino Unido sobre as iniciativas Regional Selective Assistance (Apoio Regional Selectivo) e Enterprise Grant (Apoio Empresarial). A análise for conduzida pelo National Audit Office (Departamento Nacional de Auditoria) com o objectivo de verificar quantos postos de trabalho haviam sido criados e a que custo. Também incluiu uma apreciação da eficiência das iniciativas de apoio ao examinar se os postos de trabalho teriam sido criados mesmo na sua ausência e em que medida o apoio atribuído teria sido verdadeiramente eficaz na criação de emprego.
Os valores divulgados pelo Department for Trade and Industry (Ministério do Comércio e Indústria) indicam que foram criados 110.000 empregos no âmbito do Regional Selective Assistance (1991-1995). No entanto, apenas 21.000 eram permanentes e, tendo em consideração os 300 milhões de euros investidos no programa, os cálculos revelaram que cada emprego criado tinha custado 21.000 euros. Para além disso, o National Audit Office acredita que o número real de empregos criados tivesse sido substancialmente inferior, tornando o custo por posto mais elevado.
Na avaliação global das iniciativas, o relatório também se centrou em questões relacionadas com a inércia e a deslocação. Concluiu-se que havia um certo grau de inércia dado que os empregos criados teriam sido gerados independentemente do programa e que pelo menos um quarto dos mesmos teria levado à deslocação de outros empregos na área desfavorecida. Em termos de eficiência, 10% do apoio atribuído consumiu-se em custos administrativos, o que se assinalou como um factor de ineficiência que teria de ser melhorado.
A conclusão global da avaliação “value for money" foi de que as iniciativas revelaram-se de fraco valor relativo para o contribuinte.
Passo 1
Em primeiro lugar, é necessário identificar e quantificar em termos físicos o resultado esperado do projecto (ex., número de acidentes rodoviários evitados, número de novos trabalhadores com formação após um curso). As seguintes questões devem ser respondidas: Quais os objectivos a atingir? Quais são os resultados do programa? Quais são os impactos esperados? Qual dos impactos poderá ser considerado como o predominante?
Passo 2: Definir os custos totais do programa
Os custos totais do programa têm de ser calculados. Se possível, podem aplicar-se as regras básicas da análise custo-benefício para definir os custos. Nesta fase, somam-se os custos de todos os recursos públicos do programa para obter o custo total. Em termos gerais, incluem-se
apenas os recursos directos que têm um valor monetário bem definido. Os custos de um programa são por vezes medidos em relação aos benefícios que se teriam obtido caso os fundos públicos fossem aplicados a outras iniciativas (custos de oportunidade).
Caixa: Exemplo de uma lista de rubricas de custo a incluir num programa de formação Caixa: Exemplo de uma lista de rubricas de custo a incluir num programa de formação Os custos de um projecto incluem todos os recursos (bens e serviços) atribuídos ao projecto. Ao elaborar uma lista de rubricas de custo, é possível começar com as categorias retiradas da documentação de base do próprio projecto.
1. Materiais de investimento: instalações, manutenção extraordinária 2. Pessoal: director, formadores, secretariado, assistentes, administrador 3. Consumíveis: livros, material de escritório, computadores
Estes dados representam os custos normais incluídos no orçamento do projecto. Os valores relativos aos recursos e tempo dos utilizadores terão de ser somados a esses custos. Os recursos dos utilizadores são todas as despesas em que os participantes incorrem relacionadas com o projecto. O valor de tempo é medido pela perda em rendimentos devido à participação no projecto.
4. Recursos dos utilizadores: taxas de inscrição, livros, material de escritório, despesas de viagem
5. Tempo dos utilizadores: viagens e frequência das sessões durante o programa. Fonte: H.E. Freeman, P.H. Rossi, S.R. Wright, 1979.
Passo 3: Medir o impacto
Este é o passo mais complicado. Vários estudos recorrem a abordagens empíricas baseadas na recolha de dados primários de modo a reunir informação sobre os efeitos positivos do programa em avaliação. É, no entanto, também possível estimar os impactos com base em dados secundários e/ou a modelação da implementação do programa.
Este deverá ser o caso para diferentes alternativas com os mesmos horizontes temporais mas com custos de investimento e recorrentes diferentes e diferentes níveis de realização para o mesmo benefício durante o ciclo de vida do projecto. Como proceder à comparação destes projectos? Neste caso, o valor dos custos anuais equivalentes deve ser comparado com o nível de benefício anual (ver a Caixa: Relação custo-eficácia num programa de e-Saúde).
Custos (milhões euros)
Custos de Investimento
Custos
Operativos Vidas Salvas
Prg A 1.6 x 3 anos 1.5 728
Prg B 2 x 2 anos 0.75 432
Prg C 0.5 x 2 anos 0.05 179
O Prg. A é o que apresenta a melhor relação custo-eficácia em termos dos benefícios obtidos, mas é também o mais dispendioso. Como calcular a relação custo-eficácia? A forma mais conveniente consiste em calcular o custo por vida salva, para que se possa comparar os custos do programa com o número de vidas salvas anualmente.
Custos (milhões euros)
Custos anuais equivalentes (000) Nº anual equivalente de vidas salvas Prg A 1.816 630 Prg B 1.178 402 Prg C 0.176 167
O Programa C é o que apresenta a melhor relação custo-eficácia. Fonte: D. Potts, 2002, Project planning and Analysis for Development.
Independentemente do método aplicado, é importante que se obtenha uma imagem precisa não só dos efeitos positivos mas também das perdas devido à inércia, efeitos de deslocação de empregos, efeitos de expulsão de investimento (investment crowding out effects), etc. Alguns avaliadores têm sugerido que se devem proporcionar algumas indicações sobre os efeitos indirectos ou secundários e multiplicadores de resultados. Na prática, é extremamente difícil de determinar correctamente esses efeitos secundários. Consequentemente, a maioria das avaliações não os tem em consideração. Esta solução não é recomendável dada a importância dos efeitos secundários em determinadas circunstâncias. A ausência de precisão na estimativa desses impactos pode ser atenuada recorrendo a uma análise de sensibilidade.
Passo 4: Calcular a relação custo-eficácia
Na última fase, procede-se ao cálculo que dará o resultado final, e consiste numa relação simples.
No entanto, a relação custo-eficácia deve ser usada com precaução. No exemplo apresentado na Caixa: Como calcular a relação custo-eficácia, por exemplo, teria sido mais adequado comparar as taxas obtidas no caso de diferentes rubricas de custo para o mesmo beneficio esperado (i.e., os resultados de 20, 12, 30 e 60 pelo mesmo custo de 300 euros). Por outras palavras, a relação custo-eficácia pode ser usada como critério único de selecção apenas em casos onde o denominador ou numerador é igual para cada alternativa.
Caixa: Como calcular a relação custo-eficácia
Apresentam-se quarto opções de projecto para melhorar as competências matemáticas: Pequenos grupos em aulas de apoio com um professor especial
Um programa de estudo autónomo apoiado por materiais elaborados de propósito Aprendizagem assistida por computador
Um programa que inclui tutoria pelos pares
O resultado esperado é medido com base em pontuações em testes.
A tabela seguinte apresenta o cálculo da relação custo-eficácia para cada opção: Intervenção Dimensão do efeito nas pontuações do teste estudante (euro) Custo por custo/efeito Relação
Pequenos grupos com professor 20 300 15
Materiais de estudo autónomo 4 100 25
Aprendizagem assistida por
computador 15 150 10
Tutoria pelos pares 10 50 5
O Projecto de tutoria pelos pares é o que apresenta a melhor relação custo-eficácia. Fonte: Belli, 2001
Pontos fortes e limitações da abordagem
A análise tem de ser antecedida pela consideração dos objectivos do programa, do seu principal propósito e do indicador apropriado para esse objectivo. Consiste numa alternativa à análise custo-benefício, quando os resultados são difíceis de medir em termos monetários mas podem ser quantificados em termos de uma unidade física contabilística.
É por vezes útil na avaliação dos impactos esperados numa apreciação ex-ante e para calcular os impactos alcançados numa avaliação ex-post. Pela sua própria natureza, a ACE tende a centrar-se nos resultados directos obtidos a curto e médio prazo, mas não contempla por norma impactos a um prazo mais longo. No entanto, é destes últimos que a eficácia global ou a falta de eficácia dos programas e das políticas depende fundamentalmente. Por exemplo, a eficácia
suplementares líquidos criados por dois projectos poderão ser substancialmente diferentes, embora se tenha criado o mesmo número de postos de trabalho.
A relação custo-eficácia pode ser usada em combinação com outras abordagens de análise de dados. As consultas às partes envolvidas, focus groups e painéis de peritos poderão representar outros meios para a obtenção de uma visão mais abrangente de questões fundamentais no contexto social e económico global, que têm de ser tidas em consideração numa avaliação “value for money".
Normalmente, o conceito é dinâmico na medida em que alimenta as decisões sobre os financiamentos e alocações de recursos à medida que o programa vai evoluindo. É por esta razão que tanto a relação custo-eficácia como o “value for money" de uma intervenção contribuem para avaliações que podem ser realizadas ante, num período intercalar e ex-post. A ACE serve para comparar programas apenas quando a sua implementação é linear e os seus impactos são semelhantes em natureza. Dado que a ACE se baseia numa estimativa do impacto de um programa em relação ao seu principal objectivo, tem a vantagem de apresentar conclusões que são de fácil entendimento, que concentram as principais preocupações dos grupos fundamentais envolvidos (incluindo políticos e decisores políticos). Se a análise se basear nas ligações específicas entre os recursos aplicados e os resultados que estejam relativamente bem definidos, a ferramenta poderá oferecer uma descrição do próprio desempenho dos programas, o que poderá contribuir para a redefinição de políticas existentes ou para melhorar a eficácia de futuras intervenções.
A ACE só pode ser aplicada para comparar programas que sejam simples de implementar e cujo impacto seja semelhante. Porém, este tipo de situação é bastante mais raro do que se possa imaginar. Consequentemente, mesmo programas que tenham um objectivo principal idêntico, como por exemplo, a criação de emprego, poderão gerar oportunidades de emprego que são qualitativamente diferentes (ex., em termos de longevidade, segurança, remuneração, probabilidade que serão acessíveis aos habitantes das regiões visadas, etc.).
Estabelecer relações causais deste tipo requer a capacidade de obter dados pormenorizados dos gestores e beneficiários dos programas. Quando os dados não são recolhidos através dos sistemas de monitorização dos programas e projectos, a avaliação terá necessariamente que passar por uma fase morosa de recolha de dados primários. Num plano ideal, a análise custo-eficácia deverá ser aplicada em conjunto com outras técnicas de análise económica de forma a avaliar os impactos a mais longo prazo no PIB e na competitividade regional.
Bibliografia
Belli, P., Anderson, J. R., Barnum, H.N., Dixon, J. A., Tan, J-P, 2001, Economic Analysis, of Investment Operations. Analytical Tools and Practical Applications, WBI, World Bank, Washington D.C.
D. Potts, 2002, Project Planning and Analysis for Development, Lyann Rienner Publishers.
ODA, 1988, Appraisal of projects in developing countries, A Guide for Economists, London.
H.E. Freeman, P.H. Rossi, S.R. Wright, 1979, Evaluer des projets sociaux dans les pays en développement, Centre de développement de l'organisation de coopération et de développement économiques.
Jan Raczka, The cost-effectiveness analysis - a superior alternative to the cost-benefit analysis of environmental infrastructure investments, paper presented ad the Fifth
European Conference on Evaluation of the Structural Funds, "Challenges for Evaluation in an Enlarged Europe", Budapest 26/27 June 2003
Palavras-chave
Análise custo-benefício Relação custo-eficácia
Avaliação do Impacto Económico Avaliação “value for money”
