Avaliação da implementação

Existe uma distinção importante no domínio da avaliação de um determinado programa social: a avaliação do processo (ou implementação) e a avaliação do impacto (ou efeito) de um programa. Nas palavras de Scheirer (1994 citado em Rossi, Lipsey & Freeman, 2004, p.171), a avaliação da implementação “examina o que o programa é e se atinge o que pretende no público-alvo dessa política” (de referir que tal avaliação não pretende avaliar os efeitos do programa nos seus beneficiários – avaliação do impacto – descrita no próximo subcapítulo).

A avaliação do processo do programa (ou simplesmente avaliação da implementação) é uma forma de avaliação que tem como objectivo descrever a operacionalidade do programa e avaliar o desempenho das suas funções previstas; parte

18

da teoria do processo do programa, identificando os componentes críticos, funções e relações que se julgam necessárias para a eficácia do programa (Rossi, Lipsey & Freeman, 2004). Quando a avaliação da implementação requer uma contínua repetição de medições ao longo do tempo é designada por monitorização da implementação ou monitorização do processo do programa (program process monitoring).

A avaliação da implementação, geralmente, envolve as avaliações de desempenho na utilização do serviço e na organização do programa. Enquanto a primeira consiste na análise da extensão na qual a população-alvo pretendida recebe os supostos serviços desse programa, a avaliação (de desempenho) da organização do programa compara o que o programa devia fazer e aquilo que realmente faz, especialmente no que diz respeito à provisão de serviços. De referir que a avaliação da implementação também pode examinar os recursos que são ou foram gastos na condução de um determinado programa, não se reduzindo, no entanto, apenas a estas questões.

Mais especificamente, a avaliação da implementação surge para responder determinadas questões, como por exemplo: Quantas pessoas recebem os serviços? Aqueles que recebem os serviços são a população-alvo do programa? A população-alvo do programa recebe a quantidade, tipo e qualidade de serviço apropriada? Existem grupos ou subgrupos de população destinatária do programa que não recebem os serviços? Os recursos humanos existem em número e em qualidade suficiente para desempenharem as funções que têm que ser levadas a cabo? O programa está bem organizado? Existirão recursos financeiros e físicos adequados para suportar as funções do programa? O desempenho em determinados locais é significativamente melhor ou pior que os restantes? Estarão os destinatários satisfeitos com os recursos humanos e procedimentos do programa? Estarão os destinatários satisfeitos com os serviços que recebem? Os participantes do programa engajam em comportamentos apropriados após o serviço?

Desta lista de possíveis questões, resultam duas conclusões: o avaliador deve ter em conta não apenas a descrição do desempenho de um programa mas, também, se o mesmo é ou não satisfatório, necessitando para tal de critérios a fim de produzir julgamentos. Tais critérios podem incluir medidas da própria “teoria do programa”, standards administrativos, legais, éticos ou profissionais, ou podem ainda ser do tipo julgamento após factos observados.

19

De referir a existência, na literatura relevante desta área, da distinção entre avaliação da implementação (implementation evaluation ou program process evaluation) e monitorização da implementação (implementation monitoring ou program process monitoring). Enquanto a primeira é levada a cabo, normalmente, através de um projecto separado, por especialistas de avaliação (muitas vezes também encarregues da avaliação do impacto), a segunda consiste numa contínua monitorização de indicadores relevantes para a implementação de um programa.

Tal monitorização pode constituir uma poderosa ferramenta facilitadora de uma gestão eficiente de políticas sociais ao fornecer dados de funções críticas, permitindo acções correctivas ou fornecimento de informações regulares de desempenho de programas aos seus stakeholders. Por estas razões, este tipo de monitorização encontra- se, normalmente, integrado nos sistemas de informação internos à organização para que os dados possam ser obtidos, compilados e periodicamente trabalhados, muitas vezes consubstanciado num Sistema de Gestão de Informação. Os dados retirados destes tipos de sistemas tornam-se particularmente úteis, não só para os avaliadores, mas também para os gestores de qualquer política pública e ainda para os decisores políticos das mesmas (de referir ainda a importância acrescida deste sistemas de informação quando tais políticas envolvem serviços à população).

Se, por um lado, as perspectivas destes 3 grupos de “consumidores-chave” (i.e., sob a perspectiva de avaliação, gestão do programa ou accountability), nos propósitos da monitorização da implementação são distintos, por outro, os tipos de dados requeridos e os procedimentos da recolha de informação são sensivelmente idênticos ou sobrepõe-se consideravelmente. Especificamente, qualquer programa de avaliação de implementação, geralmente, envolve um ou os dois domínios de desempenho de um programa, referidos anteriormente: a utilização do serviço e funções organizacionais (Rossi, Lipsey & Freeman, 2004).

A utilização do serviço relaciona-se com as questões de cobertura (i.e., alcance do programa em atingir o pretendido na população-alvo) e viés (extensão da dimensão na qual os subgrupos de população-alvo são atingidos unicamente pelo programa). As fontes de dados úteis para a avaliação da cobertura são os registos de resultados do programa, as entrevistas aos participantes do programa e inquéritos à comunidade. O viés na cobertura do programa poderá ser revelado através de comparações nos participantes do programa, elegibilidade dos não-participantes e na taxa de desistências.

20

A monitorização das funções organizacionais foca a sua atenção na capacidade do programa organizar os seus esforços e uso dos seus recursos para realizar as suas tarefas fundamentais. Particular atenção é dada à identificação de falhas na implementação do programa, que impede a população-alvo de receber os serviços pretendidos (intervenções incompletas, erradas e não estandardizadas ou controladas constituem as principais causas destas falhas na implementação). O sistema de entrega e as funções de suporte do programa constituem, também, área de interesse na monitorização das funções organizacionais.