Avaliação: conceitos, objetivos e tipologias

reduzir incertezas, melhorar a efetividade e tomar decisões com respeito ao que aquele programa está fazendo e resultando.” (Paton, 1986: 14)

“Avaliação é um processo de produzir informações sobre os valores dos resultados da implementação de políticas e programas públicos. Consiste em um exame crítico dos valores explícitos de uma política, para saber se continuam congruentes com os objetivos previstos.” (Motta, 1989:1)

“Avaliação é um processo que tenta determinar o mais sistemática e objetivamente possível a relevância, efetividade e impacto das atividades, tendo em vista seus objetivos. É uma ferramenta orientada para a ação e aprendizagem. É um processo organizativo que visa tanto melhorar as atividades em andamento quanto planejar o futuro e orientar a tomada de decisões.” (Silver, 1992: 198)

Para Motta (1989), as prioridades na avaliação referem-se a ênfase sobre o objeto da política que se deseja julgar. Assim, quando se observa prioritariamene os fatos e processos, infere-se medidas de eficiência; quando se analisa as ações e os resultados, procura-se medir a eficácia; e quando se concentra a atenção nos valores e no impacto, procura-se avaliar a efetividade.

Como se observa, não se pode ter a pretensão de consenso nas definições de avaliação. Entretanto, neste trabalho, será adotada a definição de Contandriopoulos et al., (1997, p:31) onde “avaliar consiste fundamentalmente em fazer um julgamento de valor a respeito de uma intervenção ou sobre qualquer um de seus componentes, com o objetivo de ajudar na tomada de decisões”.

Fundamentalmente, a avaliação consiste em tentar responder a um conjunto de questões relativas a uma intervenção, suas atividades e seus efeitos. O questionamento pode orientar-se de diferentes maneiras em função do contexto, dos objetivos e do comanditário⁶. Para ajudar a

6 Comanditário é quem encomenda a avaliação (Hartz, 1999b). Do francês "commanditaire", utilizado pelo Conselho Científico de Avaliação da França (CSE, 1996) para designar o Governo ou poder público que demanda/encomenda avaliações externas (comanditadas -"commanditées") de políticas/programas, caracterizando o sentido do contrato de avaliação externa como sociedade em comandita ("en commandite"): o financiador não tem a gestão/controle desse processo que é delegado ao(s) avaliador(es) favorecendo a independência do investigador. Tem assim o mesmo sentido em português: "sócio capitalista, numa sociedade em comandita (sociedade em que há um ou mais sócios capitalistas que não têm funções nem responsabilidades)" (Fernandes et al., 1996, p:165).

formar um julgamento, a avaliação procura apreciar nas medidas políticas, as principais

“qualidades” que caracterizam idealmente uma “boa” política (CSE, 1996):

• Coerência: Os objetivos são coerentes entre si? Os meios jurídicos, humanos e financeiros atendem aos objetivos?

• Alcance dos objetivos: Os objetivos da política estão em conformidade com a realidade social?

• Eficácia: Os efeitos próprios da política estão em acordo com os seus objetivos?

• Eficiência: Os recursos financeiros destinados à política são bem utilizados?

• Impacto (efetividade): Quais as conseqüências globais da política para a sociedade? Elas são benéficas?

• Pertinência: Uma política é dita pertinente quando seus objetivos explícitos são adequados à natureza dos problemas que se deseja resolver. A pertinência de uma política é a questão mais delicada e mais “política” a examinar.

A eficiência é mais raramente abordada na prática da avaliação que a eficácia.

Em um sentido estrito, a eficiência supõe a realização de um balanço custo-benefício, em termos monetários. Entretanto, a informação de base necessária para calcular o custo real de uma política é falha, ou seja, a tradução, em termos monetários, das mudanças trazidas no âmbito da sociedade é uma operação de grande dificuldade prática e depende às vezes de problemas teóricos praticamente insolúveis (por exemplo: qual o preço da vida humana?). Desta forma, em um sentido limitado, a avaliação da eficiência pode limitar-se a uma abordagem de custo-eficácia, que consiste em comparar os custos necessários à realização de um certo nível de resultados por diferentes políticas (CSE, 1996).

Os efeitos⁷ de uma política sobre a sociedade não limitam-se aos efeitos desejados, conforme seus objetivos (os efeitos que correspondem à noção de eficácia).

A avaliação deve preocupar-se também com os efeitos colaterais e perversos da política (CSE, 1996).

7 Às vezes emprega-se os termos impacto ou efetividade para designar o conjunto dos efeitos alcançados por uma política (CSE, 1996).

A avaliação então é feita para esclarecer opções, reduzir incertezas, além de informar e prover retroalimentação para os comanditários acerca do programa em questão. Desta forma, a avaliação de programa pode ser vista como uma decisão orientada (Schalock, 1995). Ela é muitas vezes definida como um “campo orientado para a prática” (practice-driven field) que emerge como uma resposta à necessidade de accountability do setor público (Ballart, 1998).

A avaliação pode resultar da aplicação de critérios e de normas (avaliação normativa) ou se elaborar a partir de um conhecimento científico (pesquisa avaliativa). Na avaliação normativa procura-se estudar os componentes da intervenção em relação a normas e critérios e apoia-se no fato de que existe uma relação forte entre o respeito aos critérios e às normas escolhidas e os efeitos reais do programa ou da intervenção. Já na pesquisa avaliativa, preocupa-se em examinar ex-post, através de procedimentos científicos, as relações existentes entre os diferentes componentes de uma intervenção com o fim de orientar a tomada de decisão (Contandriopoulos et al., 1997); avaliar a efetividade do programa, seus resultados; medir e demonstrar seu impacto e recomendar ações futuras (Hartz, 1995; MSH/WHO 1997). É importante entender que a avaliação apóia-se na pesquisa avaliativa, porém não se limita a ela (CSE, 1996).

Dependendo do propósito, a pesquisa avaliativa pode responder a diversas questões (Hartz, 1995; MSH/WHO, 1997; Contandriopoulos et al., 1997):

• O programa é necessário? As suas metas e objetivos são apropriados para as circunstâncias atuais do país e do sistema de saúde? É pertinente intervir para este problema considerando todos os problemas existentes? É pertinente, considerando a estratégia de intervenção adotada, intervir como está sendo feito?

• O programa é efetivo? Realiza progresso satisfatório em relação às metas e objetivos propostos? De que forma as variações nos conteúdos do programa afetam sua efetividade?

Quais as razões para seu sucesso ou fracasso?

• O programa é eficiente? Os efeitos do programa estão sendo realizados a um custo aceitável, comparado com outras alternativas para fornecer os mesmos serviços (estudo de custo-eficácia)? Qual a relação existente entre aumentar a eficácia do programa e sua efetividade?

Poderíamos produzir mais serviços com os mesmos recursos? Poderíamos produzir a mesma quantidade de serviços com menos recursos?

• O programa é sustentável? O programa pode continuar financeira e institucionalmente com os níveis atuais de insumos? Se estão envolvidos financiamento e assistência externa, o programa pode continuar mesmo após cessar este apoio externo?

• O programa está tendo o impacto esperado?

• Que mudanças devem ser feitas no futuro? Que recomendações podem ser feitas para o desenvolvimento do programa, novos planos ou projetos de assistência? São necessários novos objetivos ou metas?

Quanto à tipologia, a pesquisa avaliativa pode ser decomposta em seis diferentes análises (Contandriopoulos et al., 1997):

1. Análise estratégica – analisa a pertinência da intervenção, ou seja, a adequação estratégica entre a intervenção e a situação problemática que lhe deu origem.

2. Análise da intervenção – estuda a relação existente entre os objetivos da intervenção e os meios empregados. Questiona sobre a capacidade dos recursos mobilizados e dos serviços produzidos para atingir os objetivos definidos.

3. Análise da produtividade – estuda o modo como os recursos são utilizados para produzir serviços.

4. Análise dos efeitos – avalia a influência dos serviços sobre os estados de saúde, determinando sua eficácia para modificá-los.

5. Análise de rendimento – relaciona a análise dos recursos empregados com os efeitos obtidos.

É uma combinação da análise de produtividade econômica e da análise dos efeitos.

6. Análise da implantação – mede a influência do contexto e da variação no grau de implantação de uma intervenção nos seus efeitos.

A análise de implantação de um programa visa principalmente identificar os processos implicados na produção dos efeitos de uma intervenção. Ela consiste em especificar o conjunto dos fatores que influenciam os resultados obtidos após a introdução de uma intervenção, relacionando a dinâmica interna do programa (relações entre objetivos, serviços, recursos e efeitos) com o contexto onde é implantado.

Para Hartz et al. (1997, p:96):

“A importância de avaliar a implantação revela-se indispensável para se chegar a conhecer a totalidade das intervenções, no que se relaciona à validade de seu conteúdo (intensidade com a qual as atividades são realizadas e sua adequação em relação às normas existentes), e aos fatores explicativos das defasagens observadas entre a planificação e a execução das ações. Ela obriga a construir, a priori, a teoria do programa, especificando sua “natureza” (componentes, práticas) e o contexto requerido como etapas prévias aos resultados esperados.”

A análise de implantação pode ser organizada em torno das seguintes questões (Rundall, 1992):

•Os funcionários, equipamentos e recursos financeiros estão disponíveis nos locais e tempos necessários para satisfazer as necessidades do programa?

•As atividades do programa são realizadas de acordo com o plano original?

•Há fatores não previstos influenciando a implantação do programa?

•As diversas atividades ou componentes do programa estão sendo realizadas com uniformidade qualitativa e quantitativa em todas as metas do programa?

A função da análise de implantação é verificar se a combinação de materiais, atividades e organização administrativa que constituem um programa, conduzem à realização dos seus objetivos (King et al., 1987). Ela é um pré-requisito indispensável à apreciação de seus resultados, uma vez que estima a adequação da quantidade e da qualidade das ações oferecidas (grau de implantação) em relação às normas estabelecidas (Hartz et al., 1995).

A análise de implantação aumenta a validade externa das pesquisas avaliativas, pois ela discrimina a contribuição dos componentes verdadeiramente implantados do programa (grau de implantação) na produção dos efeitos; ela melhora a compreensão dos elementos que favorecem ou inibem a eficiência dos programas (Hartz et al., 1997). Do ponto de vista metodológico, busca compreender primeiro os efeitos da interação, ou seja, o papel ativo desempenhado por um conjunto de variáveis, que não a intervenção, na determinação dos efeitos observados (Denis

& Champagne, 1997). Desta forma, a análise de implantação relaciona-se diretamente à capacidade de utilizar os resultados das pesquisas avaliativas para tomar decisões sobre a generalização de uma intervenção em outros meios.

5.2. Determinantes teóricos da avaliação e da análise da