Aspectos Metodológicos de Avaliação de Políticas Públicas

Do mesmo modo que observou a existência de diferentes conceitos sobre Avaliação de Políticas Públicas, também existem diversas metodologias que se propõem a avaliar Políticas Públicas. De acordo com Cotta (2001), é importante considerar que os sistemas de avaliação produzem diversos tipos de dados, dependendo, portanto, dos objetivos definidos na etapa de desenho da pesquisa.

Para a autora, há várias modalidades de avaliação e cada uma possui características que definem desde sua finalidade e uso dos dados até a qualidade das informações produzidas. Nessa mesma direção Calmon (1999, pág.9) destaca que existem “múltiplos métodos e técnicas de avaliação, ao enfatizar que a escolha de determinada prática depende das circunstâncias, dos propósitos e do contexto político que envolve a implementação de políticas”.

Para uma melhor compreensão da definição apresentada por Cotta (1998 e 2001) pode-se observar na Figura abaixo que a autora classifica a avaliação em função do seu timing, ou seja, do momento em que se avalia (antes, durante ou depois da implementação da política), da posição do avaliador em relação ao objeto avaliado (interna, externa ou semi- independente6) e da natureza do objeto avaliado (contexto, processos e resultados).

6

21 Avaliação Timing Natureza do objeto avaliado Posição do avaliador em relação ao objeto

Figura 3 – Classificação da avaliação

Fonte: Elaboração própria a partir de Cotta (2001).

Outra visão que corrobora com essa classificação é a distinção entre avaliação ex ante (anterior à implementação), avaliação ex post (posterior à implementação) em que requer que o programa tenha sido concluído para se poder avaliá-lo e ainda a avaliação in itinere, que ocorre durante o processo de implementação (ESCOLAR e DOMENCH, 2002; COSTA e CASTANHAR, 2003; COEHN e FRANCO, 2007; BOULOSSA e ARAÚJO, 2009; SECCHI, 2010).

Scriven (1972) e referidos autores acima também distinguem as avaliações em duas outras dimensões: avaliação formativa, utilizada para monitorar o processo que seria improvement-oriented e a avaliação somativa, realizada ao final para determinar a extensão em que os objetivos foram alcançados que seria judgement-oriented (COTTA, 2001; FARIA, 2005; BOULLOSA e ARAÚJO, 2009).

Já Costa e Castanhar (2003) classificam as experiências de avaliação em três metodologias: Avaliação de Metas (realização de produção ou produtos); Avaliação de impacto (alcance do propósito ou missão); e Avaliação de processos. A avaliação de metas consiste em medir o grau de êxito que um programa obtém com relação ao alcance de metas previamente estabelecidas. Metas do programa busca medir quais são os produtos mais imediatos (ou concretos) que dele decorrem. Mas algumas das principais limitações desse tipo de avaliação são: “a dificuldade de especificar as metas de forma precisa; a existência de várias metas; a seleção de metas a serem incluídas no processo de avaliação; mudanças nas metas ao longo da própria execução do programa” (COSTA e CASTANHAR, 2003, pág.979).

A avaliação de impacto, para esses autores, consiste em identificar os efeitos produzidos sobre uma população-alvo de um programa social. O foco é detectar mudanças

22

nas condições de vida de um grupo-alvo ou de uma comunidade, como resultado de um programa, e em que medida as mudanças ocorreram na direção desejada. Para esta investigação se recorre a mecanismos que permitam estabelecer relações causais entre as ações de um programa e o resultado final obtido. As análises de impacto apontam, portanto, para a efetividade de programas e projetos, estabelecendo o grau de correspondência entre seus objetivos e resultados (COTTA, 1998).

Avaliação de processos trata-se do exame das estratégias, procedimentos e arranjos (inclusive institucionais) adotados na implementação de uma política, programa ou projeto, com a finalidade de identificar os pontos nos quais onde podem ser obtidos ganhos de eficiência e eficácia. Tem por hipótese central a ideia de que os meios adotados afetam os resultados. Portanto, o seu objeto de análise é saber “como” uma ação foi executada, ou seja, identificar a cadeia de passos adotados pela política, desde sua formulação até a obtenção do seu produto final (RUA, 2007). Assim, pode-se concluir que para Cotta (1998), a avaliação de processo estaria relacionada à dimensão da gestão.

Os autores destacam, pois, que um sistema de avaliação completo (mais amplo) utiliza metodologias que preveem tanto a avaliação de resultados como a avaliação de processos (COTTA, 1998; RUA, 2007; COSTA e CASTANHAR, 2003). Afirmam, assim, que um aspecto importante a se destacar em qualquer metodologia de avaliação é de que a Avaliação de Política Pública compreende a definição de critérios, indicadores e padrões (COSTA e CASTANHAR, 2003; SECCHI, 2010).

Pode-se resumir que os critérios de avaliação são considerados medidas para a aferição dos resultados obtidos. Assim, os critérios podem ser resumidos da seguinte forma:

eficiência – o conceito de eficiência diz respeito à relação entre os resultados e os custos envolvidos na execução de um projeto ou programa. Significa a menor relação custo/benefício possível para o alcance dos objetivos estabelecidos no programa, assim como a maior relação benefício/custo. Sendo, portanto, associado à noção de “ótimo” (quantidades físicas mínimas de recursos requeridos para gerar uma certa quantidade de produto, assumindo a tecnologia como constante).

eficácia - corresponde ao nível de alcance de metas ou objetivos preestabelecidos, em um determinado período de tempo, independentemente dos custos implicados.

economicidade - refere-se ao nível de utilização dos recursos (inputs);

impacto (ou efetividade) - indica se o projeto tem efeitos (positivos) no ambiente em que interveio, em termos técnicos, econômicos, socioculturais, institucionais e

23

ambientais. Efeito “é todo comportamento ou acontecimento que se pode razoavelmente dizer que sofreu influência de algum aspecto do programa ou projeto” (COHEN e FRANCO, 1992). Ou, de forma mais direta, é todo e qualquer resultado das ações a ele pertinentes.

sustentabilidade - mede a capacidade de continuidade dos efeitos benéficos alcançados por meio do programa social, após o seu término;

análise custo-efetividade - similar à ideia de custo de oportunidade e ao conceito de pertinência, é feita a comparação de formas alternativas da ação social para a obtenção de determinados impactos, para ser selecionada aquela atividade/projeto que atenda os objetivos com o menor custo;

satisfação do beneficiário - avalia a atitude do usuário em relação à qualidade do atendimento que está obtendo do programa;

equidade - procura avaliar o grau em que os benefícios de um programa estão sendo distribuídos de maneira justa e compatível com as necessidades do usuário. Trata da homogeneidade de distribuição de benefícios entre os destinatários de uma política pública.

Subirats et. al (2008), apontam que os principais e mais aplicados critérios de avaliação de uma política pública, são os seguintes: efetividade, eficácia, eficiência e pertinência da política pública. Para os autores, a pertinência está relacionada aos objetivos previstos no planejamento e ao problema político a que se pretende resolver.

Já Costa e Castanhar (2003) e Secchi (2010), explicam que os critérios de avaliação requerem formas específicas de operacionalização, o que implica que estes devem ser operacionalizados por meio de indicadores que podem ser criados para medir input, output e resultado (outcome). Os autores destacam alguns desses critérios:

Input - são entradas do sistema e estão relacionados a gastos financeiros, recursos humanos empregados ou recursos materiais utilizados;

Output - são relacionados à produtividade de serviços/produtos, como número de pessoas atendidas em um posto de saúde, quantidade de lixo coletado, quilômetros de estrada construída;

Outcome - são resultados e estão relacionados aos efeitos da política pública sobre o problema para o qual havia sido elaborada, como percentual de satisfação dos usuários/cidadãos, qualidade dos serviços, acessibilidade da política pública. Segundo

24

os autores os Outcomes “descrevem os efeitos reais induzidos sobre os beneficiários finais”, de curto, médio e longo prazo.

Em síntese, Costa e Castanhar (2003), afirmam que os indicadores de input medem esforços e os indicados de output e outcome medem realizações. O que significa dizer que enquanto os primeiros medem o alcance dos objetivos propostos, os outros dois mensuram os efeitos do programa junto à população-alvo como um todo e junto aos usuários dos Programas ou Políticas. Salientam, ainda, que os indicadores podem mencionar também elementos mais difíceis de serem quantificados como a qualidade dos serviços oferecidos, as características culturais de uma região, etc.

Pode-se deduzir, com base nas definições destacadas até aqui, que a definição de padrões para a Avaliação de Políticas Públicas serve para dar uma referência comparativa aos critérios e indicadores de avaliação, com o objetivo de julgar o desempenho de uma dada ação pública como, por exemplo, padrões absolutos (metas qualitativas ou quantitativas estabelecidas anteriormente) como padrões a serem alcançados (padrões históricos que comparam resultados de um período com o obtido em períodos anteriores); e padrões normativos, que comparam o desempenho de um programa com outros semelhantes, em outros níveis de governo (COSTA E CASTANHAR, 2003) No quadro abaixo, há a síntese de alguns aspetos metodológicos de Avaliação de Políticas Públicas.

Critérios Indicadores Padrões

Eficiência; Eficácia; Economicidade; Impacto; Sustentabilidade; Análise custo-efetividade; Satisfação do beneficiário; Equidade. Input; Output; Outcome. Absolutos; Históricos; Normativos.

Quadro 3 - Síntese dos critérios, indicadores e padrões para Avaliação de Políticas Públicas

Fonte: Elaboração própria, com base em Costa e Castanhar (2003), Subirats et. al (2008) e Secchi (2010).

Para os objetivos desse estudo, considera-se que a avaliação pode aumentar a sensibilidade e a percepção que os atores políticos têm sobre a política pública, a fim de melhorá-la ou transformá-la. Assim, conforme ressalta Secchi (2010), os mecanismos de

25

avaliação criam referências que permitem uma comparação espacial, temporal do problema e das políticas públicas avaliadas.