5.1.1 Conceito de avaliação
Em termos de concepção, etimologicamente, o termo avaliação significa valor, esforço de apreciar efeitos reais, determinando o que é bom e ruim. Portanto, trata- se de um julgamento valorativo e não é um ato neutro, exterior às relações de poder, mas acima de tudo, é um ato político que exige postura de objetividade e de independência, sendo por natureza, uma atividade multidisciplinar (SILVA, 2001).
No campo do planejamento e da gestão, a avaliação8 é a comparação do planejado com o alcançado, que serve para obter subsídios a fim de melhorar sucessiva e sistematicamente o planejamento, a implementação de ações e o desempenho da organização (PFEIFFER, 2005).
Nesse sentido, a avaliação pode ser entendida “como um processo sistemático de análise de uma atividade, fatos ou coisas que permite compreender, de forma contextualizada, todas as suas dimensões e implicações, com vistas a estimular seu aperfeiçoamento” (BELLONI, MAGALHÃES e SOUZA, 2007, p. 15).
Os modelos de avaliação9 mais considerados na literatura podem ser classificados basicamente em dois tipos: 1) avaliação de processo; e 2) avaliação de impacto (SILVA, 2001).
A avaliação de processo é o modelo de avaliação voltado para aferir a eficácia de programas e projetos. Ou seja, em que medida determinadas ações programadas estão sendo implementadas conforme diretrizes preestabelecidas e quais as relações entre produto gerado e as metas previstas ou desejadas. “A avaliação de processo se preocupa, especificamente, em identificar a relação entre metas atingidas x metas propostas e com a adequação entre meios utilizados na implementação e os objetivos originais” (SILVA, 2001, p. 82).
8
Deve-se evitar uma concepção simplista de avaliação como apenas um exame comparativo entre o
proposto e o realizado. Deve-se ir mais além. Pois a comparação entre objetivos e resultados é apenas uma parte do processo avaliativo e não oferece os elementos necessários para o sistemático aperfeiçoamento da atividade, instituição ou política pública adotada.
9
São modelos de avaliação de políticas públicas que se distinguem pelo objeto (natureza da avaliação), pela lógica e pela finalidade da avaliação.
Já a avaliação de impacto tem como foco central mudanças quantitativas e qualitativas decorrentes de determinadas políticas, programas ou projetos sobre as condições de vida de uma população, tendo como critério a efetividade, que parte da suposição de que existe relação causal entre uma variável independente (programa ou projeto) e uma variável dependente (alteração nas condições socioambientais).
A proposta de avaliação desenvolvida neste trabalho enquadra-se no tipo avaliação de processo, cujo critério básico de avaliação proposto é a eficácia10, por tentar comparar o realizado com o previsto diante do que foi estabelecido nos objetivos da política em estudo ou em plano de ação específico.
5.1.2 Indicadores para avaliação de políticas públicas
Os indicadores são elementos fundamentais em todo e qualquer processo de avaliação. Assim, na avaliação de políticas públicas é preciso se estabelecer frente às categorias de análise uma série de indicadores que sirvam de parâmetros para identificar aspectos positivos e negativos do objeto avaliado.
Aqui são apresentados alguns conjuntos de indicadores políticos-institucionais úteis para a avaliação de uma política ambiental municipal, especialmente no que se diz respeito às categorias de análise da política pública: base legal, aparato institucional, planejamento e gestão, controle social.
O primeiro conjunto de indicadores diz respeito aos princípios da sustentabilidade que uma política pública deve seguir para ser sustentável tanto no seu enfoque como nos seus resultados. Trata-se dos “Princípios de Bellagio”, uma forma de análise qualitativa reconhecida internacionalmente como instrumento de avaliação de processos políticos rumo ao desenvolvimento sustentável (HARDI e ZDAN, 1997).
Os Princípios de Bellagio foram formulados em 1996, por um grupo internacional de especialistas em avaliação e pesquisadores que se reuniram no Centro de Estudo e Conferência da Fundação Rockefeller em Bellagio, Itália, com a
10
Aqui vale ressaltar as diferenças básicas entre os termos eficácia, eficiência e efetividade, comumente utilizados em processos de avaliação. A eficácia refere-se ao grau em que os objetivos e metas foram alcançados na população beneficiada de determinado programa ou projeto num dado período de tempo. A eficiência, também reconhecida como rentabilidade econômica, refere-se à relação entre custos despendidos e os resultados de um programa ou projeto. Enquanto a
finalidade de levantar o estado da arte, revisar os dados e as diferentes iniciativas de avaliação de sustentabilidade, além de sintetizar a percepção geral sobre os principais aspectos relacionados à avaliação de desenvolvimento sustentável (DALAL-CLAYTON e BASS, 2002; CEZARE, MALHEIROS e PHILIPPI JR, 2007).
São dez os princípios selecionados que servem como orientação para avaliar e melhorar a escolha, utilização, interpretação e comunicação de indicadores de uma política de desenvolvimento sustentável (Figura 4). Eles foram formulados com a intenção de serem utilizados na implementação de projetos de avaliação de iniciativas de desenvolvimento, desde o nível comunitário, chegando até as experiências internacionais, incluindo os níveis intermediários (VAN BELLEN, 2007).
Figura 4: Princípios de Bellagio. Fonte: Cezare, Malheiros e Philippi Jr (2007, p. 420) com base em Hardi e Zdan (1997).
O princípio 1 refere-se ao ponto inicial, onde deve-se construir uma visão coletiva do que seja sustentabilidade e estabelecer as metas que revelem uma definição prática desta visão em termos do que seja relevante para a tomada de decisão. Os princípios 2 até 5 abordam o conteúdo e a necessidade de repensar o sistema por inteiro com foco em questões prioritárias. Os princípios 6 até 8 lidam com a questão-chave do processo de desenvolvimento em bases sustentáveis que é a participação social efetiva e capacitada, enquanto que os princípios 9 e 10 se referem à necessidade de estabelecer capacidade contínua de avaliação (HARDI e ZDAN, 1997; CEZARE, MALHEIROS e PHILIPPI JR, 2007). O quadro 6 apresenta um resumo desses princípios.
1- GUIA DE VISÃO E METAS
A política rumo à sustentabilidade deve:
Ser guiada por uma visão clara do que seja desenvolvimento sustentável e das metas que definam esta visão.
2- PERSPECTIVA HOLÍSTICA
A política rumo à sustentabilidade deve:
Incluir uma revisão do sistema todo e de suas partes.
Considerar o bem-estar dos subsistemas ecológico, social e econômico, seu estado atual, bem como sua direção e sua taxa de mudança, de seus componentes, e a interação entre as suas partes.
Considerar as conseqüências positivas e negativas da atividade humana de um modo a refletir os custos e benefícios para os sistemas ecológico e humano, em termos monetários e não monetários.
3- ELEMENTOS ESSENCIAIS
A política rumo à sustentabilidade deve:
Considerar a eqüidade e a disparidade dentro da população atual e entre as gerações presentes e futuras, lidando com a utilização de recursos, superconsumo e pobreza, direitos humanos e acessos a serviços.
Considerar as condições ecológicas das quais a vida depende.
Considerar o desenvolvimento econômico e outros aspectos que não são oferecidos pelo mercado e contribuem para o bem-estar social e humano.
4- ESCOPO ADEQUADO
A política rumo à sustentabilidade deve:
Adotar um horizonte de tempo suficientemente longo para abranger as escalas de tempo humana e dos ecossistemas atendendo às necessidades das futuras gerações, bem como da geração presente em termos de processo de tomada de decisão em curto prazo.
Definir o espaço de estudo para abranger não apenas impactos locais, mas, também, impactos de longa distância sobre pessoas e ecossistemas.
Construir um histórico das condições presentes e passadas para antecipar futuras condições.
5- FOCO PRÁTICO
A política rumo à sustentabilidade deve ser baseada em:
Um sistema organizado que relacione as visões e metas dos indicadores e os critérios de avaliação. Um número limitado de questões-chave para análise.
Um número limitado de indicadores ou combinação de indicadores para fornecer um sinal claro do progresso. Na padronização das medidas quando possível para permitir comparações.
Na comparação dos valores dos indicadores com as metas, valores de referência, padrão mínimo e tendências.
6- ABERTURA / TRANSPARÊNCIA (OPENNESS)
A política rumo à sustentabilidade deve:
Construir os dados e indicadores de modo que sejam acessíveis ao público.
Tornar explícitos todos os julgamentos, suposições e incertezas nos dados e nas interpretações.
7- COMUNICAÇÃO EFETIVA
A política rumo à sustentabilidade deve:
Ser projetada para atender às necessidades do público e do grupo de usuários.
Ser feita de uma forma que os indicadores e as ferramentas estimulem e engajem os tomadores de decisão. Procurar a simplicidade na estrutura do sistema e utilizar linguagem clara e simples.
8- AMPLA PARTICIPAÇÃO
A política rumo à sustentabilidade deve:
Obter ampla representação do público: profissional, técnico e comunitário, incluindo participação de jovens, mulheres e indígenas para garantir o reconhecimento dos valores, que são diversos e dinâmicos.
Garantir a participação dos tomadores de decisão para assegurar uma forte ligação na adoção de políticas e nos resultados da ação.
9- AVALIAÇÃO CONSTANTE
A política rumo à sustentabilidade deve:
Desenvolver a capacidade de repetidas medidas para determinar tendências.
Ser interativa, adaptativa e responsiva às mudanças, porque os sistemas são complexos e se alteram freqüentemente.
Ajustar as metas, sistemas e indicadores com os insights decorrentes do processo.
Promover o desenvolvimento do aprendizado coletivo e o feedback necessário para a tomada de decisão.
10- CAPACIDADE INSTITUCIONAL
A política rumo ao desenvolvimento sustentável deve ser assegurada por:
Delegação clara de responsabilidade e provimento de suporte constante no processo de tomada de decisão. Provimento de capacidade institucional para a coleta de dados, sua manutenção e documentação.
Apoio ao desenvolvimento da capacitação local de avaliação.
Outro conjunto de indicadores diz respeito às categorias de análise de políticas públicas propostas neste trabalho. O quadro 7 apresenta o conjunto alguns indicadores11 para análise e avaliação de uma política ambiental municipal.
Categorias
analíticas Indicadores políticos-institucionais
Base Legal
Existência de marcos legais para tratamento da questão ambiental.
Nível de conformidade das ações ambientais conduzidas pelo poder local com relação à base legal estabelecida.
Aparato Institucional
Existência de estrutura organizacional do aparato institucional. Nível de capacidade técnica, tecnológica e operacional do órgão. Relação entre execução financeira e orçamento.
Quantitativo de recursos captados e investidos no setor. Nível de utilização dos instrumentos de políticas públicas.
Quantitativo de recursos humanos e suas qualificações profissionais.
Planejamento e Gestão
Modelos de planejamento e de gestão adotados.
Quantitativo de planos, programas e projetos propostos. Nível de implementação das ações propostas.
Controle Social
Quantitativo de parcerias estabelecidas para a gestão.
Nível de articulação e relacionamento institucional com organizações externa. Capacidade de articulação política e de parcerias institucionais.
Relação quantitativa e qualitativa das formas de participação social. Nível predominante de participação social na gestão.
Existência e formas de processo de transparência e divulgação dos resultados. Quadro 7: Indicadores políticos-institucionais para análise e avaliação de políticas públicas.