METODOLÓGICAS
A partir do surgimento e da consolidação do campo de estudo das políticas públicas, ou seja, uma área de análise das ações implementadas pelo Estado e outras organizações como forma de responder a demandas sociais, foi necessária a criação de um processo de avaliação
dessas políticas, constituindo-se, assim, a avaliação um subcampo, um momento necessário nos estudos das políticas públicas.
Políticas públicas formam um campo e a avaliação um subcampo, ou seja, uma área de estudos das políticas públicas que propõe a produção e o debate sobre questões teórico- metodológicas para se avaliar as políticas públicas. De acordo com a concepção teórica de Meny e Thoenig (1992), a avaliação é um gesto diário. É identificar e medir os efeitos da própria ação. Uma avaliação é um julgamento feito com dados, com referência a um valor.
Conforme os autores, todos os cidadãos fazem julgamentos sobre o que tem feito um governo de um Estado ou município. Eles discutem que esse é o projeto perseguido pela sociologia e ciência política em matéria de política pública. Avaliar a política pública é apreciar os efeitos atribuíveis a uma intervenção do governo em um campo específico da vida social.
Weiss (1998) define a avaliação de política como a avaliação sistemática da operação e/ou impactos de um programa ou política, comparados a um grupo de padrões implícitos ou explícitos, como forma de contribuir para a melhoria do programa ou política.
A avaliação é uma das partes constitutivas das políticas públicas, acompanhando cada etapa da implementação de uma política, a definição de seu desenho, as possíveis lutas e entraves em torno de sua proposta inicial, a formulação, a implementação e os resultados de sua intervenção na sociedade. Conforme Carvalho (2003, p. 186),
A avaliação é parte constitutiva do processo da política pública. Ou seja, ele não é unicamente formulação e implementação de ações. A avaliação integra-se a esse processo como atividade permanente que acompanha todas as fases da política pública, desde a identificação do problema da política até a análise das mudanças sociais advindas da intervenção pública.
Integrar a avaliação ao processo das políticas públicas não significa, necessariamente, que ela deva ser promovida pelas agências responsáveis por sua implantação, “ao contrário, a posição que a avaliação ocupa no processo das políticas públicas é externa aos agentes gestores e executores e singular em face de seus propósitos” (CARVALHO, 2003, p. 186).
A avaliação é uma etapa fundamental na consolidação das políticas públicas, ela permite compreender todo o processo de formulação, implementação e resultados de um programa. “Por fim, a avaliação é instrumental de análise para avaliar a eficiência, a eficácia – e, portanto, o processo da política ou programa – e a efetividade – ou seja, os impactos das ações promovidas pela política ou programa” (CARVALHO, 2003, p. 186). Os
gestores no que se refere à concretização das políticas propostas. É um momento que exige dedicação e estudo do avaliador.
A avaliação é uma das etapas do ciclo das políticas públicas e pode ser um mecanismo utilizado a partir do processo de implementação, apontando possíveis correções, ajustes, modificações. As gestões têm a oportunidade de controlar com rapidez as possíveis falhas, demonstrando transparência para a sociedade e oferecendo confiança em sua administração.
A avaliação representa um potente instrumento de gestão na medida em que pode – e deve – ser utilizada durante todo o ciclo da gestão, subsidiando desde o planejamento e formulação de uma intervenção, o acompanhamento de sua implementação, os conseqüentes ajustes a serem adotados, e até as decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção. Além disso, a avaliação pode contribuir para a viabilização de todas as atividades de controle interno, externo, por instituições públicas e pela sociedade levando maior transparência e accountability às ações de governo (RUA, 2004, p. 2).
A autora argumenta que é através da avaliação que uma política pode ser mantida ou interrompida. Decisões podem ser tomadas levando em consideração os resultados do trabalho do avaliador, propondo a partir daí rumos diferentes para continuidade da política, caso haja necessidade de modificação.
O trabalho que está sendo desenvolvido pelos gestores pode se tornar conhecido pelo uso da avaliação das políticas criadas. Os governos, as gestões públicas, podem ser questionados sobre suas prioridades, por implementar uma política pública ineficiente e ineficaz, que não consiga atingir seus propósitos.
Além dos objetivos relacionados à eficiência e eficácia dos processos de gestão pública, a avaliação é decisiva para o processo de aprendizagem institucional e também contribuiria para a busca e obtenção de ganhos das ações governamentais em termos de satisfação dos usuários e de legitimidade social e política. Por essas e outras razões, tem sido ressaltada a importância dos processos de avaliação para a reforma das políticas públicas, modernização e democratização da gestão pública (RUA, 2004, p. 2).
No processo de democratização da gestão pública, como aponta a autora, a avaliação tem um papel importante, dando legitimidade às decisões tomadas, indicando a satisfação dos envolvidos na política, inclusive por mostrar o reconhecimento social com os resultados das políticas públicas implementadas.
Stephanou (2005) aponta que no processo de reestruturação das políticas públicas, há uma tendência em modificar o seu princípio organizador, no que se refere a políticas menos
universalistas e mais focalistas. A autora analisa que essas mudanças justificam a necessidade de se fazer uma avaliação do papel do Estado, na sua efetiva capacidade de regular a ação social a partir da implementação de programas e projetos sociais.
Existe uma necessidade, segundo a autora, de o estado priorizar mais as políticas sociais. A formulação de políticas públicas identifica os atores e os interesses envolvidos nesse processo, havendo uma mobilização da sociedade civil e do Estado para que as determinadas políticas sejam implementadas. “A avaliação de políticas públicas é um instrumento gerencial importante à gestão pública. A avaliação produz informações relevantes para o aprimoramento das ações governamentais. Por isso, é parte essencial do processo decisório institucional” (STEPHANOU, 2005, p. 135).
Durante o processo de avaliação de políticas públicas, são examinadas as políticas em si e não as instituições que implementam programas. Nesse caso, apenas são avaliadas as políticas, que são classificadas como ações governamentais para alcançar um objetivo concreto. Então o foco avaliativo consiste em avaliar os resultados e consequências da política pública. De acordo com Dulci (2010, p. 223),
São diversas as funções da avaliação. Sua maior utilidade é o aproveitamento dos dados para a gestão da política social. Ou seja, a retroalimentação do próprio serviço ou programa avaliado. Esse uso justifica o investimento institucional na avaliação, dado o benefício que dela cabe esperar para tal fim.
Dulci (2010) ainda analisa que a avaliação de políticas públicas tem várias funções, sendo que sua principal utilidade é o uso do seu trabalho para o aperfeiçoamento e aprimoramento das gestões públicas. É através dos dados avaliativos que os gestores podem justificar o investimento público para a implementação de programas sociais.
A importância do trabalho de avaliação consiste em dar legitimidade aos gestores na elaboração de projetos, programas que são elaborados na perspectiva de contribuir socialmente com setores que serão o público-alvo de uma política, respaldando a iniciativa de se destinar recursos e pessoas para a realização de políticas públicas.
Meny e Thoenig (1992) definem que o processo de avaliação pode ser dividido em quatro tipos de atitudes: a atitude descritiva, a atitude clínica, a atitude reguladora ou normativa, e a atitude experimental. A atitude descritiva corresponde a um avaliador que tenta fazer um inventário dos efeitos da intervenção do governo. Não julga se há sucesso ou fracasso de determinada política implementada porque o objetivo dessa atitude na avaliação é informar, gerar, relatar dados e nada mais.
A atitude clínica não é apenas para registrar os resultados, o avaliador clínico tenta descobrir as diferenças entre a política pública em avaliação e se realmente foi alcançada a meta, cujas razões explicam as diferenças através das condições que presidiram a implementação dessa política pública. Estabelece um diagnóstico, explicando as dificuldades, as falhas, os problemas encontrados.
A atitude normativa vai mais longe. Nela, o avaliador constrói seus próprios valores e assume uma posição mais crítica em relação à teoria da mudança social envolvida na política pública que observa, entrando, dessa maneira, no debate político.
A atitude experimentalista é dedicada à descoberta, se existem relações causais estáveis entre a proposta de uma política pública e os efeitos dos resultados encontrados.
Os autores discutem que, conforme a natureza específica da avaliação, identifica-se uma perspectiva que podemos chamar a posteriori ou ex post ou avaliação ante ou a priori. Na avaliação ex post, os impactos das políticas públicas já foram gerados. A avaliação entrará em cena para entender o que aconteceu e produzir conhecimento da realidade.
A perspectiva ex post é radicalmente diferente da avaliação ante ou a priori. A avaliação a priori significa que o diferentes tipos de efeitos são definidos com antecedência e o avaliador limita-se a considerar apenas os efeitos que tinham sido definidos, caracterizados anteriormente, deixando de lado os outros efeitos que podem surgir durante a implementação ou em outras dimensões.
Ala-Harja e Helgason (2000) percebem que não existe um consenso do que seja avaliação. Seu conceito tem muitas interpretações, admite várias definições, algumas delas contraditórias. Isso explica a quantidade, como também a variedade de disciplinas, executores, instituições, clientes, dentre outros que fazem parte do universo das avaliações. Segundo os autores, existem dois tipos de avaliação: a avaliação somativa e a avaliação formativa.
A avaliação somativa acontece quando o programa já está implementado há algum período (avaliações ex post) e tem como finalidade o estudo da sua eficácia e o julgamento geral do seu valor. É utilizada como meio para alocação de recursos ou na perspectiva de promover mais responsabilidade. A objetividade e a confiabilidade geral das constatações são consideradas importantes nesse tipo de avaliação.
De acordo com os autores, na avaliação somativa, os clientes geralmente são externos, tais como políticos e outros agentes de decisão. Essas avaliações geralmente são conduzidas
por avaliadores externos. E não se pode deixar de abordar questões referentes ao resultado ou relevância geral do programa.
Já as avaliações formativas geralmente são adotadas no processo de implementação de um programa (avaliação intermediária) como uma forma de obter mais conhecimento para fazer uma contribuição mais apurada. Esse tipo de avaliação busca mais apoiar a gestão e o desenvolvimento do programa. Seus avaliadores são frequentemente os gerentes do programa que está sendo implementado.
Nesse tipo de avaliação, a objetividade das constatações geralmente não se coloca como preocupação central, como a avaliação somativa, mas o seu foco é dado à aplicabilidade direta dos resultados. Nesse processo de avaliação formativa, devem lidar com questões operacionais de monitoramento dos eventos e, em certo grau, também com aspectos relacionados ao impacto (ALA-HARJA; HELGASON, 2000).
A avaliação de uma política pública pode variar conforme o método, as formas e a conduta que o avaliador assuma como mais adequados. Nesse sentido, o processo que envolve a avaliação de políticas públicas é definido conforme as regras estabelecidas, definidas anteriormente pelo avaliador na condução do trabalho. São muitos os instrumentos que podem ser usados nessa atividade, que perpassa por uma análise profunda da política pública em avaliação. Segundo os autores,
A fin de cuentas, la evaluación de las políticas públicas se reduce a um análisis de las diferencias imputables a una acción pública específica. Los progresos instrumentales registrados en materia de evaluación están, en principio y ante todo, constituidos por técnicas que permiten señalar estas diferencias. (MENY; THOENIG, 1992, p. 208)6.
É importante destacar que os instrumentos e as técnicas para fazer uma avaliação têm crescido, aumentando as possibilidades avaliativas que variam, conforme os autores, de acordo com as funções assumidas pelo avaliador. O papel de avaliar consiste em perceber, em diferenciar, as várias ações públicas na constituição, bem como na implementação de uma política.
Para fazer uma avaliação, é necessário definir alguns pontos que são centrais no processo avaliativo. Entre esses pontos, os critérios da avaliação devem ser levantados como
6 Afinal, a avaliação de políticas públicas se reduz a análise das diferenças atribuíveis a uma ação pública
específica. Os progressos instrumentais registrados em matéria de avaliação estão, a princípio e amtes de tudo, constituídos por técnicas que permitem salientar essas diferenças (MENY; THOENIG, 1992, p. 208, tradução nossa).
um elemento importante para o andamento de uma avaliação de uma política pública. Segundo Cotta (1998, p. 109), os critérios adequados devem: “a) refletir os objetivos da intervenção; b) ser mensuráveis; e c) incorporar a visão dos atores sociais relevantes, principalmente os beneficiários do programa ou projeto”.
A autora compreende que os critérios de uma avaliação variam de acordo com o andamento do processo avaliativo em foco. No entanto, a definição prévia de critérios de avaliação é essencial para o bom desempenho da avaliação de um programa social.
De acordo com Costa e Castanhar (2003), se a avaliação é uma forma de mensurar o desempenho de programas, é necessário definir medidas para a aferição do resultado obtido. Essas medidas para contabilizar os resultados são denominadas de critérios de avaliação. Eles mostram que existe uma lista longa de critérios a ser utilizados na avaliação de políticas públicas, segundo o manual do Fundo das Nações Unidas para a Infância (Unicef), que são:
Eficiência – termo originado nas ciências econômicas que significa a menor relação custo/benefício possível para o alcance dos objetivos estabelecidos no programa; Eficácia – medida do grau em que o programa atinge os seus objetivos e metas; O impacto (ou efetividade) – indica se o projeto tem efeitos (positivos) no ambiente externo em que interveio, em termos técnicos, econômicos, socioculturais, institucionais e ambientais; A sustentabilidade – mede a capacidade de continuidade dos efeitos benéficos alcançados através do programa social, após o seu término; Análise custo- efetividade – similar à ideia de custo de oportunidade e ao conceito de pertinência; é feita a comparação de formas alternativas da ação social para a obtenção de determinados impactos, para ser selecionada aquela atividade/projeto que atenda os objetivos com o menor custo; A satisfação do beneficiário – avalia a atitude do usuário em relação à qualidade do atendimento que está obtendo do programa; A equidade – procura avaliar o grau em que os benefícios de um programa estão sendo distribuídos de maneira justa e compatível com as necessidades do usuário (COSTA; CASTANHAR, 2003, p. 973, grifos do autor).
Os autores relatam que a aplicação desses critérios é calculada a partir da identificação e quantificação dos resultados obtidos, que nos trabalhos de avaliação essa outra categoria refere-se aos indicadores.
Eles dão alguns exemplos de definição de indicadores sociais, e, numa tentativa de se sistematizar a discussão, eles citam a definição de Rob Vos (1993) que distingue, do ponto de vista metodológico, três categorias de indicadores sociais: os indicadores de resultado, os de insumo e os de acesso.
Os indicadores de resultados refletem os níveis de satisfação de necessidades básicas alcançados. São também denominados de indicadores de nível de vida. Por exemplo: esperança de vida, mortalidade infantil, grau de alfabetização, níveis de educação e nutrição, entre outros. Os indicadores de insumo se referem aos meios (recursos) disponíveis para se obter um determinado padrão de vida. Esses meios para atender necessidades básicas distintas podem incluir, por exemplo, no campo da nutrição, a renda e a disponibilidade de alimentos; no campo da saúde, a disponibilidade de água potável, de centros de saúde e o número de médicos por habitante e; na área da educação, o número de escolas e de professores por aluno. Já os indicadores de acesso identificam os determinantes que permitem tornar efetiva (e em que grau) a utilização de recursos disponíveis para atender determinadas necessidades básicas (ROB VOS, 1993 apud COSTA; CASTANHAR, 2003, p. 974, grifos do autor).
Costa e Castanhar (2003) argumentam que, para fins de avaliação de políticas públicas e programas sociais, este último, que é denominado de indicadores de acesso, é particularmente relevante, pois eles apontam que o fato de que existir serviços básicos oferecidos à população não garante que todos consigam acessá-los.
Refletir a partir da totalidade da implementação de uma política, sua eficiência, se esta atingiu seus objetivos ou até mesmo se conseguiu ir além de sua proposta dos resultados que almejava alcançar é parte indispensável do ato de avaliar. Conforme Jannuzzi (2006), cada vez mais se observam jornalistas, lideranças populares, políticos e população em geral fazendo o uso de indicadores sociais para avaliar os avanços, os retrocessos nas condições de vida da população, apontar a eficácia ou ineficiência das políticas públicas ou defender suas posições quanto às prioridades sociais a atender.
Um indicador social é uma medida em geral quantitativa dotada de significado social substantivo, usado para substituir, quantificar ou operacionalizar um conceito social abstrato, de interesse teórico (para pesquisa acadêmica) ou programático (para formulação de políticas públicas). É um recurso metodológico, empiricamente referido, que informa algo sobre um aspecto da realidade social ou sobre mudanças que estão se processando na mesma (JANNUZZI, 2006, p. 15).
São os indicadores sociais que apontam a necessidade de se pensar políticas públicas na área da saúde, educação, segurança, entre outros setores da sociedade, de acordo com as prioridades definidas pela população. Os grupos sociais apontam demandas referentes a situações diversas de vulnerabilidade social, que exigem uma ação concreta do setor público.
Mudanças na realidade social investigada são identificadas por indicadores, que são um recurso metodológico indispensável no trabalho de avaliação de políticas públicas. Entretanto, ao atender a demandas sociais através de ações do poder público, da formulação e
implementação de políticas públicas, é importante garantir a participação e controle da sociedade no processo, legitimando a política que foi ou está sendo implementada.
Neste sentido, indicadores sociais usados de forma responsável, inteligível e transparente podem estabelecer parâmetros concretos para discussão dessa natureza, conteúdo e prioridades das políticas governamentais, dos programas públicos e dos projetos de ação social. Indicadores sociais são instrumentos para efetivo empoderamento da sociedade civil, de controle e direcionamento das atividades do poder público (JANNUZZI, 2006, p. 35).
Em suas reflexões, o autor entende a importância da sociedade civil estar presente no processo que envolve a definição e prioridade das políticas que vão ser criadas em determinados governos. O indicador social será fundamental para orientar as mudanças e as demandas mais urgentes entre os diferentes segmentos sociais.
O autor aponta que a sensibilidade de um indicador diz respeito a sua capacidade em refletir mudanças significativas, se realmente existe uma alteração nas condições que afetam a dimensão social envolvida. Conforme Jannuzzi (2006, p. 26), “A relevância social do indicador e, portanto, a pertinência de sua produção e uso é, pois, historicamente determinada, resultante da agenda de discussão política e social de cada sociedade ao longo de sua trajetória”.
Jannuzzi (2006) ainda argumenta que os Indicadores Sociais se prestam a subsidiar as atividades de planejamento público e formulação de políticas sociais nas diferentes esferas do governo, possibilitando, dessa maneira, o monitoramento das condições de vida e bem-estar da população por parte do poder público, da sociedade civil, como também, permitindo um aprofundamento da investigação acadêmica sobre a mudança social, sobre os determinantes dos diferentes fenômenos sociais.
Costa e Castanhar (2003) compreendem que a avaliação de desempenho de um programa exige que se definam padrões de referência para fazer o julgamento desse desempenho. Eles podem ser absolutos, históricos, normativos, teóricos, negociados ou de compromisso.
Nos absolutos, as metas estabelecidas por um programa são consideradas como o padrão a ser alcançado e os desvios devem ser registrados e analisados; Os históricos, comparam resultados de um período com o obtido em períodos anteriores; Os normativos, comparam o desempenho de um programa com outros similares ou com programas semelhantes realizados em outros níveis de governo, região, ou no exterior; Os teóricos, são os