Avaliação da política pública

A avaliação na área das políticas públicas vem se especializando e tornando-se um subcampo com disciplinas e recortes metodológicos próprios. Sabe-se, como já referimos no capítulo acima, que a avaliação não se limita a um único estágio do ciclo, iremos perceber e analisar que em todas as fases ou estágios de qualquer política é possível estabelecer processos avaliativos. Neste sentido é que autores como Saraiva (2006); Rodrigues (2010) e Jannuzzi (2012) diferenciam a etapa da avaliação do chamado Monitoramento, justamente por tratarem-se de processos avaliativos com objetivos distintos. Segundo Jannuzzi (201, p.254), a diferença entre avaliação e monitoramento “é a capacidade da primeira de refletir uma relação de causa e efeito e a possibilidade de inferir um julgamento de valor a uma intervenção ou programa”. Já o monitoramento verifica a realização regular e sistemática das atividades, seus produtos e resultados, comparando cada etapa com parâmetros pré- estabelecidos. O monitoramento é um processo contínuo de observação com maior volume de dados. Já a avaliação é executada esporadicamente e realiza uma leitura mais sistemática da política. Quadro 1 – Etapas do ciclo de políticas públicas.

ETAPAS DO CICLO DEFINIÇÃO DA AGENDA FORMULAÇÃO TOMADA DE DECISÃO IMPLEMENTAÇÃO AVALIAÇÃO TIPOS DE AVALIAÇÃO Avaliação de insumo Avaliação de desenho Avaliação de processo Avaliação de impacto - resultado

Fonte: JANNUIZZI, 2013. (Elaboração do autor).

No caso da avaliação enquanto etapa do ciclo, seu objetivo “é analisar os efeitos do programa para determinar a sua capacidade de gerar as mudanças planejadas” (JANNUZZI, 2013, p.08), permitindo inclusive a utilização das informações produzidas pelo próprio monitoramento. Percebe-se que as diferenças são mais complementares e que o alcance em determinada meta necessita da articulação conjunta do banco de dados produzidos pelo monitoramento e da sistematização da avaliação.

Segundo Subirats (2008, p. 207), a avaliação pretende examinar empiricamente a validade do modelo de determinada política e sua relação causal entre o problema e a solução proposta. Consequentemente, busca saber se a teoria da ação em que se baseia a política tem fundamento com a aplicação da política realizada.

Segundo Heidemann (2014), existem várias formas de conduzir um processo de avaliação, podendo ser caracterizadas especificamente de três formas.

A avaliação administrativa – que é realizada no âmbito do governo e, às vezes por órgãos especialistas cuja única função é avaliar as políticas. Com mais frequência, a avaliação poderá ser conduzida por uma unidade superior que fará uma avaliação mais específica no âmbito de certos temas: orçamentário, jurídico, financeiro, político e outros mais.

A avaliação judicial/ jurídica – seu objetivo não é avaliar o orçamento, a eficiência dos gastos, mas temas legais e que se referem à maneira como são implementados os programas do governo. Esta avaliação resulta em mapear os possíveis conflitos entre as ações do governo e os princípios constitucionais à obediência, à legalidade e aos padrões normativos estabelecidos na conduta administrativa dos servidores e usuários.

A avaliação política - é empreendida por quaisquer pessoas que tenham algum interesse na vida política. Diferentemente das outras duas avaliações, geralmente não são sistemáticas nem tecnicamente sofisticadas. O objetivo desta avaliação raramente é melhorar a política de governo, mas antes apoia-la ou contestá-la. O elogio ou a crítica podem levar a novas interações do ciclo, na medida em que os governos tentam responder às críticas, da mesma forma como acontecem com as grandes avaliações realizadas por instituições internacionais que mensuram a qualidade da política de forma mais técnica e fundamentada.

Como o modelo do ciclo é instrumentalizado dentro de uma concepção de sistema, os instrumentos de avaliação utilizados nestas etapas reproduzem esta mesma lógica, mesmo tratando-se de programas sociais, as avaliações resultam na tríade lógica-racional da relação custo- benefício. Um programa, projeto ou política quanto atente aos critérios de eficácia, eficiência e efetividade consegue obter êxito nas avaliações (SUBIRATS, 2008).

O processo avaliativo próprio neste estágio do ciclo é a avaliação do resultado/impacto que se caracteriza pela apreciação realizada pelos resultados alcançados e pelos impactos produzidos pela política. A mensuração é realizada a partir da constatação de que os objetivos foram ou não atendidos, bem como a produção dos efeitos colaterais pelas ações desenvolvidas.

Cohen e Franco (1993, p.118) analisam que toda pesquisa de impacto necessária à determinação dos resultados dependerá da adoção de dois tipos de modelos de pesquisas (antes e depois) para justamente controlar os efeitos não atribuídos à política. O propósito é estabelecer os efeitos líquidos ou os impactos da política.

Como a realidade social é um sistema aberto, de acordo com Silva e Silva (2001, p 85), não é possível o controle de todas as variáveis, não podendo afirmar categoricamente que um determinado efeito (impacto) decorreu exatamente da implementação de um determinado programa. Com isso, “o entendimento é que qualquer avaliação de impacto apenas identifica a mudança e sua dimensão ocorrida numa situação conhecida previamente, mas não pode afirmar categoricamente que o impacto resultou daquela variável”.

Para aplicar o método é necessário utilizar dois critérios conjuntamente: o primeiro é o temporal, isto é, delimitar o início e o fim para observar a mudança na estrutura ou produção de dados; depois vem o critério dos grupos de controle, permitindo observar especificamente o comportamento durante o lapso de tempo da observação (SILVA e SILVA, 2001, p. 87).

Figueiredo e Figueiredo (1986) afirmam que as pesquisas de impacto podem ou não contemplarem três dimensões da mudança. Isto dependerá dos objetivos da política e do recorte metodológico do avaliador. Sobre estas três dimensões os autores destacam:

Efetividade – é o critério de aferição da mudança/ impacto entre o antes e o depois da execução da política. Do seu sucesso ou fracasso em termo de uma efetiva mudança, a efetividade pode ser classificada em: a) objetiva – mudança quantitativa; b) subjetiva – tem sido usado para mensurar mudança no sistema de crenças e valores, notadamente, em função da adequação ou não dos resultados objetivos da política; c) substantiva – critério de aferição para mudanças qualitativas nas condições sociais de vida da população, alvo da política.

Eficiência – custo mínimo possível para o máximo de benefícios, é um critério largamente utilizado em estudos socioeconômicos, num

outro sentido, é entendido como a relação entre o esforço empregado nos estágios anteriores e com os resultados alcançados.

Eficácia – entende-se como a relação ou adequação entre os meios empregados para os fins produzidos, tendo em vista as condições organizacionais e sociais, nas quais o programa está sendo realizado.

Numa tentativa de síntese analítica apresenta-se abaixo um quadro para orientar a análise da política pública de Assistência Social de Florianópolis. Apresentando algumas perguntas norteadoras que serão respondidas na medida em que será apresentado o cenário geral da política de assistência social de Florianópolis. O quadro foi construído a partir das referências apresentadas em cada estágio do ciclo.

Quadro 2 – Fases da implantação de políticas públicas, segundo terminologia, conteúdo e questões.

SEQUENCIA TERMINOLOGIA CONTEÚDO QUESTÕES