Avaliação –As análises focadas nesta etapa ocupam-se do delineamento dos resultados

obtidos visando identificar a efetividade e eficiência da proposta e dos mecanismos de implementação adotados no alcance dos objetivos formulados na política, bem como a identificação dos benefícios oriundos dos esforços empreendidos a partir da política formulada

e efetivamente implementada no território. Esta última interessa-nos particularmente para os fins deste trabalho.

Avaliação de impacto é definida como análise que busca identificar quais e o quanto os fenômenos em observação em um determinado território e num dado momento no tempo foram transformados por meio das ações induzidas por uma política pública específica, tomando como reflexo as condições que a antecederam, o tempo de sua implementação, as ações transformadoras provocadas pela política pública em apreço e paralelas a sua implementação, e o momento da análise. Conforme o trabalho de Oliveira e Martins (2003, p.6), a medição do impacto de uma política pública (Ipp) poderia ser feita utilizando a equação Ipp = [Fn, Fn+m] onde Fn+m = Fn+(An+m)

[Dá-se o nome de] Fn a um conjunto de fenômenos modificados por uma política pública PP; de n o momento “situação pré-existente”; de An+m a um conjunto de ações sociais, políticas e econômicas transformadoras de Fn, durante um período de tempo m (momento de implementação da política pública); e de Fn+m a um conjunto resultante da combinação de atos e fatos atribuíveis a PP, observados por um avaliador situado num instante n+m (momento “situação modificada”)

Contudo, há diferenças nos objetos e objetivos específicos de cada política pública que precisam ser consideradas. Quando se trata de políticas de redução da pobreza ou aumento da taxa de emprego, a avaliação de impacto é simplificada pela relação Ipp>0 ou Ipp<0, identificando sua repercussão positiva ou negativa sobre a realidade do fenômeno observado. No entanto, em se tratando de Políticas Públicas de C,T&I, há uma distinção entre resultado e benefício que complexificam sua avaliação. Nessas políticas, o Resultado é a relação “direta” de causa e efeito, trata-se das respostas alcançadas pelas estratégias elaboradas frente aos objetivos definidos; Já o Benefício, está ligado à dimensão territorial da política pública, é um desdobramento espaço-temporal do processo e de seus resultados. Enquanto o Resultado é mérito fim da ação, benefício é mérito do processo a partir do qual estruturas, competências e cultura são construídas, atraídas e/ou fixadas.

Na abordagem tradicional da análise e avaliação de políticas públicas, há uma profusão de métodos aplicáveis que buscam determinar, pela comparação entre os cenários ex ante e ex post a aplicação dos instrumentos formulados para uma determinada política, em um território definido, se há e quais foram as mudanças “promovidas através” da política. Destacamos aqui alguns dos principais métodos listados nos estudos em apreço:

O Estudo de caso é o método qualitativo usualmente utilizado nas ciências sociais aplicadas. No contexto da análise de políticas públicas, é mais frequentemente adotado em avaliações de formulação, visto o entendimento deste processo como um evento particular

pautado em acontecimentos e demandas de um dado momento. As críticas a esse método são abrangentes e estão recorrentemente ligadas a adoção de métodos descritivos e qualitativos sem, contudo, estarem pautados em parâmetros estáveis de rigor metodológico e do planejamento da pesquisa, pela falta de protocolos e de critérios na busca por evidências e na justificativa da escolha dos casos estudados, o que caminha para que produzam uma profusão de análises pontuais de políticas específicas, com baixo teor de generalização e pouca reverberação na formulação de uma teoria que embase análises posteriores, reduzindo a validade dos resultados obtidos (BARBOSA, 2008; CONSOLI et al., 2008; CESAR; ANTUNES, 2008).

Apesar da dificuldade em executar os estudos de caso com parâmetros validáveis, autores como Yin (1986; 2005), Stake (2005) e Lima et al (2012) definem uma sequência de procedimentos para assegurar a obtenção de resultados relevantes. São eles: 1) Formulação do problema pela identificação da questão que motiva a realização da pesquisa; 2) Definição da unidade caso que estabelece os limites do objeto de pesquisa; 3) Determinação do número de casos – único quando se tratar de um evento isolado ou fora dos padrões, ou múltiplos; 4) Elaboração do protocolo, ou seja, a definição dos procedimentos metodológicos a serem seguidos no desenvolvimento do estudo com fins de facilitar a 5) Coleta de dados; que é sucedida pela 6) Avaliação, análise e triangulação dos dados, os quais devem estar balizados em critérios de validação interna, externa e de confiabilidade; para, finalmente, proceder a 7) Preparação do relatório que apresente os resultados e a descrição consistente dos procedimentos seguidos para sua obtenção, tornando-o apto à comparação em estudos posteriores.

Na atual conjuntura das análises de impacto das políticas públicas brasileiras, tem sido frequentemente aplicada a Metodologia do marco lógico ou Matriz Lógica como meio para avaliar a adequação das ações e estratégias de implementação da política frente aos objetivos por ela definidos, bem como seus resultados segundo indicadores de desempenho elencados para cada critério considerado (MOKATE, 2002; CARVALHO, 2003; COSTA; CASTANHAR, 2003; TREVISAN; VAN BELLEN, 2008). A estruturação organizacional de uma matriz lógica pode se dar de duas formas: primeiro, pelo cruzamento entre objetivos, indicadores e fatores externos capazes de influenciar nos resultados esperados ou obtidos frente as especificações dos objetivos geral e específicos e seus componentes, as ações e atividades previstas para alcançá-los (Quadro 2); Segundo, em uma reflexão estruturada em dois momentos: Momento 1 da identificação dos objetivos gerais e específicos do programa e dos indicadores e suas respectivas fontes, através dos quais os resultados do programa serão mensurados, comparados e analisados; Momento 2 – da identificação dos recursos (financeiros,

humanos, infraestrutura) alocados no programa, das atividades previstas e dos resultados esperados, com base na construção de relações de causa e efeito previstas na teoria (Quadro 3)

Quadro 2 - Modelo 1 de Matriz Lógica