EXTERNO OBJETIVO GERAL Objetivo específico 1 Ação 1
Especificação 1 Obj. 1 Indicador 1 Fator 1 Indicador 2 Fator 2 Especificação 2 Obj. 1 Indicador 3 Fator 3 Especificação 3 Obj. 1 Indicador 4 Fator 4
Ação 2 Especificação 4 Obj. 1 Indicador 5 Fator 5
Ação n Especificação 5 Obj. 1 Indicador 6 Fator 6
Objetivo específico n
Ação 1 Especificação 1 Obj. n Indicador 7 Fator 7
Ação n Especificação n Obj. n Indicador 8 Fator 8
Fonte: Elaborado a partir de Carvalho, 2003
Quadro 3 - Modelo 2 de Matriz Lógica
MOMENTO 1 MOMENTO 2
OBJETIVOS INDICADOR FONTES ATIVIDADES RESULTADOS
ESPERADOS RECURSOS
Objetivo Geral
Objetivo específico 1
Indicador 1 Fonte 1 Atividade 1 Resultado 1.1 Financeiro Indicador 2 Fonte 2 Atividade 2 Resultado 1.2 Humano Indicador 3 Fonte 3 Atividade 3 Resultado 1.3 Infraestrutura Objetivo
específico 2
Indicador 4 Fonte 4 Atividade 1 Resultado2. 1 Financeiro Indicador 5 Fonte 5 Atividade 2 Resultado2. 2 Humano Indicador 6 Fonte 6 Atividade 3 Resultado2. 3 Infraestrutura Objetivo
específico n
Indicador 7 Fonte 7 Atividade 1 Resultado 3.1 Financeiro Indicador 8 Fonte 8 Atividade 2 Resultado 3.2 Humano Indicador 9 Fonte 9 Atividade 3 Resultado 3.3 Infraestrutura
Fonte: Elaborado a partir de Costa; Castanhar, 2003
Ainda no âmbito dos métodos matriciais, a Embrapa (2012) tem aplicado a Matriz de
Análise de Política (MAP) desenvolvida por Monke e Pearson (1989) e cada vez mais utilizada
em “estudos de avaliação da eficiência econômica, da competitividade internacional e dos impactos das políticas sobre as cadeias agroindustriais em diferentes contextos e países”.
[A MAP foi] originalmente desenvolvida em 1981 como instrumental de análise na política agrícola de Portugal, e cuja atenção é dirigida para padrões eficientes de produção e preço que permitem obter uma avaliação dos efeitos de novas tecnologias sobre a lucratividade do sistema utilizado, através de comparações e variações nos orçamentos gerados pela alteração de uma subsérie de dados de insumos e de produção. (ALVIM, et al., 2004)
De maneira sintética, o método trata da identificação dos impactos de uma política (tecnológica) aplicado, no geral, em estudos sobre a flutuação dos preços de produtos agrícolas, tomando como referência os custos privados e sociais de sua implementação, proporcionando, assim, a análise custo benefício da estratégia empreendida com foco nos resultados efetivamente obtidos, permitindo “estimar, com razoável grau de exatidão, os custos e os lucros da produção, revelando a maneira pela qual as políticas afetam a rentabilidade privada e a social de uma atividade” (ALVIM, et al., 2004).
De fato, a relação Custo-Benefício e Custo-Efetividade25 é uma preocupação recorrente nas avaliações de política pública por ser estrategicamente essencial considerando-se os recursos limitados à disposição, que tornam a definição ineficiente de seus objetivos não só um desperdício de recursos, mas de oportunidade, uma vez que retira os investimentos direcionáveis à objetivos eficientes – “Because resources are in limited supply, the achievement of any particular objective will usually come at the expense of reduced activity in some other economic endeavor”. (MONKE e PEARSON, 1989). Isso torna a avaliação das estratégias para cumprir com os compromissos assumidos pela política pública um caminho para definir a “conveniência de promover um determinado objetivo” em detrimento de outros que advém das demandas sociais e da identificação de lacunas territoriais para o cumprimento das estratégias Isso posto, entende-se que a própria identificação da razão coerente entre custo e benefício/efetividade em política pública pressupõem o conhecimento das demandas e oportunidades presentes no território, as quais são pouco consideradas nos métodos tradicionais em geral. Uma aproximação sutil da compreensão territorial da política pública sem, contudo, incluir essa dimensão na análise é identificada no Método contrafactual (Coarsened Exact Matching), que traz como lógica subjacente identificar “o que teria acontecido caso a política não tivesse existido”. Propõem-se a, através de uma abordagem comparativa, avaliar as diferenças entre empresas (e territórios) que receberam e que não receberam o suporte de uma determinada política.
Quando aplicada na mensuração das transformações promovidas pela política pública em um dado recorte espacial, atém-se à análise comparativa de quais seriam as condições do
25 As análises Custo-Benefício e Custo-Efetividade são técnicas analíticas utilizadas para comparar as consequências negativas e positivas da aplicação de recursos em uma determinada estratégia. Diferenciam-se entre si porque, a primeira estima os benefícios tomando como referência a unidade monetária, seu ponto positivo é permitir a análise de programas e projetos individualmente, mas também a comparação entre propostas diferentes; a segunda tem como ponto forte permitir a análise de impactos indiretos e não monetizáveis usando como medida a “unidade de efetividade”, mas tem sua capacidade de aplicação em análises comparativas restrita a programas destinados ao mesmo objetivo (Warner; Luce, 1982; Cohen; Franco 2002)
território com e sem a intervenção da política. Para tanto, o método propõe selecionar dois recortes espaciais de características semelhantes, um com a aplicação da política em estudo e outro que não recebeu essa intervenção, intentando estabelecer uma relação causal entre Ação- Resultado para, assim, avaliar as transformações que foram desencadeadas pela política pública. Na ausência de lócus com tamanha semelhança, outro modo de aplicação do método seria a comparação entre territórios diversos entre si, mas ambos alvos da mesma política pública (MAMEDE, 2013).
No entanto, o aspecto comparativo do Método contrafactual falha em estabelecer uma compreensão territorial da política pública com base em dois pontos: A comparação entre territórios diferentes que receberam a influência de uma mesma política pública não favorece a definição de causalidade, tornando a atribuição de um resultado a uma determinada política uma inferência questionável, haja vista que outras influências (potencial e provavelmente diversas) presentes em cada sistema podem afetar o desenvolvimento, logo, os desdobramentos das ações; E a busca por sistemas territoriais semelhantes em composição ignora as dinâmicas de segunda ordem que podem lhes conferir diferentes resultados através de uma mesma “perturbação”26, tornando dúbio analisar a evolução de dois territórios, com e sem as interferências de uma política pública, visto que não há como estimar em que medida uma perturbação não aplicada pode afetar o status quo do sistema ao promover a emergência de novos atributos. Daí advém as dificuldades de se estabelecer leis gerais nas ciências sociais, posto que cada grupo responde de maneira específica aos estímulos que recebe (PUTNAM, 2005).
A profusão de métodos, o que por definição afeta a obtenção dos resultados nas avaliações de política pública, justificou a proposta de aplicação da Meta-Avaliação, baseada no método estatístico da meta-análise que tem por finalidade integrar os resultados de dois ou mais estudos realizados de forma independente sobre um mesmo objeto (ZIMMER, 2006; CASSOL, 2012; PINTO, 2013; BICUDO, 2014). Consiste na definição de critérios para investigar se os métodos utilizados e a forma como a avaliação da política pública foi conduzida produziram resultados válidos ao ponto de servirem de parâmetro para novas avaliações. A meta-avaliação é precedida pela pesquisa de gabinete com fins de identificar e selecionar as avaliações a serem verificadas. Após essa seleção, realiza-se a meta-avaliação com base em Critérios "descritivos" e metodológicos que buscam identificar parâmetros como: a abrangência
da avaliação, a precisão da descrição de seu objeto, objetivos, questões e metodologia, o horizonte temporal das avaliações em análise, se foram feitas por pessoas internas ou externa ao processo de formulação e implementação da política pública, que dados foram utilizados, quais as fontes, formas de coleta e seu respectivo nível de confiabilidade; a abrangência e clareza nos relatórios. (GAO, 1992; GOOD, 2012).
Pela realização sistemática de meta-avaliações seria possível produzir uma Avaliação
Síntese dos efeitos (resultados, impactos e benefícios) identificados no quadro geral das meta-
avaliações, os quais podem ser verificados pela realização de entrevistas complementares. A avaliação síntese figura como meio para criação de um arcabouço de informações que forneçam o quadro geral da política pública a seus formuladores, gestores e a sociedade como um todo. No entanto, a comparação entre as diferentes avaliações é dificultada pela diversidade de critérios e de indicadores que, em geral, dão ênfase a análises qualitativas pautadas em um número restritivo de parâmetros quantitativos, gerando insurgência de críticas que caminham, de um lado, para a parcialidade dos estudos, em parte apontados como instrumento aplicado prioritariamente com três objetivos: Verificação, Proposição e Legitimação.
Pela realização de estudos comparativos do status quo A vs. B em um território selecionado; ou mesmo pela comparação entre territórios semelhantes, com e sem as influências decorrentes de tal intervenção, busca-se evidenciar as mudanças ocorridas entre as conjunturas pré e pós aplicação de determinada política pública, demonstrando se e quais foram os resultados alcançados. A verificação que aponta “resultados positivos” legitima as intervenções como eficientes, gerando a proposição da continuidade do processo nos moldes correntes ou o upgrade das iniciativas. A verificação da ocorrência de “resultados negativos ou inexpressivos” leva a proposição da descontinuidade da política e/ou de novas ou modificadas políticas públicas, respondendo a interesses de atores específicos, dentre eles o próprio Estado.
Para as finalidades mencionadas, os métodos acima abordados estimam serem capazes de avaliar as transformações desencadeadas pela política pública, fazendo uso das informações sobre as conjunturas em dois momentos do processo de sua elaboração, implementação e avaliação, usando para tanto alguns indicadores de resultado. Porém, este tipo de avaliação assume, em grande medida, uma perspectiva pontual da observação das ações materiais de uma política específica, em busca de atribuir as alterações identificadas aos programas que a implementam. Desconsideram, todavia, as dificuldades em se estabelecer causalidade por meio de uma análise respaldada em um enfoque comparativo estanque: criam-se, frequentemente, através da adoção de abordagens estatísticas, uma relação de causa e efeito possível pela seleção
de um número ‘pequeno’ de variáveis, as quais, mantendo-se as demais condições inalteradas, seriam capazes de explicar os resultados e benefícios em foco (ARNOLD, 2004).
Além das críticas sobre a quem servem os estudos de política pública, há um conjunto de questionamentos sobre a consistência dos métodos, levantando dúvidas sobre a pertinência das análises como um todo: Primeiro, há uma profusão de esforços aplicados em uma indiscriminada horizontalidade de onde emerge um número grande de estudos de caso que ampliam o escopo em foco sem, verticalmente, produzir um aparato teórico que embase a análise (MELO, 1999; 2003; ARRETCHE, 1998; 2003; SOUZA, 2003; TREVISAN; VAN BELLEN, 2008); segundo, grande parte dos estudos parece separar o que organicamente está articulado: as fases da formulação, implementação e avaliação não podem ser consideradas isoladamente e de forma estanque, sem afetar o entendimento holístico de como a política pública funciona.
Tal comprometimento teria o olhar voltado quase que exclusivamente ao design da intervenção, incorrendo no risco de, pela adoção de abordagens fragmentadas, entender os resultados como decorrência direta (exclusiva) da estrutura e dos processos de aplicação da política pública. O problema dessas perspectivas está na sobreposição entre as características inerentes à construção de políticas públicas, em especial se tratam de inciativas de planejamento do Estado em nível federal a serem aplicadas em outras esferas de governança, frente à mutabilidade dos fatores em foco e a variabilidade dos elementos em jogo nos diferentes sistemas territoriais, de onde emergem especificidades com as quais as intervenções políticas e as ações que delas decorrem precisam lidar.
Por definição, as políticas públicas possuem três características essenciais e
organicamente articuladas: Multiescalaridade, Hierarquia e Hereditariedade.
Independentemente do nível do sistema no qual a política pública é concebida (a exemplo das esferas federal, estadual e municipal de governança) há subsistemas que o compõem, fazendo com que haja uma interseção entre conjuntos de diferentes escalas, as quais estão geralmente ligadas de forma hierárquica, o que resulta na adoção indiscriminada de regras, processos, objetivos, estruturas e prioridades concebidas em um nível sistêmico superior, com base em interesses que nem sempre se comunicam com as diversas escalas de aplicação da política, as quais podem abranger territórios de fato heterogêneos - as regras são as mesmas, porém, aplicadas em composições sistêmicas diferentes quanto ao tamanho, estrutura, demandas e interesses - tornando pouco provável a obtenção de resultados uniformes.
As pesquisas dos últimos 30 anos demonstram a complexidade e a dinâmica que interferem nos resultados da política pública de ciência, tecnologia e inovação, evidenciando o
caráter sistêmico e a forte interferência de fatores específicos e endógenos aos territórios frente a perturbações forâneas. Isso levanta a perspectiva de que a consistente análise de políticas públicas de C,T&I deve considerar a interferência dos elementos presentes no território que se relacionam, a fim de produzir ou inibir as condições necessárias à construção de uma estrutura social e produtiva inovativa, ou seja, que alavanquem o processo de catching up de territórios que pouco participam da dinâmica econômica pautada em inovação. (ALBUQUERQUE, 2009; ARNOLD; 2004)
A internalização da realidade desta interferência no corpo teórico da Geografia da Inovação cria novos desafios às análises e até mesmo ao design das políticas públicas que precisarão considerar elementos que vão além das leis de mercado, mas se centram em pontos sedimentados no território como a (in)eficiência da estrutura educacional-científico-tecnológica construída ao longo da história e em desenvolvimento; a base de competências presentes e/ou acionáveis, seus potenciais e lacunas; as instituições e o comportamento social, a presença ou rarefação de valores inovativos internos a cultura que permitem e estimulam ou inibem e destroem o surgimento e desenvolvimento da dinâmica inovativa em determinado território. Fatores como esses definirão as relações entre os atores envolvidos, seus objetivos e interesses articulados, as regras da cooperação e, assim, a medida de sucesso das políticas de C,T&I implementadas. Isso posto, mesmo tendo em foco os resultados e benefícios da Política pública do Fundo Setorial de Energia, o que legitimariam a avaliação de impacto e/ou a realização de um estudo de caso, temos em mente um objetivo maior: a dimensão territorial como centro de análise mediada pela abordagem sistêmica.
2.2.2.1 Abordagem Sistêmica e a Avaliação de Resultados e Benefícios de Políticas Públicas de C,T&I
O entendimento do comportamento sistêmico da Política Pública tem origem no trabalho de Easton (1965 - Figura 5). A partir da definição do autor, compreendemos que no Sistema Político interagem os diversos atores, indivíduos e organizações com seus respectivos interesses, que se relacionam com base nas estratégias elaboradas para alcançar os objetivos específicos e globais do sistema, as quais estão imersas no contexto de sua organização, regida por um conjunto de leis e normas, e afetada pelos inputs oriundos das ideologias e alianças partidárias, das mídias, das demandas sociais e das mobilizações dos grupos de interesse.
É um sistema aberto que tem a função de responder às demandas e articular os diversos interesses em prol do projeto de futuro para o ambiente, ou seja, o território no qual se estabeleceu e do qual advêm o suporte social/ideológico, de recursos, estruturas e competências
que o sustentam. Ao mesmo tempo, é influenciado por entradas que se originam de ambientes externos ao território para o qual o sistema político em foco se definiu. Estabelece-se, desta feita, a dinâmica do sistema político, na qual a formulação, os resultados (esperados e/ou já alcançados) e o ambiente relacionam-se na tomada de decisões e na elaboração das políticas que definem quem; o que; quando; como; onde; porque e por quanto tempo uma determinada estratégia será (re)produzida socialmente.
Figura 5 - Esquema simplificado do Sistema Político
Fonte: Modificado a partir do trabalho de Easton (1965)
As ações oriundas das decisões e políticas criadas produzem resultados e benefícios, os quais interferem no próprio sistema gerando feedbacks que retroalimentam o processo, criando demandas, reforçando o suporte, bem como afetam o exterior, produzindo outputs que interferem no conjunto mais amplo ao qual o território pertence, o que configura o sistema político como um subsistema do sistema territorial. Isso é decisivo quando consideramos as especificidades das Políticas Públicas de Ciência, Tecnologia e Inovação que respondem às demandas oriundas da dinâmica da economia intensiva em C,T&I, as quais ressaltam a dimensão territorial, essencial não só ao desenho de estratégias, mas a compreensão dos processos econômicos. Contudo, as propostas de iniciativas que consideram a importância do fator espaço estão focadas em uma perspectiva pragmática do território, que é analisado sob o viés de composição e seleção: quais as características do território que se pretende desenvolver, ou em que frações do território se encontram adensados, em níveis aceitáveis, os indicadores considerados essenciais para o andamento da estratégia em foco.
Tomando por princípio o conceito de sistema territorial abordado, entende-se que o sistema político que interfere no território em uma determinada escala pode não estar ancorado nela. Isso posto, tem-se que a análise sistêmica de política pública de C,T&I envolve os princípios de Multiescalaridade, Hierarquia e Hereditariedade que são particulares a concepção das políticas públicas sob o ponto de vista territorial, ressaltando o papel dos diversos poderes que se articulam para inserirem nas agendas políticas seus interesses particulares para o território. As relações de poder que estabelecem as referências territoriais para o desenvolvimento de políticas nacionais de ciência, tecnologia e inovação trabalham com a ideia de que as estratégias construídas para alcançar os objetivos da política, quando pensadas territorialmente, estão vinculadas às características dos territórios onde os elementos por ela incentivados têm melhores condições de se desenvolver, negligenciando-se as peculiaridades dos espaços marginais, onde essas características “ótimas” mostram-se pouco densas, raras ou inexistentes, logo, desconsiderando o potencial que as políticas de C,T&I possuem de contribuir para a instauração de especialidades regionais e para redução das dissimetrias espaciais, o que ressalta a relevância da escala em que a política é concebida e aplicada, dos princípios que a norteiam (hierárquicos ou cooperativos), dos objetivos que ela apresenta, de como estes são definidos e das estratégias elaboradas para alcança-los.
Isso aparece em especial no âmbito de C,T&I, onde se estima que a ausência das condições necessárias ao pleno desenvolvimento da política pública elaborada; mais ainda a inadequação das Políticas Públicas de C,T&I frente as demandas e interesses de um determinado sistema territorial não impediriam o alcance de seus objetivos, os quais seriam obtidos, por compensação, em outro (sub)sistema territorial, apto a concorrer pelos recursos e esforços empreendidos pelo Estado no interior de um mesmo país. Tais abordagens, no entanto, desconsideram a relação de mão dupla entre estratégias para o desenvolvimento territorial e redução das dissimetrias socioespaciais e estratégias para a produção, difusão e aplicação econômica e social da ciência, tecnologia e inovação, fortalecida no contexto da economia do aprendizado, favorecendo as disparidades já potencialmente ampliáveis dado o Efeito Rainha Vermelha (VALEN, 1973; CGEE, 2014, LUNDVALL, ALBUQUERQUE, 2009).
Inserir o ambiente, ou seja, o território no interior do conceito de sistema político, logo na abordagem sistêmica para a análise de políticas públicas de C,T&I, mostra-se essencial dada a relação entre a definição dos objetivos e estratégias para a produção, difusão e aplicação cooperativa de C,T&I e as características socioprodutivas presentes em cada território. Fatores como: que problemas e quais demandas ganham destaque ao ponto de comporem a agenda de intervenções; qual a função, a escala e os objetivos da política pública; atendendo a que
interesses as políticas são estruturadas; como as políticas são implementadas e que ações são definidas como capazes de realizar seus objetivos; onde a política será aplicada e quais as especificidades de estrutura e organização (atores, demandas, interesses) presentes relativas as características definidas como essenciais ao ‘sucesso’ da política em foco; estão em pauta quando se pretende analisar não apenas quantitativa, mas qualitativamente os resultados e benefícios reais das ações propostas pela política pública.
A dimensão territorial está impressa na reflexão sobre a pertinência e adequação – que consiste em considerar se esta é, respectivamente, a prioridade e a melhor estratégia para esse