Metodologia de Avaliação em profundidade: percurso histórico metodológico da avaliação de políticas públicas.

No Brasil, a avaliação de políticas públicas recebe notoriedade com a dependência financeira do país às agências internacionais. Contudo, de lá para cá, houve intensa modificação de suas ferramentas e finalidades, que conduziu à elaboração de uma nova modalidade de avaliação. Desta vez, capaz de enxergar a política além de seus objetivos, focada na avaliação política da política, e, principalmente, na visão da política pelos seus beneficiários.

Isso, deveu-se, em grande parte, porque, ao longo de diversos governos brasileiros, observou-se um indiscutível processo de reforma contínuo e gradual imposto pelo Estado (GUSSI;OLIVEIRA, 2016).

Desse modo, teremos um Estado que, outrora, tradicionalmente atribuía ao crescimento econômico e à geração crescente de postos de trabalho com carteira assinada, articulado a todos os benefícios do Estado de bem-estar, como meios de enfrentar a exclusão social, passar a dedicar-se recentemente a investir em políticas públicas de caráter social para atingir esta finalidade (GONÇALVES, 2008). Contudo, cabe considerar:

[...] que a ênfase posta nas políticas públicas de caráter social tem seus marcos em processos gerais, tais como: a falência do Estado de bem-estar social, os processos de reestruturação produtiva, a transformação do paradigma tecnológico, a crise da sociedade do trabalho, a globalização da economia e a implementação das políticas de corte neoliberal pelo mundo afora. Trata-se de fatores inter-relacionados intimamente conectados aos interesses sistêmicos do capital transnacional. [...]. (GONÇALVES, 2008, p.19).

Nesse sentido, em toda a América Latina será identificado este interesse dos governos em relação à implantação de programas sociais. Devido principalmente à deterioração das condições de vida da população, em consequência da crise dos anos oitenta, além de temerem explosões de violência social que poderiam conduzir a uma instabilidade política. Assim, incentivados por organizações internacionais impulsionadoras dos ajuste econômicos, compreenderam a necessidade de reforço nas ações sociais como forma de viabilizar o Estado de ajuste (COHEN;FRANCO, 1993).

Diante desta realidade de reforma do Estado, no final de década de 1980 e início da década de 1990, ganha notoriedade no Brasil a temática da avaliação de políticas públicas, direcionada a uma agenda neoliberal e com limitada literatura sobre a temática. Esta importância dada à avaliação decorreu da dependência do país frente às agências financiadoras internacionais, como o Banco Internacional para a Reconstrução e o Desenvolvimento (BIRD) e o Banco Interamericano de Desenvolvimento (BID), que iniciam a cobrança de processos de monitoramento e avaliação dos projetos por ele financiados (RODRIGUES, 2008).

Guba e Lincoln (2011) esclarecem que, por muito tempo, creditou-se que os resultados advindos de uma avaliação nos moldes positivistas eram confiáveis, pela metodologia ser considerada científica, e, portanto, comprovadamente isenta de valores. Os mesmos autores ainda afirmam que “as premissas do método científico eram em si cantos de sereia, pois pareciam axiomaticamente verdadeiras. [...]”. (GUBA;LINCOLN, 2011, p.43)

Com efeito, as avaliações das políticas e dos programas sociais serviriam como instrumentais meramente administrativos, capazes de serem utilizados para embasar tomadas de decisões, possibilitar otimização do gasto público, maximizar os resultados, identificar êxitos e enfrentar as dificuldades com maior margem de acerto. Assim, ao se utilizar da credibilidade e da cientificidade que esta avaliação parecia atribuir, pretendia-se justificar os processos de desregulamentação do mercado de trabalho e tentar “devolver” direitos sociais retirados com a redução do tamanho do Estado (ARAÚJO; BOULLOSA, 2009)

Mas, logo a avaliação foi perdendo seu status de instrumento privilegiado e incontestável da eficiência da gestão pública. Muitos autores passaram a questionar os impactos de anos de investimentos, quanto à qualidade das políticas e seus

instrumentos para atender aos problemas sociais. Por diversas vezes, o próprio viés gerencialista, atribuído à técnica da avaliação, que era veementemente questionado (ARAÚJO; BOULLOSA, 2009). De fato, neste tipo de abordagem “[...] há pouco espaço para a crítica à própria política desde sua formulação e menos ainda aos princípios nos quais ela se alicerça.”(RODRIGUES, 2008, p.9)

A partir dessa conjuntura, tornou-se urgente compreender que avaliar políticas públicas relaciona-se com o processo de natureza sociopolítico e cultural, em que os resultados sejam interpretados em relação às configurações do Estado e suas discrepâncias (GUSSI;OLIVEIRA, 2016). (GUBA; LINCOLN, 2011, p.43) complementam o autor acima ao afirmar que “[...] o pluralismo de valores de nossa sociedade é uma questão crucial a ser levada em consideração na avaliação. [...]”.

Gonçalves (2008) compreende que essas políticas precisam ser medidas a partir de fatores de ordem simbólica, porque elas são ressignificadas a partir da realidade de mundo dos atores alvos dessas políticas, e esta interpretação de mundo permeia as relações tecidas entre indivíduo e sociedade. Logo, “a avaliação não é uma atividade objetiva, mas, sim, carregada de subjetividade. [...]” (ARAÚJO; BOULLOSA, 2009, p.43).

Também Lejano (2012) sustenta que adotar uma abordagem interpretativa propicia presumir o tipo de práticas discursivas que estão incluídos no desenvolvimento dos significados. Principalmente porque ao identificar esses significados como construídos, é factível inferir que diversos processos influenciam em cada situação.

Na mesma linha, Rodrigues (2008) expõe que, tão logo a área acadêmica de estudo das políticas públicas foi amadurecendo e se firmando, novas abordagens surgiram e passaram a evidenciar a relevância da análise de contexto social, econômico, político e cultural, assim como a importância da análise organizacional, através de sua estrutura de funcionamento, relações de poder, interesses e valores que norteiam as instituições que estavam envolvidas na formulação e implementação das políticas.

Logo, fica evidenciado até aqui que:

Não há uma só maneira de realizar uma avaliação. Essa é sempre uma tarefa difícil e complexa, porque lida com sujeitos sociais, interesses, representações e contextos concretos. Dessa maneira, os projetos e programas sociais possuem uma série de variáveis e fatores intervenientes,

que dificilmente uma única estratégica avaliativa não tem condições de tratar com profundidade. (BARREIRA, 2000, apud ARAÚJO; BOULLOSA, 2009, p.115)

Constata-se que, a fim de proceder com uma avaliação mais precisa, é crucial compreender as quebras na continuidade do fluxo situadas entre a concepção e a ação do que inicialmente foi planejado e perceber os fatores de entrave, sejam eles de natureza política, econômica, social, cultural, burocrática e até legal. Analisar os pontos de inflexão e de interferência nos objetivos inicialmente determinados pela política, ou até os pontos de fusão, como a sobreposição de programas e dificuldades em definir especificamente o que se pretende avaliar. Além da necessidade de identificar como os usuários dessas políticas enxergam e se utilizam dela (RODRIGUES, 2008).

Analogamente, Lejano (2012) defende que é preciso indagar sobre o que é a política, investigar o universo de significados que lhe competem na esfera pública. Assim, torna-se inevitável que exista uma preocupação renovada com a essência múltipla e complexa da experiência, a partir da avaliação do contexto e do campo prático da política, visto que ela se desenvolve a partir e fazendo parte de um contexto. Criando assim, uma atmosfera com profundidade suficientemente capaz de assimilar suas contingências e particularidades, a partir também de sua coerência institucional. Assim:

[...]É importante compreender a dimensão social da avaliação, pois qualquer avaliação pode se revelar em um poderoso instrumento de diálogo entre os interessados nos objetos de avaliação, nos processos desencadeados, nos seus impactos e efeitos, esperados ou não. A avaliação tem, portanto, como pano de fundo um espectador múltiplo em um contexto específico: a sociedade na democracia. É preciso, portanto, que os avaliadores e as suas equipes problematizem com profundidade os valores embutidos nas avaliações, interpretando-a como instrumento sociodialógico, apoiada em uma pesquisa avaliatória, que deverá evidenciar a sua lógica, os seus critérios, premissas, vínculos e valores, para que o desejado diálogo ocorra. (ARAÚJO;BOULLOSA, 2009, p.49)

Nesta perspectiva, é apresentada por Rodrigues (2008) uma proposta contra hegemônica que reflete sobre a importância que as ciências sociais e a antropologia têm para o estudo das políticas públicas, tanto quanto à visão crítica, quanto à formulação e implementação das políticas, ou seja, que sejam capazes de

contribuir com os instrumentos teórico-metodológicos para esses estudos avaliativos das políticas. Além disso, define que:

A proposta de uma avaliação em profundidade implica, ainda, considerá-la como extensa, detalhada, densa, ampla e multidimensional, o que, por si só, coloca a multi e a interdisciplinaridade como condição primeira da tarefa de pesquisa. (RODRIGUES, 2008, p.11)

Ademais, em busca de atender às características acima citadas, alguns tópicos foram estabelecidos e tidos como essenciais para que, de fato, se efetive uma avaliação em profundidade de políticas públicas de caráter social, quais sejam: análise do conteúdo do programa; análise de contexto da formulação da política; análise da trajetória institucional de um programa e do espectro temporal e territorial (RODRIGUES, 2008).

Rodrigues (2008) vai esclarecer que a proposta da nova metodologia de avaliação precisará levar a abrangência analítica para além da política em si, do seu marco legal, de seu conteúdo e até mesmo de seu recorte empírico, para que esta torne-se suficientemente capaz de produzir inferências mais gerais a partir de resultados localizados. Logo,

[...] consideramos que a avaliação de políticas públicas sob a abordagem antropológica, como horizonte político e epistemológico a ser perseguido, permite revelar o potencial democrático de uma avaliação, de modo que essa se constitua em uma forma efetiva de controle social e de afirmação da cidadania e equidade. Mais do que isso, significa negar os modelos ortodoxos quase sempre afinados à perspectiva regulatória do Estado e às dinâmicas do mercado, apresentando-se como um referencial capaz de revelar, incorporar e analisar os embates, conflitos e dissensos resultantes das políticas públicas implementadas. (GUSSI;OLIVEIRA, 2016, p.98).

Depreendemos que, através desse processo de análise da construção de significados e de compreensão das diferentes nuances de poder que alteram essas políticas, são consideradas novas perspectivas sobre como as políticas podem ser mais adequadamente formuladas, e, levando a reflexões sobre as necessidades de reformas de instituições para deliberação pública (LEJANO, 2012).

Por fim, apenas sublinhar que trata-se de uma metodologia em construção, pois não há uma configuração correta para definir e determinar a forma de avaliar, nas palavras de (GUBA; LINCOLN, 2011, p.27) “[...]se fosse possível encontrar esse

sentido, isso poria fim, de uma vez por todas à discussão acerca de como a avaliação deve ser conduzida e sobre quais são seus propósitos. [...]”.

4.2. O Programa Mulheres Mil avaliado sobre o tripé: conteúdo, contexto e