Um sistema de indicadores sociais, para uso no ciclo de políticas públicas, surge a partir da explicitação da demanda de interesse programático (JANNUZZI, 2005), tais como, a proposição de programas para amplia- ção de atendimento à saúde, de redução do déficit habitacional, de aprimoramento do desempenho escolar
69
e de melhoria das condições de vida de comunidades. O autor afirma que indicadores sociais são medidas usadas para permitir a operacionalização de um conceito abstrato ou de uma demanda de interesse deter- minado. Os indicadores apontam, indicam, aproximam, traduzem em termos operacionais as dimensões so- ciais de interesse definidas a partir de escolhas teóricas ou políticas realizadas anteriormente. A partir desse entendimento, a avaliação de políticas públicas deve objetivar o fornecimento de subsídios às atividades do planejamento e de gestão das demandas da sociedade.
O processo de construção, por sua vez, parte do objetivo do programa, passando para as ações e, a partir delas, por documentos públicos ou privativos que possam potencializar a definição dos indicadores. Por essa ótica, busca-se delinear as dimensões, os componentes ou as ações operacionais vinculadas. Para o acompa- nhamento das ações em termos da eficiência no uso dos recursos, da eficácia no cumprimento de metas e da efetividade dos seus desdobramentos sociais mais abrangentes e perenes, buscam-se dados administrati- vos e estatísticas públicas, os quais, reorganizados na forma de taxas, proporções, índices ou mesmo em va- lores absolutos, transformam-se em indicadores sociais (JANNUZZI, 2005).
Há avaliações que antecedem o início do projeto (ex ante), vinculadas às tradicionais etapas de diagnóstico e formulação de programa social, ou, à análise de dados já existentes (secundários), que ocorrem durante a etapa de constituição (pari passu); que sucedem à ação (ex post). Na relação entre processos e resultados, surge outra possibilidade para os estudos avaliativos: avaliação de eficácia, avaliação de eficiência e avalia- ção de efetividade. A distinção entre as três é basicamente um recurso analítico destinado a separar aspec- tos distintos dos objetivos e, por consequência, da abordagem e dos métodos e técnicas de avaliação. Nesse aspecto, Minayo (2009) elege três indicadores: eficiência, para tratar da utilização de recursos finan- ceiros, materiais e humanos em relação às atividades e resultados alcançados; eficácia, para versar a respeito da relação entre as ações realizadas e os resultados obtidos; efetividade, para abordar mudanças geradas por determinado programa na realidade da população-alvo.
Defende Arretche (1999) que a avaliação da eficiência é possivelmente hoje a mais necessária e a mais ur- gente, e, assim, tem ocorrido sofisticação nos métodos de apuração desse indicador em anos recentes. Ainda que se possa reconhecerr o valor do indicador eficiência, em especial quando se lida com o ideal do uso racional de recursos públicos, não se deve despresar os demais indicadores. Nesse sentido, Howlett, Perl e Ramesh (2013) entendem que se deve determinar os custos de um programa e traçar um julgamento, e,
70
se o montante de custo proporciona resultados com qualidade, esperados – efetividade, portanto – e efici- entes.
A avaliação de eficiência, segundo Draibe (2001), investiga a relação entre o esforço empregado na imple- mentação do programa (pensado em termos de custo) e a qualidade dos resultados alcançados (no sentido amplo da palavra, o que, mais uma vez, guarda relação com a concepção de efetividade). O questionamento típico para esse tipo de avaliação é se as atividades ou os processos se organizam tecnicamente, da maneira racional e se operam com os menores custos para a produção máxima dos resultados esperados e no me- nor tempo possível.
A avaliação de eficácia, conhecida igualmente como adequação da avaliação de desempenho, examina os processos e sistemas de implementação com vistas a identificar os fatores facilitadores de resultados em quantidades e qualidades máximas e em períodos mais curtos. Busca, também, superar obstáculos, confran- tando o desempenho com as metas e os objetivos traçados. Secchi (2014) concorda com essa concepção e afirma que a avaliação de eficácia corresponde ao nível de alcance de metas e objetivos preestabelecidos. Contudo, nesse tipo de avaliação, o desempenho de um dado programa é acompanhado quanto ao atingi- mento dos objetivos traçados no seu escopo, e, quando preciso, deve ser ajustado à luz das conquistas do programa (HOWLETT; PERL; RAMESH, 2013). Nesse ponto, ainda que não tenham os autores explicitado, é pertinente registrar que tal ajuste pode ocorrer tanto em termos quantiativos quanto no aspecto qualitativo.
Por avaliação de efetividade entende-se o exame da relação entre a implementação de determinado pro- grama e seus efeitos e/ou resultados. Segundo Costa e Castanhar (2003), esse tipo de avaliação, também chamada de impacto, objetiva indicar se o projeto tem efeitos (positivos) no ambiente em que interveio, em termos técnicos, econômicos, socioculturais, institucionais e ambientais. Draibe (2001), por sua vez, entende que a avaliação da efetividade se refere à relação entre “objetivos e metas” e “impactos e efeitos”, e que a efetividade de um programa é mensurada pelas quantidades e níveis de qualidade com que se realizam as alterações (impactos e efeitos) que se pretende provocar no meio em que se atua.
Se os programas possuem grupos-alvo preferenciais, localizados em determinadas regiões, deve-se não só buscar indicadores de efeito que privilegiem a avaliação no conjunto da população, que pode estar, inclu-
71
sive, sob o risco de efeitos estruturais mais gerais, mas, também, desenvolver estratégias metodológicas ava- liativas de natureza qualitativa, com pesquisas de opinião ou grupos de discussão, incorporando indicadores subjetivos na avaliação (JANUZZI, 2005). Howlett, Perl e Ramesh (2013) reforçam tal raciocínio ao afirmarem que é extremamente fundamental que as avaliações de políticas públicas tenham um real efeito na mudança política.
Metodologia
A pesquisa avaliou resultados do Programa Um Milhão de Cisternas (P1MC) frente a efetividade. A natureza da pesquisa é descritiva, o que, segundo Gil (2010), tem como objetivo a descrição das características de determinada população, salientando-se aquelas que têm por objetivo estudar as especificidades de um grupo. Trata-se de estudo de caso, assim definido por Martins e Theóphilo (2009, p. 62): é “uma investiga- ção empírica que pesquisa fenômenos dentro de seu contexto real, buscando apreender a totalidade de uma situação, descrever, compreender e interpretar a complexidade de um caso concreto”.
Foram utilizados dados primários, coletados mediante entrevista, utilzando a abordagem qualitativa, utilizou- se o estudo de caso com três unidades analíticas. Yin (2015) afirma que o estudo de caso permite ao pes- quisador colher características mais amplas e significativas dos eventos, o que, no caso estudado, adotou os pressupostos declarados do P1MC segundo termo de referência da ASA (idealizada e responsável pela exe- cução do Programa). O instrumento de coleta de dados adotado foi a entrevista estruturada, que apresenta, segundo Gil (2010), a formulação de uma relação fixa de perguntas, cuja ordem e redação permanecem in- variáveis para todos os entrevistados. A seleção dos entrevistados ocorreu por meio de amostragem teórica, uma vez que não foi utilizada qualquer técnica estatística para tal determinação ou rigidez quanto à defini- ção do tamanho (FLICK, 2009). Assim, foi utilizada a técnica amostral em “bola de neve”, que consisete em amostra não probabilística, utilizada em pesquisas sociais, quando os participantes iniciais de um estudo in- dicam novos participantes que, por sua vez, indicam novos participantes e, assim, sucessivamente até que seja alcançado o objetivo proposto. (BALDIN; MUNHOZ, 2011).
A escolha dos entrevistados, para a avaliação da efetividade, recaiu em três territórios do Rio Grande do Norte contemplando um representante dos três segmentos interessados – executor, mobilizador e beneficiá- rio – com reconhecido domínio acerca do tema abordado. No total, foram 9 informantes. Yin (2015, p. 113)
72
sugere que “os informantes-chave são frequentemente fundamentais para o sucesso de um estudo de caso por proporcionar aos pesquisadores insights sobre o assunto e também podem iniciar o acesso às fontes corroborantes ou opostas à evidência”. É salutar, portanto, que o instrumento de pesquisa seja aplicado a diferentes segmentos de informantes-chave de modo a se obter segurança nas informações prestadas e re- duzir o risco de informações imprecisas. Foram avaliados os pressupostos do P1MC, conforme declarados pela Articulação Semiárido Brasileiro (ASA), tendo sido as informacões coletadas processadas no software Nvivo 11.
Resultados e discussão
Por meio de fonte de entrevistas estruturadas com atores do P1MC, a efetividade é amplamente atendida no conteúdo e na forma. Representantes dos segmentos interessados – executores, mobilizadores comunitá- rios e beneficiários – relatam que o P1MC não se restringe à prioridade do acesso à água, mas, também, à formulação de um padrão renovado de convívio com o semiárido, por meio da mudança na consciência dos beneficiários e da mobilização das famílias e comunidades atendidas. Os resultados foram coletados junto a informantes dos territórios Sertão do Apodi, Açu-Mossoró e Mato Grande.
A apuração da efetividade do P1MC contemplou os seguintes pressupostos: a) Buscar o fortalecimento da autoestima da população do semiárido, situando-a criticamente no contexto histórico, cultural e político; b) Criar oportunidades para a socialização das experiências e conhecimentos entre as entidades participantes do programa; c) Mediante a prática do exercício da corresponsabilidade, fortalecer a cidadania exercitando uma metodologia participativa e democrática; d) Criar mecanismo de operacionalização do programa num processo “aprender-fazendo”, de acordo com a realidade local, considerando as várias dimensões dos atores locais; e) Garantir o envolvimento das famílias na execução e manutenção das ações do programa. Nos cinco pressupostos, os informantes são unânimes em avaliações positivas, destacando o componente de for- mação sociopolítica e inclusivo gerado pelo Programa – especialmente no tocante ao processo pedagógico das relações comunitárias e de compreensão do uso racional da água o que provoca bem-estar familiar e resgate da autoestima de populações rurais atingidas por seguidas estiagens e escassez de água.
73
O Programa, por meio da garantia do acesso a água potável, educa comunidades para uma nova relação comunitária e de convívio com as adversidades do Semiárido. Eleva a autoestima, pela autonomia que for- nece ao beneficiário no acesso e no atendimento a uma necessidade básica, garantindo soberania em ter- mos da conservação adequada de água potável para períodos de estiagens, pois, “[...] não tínhamos um re- servatório para colocar água, e, hoje, você chega em todas as comunidades e vê as cisternas cheinhas, pin- tadinhas, e a maior parte delas com água” (mobilizador do Território do Mato Grande). O orgulho contido no conteúdo dessa afirmação é um importante atributo inclusivo do P1MC igualmente destacado por outros informantes.
Um informante, beneficiário do Território Sertão do Apodi, evidencia outro atributo do P1MC ao registrar que “[...] eu, como agricultor, em 2011 recebi minha cisterna e foi uma mudança e tanto, porque a gente não tinha onde colocar água, Muita gente fala assim: cisterna não é água; sim, a cisterna não é agua, mas, se você tem a cisterna, você tem facilidade de arrumar água”. O equipamento disponibilizado, assim, exerce função de facilitar a vida do campesino ao conceder-lhe autonomia na obtenção e gestão de água potável para uso familiar. A autonomia aparece, igualmente, entre o grupo de executores do Programa, conforme destaca o informante do Território do Mato Grande: “A cisterna é a garantia que você acorde de manhã e tenha uma água para puxar e lavar o rosto, para fazer o café e cozinhar. A cisterna é a mudança da família que sai de uma saga de viagens e viagens atrás de água”.
Fica intensamente manifesto o espirito de coletividade gerado pelo P1MC. O Nvivo evidenciou o modo como se articulam ideias centrais correspondes ao Fortalecimento da autoestima, claramente direcionadas à identidade e ao pertencimento comunitário – por meio de vocábulos que expressam coletivos (pessoas, fa- mílias, comunidade) –, e, decorrências, registrada sob a forma de mudanças (em conquista, conviver, conten- tes). Conquistar e (com)viver contente, alegre, feliz, amor próprio, autoconfiança.
Outro componente inclusivo do Programa está na socialização das experiências. Os informantes retratam participação ativa nos encontros demandados pelo Programa e destacam os cursos de gerenciamento de recursos hídricos e de formação de cisterneiros, encontros de comissões municipais e encontros microrregi- onais, além de reuniões para mobilização e seleção dos beneficiários. O executor do território do Mato Grande faz registro detalhado de tais eventos como exercício que gera relações de confiança e controle so- cial, pela via do aprimoramento de instrumentos e oportunidades de participação, “Incluir a participação das
74
famílias em cada etapa do processo contribui para a construção do entendimento de que a água é um di- reito e a cisterna é uma conquista da família” (ASA, 2016).
Considerando que a efetividade é exame da relação entre a implementação de determinado programa e seus efeitos e/ou resultados, tal indicador avalia impactos (Costa e Castanhar, 2003), para indicar se o pro- jeto tem efeitos (positivos) no ambiente. Com o P1MC, comunidades rurais vêm passando por uma transforma- ção mais profunda e estruturante, evidencia esta pesquisa, pois, fica o ensinamento de que, reunidos e organiza- dos, há como se conquistar direitos violados. A conquista de um direito e a organização comunitária para a busca de outros, são, portanto, outros componentes a evidenciar o poder inclusivo do Programa e sua efetivi- dade. Fica, assim, evidenciado o entendimento de Howlett, Perl e Ramesh (2013) quando sugerem ser extre- mamente fundamental que as avaliações de políticas públicas tenham um real efeito na mudança política, o que vem ocorrendo no âmbito do P1MC.
Conclusão
A interpretação da efetividade ocorreu com base nos cinco pressupostos expressos no P1MC pela Articula- ção Semiárido Brasileiro (ASA), rede de organizações não-governamentais responsável pela concepção e pela execução do Programa. Os pressupostos do Programa são amplamente atendidos no conteúdo e na forma. Representantes dos segmentos interessados – executores, mobilizadores comunitários e beneficiários – relataram que o P1MC não se restringe à prioridade do acesso à água, mas, também, à formulação de um padrão renovado de convívio com o semiárido, por meio da mudança na consciência dos beneficiários e da mobilização das famílias e comunidades atendidas. Nos cinco pressupostos, os informantes são unânimes em avaliações positivas, destacando elevado componente de formação sociopolítica e o caráter inclusivo ge- rado pelo Programa – especialmente no tocante às relações comunitárias e à compreensão do uso racional da água e ao resgate da autoestima de populações rurais atingidas por seguidas estiagens e escassez de água.
Os efeitos do P1MC são amplamente satisfatórios no cumprimento dos cinco pressupostos concebidos – Fortalecimento da autoestima, Socialização das experiências, Fortalecimento da cidadania, Aprender-fazendo e Envolvimento das famílias. Conclui-se, portanto, que o P1MC, indenpendentemente de números alcança- dos em termos de eficiência e eficácia, possui resultados efetivos no atendimento aos seus pressupostos, os
75
quais possuem nítido caráter centrado na formação para a convivência com o Semiárido, tanto pelo viés de uma renovada leitura acerca da relação água-condições de vida, quanto pelo ideial da inserçao socioprodu- tiva, propiciando bem-estar, autonomia das famílias e organização comunitária, mediados pelo resgate de valores de vida campesina e pelo engajamento político. A dedicação à qualidade da ação e o compromisso com a cidadania e com os pressupostos políticos do P1MC, assumidos pela ASA – que exigem aprendiza- gens coletivas, conteúdos expecíficos e procedimentos metodológicos de organização comunitária, estabele- cimento de relações de confiança e mudanças duradouras nas comunidades e nas famílias para convivência com o Semiárido – podem explicar restrições no alcance de eficiência e eficácia conforme apontam relató- rios oficiais. Dessa forma, na mediação quantidade x qualidade, a efetividade é contraponto necessário à ve- rificação de resultados do P1MC e tal perspectiva não pode ser preterida.
Referências bibliográficas
ARRETCHE, Marta Teresa da Silva. Tendências no estudo sobre avaliação. In: Rico, E. M., Saul, A. M., Fonseca, A. M. M. D., Fagnani, E., Perez, J. R. R., Melo, M. A., ... & Rios, T. A. (1998). Avaliaçäo de políticas soci- ais: uma questäo em debate. Cortez.
ARTICULAÇÃO DO SEMIÁRIDO. Sobre nós; Ações. Disponível em: <http://www. asabrasil.org.br>. Acesso em: 29 maio 2016.
Baldin, N., & MUNHOZ, E. M. (2011, November). Snowball (bola de neve): uma técnica metodológica para pesquisa em educação ambiental comunitária. In X Congresso Nacional de Educação–EDUCRE/I Se- minário Internacional de Representações Sociais, Subjetividade e Educação-SIRSSE. Curitiba, PR, 7ª (Vol. 10, pp. 329-41).
BARDIN, L. (2011). Análise de Conteúdo,(trad.) RETO. ALA São Paulo: Edições, 70.
da Costa, F. L., & Castanhar, J. C. (2003). Avaliação de programas públicos: desafios conceituais e metodoló- gicos. RAP Rio de Janeiro, 37(5), 969-92.
de Martino Jannuzzi, P. (2014). Indicadores para diagnóstico, monitoramento e avaliação de programas soci- ais no Brasil. Revista do Serviço Público, 56(2), 137-160.
de Souza MinayoI, M. C. (2009). Construção de indicadores qualitativos para avaliação de mudanças. Revista Brasileira de Educação Médica, 33(1 Supl 1), 83-91.
DRAIBE, S. M. (2001). Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas. Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC-SP, 13-42.
Flick, U. (2009). Pesquisa qualitativa e quantitativa. Introdução à Pesquisa Qualitativa. Tradução Costa, JE 3ed. Porto Alegre: Artmed, 39-49.
76
GIL, A. C. (2010). Como elaborar projetos de pesquisa. São Paulo: Atlas, 2006. GIL, Antônio Carlos. Como ela- borar projetos de pesquisa, 5..
HOWLETT, M., RAMESH, M., & PERL, A. (2013). Política Pública: seus ciclos e subsistemas-uma análise de po- líticas públicas a partir das relações Estado e Sociedade.
Martins, G. D. A., & Theóphilo, C. R. (2009). Metodologia da Investigação Científica. Editora Atlas.
Secchi, L. (2014). Políticas públicas: conceitos, esquemas de análise, casos práticos. São Paulo: Cengage Lear- ning, 133.
77