AVALIAÇÃO DE POLÍTICAS PÚBLICAS: percorrendo o “Estado da arte”
Fabiana Besen Santos1 Maria dos Anjos Lopes Viella2 Marizete Bortolanza Spessatto3
RESUMO: este artigo é decorrente de um projeto de pesquisa com o objetivo de avaliar o desempenho do Programa Mulheres Sim, do Instituto Federal de Santa Catarina, de 2014 a 2017. No momento inicial do projeto está sendo traçado um panorama da avaliação das políticas públicas, com o olhar para a avaliação de programas que ainda não se tornaram políticas. Para isto foram selecionados artigos no Google Acadêmico sobre a avaliação de políticas públicas. Neste artigo, pretende-se mapear as metodologias de avaliação de políticas públicas na direção do Estado da arte sobre o tema.
Palavras-chave: Avaliação de políticas públicas. Metodologias de avaliação. Avaliação de impacto.
ABSTRACT: this article is the result of a research project with the objective of evaluating the performance of the Program Mulheres Sim of the Federal Institute of Santa Catarina from 2014 to 2017. At the beginning of the project, an overview of the evaluation of public policies is being the look at the evaluation of programs that have not yet become policies. For this we selected articles in Google Scholar about the evaluation of public policies.
In this article, we intend to map the methodologies of evaluation of public policies in the direction of the State of the art on the subject.
Keywords: Evaluation of public policies. Methodologies of evaluation. Impact assessment.
1 Doutora em Engenharia e Gestão do Conhecimento pela Universidade Federal de Santa Catarina –
Florianópolis-SC. Professora do Instituto Federal de Educação, Ciência e Tecnologia de Santa Catarina, Campus Garopaba. E-mail: besen@ifsc.edu.br
2 Doutora em Educação pela Universidade Federal de Santa Catarina – Florianópolis-SC. Professora do Instituto Federal de Educação, Ciência e Tecnologia de Santa Catarina. E-mail:
maria.viella@ifsc.edu.br.
3Doutora em Educação: Universidade Federal de Santa Catarina – Florianópolis-SC, com estágio de Doutoramento na Universita degli Studi di Padova - Itália. Professora do Instituto Federal de Educação, Ciência e Tecnologia de Santa Catarina (IFSC). E-mail: marizete.spessatto@ifsc.edu.br.
1 INTRODUÇÃO
A história do Instituto Federal de Educação, Ciência e Tecnologia de Santa Catarina- IFSC iniciou em 23 de setembro de 1909 e ao longo das décadas recebeu diferentes denominações, bem como alterações nas suas ofertas e público atendido. A expansão mais significativa deu-se em 2008, quando da criação da Rede Federal de Educação Profissional, Científica e Tecnológica, formada por 38 Institutos Federais de Educação, Ciência e Tecnologia, sendo o IFSC um deles. No rol de ofertas formativas da Rede, a instituição disponibiliza à comunidade de Santa Catarina (seus 22 campi atendem às diferentes regiões do estado) Cursos de Formação Inicial e continuada - FIC, cursos técnicos subsequentes, concomitantes e integrados ao Ensino Médio e à Educação de Jovens e Adultos - Proeja, graduação e pós-graduação (IFSC, 2018).
A missão institucional “Promover a inclusão e formar cidadãos, por meio da educação profissional, científica e tecnológica, gerando, difundindo e aplicando conhecimento e inovação, contribuindo para o desenvolvimento socioeconômico e cultural” (IFSC, 2018) fez com que o IFSC se vinculasse ao Mulheres Mil, instituído pelo Governo Federal em 2011, visando atender às Metas do Milênio, promulgadas pela ONU em 2000 e aprovadas por 191 países. Entre essas metas, consta “[...] a erradicação da extrema pobreza e da fome, promoção da igualdade entre os sexos e autonomia das mulheres e garantia da sustentabilidade ambiental. O programa, iniciado pelas regiões Norte e Nordeste, expande-se a outras partes do país, sempre com os mesmos critérios de seleção e respeitando as mesmas metas.
O IFSC executou o Programa de Governo Mulheres Mil no período de 2011 a 2014.
Com a ação, assumiu o objetivo de promover a formação profissional e tecnológica, a fim de elevar a escolaridade e criar alternativas para a inserção no mundo do trabalho das mulheres.
O programa foi desenvolvido com metodologia própria, sendo estruturado em três eixos:
educação, cidadania e desenvolvimento sustentável por dez dos seus 22 campi. Com o término do Programa de Governo Mulheres Mil, o IFSC institucionalizou, em 2014, o Programa de Extensão Mulheres Sim, com o objetivo de atender mulheres prioritariamente em situação de vulnerabilidade ou risco social, maiores de 15 anos, sem escolaridade, atendendo as Diretrizes Nacionais do Plano Nacional de Políticas para Mulheres 2013–2015 e fortalecendo as ações institucionais que atendem ao terceiro Objetivo do Desenvolvimento do Milênio
(Igualdade entre os sexos e valorização da mulher). O programa visa efetivar suas ações concentrando suas atividades em três grandes projetos: o curso “Educação e Gênero”, “Feira de Economia Solidária” e “Acompanhamento das Egressas” cuja duração abrange o período de seis meses.
Entre as expectativas do Programa Mulheres Sim espera-se que ao final, as atendidas tenham melhores condições de colocação profissional, oportunidades de retomada dos estudos no Programa Nacional de Integração da Educação Profissional com a Educação Básica na Modalidade de Educação de Jovens e Adultos - PROEJA ou via a Rede CERTIFIC, que testa e reconhece a qualificação de trabalhadores que adquiriram conhecimento na prática profissional, sem formação específica. Ao longo do período de execução, o Programa, com seus cursos de formação, alcançou no ano inicial (2014) o número de 172 mulheres concluintes. Em 2015, das 294 alunas matriculadas 224 foram as alunas concluintes do Programa nos campi que ofertaram os cursos, representando uma taxa de permanência de 78,1%; em 2016 as alunas concluintes do Programa foram de 257 mulheres, representando uma taxa de permanência de 78%. E no ano de 2017, o Programa obteve a maior taxa de permanência, das 281 matriculadas, 236 mulheres concluíram os cursos, representando 84%.
Assim, de 2014 a 2017, o Programa formou 889 mulheres (IFSC, 2014, 2015, 2016, 2017).
Com isso, são esperados avanços na cidadania plena, demarcada pela ampliação de suas liberdades individuais, constituindo-se como uma tecnologia social passível de avaliação para análise de sua efetividade, contribuindo na promoção de melhorias na replicação da tecnologia social. Para que isso se efetive, julga-se absolutamente necessária a avaliação contínua e aprofundada dos impactos dessas ações na vida dos sujeitos envolvidos - mulheres em condições de vulnerabilidade social. Nesta direção é que foi submetida e aprovada ao edital 36/ 2018/CNPq a proposta de avaliar o desempenho da Tecnologia Social Mulheres Sim, do Instituto Federal de Santa Catarina que fazem parte do território prioritário, no período de 2014 (implantação) a 2017, mensurando os resultados do programa, de acordo com critérios e indicadores apropriados para Programas Públicos, e dando voz às mulheres atendidas, de modo a registrar os resultados individuais e sociais dessa ação pública.
Dentre os objetivos específicos da proposta pretende-se (i)construir um processo de avaliação que considere a diversidade de abordagens e de variáveis de análise do Programa Mulheres Sim como as atividades e os produtos gerados; os resultados e o alcance das metas;
e os propósitos e os impactos do Programa. (ii) Estabelecer uma metodologia abrangente para avaliação do Programa Mulheres Sim replicável a demais Programas de cunho social, considerando as metas, impactos, processos e resultados. (iii) Sistematizar indicadores para
mensuração dos critérios de desempenho do Programa Mulheres Sim. (iv) Criar mecanismos e instrumentos de avaliação que dêem voz aos sujeitos atendidos pelos programas sociais desenvolvidos pelo Governo Federal, sinalizando para os impactos desses programas na melhoria da qualidade de vida da população; (v) Destacar pontos fortes e aspectos que precisam ser melhorados na perspectiva dos participantes executores envolvidos no programa nos campi onde foram ofertados, com vistas a qualificar cada vez mais estas ofertas. Para se atingir estes objetivos o percurso inicial que se impõe é conhecer o estado da arte da avaliação de políticas e programas para continuidade das análises e possíveis propostas de qualificar as práticas avaliativas.
2 AVALIAÇÃO DE PROGRAMAS SOCIAIS: CAMINHOS A PERCORRER
No contexto dos programas sociais, a avaliação acontece no momento em que se aplicam técnicas e métodos para verificar, a partir dos critérios de efetividade, eficácia e eficiência, as reais mudanças que determinada política ou programa provocou numa realidade específica (FINKLER; DELL'AGLIO, 2013). Assim, a avaliação gera as informações sobre os efeitos e resultados concretos para balizar as decisões de gestores no sentido de melhorar o programa (COHEN; FRANCO, 1999). Ao reconhecer a importância da avaliação de um programa, é preciso entender, também, a diversidade de elementos do seu processo avaliativo. A avaliação não pode se reduzir a um procedimento técnico-instrumental, como proposto pelas abordagens tradicionais, desconsiderando o viés político. Ao contrário, as abordagens atuais consideram que a avaliação de programas sociais é permeada de sujeitos, racionalidades e outras variáveis contextuais que vão além da perspectiva quantitativa e técnico-instrumental (SILVA; BARROS, 2004). Considera-se essencial, como afirma Silva e Barros (2004, p.01) que a avaliação dos programas e políticas sociais priorize a incorporação de abordagens qualitativas, pois essas, ao contrário de estabelecer um campo homogêneo nas pesquisas avaliativas, ampliam “o espaço e o caráter multidisciplinar das análises”.
Arretche (2001, p. 50) destaca que essas avaliações devem considerar o contexto de implementação e as diferentes variáveis que contribuem para que os objetivos propostos sejam implementados ou, por outro lado, que não seja possível executá-los.
Ao se propor a avaliação de uma tecnologia social como o Programa Mulheres Sim, é fundamental que seja superada as dicotomias entre as dimensões qualitativa e quantitativa de avaliação. Atualmente, o processo avaliativo para as adaptações e melhorias desse Programa é coordenado pela Pró-Reitoria de Extensão e Relações Externas do IFSC e
realizado em conjunto com os campi ofertantes. A avaliação é realizada a partir de uma abordagem, predominantemente, descritiva, conforme revelam os Relatórios de Gestão do IFSC. Desta forma, a avaliação atual não oferece parâmetros de análise de desempenho ou critérios para comparação entre um ano e outro ou entre os campi que ofertam. Na direção de aprimorar o processo avaliativo com o desenvolvimento de uma metodologia abrangente com critérios e indicadores, justifica-se a realização desta proposta que se pretende contemplar neste artigo.
E ainda considerando alguns elementos para essa avaliação é preciso refletir com Souza (2003) que
[...] analisar políticas públicas significa enveredar em terreno teórico-empírico que busca integrar quatro elementos: a própria política pública (policy), a política (politics), sociedade política (polity) e as instituições onde as políticas públicas são decididas, desenhadas ou implementadas. O principal foco analítico da política pública está na identificação do problema que a política pública visa corrigir, na chegada desse problema ao sistema político ou à sociedade política, ou seja, à polity, pela via das instituições, e nas formas encontradas pelo sistema político para abordar o problema (SOUZA, 2003, p. 13).
Assim, ao se pretender avaliar uma política ou programa esses elementos de análise apontados por Souza (op.cit) não poderão ser descuidados para se ter uma avaliação mais consistente. Mesmo que um ou outro recebam uma análise mais detalhada no decorrer da pesquisa, vale acrescentar que eles compõem um todo e precisam estar em permanente diálogo.
Seguindo ainda o diálogo com a mesma autora, em outra publicação intitulada ‘“Estado do campo” da pesquisa em políticas públicas no Brasil’ (2003) a autora chama a atenção para os principais problemas colocados para análise que é
a escassa acumulação do conhecimento na área [...] e escasso diálogo entre trabalhos dos pesquisadores da área ; [...] abundância de estudos setoriais, em especial estudos de caso, dotando a área de uma diversificação de objetos empíricos que se expandem horizontalmente, sem um fortalecimento vertical da produção, especificamente o analítico; [...] a proximidade da área com os órgãos governamentais, que tanto podem gerar trabalhos normativos e prescritivos, como a possibilidade de esses órgãos pautarem a nossa agenda de pesquisa (SOUZA, 2003, p.16).
Enfim, no decorrer da leitura, a autora vai expandido a análise apontando que a abundância de estudos de caso e setoriais deixam em lacunas temas importantes como
“burocracia”. Destaca ainda a necessidade de superação do que ela denomina uma “primeira geração de estudos” dos área, excessivamente concentrados nos fracassos, e pouca preocupação com as questões políticas (p.17). Assim, a autora vai sinalizando alguns caminhos como a necessidade de melhor entendimento dos resultados e não apenas dos fracassos. Ao enfatizar os resultados auxilia a proposta desta pesquisa, ora em andamento,
que busca, além do diálogo com o estado da arte em avaliação de políticas públicas para fazer uma avaliação do impacto do programa Mulheres Sim, destacar pontos fortes e aspectos que precisam ser melhorados na perspectiva dos participantes executores envolvidos no programa nos campi onde este programa foi ofertados, com vistas a qualificar cada vez mais estas ofertas, e com preocupação voltada para destacar a estreita relação entre formulação e implementação de políticas públicas e processos políticos. O mundo do governo e da administração pública só podem ser compreendidos dentro do mundo da política.
3 AVALIANDO POLÍTICAS E PROGRAMAS: O QUE DIZEM AS PESQUISAS?
Um dos primeiros caminhos supõe o diálogo com as pesquisas já realizadas com foco na avaliação de desempenho de Programas Sociais, Programas Públicos e Políticas Públicas. Parte desta primeira etapa de revisão de literatura que é o foco deste artigo, foi realizada por meio de buscas no Google Acadêmico, para selecionar artigos que contemplassem o “estado da arte” em avaliação de políticas públicas e a partir das análises dos mesmos, sinalizar os pontos a avançar na mensuração da avaliação, elaborar instrumentos que permitam analisar desde os objetivos dos programas ofertados o processo de implementação, com vistas a entender os impactos sociais dessas ações e as lacunas por eles deixadas e, quando for o caso, contribuir no aperfeiçoamento de novos critérios de avaliação.
Um dos artigos localizados sobre o Estado da Arte na área das pesquisas de avaliação de políticas públicas é de Figueiredo e Figueiredo (1986) que já colocavam como ponto de partida que “na análise de políticas públicas os cientistas políticos têm se preocupado em estudar como as decisões são tomadas e que fatores influenciam o processo de tomada de decisões e as características desse processo. Estuda-se a eficácia das políticas descartando a avaliação política dos princípios que os fundamentam [...]. Eles apontam a
“avaliação política como uma etapa preliminar e preparatória da avaliação de política” (p.108).
Assim eles entendem a avaliação política como
análise e elucidação do critério ou critérios que fundamentam determinada política:
as razões que a tornam preferível a qualquer outra, [...] para lembrar que estas razões têm que ser relevantes, ou seja, estar referidas a princípios cuja realização irá, presumivelmente, contribuir para uma desejável quantidade e distribuição de bem-estar (FIGUEIREDO;
FIGUEIREDO, 1986, p. 108).
Na referência ao bem-estar humano eles buscam destacar que esse bem-estar é sempre objeto de argumentação política, portanto é preciso compreender o “uso (político) da avaliação” (p.108). Ao tratarem dos objetivos, critérios e modelos analíticos da avaliação de políticas eles colocam que estes elementos precisam “dar conta da pergunta básica de toda pesquisa de avaliação: a política ou programa social sob observação foi um sucesso ou um fracasso?” (p.109).
Considerando-se os dois aspectos da política pública de gerar um produto físico e gerar um impacto (p.109, grifo dos autores), esses autores vão sinalizando caminhos em perfeita sintonia com o caminho inicial escolhido nesta pesquisa, em andamento, qual seja avaliar processos e impactos, explicitando o que significa e o que implica avaliar cada um desses aspectos.
Um outro artigo sobre “estado da arte” submetido à análise aponta a falta de consenso sobre o conceito de avaliação de políticas/programas. De uma forma geral, a avaliação é entendida como a análise dos efeitos dos programas em relação aos seus objetivos (BALLART, 1992), comparando o resultado alcançado com o que era esperado (VIEDMA, 1996) e atribuindo um juízo de valor sobre uma atividade ou resultado para determinar o grau de êxito (AGUILAR; ANDER-EGG, 1994; MINAYO, 2008). Ala-Harja e Helgason (2000 apud TREVISAN, VAN BELLEN, 2008, p.535), também afirmam que “não existe consenso quanto ao que seja avaliação de políticas públicas, pois o conceito admite múltiplas definições, algumas delas contraditórias”.
As referências trazidas por Trevisan e Van Bellen (2008) são pontos de partida fundamentais para a avaliação de políticas de públicas, especialmente, pelo fato de que em todo seu artigo está condensada a avaliação, histórico e metodologias de políticas públicas, bem como o “estado do campo” das mesmas, elementos estes fundamentais para prosseguimento da pesquisa em curso.
Em uma revisão teórica, Cavalcanti et al (2003) apontam, inicialmente, a importância da compreensão dos objetivos da avaliação de políticas/ programas a saber:
a) estabelecer o grau de pertinência, idoneidade, efetividade/eficácia e eficiência/rendimento de um programa, projeto ou serviço; b) determinar as razões dos êxitos e fracassos, levando em conta a situação contextual que condiciona a realização do programa, analisando-o em si; c) facilitar o processo de tomada de decisões para melhorar e/ou modificar o programa ou projeto, introduzindo modificações no programa, melhorar a metodologia, inovar a estrutura e/ou o funcionamento, mudar as estratégias de desenvolvimento, e aumentar ou diminuir as verbas do orçamento destinadas ao projeto; e d) estabelecer até que ponto ocorreram outras consequências ou imprevistos, por fim alcançar outros objetivos não previstos no programa (CAVALCANTI et al, 2003, p. 98).
Após compreender o conceito e objetivos da avaliação, os autores abordam elementos da metodologia para a avaliação de política/ programa, estabelecendo a tipologia
da avaliação. As avaliações podem ser classificadas conforme o momento em que se avalia;
a natureza da avaliação; a procedência dos avaliadores (interna e externa) e os aspectos do programa que são objeto de avaliação (BALLART, 1992; AGUILAR; ANDER-EGG, 1994;
COHEN; FRANCO, 1999; CUNHA, 2006; VIEDMA, 1996). O quadro 1 apresenta um resumo dos critérios e tipos de avaliação de políticas/ programas apontados pelos autores.
Quadro 1 - Critérios e tipos de avaliação de políticas e programas
Critérios de avaliação Tipos Autores
Quem participa do processo de avaliação
Avaliação interna Avaliação externa Avaliação mista
Autoavaliação
Cunha (2006) Cavalcanti et al (2003) Cohen e Franco (1999)
Natureza da avaliação Avaliação Formativa Avaliação Somativa
Cunha (2006) Aguilar e Ander-Egg (1994) Momento da avaliação Avaliação ex ante (antes)
Avaliação durante Avaliação ex post (após)
Aguilar e Ander-Egg (1994) Cunha (2006) Cavalcanti et al (2003)
Tipo de problema ou Objeto da avaliação
Avaliação do processo (funcionamento) Avaliação de resultados
(eficácia/ eficiência) Avaliação do impacto
(ex post resultado)
Cavalcanti et al (2003) Cunha (2006)
Viana (1996)
Fonte: elaborado pelas autoras
Um percurso pelos vários artigos encontrados que realizam o “estado da arte” sobre a avaliação de políticas públicas reconhecem de uma forma ou de outra
o caráter incipiente da pesquisa e da prática da avaliação no Brasil e os fatores que têm justificado e condicionado a implantação dos sistemas de avaliação, sobretudo nos países da América Latina; [...] razões da prevalência, de uma concepção “tecnicista” da avaliação, e [...] o caráter eminentemente político da avaliação de políticas públicas (FARIA, 2005, p. 98).
Toda esta produção teórica aqui mencionada coloca alguns caminhos de análise da sistemática de avaliação chamando a atenção para as formas de uso da avaliação ora centradas em “modelo decisionista” (FARIA, 2005) papel da avaliação das políticas no jogo eleitoral (FARIA, 2005; FIGUEIREDO; FIGUEIREDO, 1986), a avaliação como um campo ainda em construção (TREVISAN, VAN BELLEN; SOUZA, 2003).
O artigo de Trevisan e Van Bellen (2008) fornecem elementos fundamentais para a realização da avaliação de políticas públicas ao trazer as três fases da avaliação desde a década de 1960 até os dias atuais, apresentando ainda as metodologias de avaliação, suas diversas classificações, timing, posição do avaliador, critérios e estruturação e por fim a possibilidade de aplicação de meta avaliações, assim como o surgimento de novas issues que se impõem ao contexto brasileiro. Estes autores destacam no seu artigo
a avaliação de políticas e da correção de ação (evaluation), na qual se apreciam os programas já implementados no que diz respeito aos seus impactos efetivos.
Investigam-se os déficits de impacto e os efeitos colaterais indesejados para poder extrair consequências para ações e programas futuros. Nessa etapa, caso os objetivos do programa tenham sido atendidos, o ciclo político pode ser suspenso ou chegar ao fim, senão à iniciação de um novo ciclo, isto é, a uma nova fase de percepção e definição de problemas. “Com isso, a fase da avaliação é imprescindível para o desenvolvimento e a adaptação contínua das formas e instrumentos de ação pública” (FREY,2000 apud TREVISAN, VAN BELLEN, 2008, p.531).
Estes autores trazem uma significativa síntese das análises feitas pelas pesquisas que realizam o estado da arte, já mencionadas neste artigo, bem como apresenta vários outros estudos e pesquisas que em muito poderão contribuir na compreensão da complexa relação teoria e prática no processo avaliativo de políticas públicas.
4 CONSIDERAÇÕES FINAIS
A crescente importância da avaliação das políticas públicas é fato inconteste, entretanto é preciso enfrentar os obstáculos que se impõem para sua incorporação no cotidiano das práticas de gestão. Muitos desafios precisam ser superados de forma permanente, especialmente a qualidade das as ações desenvolvidas, a necessidade de definição de metodologias avaliativas; avaliações meramente descritivas; sintonia e diálogo entre pessoal envolvido nas diferentes etapas do processo.
Tudo isso revela a complexidade do fenômeno que requer seja consolidada uma cultura avaliativa das políticas públicas. Cabe ainda mencionar, referente a este fator o que foi colocado anteriormente que é os interesses, algumas vezes, contraditórios das partes envolvidas e dos usos políticos feitos das avaliações, como sinalizam Figueiredo e Figueiredo (1986, p. 108) da necessidade da avaliação sistemática da política, como também do uso (político) da avaliação. Nesse sentido, é necessário para o avaliador compreender, no contexto político as diferentes posições e interesses e objetivos em jogo, rumo ao melhor usos dos procedimentos de avaliação.
REFERÊNCIAS
AGUILAR, M. J.; ANDER-EGG, E. Avaliação de serviços e programas sociais. 2. ed. Petrópolis:
Vozes, 1994.
ALA-HARJA, M.; HELGASON, S. Em direção às melhores práticas de avaliação. Revista do Serviço Público, v 51. n. 4. out-dez, 2000. Disponível em
https://revista.enap.gov.br/index.php/RSP/article/viewFile/334/340. Acesso em 23 mar.2019.
ARRETCHE, M. T. S. Uma contribuição para fazermos avaliações menos ingênuas. In.:
BARREIRA, Maria Cecília R. Nobre; CARVALHO, Maria do Carmo Brant (Orgs). Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC -SP; Cenpec, 2001. 224 p. Disponível em: http://www.bibliotecadigital.abong.org.br/handle/11465/1763. Acesso em 14 out. 2018.
BALLART, X. ¿Cómo evaluar programas y servicios públicos? aproximación sistemática y estudios de caso. Madrid, Espanha: Ministério para las Administraciones Públicas - Secretaria General Técnica 1992, (Colección: Estudios). Disponível em: <http://books.
google.com.br/books?hl=ptBR&lr=&id=HEAfcrVGjZoC&oi=fnd&pg=PA54&dq=BA LLART#v=onepage&q&f=false>. Acesso em: 19 abr. 2019.
CAVALCANTI, V. M., SOCORRO, G.; LEMES de SORDI, M. R. Metodologia de avaliação de implementação de programas e políticas públicas. EccoS Revista Científica, n. 30, jan- abr, p. 93-111, 2013.
COHEN, E.; FRANCO, R. Avaliação de projetos sociais. Petrópolis, RJ: Vozes, 1999.
CUNHA, C. Avaliação de políticas públicas e programas governamentais: tendências recentes e experiências no Brasil. Trabalho elaborado durante o curso “The Theory and Operation of a Mo- dern National Economy”, ministrado na George Washington University, no âmbito do Programa Minerva, em 2006.
FARIA, Carlos A. P. de. A política de avaliação de políticas públicas. Revista Brasileira de Ciências Sociais. v. 20, nº. 59. 2005. Disponível em : www.scielo.br/scielo.php?pid=S0102- 69092005000300007&script=sci...tlng… Acesso em: 04 abr. 2019.
FIGUEIREDO, M. F; FIGUEIREDO, A. M. C. Avaliação política e avaliação de políticas: um quadro de referência teórica. Revista Análise & Conjuntura, v 1, n. 3, set/dez. Belo
Horizonte. 1986. Disponível em:
josenorberto.com.br/josenorberto/AC-2007-38.pdf . Acesso em: 23 mar.2019.
FINKLER, L.; DELL'AGLIO, D. Reflexões sobre avaliação de programas e projetos sociais.
Barbarói, Santa Cruz do Sul, n. 38, p. 126-144, jan./jun. 2013.
MINAYO, M. C. Conceito de avaliação por triangulação de métodos – introdução. In:
MINAYO, M. C. et AL. (Org.). Avaliação por triangulação de métodos: abordagem de programas sociais. 2. reimp. Rio de Janeiro: Fiocruz, 2008.
SILVA, J. R. S; BARROS, V. Avaliação de políticas públicas e programas sociais: um destaque ao sentido das variáveis contextuais. Revista de Políticas Públicas, v. 8, n. 2, 2004.
SOUZA, C. "Estado do campo” da pesquisa políticas públicas no Brasil. Revista Brasileira de Ciências Sociais, v. 18, n. 51, 2003. Disponível em
http://www.scielo.br/scielo.php?pid=S0102-
69092003000100003&script=sci_abstract&tlng=pt . Acesso em: 10 abr. 2019.
SOUZA, C. “Estado da Arte” da área de políticas públicas: conceitos e principais tipologias.
Versão Preliminar. In: XXVII ENCONTRO ANUAL DA ASSOCIAÇÃO NACIONAL DE PÓS- GRADUAÇÃO E PESQUISA EM CIÊNCIAS SOCIAIS (ANPOCS) GT: Políticas Públicas, 27., 2003, Caxambu, MG. Anais...Curitiba, 2003.
TREVISAN, A. P.; VAN BELLEN, H. M. Avaliação de políticas públicas: uma revisão teórica de um campo em construção. RAP (Revista de Administração Pública), v. 42, n. 3., maio/jun.
2008. Disponível em http://www.scielo.br/pdf/rap/v42n3/a05v42n3.pdf. Acesso em 23 mar.
2019.
VIANA, Ana L. Abordagens metodológicas em políticas públicas. Revista de Administração Pública, Rio de Janeiro, v. 30, n. 2, p 5-43, abr. 1996.
VIEDMA, C. A. Introducción a la evaluación. In: VIEDMA, C. A.; LARA, A. J. Evaluación de programas sociales. Madrid, Espanha: Diaz de Santos, 1996.
