Avaliação como parte do ciclo de vida da Política Pública As políticas públicas (PP) correspondem ao conjunto das iniciativas e

decisões definidas pelo Estado (Fadigas, 2015, p. 9) a serem adotadas como guias de ação na coordenação do alcance de um objetivo coletivo considerado relevante para a sociedade (Ferrão, 2011). Neste sentido, materializam decisões que se tomam no espaço da disputa política (Fernandes, 2018, p. 49), e conferem ao Estado o papel de entidade tutelar e de representação dos interesses sociais e das vontades coletivas (Fadigas, 2015; Rocha, 2010). As PP regem-se pelas várias funções públicas, consoante a sua natureza, e afirmam-se nos regimes democráticos como “ (…) um contrato social

livremente assumido, condição de equilíbrio e de coesão social estruturante da vida em sociedade” (Fadigas, 2015, p. 9). Esta condição torna premente a sua

reflexão crítica (Alves, 2001, 2007), visto que se traduzem em ações estatais com o desígnio de dar resposta a um determinado conjunto de pretensões expressas pelos cidadãos, agrupados ou não, que têm influência na organização e funcionamento da sociedade.

O termo política é utilizado em português para referenciar dois conceitos diferentes e que noutras línguas surgem com terminologias diferentes, e.g.,

politics e policy (Fernandes, 2018; Rua, 2012): Politics no que se refere aos

procedimentos formais e informais de política (Rua, 2012), muito associados à disputa política de índole partidária (Fernandes, 2018); e policy no que se refere à definição de PP enquanto conjunto de iniciativas e ações a adotar (Fernandes, 2018). Ainda que ambos os conceitos se encontrem intimamente relacionados, e coabitem no seio da sociedade política, a investigação centra- se na PP (policy), referente à materialização de intensões políticas através da definição de PP por parte do Estado.

As PP são definidas com base nas pretensões expressas pelos cidadãos e devem, por esse motivo, ter capacidade de ajuste a eventuais alterações de contexto. A sua definição é realizada num momento específico e alicerçada num panorama marcado por um determinado contexto (político, social, económico, territorial, tecnológico, científico, entre outros) (Paixão and Ferrão, 2018) que será tendencialmente transformado ou alterado durante a sua complexa e difícil implementação (Bruton et al., 2013). Por exemplo, analisando o caso português, as PP desenvolvidas fundamentam-se na Constituição da República Portuguesa aprovada a 2 de Abril de 1976 e nas suas sucessivas revisões (Rodrigues and Silva, 2016). No entanto, tanto a Constituição que as fundamenta, tal como as próprias PP, não acompanham o ritmo acelerado de

22

transformação do Estado Social, do seu contexto e da evolução dos seus paradigmas societais (Amado, 2018a).

As PP confrontam-se com ciclos de mudanças profundas e de turbulência, provocadas pelas dinâmicas transacionais da globalização, aumentando de forma significativa o clima de risco e incerteza crescentes (Mateus Jerónimo, 2018, p. 29), e reforçando a necessidade em que estas sejam avaliadas enquanto políticas (Ferrão and Mourato, 2010), em simultâneo, vejam analisados os seus efeitos e resultados (Alexander and Faludi, 1989, p. 1). Tendo em conta que o campo de atuação das PP e o seu próprio processo de definição correspondem a um procedimento cíclico que tem a incerteza como condição (Mateus Jerónimo, 2018, p. 31), estas devem considerar na sua definição mecanismos de flexibilidade para enfrentar esta incerteza (Alexander and Faludi, 1989, p. 1; Barata, 1986).

A definição de PP não pode ser dissociada do seu acompanhamento e avaliação (Amado and Cavaco, 2017). A lógica inerente a qualquer PP é que esta assuma uma tendência evolutiva aos mais variados níveis e tal só é possível através da avaliação e do entendimento dos seus resultados, condição que afirma a avaliação como um momento incontornável do ciclo de vida das PP.

O ciclo de vida das PP é composto por várias etapas ((a) identificação da questão; (b) formulação da agenda; (c) formulação e legitimação da política; (d) implementação e monitorização da política; e (5) avaliação da política) (Balla et al., 2015; Dye, 2016; Hill, 2014, 2009; Howlett et al., 2009; Monteiro and Moreira, 2018, p. 72), sendo a avaliação considerada como a etapa responsável pela transição entre ciclos. Isto é, a avaliação representa o culminar do ciclo de definição e implementação da PP e, em simultâneo, sustenta o início da sua manutenção, adaptação ou reformulação (EC, 2003). A avaliação é a etapa responsável por analisar a política e a sua implementação, nomeadamente ao nível da concretização de resultados, informando a tomada de decisão relativamente à necessidade de manutenção, adaptação (alteração ou aprofundamento) ou reformulação (extinção) (Monteiro and Moreira, 2018). Sem avaliação, não é possível entender se ou como as PP atingiram ou estão a atingir os seus objetivos (Amado and Cavaco, 2015), o que impossibilita a construção de um histórico que se assume imprescindível, numa perspetiva de aprendizagem com os resultados das experiências passadas que melhoram as práticas de futuro (Laurian et al., 2010, p. 740; Nutley et al., 2003; Sanderson, 2009).

23

A avaliação não é um fim em si própria (EC, 2013, p. 7), mas sim uma etapa, e excluir a avaliação do ciclo de vida das PP é condená-las ao insucesso e à extinção (Amado, 2018a). A razão para a realização da avaliação das PP, não tem verificado um percurso sólido ao longo do tempo (Mourato, 2017), entre países e domínios de intervenção, e não são consensuais os fatores de natureza política, societal, económica, institucional e cultural com que se sustentam a integração destas práticas enquanto parte fundamental do ciclo de vida das PP (Ferrão, 2018, p. 8). No entanto, os contributos e benefícios da integração da avaliação no seio das PP podem ser considerados consensuais e relativamente estabilizados (Oliveira, 2011), independentemente da postura ou posição que se adote relativa à avaliação das PP - A avaliação é imprescindível à definição, reformulação e manutenção das PP (Paixão and Ferrão, 2018). Sobretudo porque excluindo as práticas de avaliação extingue- se a recolha de informação e a produção de evidências relativas à política e à sua implementação (Nutley et al., 2003), inviabilizando à partida a sua adaptação a eventuais alterações de contexto (Cabral, 2017) e comprometendo a definição de futuras PP (George, 2017a), em prejuízo da eficiência e eficácia do serviço prestado pelo Estado enquanto entidade tutelar e de representação dos interesses sociais e das vontades coletivas (Fadigas, 2015).

Neste sentido, a avaliação desempenha um propósito específico no ciclo de vida das PP, e é peça fundamental para melhorar a sua qualidade (Mourato and Vale, 2018) e por consequência a qualidade das ações subsequentes à PP (Faludi and Altes, 1997). O propósito da avaliação no ciclo de vida das PP prende-se, em primeiro lugar, com a garantia da sua utilidade e qualidade enquanto política. No entanto, o propósito da avaliação estende-se à atualidade e adequabilidade da PP, sendo compromisso político do Estado prevenir e corrigir os erros cometidos no universo das PP e que potenciam situações de desequilíbrio e instabilidade aos vários níveis. Sem avaliação não é possível construir uma base de informação atual, organizada e capaz de identificar as situações de desequilíbrio e instabilidade (Mourato, 2017) e, em paralelo, inviabiliza o suporte à realização de adaptações à PP face a eventuais alterações de contexto ou oportunidades que possam surgir (Linderberg and Dubois, 2014).

O conceito de avaliação em PP, em termos latos, compreende o resultado de um processo cognitivo, instrumental e axiológico de determinação do valor (seja ele de que natureza for), de uma determinada política, elemento, momento ou procedimento a fim de o compreender melhor, podendo esta avaliação ser realizada antes (ex-ante), durante (on-going / in continuum) ou após (ex-post) a implementação da PP, e segundo teorias e métodos de avaliação distintos (Amado and Cavaco, 2015).

24

O termo avaliação é frequentemente utilizado para referir dois conceitos de avaliação diferentes e que noutras línguas surgem com terminologias diferentes – evaluation e assessment (Amado and Cavaco, 2015). Na língua portuguesa não existem duas palavras diferentes para diferenciar estes procedimentos, recorrendo-se ao término avaliação para ambos os casos. Em termos gerais, é possível distinguir os dois conceitos consoante o seu foco de atuação, sendo a evaluation focada nos resultados (eficácia1_{) e o assessment} focado no processo (eficiência2_{) (Amado and Cavaco, 2015; Baehr, 2014).} A evaluation mede aspetos específicos e formais da PP com o propósito de determinar o seu valor. É o processo utilizado para medir a eficiência da PP em atingir os seus objetivos, e permitir aos agentes decisores uma tomada de decisão suportada no nível de qualidade demonstrado. A evaluation embora focada nos resultados não é um procedimento exclusivo de uma fase de avaliação ex-post, podendo assumir um carácter preventivo e de decisão sobre a viabilidade de execução aquando realizado numa fase ex-ante ou on-going. Por exemplo, no caso da Avaliação de Impacte Ambiental (AIA), a evaluation tem como principal missão a identificação dos efeitos ambientais decorrentes da implementação de determinados projetos, mas também se dedica à previsão destes efeitos num momento ex-ante, onde propõe medidas de mitigação ou compensação desses efeitos. A evaluation é assim uma prática orientada para alimentar o processo de decisão com informação relativa aos possíveis impactes, diretos e/ou indiretos, decorrentes da implementação da PP e das alternativas apresentadas, tendo em vista suportar a decisão sobre a exequibilidade e viabilidade da mesma.

Por outro lado, o assessment foca o entendimento e compreensão do estado e condição da política e do processo de alcance dos seus resultados. O

assessment disponibiliza informação útil para melhorar os processos de

definição e implementação da PP, e habitualmente não recorre a categorizações ou escalas de valor. É um conceito muito associado a uma lógica de aprendizagem progressiva e utilização das experiências passadas para a realização de melhorias e na otimização das experiências futuras. O

assessment é maioritariamente utilizado nos momentos on-going e ex-post,

e.g., para recolher feedback relativamente à implementação da política, o que permite elevar o grau de qualidade em futuras performances com suporte no

1 _{Capacidade de cumprir os objetivos pretendidos. Eficácia in Dicionário infopédia da Língua}

Portuguesa [em linha]. Porto: Porto Editora, 2003-2019. [consult. 2019-01-10 11:50:28]. Disponível na Internet: https://www.infopedia.pt/dicionarios/lingua-portuguesa/eficácia

2 _{Poder de realizar algo convenientemente, despendendo de um mínimo de esforço, tempo e outros} recursos. Eficiência in Dicionário infopédia da Língua Portuguesa [em linha]. Porto: Porto Editora, 2003-2019. [consult. 2019-01-10 11:48:32]. Disponível na Internet:

25

conhecimento adquirido e nos resultados e efeitos de experiências passadas. O assessment não é exclusivo dos momentos on-going e ex-post, podendo ser utilizado no momento ex-ante, por forma a apoiar a tomada de decisão e suportar as fases seguintes da definição ou implementação da PP como, e.g., no caso da Avaliação Ambiental Estratégica (AAE) (Arts et al., 2001).

Evaluation e o assessment, embora significativamente distintos, são

conceitos muito próximos e que se podem complementar, sendo vantajoso para as PP que estes coabitem no seio do seu processo de definição e implementação. São ambos procedimentos dinâmicos e que contribuem para o alcance de melhores PP, mais eficientes e eficazes. Porém no atual panorama de transição para a formulação de PP mais flexíveis e capazes de se adaptar à volatilidade imposta pela incerteza (Mateus Jerónimo, 2018), o

assessment destaca-se por promover mais-valias preciosas no processo de

definição de PP. No entanto, das experiências ao nível da aplicação prática destes dois processos, é possível constatar que evaluation e assessment, quando articulados, se complementam e permitem construir um conhecimento mais sólido e completo do objeto em avaliação (Amado and Cavaco, 2015). Por um lado, assessment colmata o vazio relativo ao processo de definição e implementação da PP inerente a evaluation. Por outro lado, a evaluation induz um reforço ao nível do foco em aspetos de concretização e realização de objetivos, introduzindo mais-valias relativas à análise da dimensão dos resultados no assessment.

Em termos operacionais, na realização de ações de avaliação,

assessment está conectado com a monitorização e evaluation com a avaliação

(Amado and Cavaco, 2015). O conceito de monitorização surge com enfoque na componente do processo e corresponde ao acompanhamento regular da implementação da PP (Amado and Cavaco, 2017; Batista e Silva, 2018; Marques da Costa, 2018; OECD, 2002; Pereira, 2017). A monitorização eleva o papel da avaliação das PP além de uma etapa importante do seu ciclo de vida, reconhecendo-a como mecanismo e instrumento imprescindível nas fases de definição e implementação (Batista e Silva, 2018; Mourato, 2017). A monitorização pode incidir sobre três vertentes: (i) o panorama instrumental (planos, programas ou políticas) (Oliveira, 2011; Prada, 2008); (ii) a realidade territorial (Batista e Silva, 2002); e sobre a (iii) dinâmica territorial (considerando as transformações geradas no território tendo em conta os efeitos de planos, programas e políticas, espelhando a aderência do plano ao sistema-real) (Amado and Cavaco, 2017; Ferrão and Mourato, 2010; Prada, 2008).

26

Neste panorama, a avaliação em PP é mais do que uma etapa crucial do seu ciclo de vida. Reconhece-se à avaliação qualidades enquanto mecanismo – porque resulta do desenho e aplicação de um procedimento metodológico de avaliação – e enquanto instrumento de compreensão e aprendizagem – porque constrói conhecimento em relação ao que está a ser alvo de avaliação (ver figura 10 e anexo 1) (Amado and Cavaco, 2017, 2015; Ayob and Morell, 2016; Kalliola, 2014; Sanderson, 2009; Trochim and Donnelly, 2006).

Figura 10: Avaliação como Mecanismo de Aprendizagem. Fonte: Elaboração do autor.

É na sua vertente de construção de conhecimento que a avaliação se encontra diretamente relacionada com a monitorização, processo ao qual recorre para recolher informação efetiva das dinâmicas verificadas (Marques da Costa, 2018, p. 93). Esta atividade de monitorização, representa a prática de acompanhamento regular da implementação da PP, onde se pressupõe a recolha de informação capaz de caracterizar a resposta do universo de aplicação à sua implementação (Amado and Cavaco, 2017). Esta informação depois de recolhida, é tratada e selecionada, sendo os dados relevantes utilizados para alimentar o momento de avaliação da PP (Antunes and Costa, 2017; Moura, 2017).

A informação recolhida nas ações de monitorização e o conhecimento alcançado nos momentos de avaliação são indispensáveis em matérias de reorientação de estratégias e atividades de futuro (Oliveira, 2013; UNDP, 2009), em especial por permitirem evitar a repetição de erros cometidos no passado (Cabral, 2017) e, em simultâneo, otimizar a definição de futuras PP na seleção de medidas interventivas com suporte nos resultados de experiências anteriores (Amado et al., 2018). Neste sentido, representa para os vários agentes envolvidos a oportunidade para desenvolver e melhorar as bases de aprendizagem e conhecimento em relação às PP, nomeadamente nos seus processos de definição e implementação (Kalliola, 2014).

AVALIAÇÃO

27

A avaliação dos processos de definição e implementação de PP é útil ao presente e decisiva para a delinear o futuro (Baer, 1997). Tendo em conta a compreensão e conhecimento aprofundados que a avaliação permite, é possível afirmar que esta é o ponto de partida para a sua atualização, uma vez que é dela que se retiram os ensinamentos para aperfeiçoar a PP (Ferrão, 2017; Mourato, 2017).

Neste sentido, uma vez que as PP não apresentam resultados imediatos e infalíveis, compreendendo medidas interventivas que podem demorar uma ou mais décadas concretizar-se, a avaliação apresenta-se também ela como uma ferramenta de atualização da própria PP (Batista e Silva et al., 2009, p. 159). Independentemente da natureza e intensão da avaliação, uma avaliação suportada por um processo de monitorização regular, representa sempre uma avaliação mais rica e vantajosa. Como referido, o papel da avaliação não se esgota no momento em que esta é realizada, mas considera todo o registo da evolução do objeto em avaliação que a monitorização disponibiliza, útil após a ação de avaliação levada a cabo no presente, devendo ser toda a informação preservada para avaliações futuras (Amado and Cavaco, 2017).

Isto porque a avaliação é mais eficiente quando executada de forma regular, enquanto processo contínuo de acompanhamento (Taylor et al., 2005), que vai produzindo um repositório de informação cronologicamente organizado de onde se recorre para a realização da avaliação nos momentos-chave (Amado, 2018; Amado and Cavaco, 2017, 2015). É o caso da avaliação das PP, cuja informação necessária para realizar a sua avaliação permite, ao fim de um período de acompanhamento onde se efetua uma recolha regular de dados organizados de forma cronológica (Batista e Silva, 2002; Paixão and Ferrão, 2018; Prada, 2008, p. 61), entender o seu percurso evolutivo e daí incutir melhorias no processo (Amado and Cavaco, 2017; Snyder and Catanese, 1984). Neste panorama, é importante que a avaliação de PP se realize acompanhada por uma monitorização regular da sua implementação, uma vez que é ao longo da fase de implementação que são produzidas realizações e verificáveis os resultados diretos e concretos da operacionalização da PP (Monteiro and Moreira, 2018, p. 76).

Neste sentido, a avaliação de PP é entendida como o processo que garante a sua adequabilidade aos objetivos visados, a sua eficácia, eficiência, conformidade e legitimidade (Ferrão and Paixão, 2018). A sua utilidade é clara no ciclo de vida da PP ao introduzir contributos pertinentes no apoio a uma tomada de decisão informada (Linderberg and Dubois, 2014) e em tempo oportuno, garantindo a sua adequabilidade aos objetivos e ao contexto. Em simultâneo, permite um entendimento da operacionalização da PP que, quando transparente e devidamente divulgado, permite legitimar e auxiliar na prestação

28

de contas sobre os resultados alcançados (Alexander, 2001; Amado and Cavaco, 2017, 2015; Monteiro and Moreira, 2018, p. 77; UNEG, 2016).

A avaliação de PP hoje, Século XXI, não é entendida como era passado, muito menos entendida como será no futuro (Guba and Lincoln, 1989). A avaliação de PP é uma atividade em constante atualização e tem que ser entendida como suportada num processo em constante aperfeiçoamento (Mesquita Nunes, 2018), não se resumindo apenas a um momento ou uma tarefa (Oliveira, 2011), indo além da definição de indicadores e objetivos para definir o sucesso da PP (Monteiro and Moreira, 2018, p. 83) e atualizando-se ela própria à evolução do contexto (Louçã, 2018).

Neste sentido, avaliar a PP é atualizar a PP e o seu processo de definição. A integração da avaliação no universo das PP de OT é um sinal de inovação (Ferrão and Mourato, 2010), e o OT necessita dessa avaliação para garantir a atualização constante do vasto conhecimento legislativo, regulamentar, processual, de execução, operacionalização, tal como do objeto alvo dessas políticas (Healey, 1992, 2009a; Paixão and Ferrão, 2018; Rydin, 2007; Tennøy et al., 2016; Vigar et al., 2005). É um conhecimento imprescindível ao processo e atualização das PP e que apenas é possível com a realização da avaliação (Bovens et al., 2008).

A definição de PP tem como suporte o contexto em que é desenvolvida e no qual será operacionalizada, sendo por isso uma construção resultante da resposta a um determinado contexto. Deste modo, torna-se lógico que qualquer alteração ao contexto em termos de suporte físico, de recursos ou técnico (a nível territorial, cultural, ambiental, socioeconómico, tecnológico ou regulamentar) deve repercutir-se na PP e no seu processo de definição (Amado et al., 2018; Rodrigues, 2010, p. 33). É o caso da inovação informática que revolucionou a formulação de PP de OT com a introdução dos Sistemas de Informação Geográfica (SIG), alterando procedimentos e facilitando a manipulação de informação, ou por outro lado a afirmação da consciência ambiental que revolucionou a definição de PP com a introdução de fatores de sustentabilidade e preservação de recursos (Amado, 2005; Milner-Gulland and Akçakaya, 2001).

Por outro lado, à medida que o processo de definição de PP se atualiza, através das ações de avaliação, também o próprio processo de avaliação é atualizado. Tal como se pressupõe que qualquer PP evolua e se atualize, também o processo de avaliação de PP requer ser alvo de evolução e atualização. Atualmente as PP pretendem-se mais flexíveis à heterogeneidade e especificidades dos contextos em que são aplicadas e adaptáveis à volatilidade

29

das conjunturas sociais, económicas e territoriais em que se operacionalizam (DGT, 2014; Figueiredo, 2010; Romão Ventura, 2015) (ver Cap. I - 2.3). Neste sentido, exige-se à avaliação a disponibilização de um conhecimento abrangente e atualizado que apenas é possível com suporte numa equipa técnica plural e multifacetada (Tennøy et al., 2016), capaz de alimentar um conjunto de atores idealizados para que se apresentem cada vez capacitados para processar conhecimento intersectorial, interdisciplinar (Batista e Silva, 1998) e multi-escala, no sentido de o considerar, interpretar, ponderar no seio da tomada de decisão (Forester, 1988).

PP mais flexíveis e inteligentes exigem processos de avaliação também eles mais flexíveis e inteligentes, devendo ambos os processos ser alvo de atualização regular. Ou seja, a atualização do processo de definição de PP deve andar a par da atualização do processo de avaliação de PP, visto que a ocorrência de alterações ao contexto que suporta a definição da PP, fruto do decorrer da sua implementação ou da interferência de fatores externos (Oliveira and Breda Vasquez, 2010), também se repercutem nos paradigmais e teorias de avaliação (ver Cap. I – 1.2).

No entanto, avaliações flexíveis exigem uma monitorização atenta e com resposta rápida e oportuna por parte da implementação. Quanto maior flexibilidade for introduzida na avaliação, maior é a sua capacidade de adaptação e maior é a necessidade e frequência do acompanhamento da sua execução. Não só pelas questões associadas à adaptabilidade, mas também pelo incremento em termos de oportunidade para ocorrência de manipulação.

A avaliação de PP, enquanto técnica complexa que envolve e depende de um vasto número de atores e parâmetros, disponibiliza sempre a oportunidade para ocorrência de interferências, internas ou externas, que a condicionam ou manipulam (Flyvbjerg, 1998; Sager, 2001). A avaliação de PP deseja-se conduzida e direcionada, e não condicionada e manipulada. No entanto, em certos casos os parâmetros que conduzem a avaliação não são fornecidos de forma exógena e aumentam a possibilidade e o espectro de manipulação (Self, 1970), sendo o seu potencial de ocorrência bastante reduzido se estes parâmetros fossem obtidos de forma isenta e fora do processo de avaliação, ou seja facultados por uma entidade externa à equipa e imparcial ao processo de avaliação (Sager, 2003).

30

A avaliação pode assumir três posições (interna, externa ou mista) (Batista e Silva, 2006a; Prada, 2008), sendo que independentemente da posição que assume, existe sempre risco de interferência e manipulação, assente na possibilidade de certos grupos da sociedade poderem ter interesse em suprimir ou camuflar alguma da informação (Amado and Cavaco, 2015; Flyvbjerg, 1998; Lichfield, 1956; Self, 1970; Sager, 2003, 2001). A avaliação

“(…) pode diferenciar-se em avaliação externa, realizada por equipas exteriores ao processo, avaliação mista, através de equipas internas com reforço com especialistas externos, e avaliação interna, feita pela equipa que tem sobre a