Fatores críticos subjacentes à monitorização e avaliação

Existem vários fatores-críticos subjacentes à monitorização e avaliação, sobretudo relacionados com a sua natureza conceptual e operativa, e dependentes do contexto cultural e regulamentar em que estas são executadas (Amado, 2018a; Oliveira, 2011).

Desde logo, surgem três referências ao contexto da avaliação das PP enquanto prática, que enquadram os fatores-críticos subjacentes à sua realização.

A (1) primeira, referente ao facto de a monitorização e avaliação enfrentarem desde logo a dificuldade de aceitação e integração enquanto cultura no seio da PP, e que está fortemente relacionada com a sua terminologia. A denominação avaliação ainda é vista culturalmente como uma aferição de qualidade com o objetivo de responsabilização (accountability), o que assusta os atores envolvidos no processo de definição, implementação e gestão das PP. De facto, embora muitas vezes a perceção da avaliação seja de que esta não produz qualquer efeito ou consequência, a realização da avaliação de PP pressupõe sempre consequências e a atribuição de responsabilidades. No entanto, culturalmente na memória das experiências de avaliação a atribuição de responsabilidades associadas aos insucessos ainda se sobrepõe à legitimação e reconhecimento dos sucessos.

Ou seja, a avaliação de PP não pode ser uma atividade neutra e requererá sempre a produção de juízos de valor entre a realidade existente face à realidade pré- existente ou perspetivada (Batista e Silva, 2018; Mourato, 2017; Partidário, 2017), num sentido de evolução das práticas e procedimentos a fim de aproximar a realidade existente à realidade desejada (Cavaco et al., 2016). No entanto, a forte conotação da avaliação com uma noção de responsabilização individual sobrepõe- se culturalmente, representando o principal atrito à consolidação da avaliação como cultura e prática corrente no seio das PP e tornando premente a promoção institucional da avaliação numa perspetiva de compreensão e aprendizagem (Amado, 2018a; Amado and Cavaco, 2017).

A (2) segunda, o facto de avaliação de PP não se apresentar como uma disciplina prejudica a coerência nos conceitos, critérios, perspetivas e procedimentos nas experiências realizadas (Vedung, 1997). A avaliação de PP é uma área muito lata e transdisciplinar, onde todas as disciplinas das ciências sociais são chamadas ao processo de avaliação e desempenham um papel ativo na execução da avaliação das PP. Deste modo, torna-se impossível classificar a avaliação de PP como uma disciplina própria, uma vez que é transversal às várias disciplinas das ciências sociais como, e.g. ambiente, geografia, economia, sociologia, OT, ou a ciência política. Ou seja, não existe a disciplina da avaliação de PP, mas sim a componente de avaliação das PP, que tem inevitavelmente origem numa das disciplinas das ciências sociais.

102

No entanto, a avaliação de PP tem vindo a ser tratada de forma particularizada por cada uma das ciências sociais, onde cada disciplina tem desenvolvido a sua abordagem ao tema da avaliação de forma individualista e sem articulação com as restantes disciplinas (Vedung, 2010, 1997). Este panorama é altamente prejudicial à avaliação, sobretudo numa perspetiva de integração e afirmação no seio das PP, pois gera incoerência e incompatibilidades entre conceitos adotados, tornando o campo da avaliação das PP frágil e controverso.

A (3) terceira referência surge associada ao dinamismo das atividades de monitorização e avaliação. A monitorização e avaliação são atividades em constante inovação e evolução, exigindo adaptações constantes ao contexto em termos de objetivos, desafios, procedimentos, políticas, tecnologias, entre outros, e.g. no que diz respeito à alimentação do processo de avaliação no atual contexto em que o volume de informação impõe novos desafios à monitorização e avaliação.

A avaliação beneficia de uma visão sistematizada e orientada, ou seja, o interesse é o alcance de uma visão síntese e não uma transcrição exaustiva e infindável de todos os aspetos capazes de acompanhar e retratar ao nível das dinâmicas territoriais que são verificáveis (DGA, 2000b, p. 5). Se nas primeiras experiências de avaliação os avaliadores tinham a grande dificuldade de lidar com a falta de informação para alimentar os exercícios de avaliação, atualmente o panorama alterou-se e os avaliadores têm agora como principal desafio selecionar qual a informação qualificada e com interesse a utilizar (Branco, 2017; Castelo Branco, 2018). O leque de dados e informação aumenta a ritmo acelerado, porem sem mecanismos de garantia dos requisitos técnicos de qualidade na recolha, tratamento e produção de informação, o que aumenta a necessidade de garantir coerência e perpetua a exigência de seletividade no seio da avaliação (Amado, 2018a; Castelo Branco, 2018).

Neste sentido, a avaliação de PP beneficia de coerência e articulação ao nível da definição dos fatores cíticos (identificados de (a) – (f)) que têm que ser garantidos num contexto de avaliação (Amado, 2018a). Garantir coerência e articulação não significa limitar ou condicionar a liberdade e diversidade dos exercícios de avaliação, pelo contrário, a coerência e articulação nos exercícios de avaliação aumentam o potencial e utilidade do processo de avaliação, dos seus resultados e das informações e evidências que produz ao longo do processo (Amado and Cavaco, 2017).

A avaliação necessita de ser (a) coerente, (b) transparente, (c) participada, (d) flexível, (e) sustentável, (f) útil e necessária.

Deste modo, a (a) coerência torna-se aspeto fundamental e transversal aos vários componentes da avaliação de PP, tanto a nível interno, entre avaliações do mesmo objeto, como a nível externo em relação a avaliações de objetos diferentes, e.g. coerência em termos das terminologias, conceitos, requisitos técnicos. Isto porque

103

sem garantia de coerência e consistência nas terminologias, conceitos e requisitos técnicos, exercícios de avaliação semelhantes podem ter resultados distintos, ou até opostos, mesmo que executados segundo o mesmo enquadramento e no mesmo contexto. É neste sentido que surge o Princípio de Pareto, apresentado por Tore Sager (2003) em Rationality Types in Evaluation Techniques (Sager, 2003). O Princípio de Pareto garante coerência e concordância entre o resultado final da avaliação e a relação entre os elementos das várias alternativas em análise (Sager, 2003). Ou seja, se a alternativa X se verificar melhor do que alternativa Y na avaliação de cada elemento, a metodologia de avaliação coloca a opção X acima da opção Y na hierarquização (ranking) que efetua.

O exercício da avaliação é uma atividade que cabe a todos e não só a alguns, sendo porém necessária a consciência de que existem papéis e relevos diferentes para cada grupo ou conjunto de atores (Amado et al., 2017). Neste sentido, incutir (b) transparência no processo e promover ações de (c) participação e comunicação de resultados são outros dos aspetos que se revelam essenciais para o sucesso das ações de avaliação (Amado, 2018b; Estrella and Gaventa, 1998), ao transmitirem uma sensação de parceria e envolverem a população (Prada, 2008, p. 54), assegurando uma colaboração social refletida, empenhada e continuada (Amado et al., 2017, p. 2).

A transparência no processo de avaliação anda a par com a participação mas representam princípios distintos. A transparência contribui para a credibilização da avaliação e para a sua abertura enquanto processo, promovendo a participação e integração de vários atores. Deste modo, a participação e a transparência devem ser constantes em todo o processo de avaliação, inclusivamente na comunicação de resultados, uma vez que caminhamos cada vez mais para uma ótica de PP mais integradoras, aplicadas num contexto onde a população se verifica cada vez mais interessada e onde os processos de participação ganham relevo na promoção de uma interação de proximidade entre o corpo político, equipa técnica e população (Batista e Silva, 2006b; Estrella and Gaventa, 1998; Prada, 2008). Neste sentido e com vista ao alcance de uma avaliação dirigida e integrada no seu contexto, deve ser garantido o aspeto da (d) flexibilidade na definição de objetivos e procedimentos a adotar na condução da avaliação, permitindo a sua territorialização e adaptação às especificidades de cada território, fomentando uma lógica de territorialização da avaliação.

O aspeto da (e) sustentabilidade também é fator cítico para o sucesso da avaliação, tanto a longo como a curto prazos. Enquanto fator crítico da avaliação, o aspeto da sustentabilidade está relacionado com a eficiência e eficácia da avaliação e do processo de avaliação. O caracter horizontal das PP de OT e dos respetivos SGT, por vezes levam à multiplicidade de atores envolvidos e refletem-se na duplicação de esforços e repetição de tarefas no processo de avaliação (Alves, 2007). Neste sentido, a avaliação tem que ser programada, e.g. segundo um plano de avaliação, que descreva como se vai realizar a monitorização e avaliação, e que funciona como

104

um guia capaz de direcionar e apontar o sentido para o qual o processo de avaliação deverá caminhar, estabelecendo prioridades, recursos, calendarizações e definindo as capacidades necessárias para realizar essa avaliação (CDCP, 2011).

Por último, o aspeto (f) utilidade, porque a avaliação necessita de ser útil, caso contrário não serve o seu propósito e não é utilizada. Neste sentido, o conteúdo da avaliação necessita de se debruçar sobre os assuntos que importam avaliar do ponto de vista da PP e dos vários grupos intervenientes, apresentar resultados em tempo oportuno, suportar-se em dados atualizados e orientada para a ação. Para tal, é necessário que o corpo técnico se encontre munido de informações atualizadas e que após o conhecimento e compreensão da situação existente e das dinâmicas registadas, se formule um conjunto de orientações de como agir no futuro face ao observado (Batista e Silva, 2006b; Prada, 2008; PT2020, 2014).

105

CAPÍTULO II: AVALIAÇÃO DO ORDENAMENTO DO