Paradigmas e teorias de avaliação

A avaliação de PP tem sido alvo de diversos paradigmas e teorias de avaliação que refletem, por um lado a complexidade que lhes está inerente por via do seu campo de atuação, e por outro a diversidade de posições teóricas e procedimentos que se podem adotar.

32

As teorias de avaliação formulam um quadro teórico que se enquadra num determinado contexto que define o paradigma de avaliação. Deste modo, os paradigmas de avaliação são compostos por teorias que partilham de certos aspetos do seu quadro teórico.

Existe uma grande diversidade de teorias de avaliação desenvolvidas no âmbito do OT e que diferem entre si ao nível das suas características fundamentais e dos métodos criados para a sua execução (ver anexo 3 e 4). O extenso leque de teorias e métodos, e a sua apresentação usualmente apelidada de teorias e metodologias de avaliação, leva á necessidade de distinção entre estres três conceitos.

Entende-se por (1) teoria de avaliação o conjunto de fundamentos teóricos que sustentam o desenvolvimento de um método de avaliação. Os (2) métodos de avaliação, por sua vez, compreendem um conjunto de procedimentos a serem adotados na execução da avaliação. Por último, o (3) conceito de metodologia por definição é o estudo dos métodos, das suas características e prestação. No entanto, na bibliografia é corrente a referencia a métodos de avaliação utilizando o termo metodologia.

É possível caracterizar a teoria de avaliação, retratar o seu contexto e identificar o paradigma em que esta se insere através de cinco questões: (a)

porquê avaliar? (b) para quê avaliar? (c) quando avaliar? (d) avaliar como? (e)

e quem avalia?.

Neste sentido, os paradigmas de avaliação surgem de um conjunto de teorias que partilham de certas respostas a estas questões.

A questão (a) porquê avaliar, remete para a razão da avaliação que, por princípio, deveria corresponder à melhoria da PP e do seu processo de definição e implementação (Seasons, 2003), uma vez que a avaliação se justifica com a diferença que a sua realização incute relativamente ao sucesso da PP (EC, 2013).

O (b) para quê avaliar, expressa o objetivo da ação de avaliação. O objetivo da avaliação está diretamente relacionado com a razão da avaliação, sendo o objetivo da avaliação uma especificação da razão de realização da avaliação. As avaliações podem ter vários objetivos sendo que tradicionalmente as experiências convergem em aspetos como a conformidade, desempenho, eficiência e eficácia (Batista e Silva, 2006a).

A questão (c) quando avaliar, remete para o momento em que é realizada a avaliação (ex-ante, on-going, ex-post). O modo como essa avaliação é executada, é esclarecido com a questão (d) avaliar como, que se prende com

33

a clarificação das razões e das referências da mensuração (Prada, 2008, p. 57). Por último, (e) quem avalia, define quem conduz o processo de avaliação. É uma decisão chave que tem influência no nível da credibilidade e utilidade da avaliação. Isto porque quem realiza a avaliação é responsável pela qualidade e adequabilidade com que é realizada, sendo necessária total isenção e transparência para que não sejam levantadas questões relacionadas com eventuais manipulações ou distorções que possam comprometer os resultados (Flyvbjerg, 1998; Sager, 2003, 2001, 1999).

Definir o que se entende por avaliação de PP em OT e balizar o seu campo de atuação é uma tarefa difícil e complexa (Amado and Cavaco, 2015). O alcance de um consenso em termos do objeto alvo de avaliação em OT, do tipo de avaliação que deve ser realizada, tal como o modo como esta deve ser conduzida, é uma tarefa em constante atualização e que por isso de estabilização difícil.

As teorias e os paradigmas de avaliação condicionam e são condicionados pelo tipo de avaliação (âmbito, momento, objeto, objetivo, critérios, indicadores), pelos procedimentos adotados, e pelos contextos político, institucional e cultural em que estão a ser operacionalizadas (Paixão and Ferrão, 2018). Neste sentido, o que se entende por avaliação está condicionado pelo contexto em que se realiza a avaliação, e a avaliação realizada reflete o contexto em que esta é executada.

O que se entende por avaliação de PP atualmente é diferente do que se entendia por avaliação no passado, e seguramente diferente do que se entenderá por avaliação no futuro (Guba and Lincoln, 1989). Os fundamentos teóricos que suportam a avaliação, os seus contextos social, cultural, político, económico, institucional, e cultural, estão em constante evolução e adaptação, o que atribui uma natureza dinâmica de evolução nas teorias e procedimentos (Shaw et al., 2006), ou seja, tanto ao nível dos discursos como das práticas da avaliação (Ferrão, 2018, p. 13). Porém existe uma constante na avaliação em PP que lhe atribui uma certa estabilidade empírica, que na sua natureza política (Bovens et al., 2008; Louçã, 2018; Mesquita Nunes, 2018). Isto porque, ainda que as teorias e os paradigmas se alterem e atualizem, a avaliação de PP é sempre uma avaliação política (Louçã, 2018; Mesquita Nunes, 2018), que se enquadra num contexto político específico (Mourato, 2017) e reflete o papel do Estado, valores e ética, conhecimento científico, cidadania e envolvimento da população (Ferrão, 2018). Neste sentido, a evolução dos paradigmas e teorias de avaliação repercutem-se no modo como se processa a avaliação e refletem o desenvolvimento da sociedade (Amado, 2014a; Shaw et al., 2006), a modernização das estruturas governativas e dos sistemas político-

34

administrativos, e assumem-se como um sinal de inovação institucional (Ferrão and Mourato, 2010b).

A avaliação tem como suporte a convergência de múltiplos fatores, de natureza política, social, económica, institucional e cultural, que refletem e acompanham os paradigmas da avaliação, não existindo uma única história da avaliação, mas sim várias (Ferrão, 2018; Shaw et al., 2006). Esta situação é clara quando analisada a discussão entre a alteração de paradigma na avaliação, que em muitos casos embora utilizando técnicas de diagnóstico semelhantes acaba por ser referenciada e apelidada de formas diferentes. João Ferrão (2018) faz referência a diferentes paradigmas de avaliação, e.g., Tradição racionalista e tradição argumentativa (Bovens et al., 2008); Visão técnico-racional e visão sistémica (Stern, 2006); Perspetiva moderna/naturalista e perspetiva humanista/hermenêutica (Kallemeyn et al., 2015); o Paradigma técnico-racionalista e o paradigma dialógico (Ferrão, 2018).

A análise e o confronto entre paradigmas reflete um debate mais amplo do que as questões específicas dos procedimentos de execução da avaliação, e que se traduzem no papel da avaliação e na relação entre a avaliação e o objeto avaliado.

A literatura destaca dois paradigmas de avaliação identificados por Ferrão (2018) como paradigma técnico-racionalista (PTR) (anos 50 e 60) e paradigma dialógico (PD) (anos 80 e 90) (Ferrão, 2018, p. 7), e que o investigador distingue pela forma como estes consideram normas, valores, interesses e relações de poder. A confrontação entre estes dois paradigmas (PTR e PD) pode ser realizada em função das suas características, da natureza das práticas de avaliação que os caracterizam, da sua incidência e dos métodos que suportaram (Ferrão, 2018).

O PTR surge associado à racionalidade técnico-científico, assente no positivismo de uma avaliação baseada no conhecimento neutro, possível obter através de uma objetividade analítica e imparcialidade do avaliador, num contexto onde prevalece a definição de novas PP e a avaliação se foca na dimensão da eficácia (Ferrão, 2018, pp. 8–9). Neste paradigma, a avaliação corresponde a uma etapa que antecede a definição da PP (avaliação ex-ante) ou sucede a implementação da PP (avaliação ex-post), e procura assegurar objetividade analítica na medição objetiva dos resultados. No PTR a avaliação é entendida como um procedimento técnico-científico, levado a cabo por especialistas e com base em critérios de racionalidade científica (Ferrão, 2018, p. 10).

35

Por outro lado, o PD surge assente no pós-positivismo, onde a avaliação se suporta no conhecimento construído segundo um processo de diálogo e de concertação de interesses entre os diferentes grupos da sociedade. O PD surge numa fase pós-expansionismo, com o incremento do interesse da população nas matérias das PP, e com os primeiros passos ao nível da abertura e transparência do processo de definição e implementação da PP, onde o escrutínio da PP nova (em definição) e existente surge com maior enfase. No PD, a avaliação da PP é um caminho para a sua credibilização e para a garantia de que os interesses dos diferentes grupos da sociedade estão vertidos na PP.

O PTR decorre do PD e por isso convergem e divergem em vários aspetos. E.g. tanto o PTR como o PD consideram a avaliação como uma tarefa complexa que requer a existência de um corpo técnico especializado na sua realização. Porém, no PD a sua condição de abertura e transparência leva a uma avaliação efetuada por especialistas com o envolvimento dos restantes grupos da sociedade (e.g. cidadãos e stakeholders) (Ferrão, 2018, p. 11). O debate que decorreu entre estes dois paradigmas levou ao surgir de situações híbridas que resultam da evolução da PTR ou da PD, e.g. os paradigmas da avaliação realista e da análise reflexiva de políticas (Bovens et al., 2008; Ferrão, 2018; Kazi, 2003; Pawson and Tilley, 1997).

As divergências na PTR e no PD surgem aleadas sobretudo à visão e ao contexto de avaliação, nos seus princípios, prossupostos, finalidade e filosofia adjacente, e que condiciona e caracteriza a natureza e incidência das práticas de avaliação. De todos os fatores, o contexto é o facto que maior influência tem no processo de avaliação da PP e na caracterização do paradigma, sendo os restantes influenciados pelo contexto. Por exemplo, o contexto em que surgiu o PTR (anos 50) caracterizado por um período expansionista e de definição de novas PP remete a avaliação para um princípio de objetividade, focado na análise dos resultados das PP na sua definição e, por isso, muito próximo do conceito da eficácia. Por outro lado, o contexto associado ao PD (anos 80/90) assente numa maior abertura das PP aos grupos da sociedade, direciona a avaliação das PP tanto para o escrutínio das PP existentes, como das PP a definir, mais direcionada para o processo e associada às questões da implementação da PP e da sua eficiência.

Os métodos desenvolvidos refletem os paradigmas em que se inserem, as teorias que os suportam e práticas de avaliação adotadas, sendo esta associação pormenorizada em 3- Metodologias de Avaliação em Ordenamento

do Território e apresentada no Anexo 2: Evolução cronológica dos paradigmas da avaliação em PP de OT (ver figura 11 e anexo 2).

36

Da análise executada, torna-se claro que o conceito de avaliação e todas as relações que lhe estão interligadas variam entre métodos, teorias e paradigmas, refletindo que a avaliação de PP varia consoante o contexto (ver anexo 4) (ver Cap. I – 3.1).

O conceito de avaliação e as variações ocorrem de acordo com múltiplos fatores, nomeadamente entre países e entre áreas de PP, que encontram resposta nas cinco questões apresentadas e que representam alterações ao contexto em que é executada a avaliação. Muitas das vezes, estas alterações em relação ao contexto são adequações, nomeadamente em termos do tipo de avaliação (âmbito, objeto, objetivo, critérios, indicadores), dos procedimentos, e em relação aos contextos político, institucional e cultural (Amado, 2018a). Ou seja, as variações não representam forçosamente alterações em termos dos fundamentos teóricos e metodológicos que suportam a realização da avaliação, ou o desenvolvimento do método de avaliação.

A avaliação evolui com a alteração dos contextos e a sua evolução traduz-se na mudança de paradigma (ver figura 11 e anexo 2). A avaliação surgiu nas PP associada a uma lógica racional focada na eficácia e nos resultados (anos 50), executada segundo métodos assentes na ideologia do procedimento técnico-científico, e.g. método da Análise Custo-Benefício (ACB) (cost-bennefit analysis) (1958), e que se revelava com pouca abertura e transparência no que diz respeito ao processo de avaliação. Com a alteração do contexto (social, económico, institucional, cultural, tecnológico, entre outros) a avaliação de PP tornou-se lentamente num processo mais aberto e inclusivo (anos 80), focado na componente do processo e da implementação, e que não se guia apenas por critérios técnico-científicos, integrando critérios de procedimentos e normativos como, e.g., o método Processo, Plano, Resultados (PPR) (2011) (ver Cap. I – 3.2).

37

Figura 11: Evolução cronológica dos paradigmas da avaliação em PP de OT. Fonte: Elaboração do Autor.

1940 1950 1960 1980 1990 2000 2010 2020

foco na avaliação ex-ante * noção de eficácia

ACB

* noção de eficiência

foco na avaliação ex-ante e avaliação ex-post

FB * eficiência Vs eficácia AM * noção de impacte AIA AIC

foco na avaliação on-going

GAM PPP

MESN RP

* dimensão estratégica da avaliação

AAE PIE

PPR

NOTA:

AAE – Avaliação Ambiental Estratégica;

ACB – Análise Custo-Benefício (cost-bennefit analysis );

AIA – Avaliação de Impacte Ambiental;

AIC – Avaliação do Impacto na Comunidade (community impact evaluation );

AM – Avaliação Multicritério;

AP – After the plan;

DPW – Does Planning Work;

FB – Folha de Balanço (Planning Balance Sheet Analysis );

GAM – Goals-Achievement Matrix;

GPEC – General Plan Evaluation Criteria;

MESN – Means for Evaluating Actions of a Structural Nature;

MPM – Making Plans that Matter;

MLBP – More and Better Local Planning;

PIE – Plan Implementation Evaluation;

PP – Políticas Públicas;

PPP – Policy-Plan/Programme-implementation-Process;

PPR – Plano, Processo, Resultados;

PNP – Performance of National Polices;

RP – Reading Plans; Avaliação como componente constante do processo de PP 1970 paradigma técnico-racionalista paradigma dialógico Avaliação como ponto de partida do processo de definição de PP Avaliação como etapa do processo de definição, revisão ou reformulação da PP

38

1.3. O papel das Organizações Internacionais na avaliação de