A definição das questões e critérios de avaliação é uma parte essencial da fase inicial de qualquer avaliação.
Segundo EVALSED (2009:43), as questões de avaliação podem colocar-se a diferentes níveis, podendo ser:
i) questões descritivas, com o intuito de observar, descrever e medir a mudança; ii) questões causais, que procuram compreender e avaliar as relações de causa e efeito;
iii) questões prospetivas, que procuram prever os acontecimentos resultantes das intervenções planeadas;
iv) questões críticas que têm por objetivo apoiar a mudança, em muitos casos, a partir de uma perspetiva de valor;
As questões de avaliação, por seu lado, estão relacionadas com os principais critérios de avaliação que vierem a ser definidos. Seguindo de perto EVALSED (2009), podemos assumir como principais critérios de avaliação: i) a Relevância76; ii) a Eficácia77; iii) a Eficiência78; iv) a Utilidade79; v) a Sustentabilidade80.
76 Exemplos de questões de avaliação relacionadas: i) em que medida é que os objetivos do programa se
justificam pelas necessidades?; ii) poderá comprovar-se o motivo da sua existência?; iii) correspondem às prioridades locais, nacionais e europeias?
77 Exemplos de questões de avaliação relacionadas: i) em que medida é que os objetivos foram alcançados?; ii)
as intervenções e os instrumentos utilizados produziram os efeitos esperados?; iii) poderá obter-se mais efeitos utilizando instrumentos diferentes?
78 Exemplos de questões de avaliação relacionadas: i) os objetivos foram alcançados a custos mais reduzidos?; ii)
Dissertação de Doutoramento em Economia .
.
Figura 4 - Enquadramento das questões e critérios de avaliação de políticas públicas
Fonte: Adaptado de EVALSED (2009).
Segundo EVALSED (2009), o termo Relevância, no contexto de uma avaliação, refere-se à adequabilidade dos objetivos explícitos do programa em relação aos problemas socioeconómicos que devem solucionar. Para EVALSED (2009), na avaliação Ex-ante, as questões da análise de relevância são muito importantes, uma vez que o enfoque se encontra na escolha da melhor estratégia de intervenção a adotar ou na justificação da estratégia proposta. Na avaliação Intercalar, o objetivo consiste em verificar se o contexto socioeconómico evoluiu da forma esperada, e se a evolução coloca em causa um objetivo em particular, ou o programa ou medida no seu conjunto.
Segundo EVALSED (2009:44), “o termo Eficácia designa a verificação dos objetivos formulados no programa: se estão a ser alcançados, quais os sucessos e as dificuldades, e se as
79 Exemplos de questões de avaliação relacionadas: i) os efeitos esperados ou inesperados são globalmente
satisfatórios, do ponto de vista dos beneficiários diretos ou indiretos?
80 Exemplos de questões de avaliação relacionadas: i) os resultados e os impactos, incluindo as mudanças
Dissertação de Doutoramento em Economia .
. soluções selecionadas são as adequadas, bem como qual a influência dos fatores externos, com origem fora do programa, na execução do programa”.
Para tal, segundo MARTINEZ, RAWLINGS e VERMEERSCH (2011:14), “os estudos de eficácia são tipicamente levados a cabo num ambiente muito específico, com um pesado envolvimento técnico por parte dos avaliadores durante a fase de implementação do programa”.
Para EVALSED (2009:44), “o termo Eficiência é avaliado comparando os resultados obtidos ou, de preferência, os impactos produzidos, e os recursos mobilizados”. Por outras palavras, a análise de eficiência avalia se os efeitos obtidos estão em conformidade com os recursos aplicados.
De acordo com MARTINEZ, RAWLINGS e VERMEERSCH (2011:14) “os estudos
de eficiência fornecem evidências relativamente às intervenções que ocorrem em
circunstâncias normais, usando canais de implementação regulares. Quando as avaliações de eficiência são devidamente projetadas e implementadas, os resultados obtidos são uma realidade não só para a amostra de avaliação, mas também para outros beneficiários pretendidos fora da amostra”.
Em forma de resumo, verifica-se que, segundo MANDL, DIERX e ILZKOVITZ (2008:2), “a análise da eficiência e da eficácia é sobre as relações entre entradas, saídas e resultados”.
Atualmente, as técnicas para medir a eficácia e a eficiência têm sido substancialmente aperfeiçoadas, sendo que, as investigações de eficácia e de eficiência tornaram-se cada vez mais frequentes. No entanto, segundo MANDL, DIERX e ILZKOVITZ (2008:2), “a medição da eficiência e da eficácia da despesa pública continua a ser um desafio conceptual”. Seguindo de perto MANDL, DIERX e ILZKOVITZ (2008), os problemas de medição, neste contexto, surgem porque a despesa pública tem múltiplos objetivos e porque os outputs do setor público, não são, na generalidade das vezes, possíveis de serem “vendidos” no mercado, implicando que, não existam dados disponíveis sobre os preços aplicáveis aos mesmos, originando que o output não possa ser, na maioria das vezes, quantificado nesse contexto.
Para EVALSED (2009:45), “o critério da Utilidade julga os impactos obtidos pelo programa em relação a necessidades sociais e económicas mais alargadas. A utilidade constitui um critério de avaliação muito específico, uma vez que não faz qualquer referência
Dissertação de Doutoramento em Economia .
. aos objetivos oficiais do programa”. Segundo EVALSED (2009), pode ser prudente formular uma questão de utilidade sempre que os objetivos do programa estejam mal definidos, ou sempre que existam muitos impactos inesperados. Este critério deverá, no entanto, ser utilizado com cuidado, para assegurar que o avaliador não seleciona as necessidades ou questões importantes de forma muito subjetiva. Assim sendo, como forma de precaução contra este risco, poderá optar-se por envolver outras partes interessadas e, em particular, os beneficiários, na seleção das questões de utilidade81.
Segundo EVALSED (2009:45), “o termo Sustentabilidade refere-se à medida em que os resultados e as realizações da intervenção são duradouros”. Muitas vezes, as avaliações procuram ter em consideração a sustentabilidade das mudanças institucionais, bem como os impactos socioeconómicos daí decorrentes. Seguindo de perto EVALSED (2009), os critérios da análise de sustentabilidade também estão relacionados com o conceito de desenvolvimento sustentável, que pode ver-se como uma definição de utilidade, sobretudo se, o desenvolvimento sustentável for definido como sendo referente à manutenção de capitais humanos, produtivos, naturais e sociais, em vez de se concentrar, exclusivamente, na questão da preservação do ambiente para gerações futuras.
Estes critérios não são exclusivos. Segundo EVALSED (2009), outros critérios como: i) a equidade; ii) a coerência interna e externa; iii) a sinergia; e iv) a reprodutibilidade, também se utilizam frequentemente em avaliação. Além disso, os critérios de avaliação, e as questões de avaliação daí decorrentes, podem estar relacionados também com as consequências negativas e positivas esperadas ou não esperadas das intervenções.
Assim sendo, para finalizar, importa referir que, embora os programas possuam a sua própria lógica e os seus próprios objetivos, estão integrados em políticas que, desejavelmente, lhes definem uma finalidade mais abrangente, sendo que, por isso mesmo, a avaliação não deverá ser restritamente limitada aos objetivos e às prioridades dos programas.