R E S U L T A D O S D O S Q U E S T I O N Á R I O S
A P L I C A D O S A O S G A D A S A V A L I A Ç Õ E S
0. INTRODUÇÃO
O Plano Global de Avaliação do QREN e dos PO (PGA), elaborado e aprovado em 2008, constitui um instrumento de referência no processo de monitorização estratégica e avaliação da aplicação dos fundos estruturais em Portugal durante o período de programação 2007‐2013. Este Plano dá uma resposta cabal às exigências nacionais e comunitárias nesta matéria, assegurando os princípios e as regras definidos no Regulamento Geral dos Fundos1, bem como as orientações plasmadas no Decreto‐Lei de Governação do QREN2 onde é clara a necessidade de “Elaborar o plano global de avaliação do QREN e dos PO […] que engloba avaliações de âmbito estratégico e operacional e inclui uma lista indicativa dos exercícios de avaliação previstos para o período 2007‐2013, a sua natureza e calendário respectivos”. O PGA define a realização de vários ciclos de avaliação, sendo que o primeiro (em larga medida associado à perspectiva operacional dos PO e do QREN) se encontra actualmente em fase de encerramento. Trata‐se da primeira experiência avaliativa durante o período de programação 2007‐ 2013 que, pelas experiências e aprendizagens que permitiu desenvolver, tem vindo a merecer por parte da Rede de Avaliação do QREN em geral, e do Observatório do QREN em particular, uma atenção redobrada no sentido de criar uma base de trabalho sólida, crítica e reflexiva, que apoie com informação relevante o planeamento do segundo ciclo de avaliações do QREN e dos PO (avaliações intercalares). Esta base de trabalho enquadra‐se no objectivo, igualmente vertido no PGA, de estabelecer, pela primeira vez na história dos fundos estruturais em Portugal, um processo de meta‐avaliação que permita acompanhar os processos avaliativos, segundo uma lógica de melhoria contínua do seu planeamento, implementação e resultados.
Para que este esforço de meta‐avaliação seja desenvolvido na sua plenitude, importa dar continuidade à cultura de parceria e colaboração que tem vindo a ser implementada no contexto da Rede de Avaliação. Por conseguinte, considerou o Observatório do QREN fundamental auscultar os membros dos Grupos de Acompanhamento das avaliações já terminadas, de forma a sistematizar e compreender os principais pontos fortes e pontos fracos do primeiro ciclo de avaliações, bem como as oportunidades de melhoria que se verificam para o próximo ciclo de avaliações intercalares. Este trabalho surge na sequência de um outro, já concluído e apresentado à Rede de Avaliação, onde o Observatório do QREN desenvolveu um balanço interno, baseado na análise de documentos relevantes, sobre os Procedimentos Conducentes às Avaliações e as Opções Metodológicas do 1.º ciclo de avaliações. Com o documento que agora se apresenta, pretende‐se alargar a base de informação existente sobre o 1.º ciclo de avaliações do QREN, tendo sido auscultados, por via da aplicação de um questionário, os membros de 6 Grupos de Acompanhamento. Os principais resultados desta auscultação estão vertidos neste documento e organizados em função dos aspectos que seguem, correspondentes à própria estrutura do questionário: i) planeamento do processo avaliativo; ii) a implementação do processo avaliativo; iii) os resultados e produtos das avaliações; iv) apreciação global do 1.º ciclo de avaliações do QREN e dos PO. 1 Regulamento (CE) Nº 1083/2006, de 11 de Julho ‐ e posteriores alterações. 2
Decreto‐Lei nº 312/2007 de 17 de Setembro (D.R. nº 179, 1ª série, 17‐09‐2007), alterado e republicado no Decreto‐Lei nº 74/2008 de 22 de Abril e alterado no Decreto‐Lei nº 99/2009 de 28 de Abril.
1. O PLANEAMENTO DO PROCESSO AVALIATIVO
O primeiro dos aspectos sobre os quais os membros dos Grupos de Acompanhamento se pronunciaram diz respeito ao processo de planeamento da própria avaliação. Neste quadro, e tendo em conta que muitos dos membros do GA não estiveram presentes nesta fase, verificam‐se várias “Não respostas” decorrentes, naturalmente, da falta de informação sobre os aspectos associados quer à fase de elaboração dos Termos de Referência das avaliações, quer à fase de selecção das equipas de avaliação. No entanto, o peso das “Não respostas” não inviabiliza uma análise robusta destes dois aspectos. Assim sendo, e no que se reporta à elaboração dos Termos de Referência das avaliações, os inquiridos consideram que, na sua generalidade, os TdR são de grande qualidade, encerrando em si mesmos um forte potencial de garante da qualidade das avaliações a apreender. O item dos TdR que recolheu o maior número de respostas positivas prende‐se com a adequação do preço base proposto no caderno de encargos com as exigências técnicas, questões e objectivos definidos para as avaliações.
Pelo contrário, o item que reuniu menos respostas positivas (apesar de as mesmas representarem 86% do total de respostas) foi o da conformidade entre o tempo previsto para a realização dos estudos de avaliação e as exigências técnicas, questões e objectivos definidos para as avaliações, o que remete, apesar de tudo, para um esforço de aperfeiçoamento desta matéria no próximo ciclo de avaliações intercalares do QREN e dos PO. Figura 1: Termos de Referência (%) 89 86 93 94 100 11 14 7 6 As questões de avaliação foram claras, pertinentes e coerentes (RV=18) O calendário proposto no caderno de encargos estava em conformidade com as exigências técnicas, questões e objectivos definidos para as avaliações (RV=14) A forma como os requisitos metodológicos estavam descritos no caderno de encargos assegurou a mobilização e descrição, em sede de propostas de avaliação, dos métodos de recolha e tratamento de informação mais relevantes (RV=14) A estrutura e conteúdo do caderno de encargos (nomeadamente na componente das especificações técnicas) foram globalmente coerentes e adequados aos objectivos gerais das avaliações (RV=18) O preço base proposto no caderno de encargos estava em conformidade com as exigências técnicas, questões e objectivos definidos para as avaliações (RV=14)
Parcialmente Não Sim
N = 20
No que diz respeito ao processo de selecção das equipas de avaliação, os membros dos GA consideram‐ no globalmente satisfatório, nomeadamente no que se reporta ao alinhamento dos critérios de selecção das propostas com os objectivos das avaliações (a totalidade das respostas é positiva), bem como ao grau de clareza e detalhe dos critérios de selecção, o qual permitiu uma análise objectiva das propostas (92% de respostas positivas) e a adequabilidade do procedimento contratual utilizado (87% de respostas positivas).
O item onde os inquiridos se mostraram menos confortáveis com as soluções adoptadas durante o processo de selecção das equipas prende‐se com a quantidade e qualidade das propostas recebidas, factores que condicionaram a aplicação de uma efectiva selectividade no processo em questão (54% de respostas “Parcialmente” e 15% de respostas negativas). Figura 2: Selecção das equipas de avaliação (%) 31 87 92 100 15 13 54 8 As propostas recebidas, em quantidade e qualidade, deram garantias da aplicação de uma efectiva selectividade (RV=13) O procedimento contratual utilizado (concurso ou ajuste directo) foi o mais adequado (RV=15) O grau de clareza e detalhe dos critérios de selecção permitiu que a análise das propostas fosse feita de forma objectiva (RV=13) Os critérios de selecção das propostas estavam devidamente alinhados com os objectivos da avaliação (RV=13)
Parcialmente Não Sim
N = 20
2. A IMPLEMENTAÇÃO DO PROCESSO AVALIATIVO
O processo avaliativo constitui o segundo aspecto sobre o qual os membros dos Grupos de Acompanhamento se pronunciaram, nomeadamente ao nível do domínio metodológico da avaliação. Neste contexto os inquiridos sublinham com grande ênfase o facto de as metodologias adoptadas terem seguido uma abordagem multi‐método, tal como foi recomendado no documento de “Orientações Gerais para a Implementação dos Planos de Avaliação do QREN e dos PO” consensualizado na Rede de Avaliação do QREN (95%) e terem contemplado tanto métodos quantitativos como qualitativos (90%). Estes são, aliás, os aspectos onde as respostas positivas são mais significativas e onde existe menor dispersão de opiniões por parte dos membros dos GA.
Em sentido contrário, ou seja, com uma avaliação claramente pouco positiva, estão os aspectos relativos à inovação metodológica (74% das inquiridos referem que as estratégias metodológicas não foram inovadoras), às estratégias de envolvimento dos stakeholders dos PO (50% dos inquiridas sublinham que apenas parcialmente foram desenvolvidas estratégias de envolvimentos dos stakeholders) e à conformidade entre os métodos de recolha de informação previstos no relatório inicial e efectivamente implementados durante o processo avaliativo (55% dos inquiridos considera que esta conformidade é apenas parcial).
De sublinhar que nas avaliações da operacionalização dos PO, os métodos mais utilizados são os métodos clássicos de pesquisa social: i) entrevistas individuais; ii) inquéritos; iii) recolha de informação documental; iv) recolha de informação estatística. Os estudos de caso e os focus group também foram utilizados em algumas situações, mas em menor expressão. Ainda no quadro dos métodos de recolha de informação accionados pelas equipas de avaliação, surgem referências pontuais de recurso a painéis de
peritos e painéis de discussão. Algumas equipas de avaliação socorreram‐se, ainda, de plataformas
online e de TIC como forma de recolha de informação. No entanto, estes aspectos não foram totalmente
explorados, não tendo constituído uma real mais‐valia para os processos avaliativos em que foram aplicados e não podendo ser considerados, de facto, inovadores do ponto de vista metodológico. O envolvimento dos stakeholders dos Programas Operacionais não foi alvo, na maioria das avaliações, de uma estratégia pensada em função desse envolvimento, tendo os stakeholders apenas sido envolvidos no processo de recolha de informação, enquanto fontes e recursos de informação.
No respeitante à adequação, relevância e correcta aplicação dos métodos de recolha e tratamento de informação accionados durante o processo avaliativo, não existe um consenso entre os membros dos Grupos de Acompanhamento, na medida em que aproximadamente 60% dos inquiridos considera que “Sim” e cerca de 40% considera que apenas “Parcialmente” foi conseguida essa adequação, relevância e correcta aplicação. Figura 3: Metodologia (%) 5 39 45 58 60 70 75 90 95 74 11 5 21 50 55 42 40 25 25 10 5 A avaliação adoptou estratégias metodológicas inovadoras (RV=19) A avaliação desenvolveu estratégias metodológicas que estimulassem o envolvimento de todos os stakeholders (RV=18) Os métodos de recolha de informação implementados estavam em conformidade com os previstos no Relatório Inicial (metodológico) (RV=20) Os métodos de recolha e tratamento de informação foram aplicados de forma correcta (RV=19) As fontes, os métodos de recolha e tratamento de informação utilizados na avaliação foram adequados e relevantes (RV=20) Se respondeu "Sim" ou "Parcial/" na resposta anterior, considera que as opções metodológicas tomadas na implem. dos diferentes mét. tratamento e análise da informação foram descritas de forma suficiente/ detalhada (RV=20) Os métodos de tratamento e análise da informação que estiveram na base dos resultados obtidos foram claramente identificados no Relatório Final de avaliação, para cada método de recolha (RV=20) No conjunto dos métodos de recolha de informação accionados foram contemplados métodos quantitativos e qualitativos (RV=20) A metodologia seguiu uma abordagem multi‐método, tal como recomendado no doc. Orientações Gerais para a Implementação dos Planos de Avaliação do QREN e dos PO consensualizado na Rede de Avaliação do QREN (RV=20)
Parcialmente Não Sim N = 20
3. OS RESULTADOS E PRODUTOS DAS AVALIAÇÕES
Os membros dos Grupos de Acompanhamento das avaliações que responderam ao questionário consideram que os resultados e recomendações das avaliações que acompanharam estão, genericamente, em linha com as exigências de rigor, clareza e utilidade expostas nos TdR.
No entanto, a avaliação que é desenvolvida pelos inquiridos sobre estes aspectos é aquela que, apesar de positiva, apresenta uma maior dispersão de respostas e um consequente menor grau de consenso entre os membros dos GA.
De facto, apenas 3 dos 7 itens sob análise mereceram uma percentagem de respostas positivas igual ou superior a 70% ‐ “As recomendações estavam suportadas pelas conclusões” (80%), “Foi possível
compreender o encadeamento lógico: "objectivo da avaliação" ‐‐‐> "questão de avaliação" ‐‐‐> "evidências" ‐‐‐> "conclusões" ‐‐‐> "recomendações"” (79%) e “As recomendações estavam de acordo com a natureza do exercício de avaliação” (70%). Dos restantes 4 itens, sublinha‐se que: • 45% dos inquiridos consideram que as conclusões tiradas a partir dos resultados da recolha e tratamento de informação apenas estavam parcialmente suportadas pelas evidências; • 40% dos inquiridos referem que as recomendações foram parcialmente claras e objectivas, o que condiciona o seu entendimento e futura implementação. Neste aspecto, 6% dos inquiridos consideram mesmo que as recomendações não foram de todo claras e objectivas.
• 40% dos inquiridos assinalam que as conclusões tiradas a partir dos resultados da recolha e tratamento de informação apenas foram parcialmente relevantes.
A análise das respostas qualitativas dadas pelos inquiridos permite concluir que, de facto, se registam problemas a dois níveis: por um lado ao nível da resposta cabal a cada uma das questões de avaliação, o que depende do rigor, consistência e robustez dos processos de recolha e tratamento de informação e, por outro lado, no que diz respeito à concretização, objectividade e aprofundamento das recomendações. Estes são aspectos críticos e decisivos para a qualidade das avaliações, bem como para a utilização e integração dos seus resultados nos processos de gestão, monitorização e aprendizagem contínua definidos em cada Programa Operacional. Figura 4: Resultados e recomendações (%) 55 55 60 65 70 79 80 0 5 45 40 40 35 30 16 20 As conclusões tiradas a partir dos resultados da recolha e tratamento de informação estavam suportadas pelas evidências (RV=20) As recomendações foram suficientemente claras e objectivas, facilitando o seu entendimento e futura implementação (RV=20) As conclusões tiradas a partir dos resultados da recolha e tratamento de informação foram relevantes (RV=20) Foram dadas respostas fundamentadas às questões de avaliação que foram colocadas, e quando não o foram a equipa de avaliação justificou a situação (RV=20) As recomendações estavam de acordo com a natureza do exercício de avaliação (RV=20) Foi possível compreender o encadeamento lógico: "objectivo da avaliação" ‐‐‐> "questão de avaliação" ‐‐‐> "evidências" ‐‐‐> "conclusões" ‐‐‐> "recomendações" (RV=19) As recomendações estavam suportadas pelas conclusões (RV=20)
Parcialmente Não Sim
N = 20
Em matéria de produtos das avaliações, designadamente no que diz respeito aos Relatórios Finais de Avaliação, os membros dos GA consideram‐nos globalmente bons, com respostas positivas (“Bom” e “Muito bom”) sistematicamente acima dos 70%.
A maioria dos inquiridos (88%) considera, ainda, que a qualidade dos produtos finais resulta de um processo em crescendo de incremento da qualidade dos diversos produtos intercalares das avaliações (relatórios iniciais metodológicos, relatórios intermédios e relatórios preliminares).
Para este processo de crescente qualificação dos produtos das avaliações, é considerado decisivo o trabalho desenvolvido pelos Grupos de Acompanhamento, nomeadamente ao nível de: i) clarificação de expectativas e exigências sobre os resultados das avaliações; ii) análise crítica e orientação da reflexão para os objectivos e âmbitos das avaliações; iii) partilha de ideias/experiências nas reuniões dos GA com as equipas de avaliação; iv) emissão de pareceres formais por parte dos GA sobre os diversos relatórios, com recomendações claras de melhoria dos conteúdos dos relatórios.
No entanto, existem algumas margens de melhoria nesta matéria que incidem, sobretudo, no que se refere à informação disponibilizada (utilidade) e à dimensão dos relatórios (equilíbrio). Figura 5: Relatório Final de Avaliação (%) 0 0 6 6 12 71 76 82 82 82 18 18 12 12 6 Utilidade, no que se refere à informação disponibilizada (N=17) Equilíbrio, no que se refere ao número de páginas (N=17) Clareza, no que se refere à linguagem utilizada (N=17) Coerência, no que se refere à articulação e consistência da informação (N=17) Aparência, em termos de forma (N=17)
4 ‐ Muito bom 3 ‐ Bom 2 ‐ Insuficiente 1 ‐ Muito insuficiente
N = 20
4. APRECIAÇÃO GLOBAL DO 1.º CICLO DE AVALIAÇÕES DO QREN E DOS PO
A apreciação global que os membros dos Grupos de Acompanhamento auscultados por via da aplicação do questionário fazem dos processos e resultados das avaliações é bastante positiva.
Esta apreciação é especialmente positiva no que diz respeito ao “Contributo do Grupo de Acompanhamento para a qualidade do processo e dos resultados da avaliação”, sendo este o único item onde a classificação “Muito bom” (com 55% das respostas) surge com um peso superior a todas as outras classificações da escala. Tal facto reforça a ideia já existente na Rede de Avaliação do QREN de que o trabalho desenvolvido até ao momento pelos Grupos de Acompanhamento das avaliações tem sido importante, nomeadamente ao nível do contributo para a qualidade dos diversos relatórios de avaliação, bem como sustenta o objectivo de reforçar esta experiência de trabalho colaborativo (interno aos GA e entre estes e as equipas de avaliação) no próximo ciclo de avaliações intercalares do QREN e dos PO.
Outros itens onde os inquiridos estão particularmente satisfeitos são a “Descrição do objecto de avaliação” (90% de “Bom”), a “Descrição do contexto em que o objecto é desenhado e é implementado” e a “Clareza e objectividade das questões de avaliação constantes das especificações técnicas”, cada um com uma percentagem de respostas de 85% na classificação “Bom”. Por oposição, os aspectos onde os inquiridos registam uma menor satisfação são o “Cumprimento do cronograma” por parte da equipa de avaliação e a “Mais‐valia das recomendações”, ambos com uma percentagem de respostas negativas de 30%, bem como a “Consistência das evidências” e a “Descrição dos procedimentos adoptados ao longo do estudo de avaliação”, com 20% de apreciações insatisfatórias cada. Neste quadro global surge como evidente que os membros dos GA de avaliação que responderam ao questionário estão fundamentalmente satisfeitos com aspectos que dependem maioritariamente do trabalho desenvolvido pela Rede de Avaliação e pelos PO (note‐se que os três aspectos que não registam qualquer resposta insatisfatória são “Utilização das orientações técnicas consensualizadas na Rede de Avaliação do QREN na redacção do caderno de encargos, bem como na organização de todo o processo de avaliação”, “Contributo do Grupo de Acompanhamento para a qualidade do processo e dos resultados da avaliação” e “Descrição do objecto de avaliação” – este último apesar de ser da responsabilidade das equipas de avaliação, vai recolher grande parte da informação aos textos dos PO). Os níveis de insatisfação mais elevados estão associadas a aspectos críticos dos processos avaliativos que condicionam largamente a sua utilização e que dependem, sobretudo, do trabalho das equipas de avaliação.
Pese embora as diversas oportunidades de melhoria decorrentes dos níveis da apreciação global dos inquiridos, nomeadamente aquelas que se prendem com a necessidade de recomendações mais concretas, dirigidas e sustentadas em evidências, as quais deverão ser discutidas e validadas em sedes próprias, bem como as que se prendem com a necessidade de uma maior robustez metodológica e um maior rigor no cumprimento de calendários (de forma a que os resultados da avaliação sejam efectivamente úteis e contribuam para apoiar com informação relevante o debate público e a tomada de decisão sobre a gestão e desempenho dos PO), a maioria dos inquiridos (95%) considera que as avaliações operacionais desenvolvidas no quadro do Plano Global de Avaliação do QREN e dos PO foram úteis ou muito úteis para o trabalho das Autoridades de Gestão.
Figura 6: Apreciação global do processo e dos resultados da avaliação (%) 5 5 10 30 30 5 20 15 20 15 11 5 5 10 45 50 55 60 63 70 75 75 75 79 80 80 85 85 90 55 35 10 10 32 10 10 5 10 11 20 15 10 5 10 Contributo do Grupo de Acompanhamento para a qualidade do processo e dos resultados da avaliação (N=20) Interacções entre o Grupo de Acompanhamento e a equipa de avaliação (N=20) Cumprimento do cronograma (N=20) Mais valia das recomendações (N=20) Independência do avaliador face ao objecto e interesses envolvidos na avaliação (N=19) Consistência das evidências (N=20) Relevância e legitimidade das conclusões (N=20) Descrição dos procedimentos adoptados ao longo do estudo de avaliação (N=20) Adequabilidade das fontes de informação (N=20) Identificação e envolvimento das partes interessadas (N=19) Utilização das orient. técnicas consensualizadas na Rede de Avaliação na redacção do cad. encargos, bem como na org. do processo de avaliação (N=20) Oportunidade da avaliação (N=20) Clareza e objectividade das questões de avaliação constantes das especificações técnicas (N=20) Descrição do contexto em que o objecto é desenhado e é implementado (N=20) Descrição do objecto de avaliação (N=20)
4 ‐ Muito bom 3 ‐ Bom 2 ‐ Insuficiente 1 ‐ Muito insuficiente N = 20 5. CONSIDERAÇÕES FINAIS E PASSOS SUBSEQUENTES Da análise dos 6 processos de avaliação dos PO (5 de operacionalização dos Programas e um referente aos regulamentos específicos FEDER), desenvolvida a partir das opiniões dos membros dos respectivos Grupos de Acompanhamento recolhidas através de questionário (num total de 20 respostas), é possível concluir que: 1) De uma forma global, os níveis de satisfação dos membros dos GA face às diferentes fases do processo avaliativo são bastante positivos, o que denota um reconhecimento do trabalho desenvolvido pela Rede de Avaliação do QREN e pelas entidades nela representadas, com vista à qualificação dos exercícios do 1.º ciclo de avaliações previstas no PGA.
2) Estes níveis de satisfação são particularmente favoráveis no que diz respeito aos processos de preparação (guidelines para a elaboração dos TdR e para a selecção das equipas e sua efectivação prática) e acompanhamento da implementação das avaliações (trabalho desenvolvido pelos Grupos de Acompanhamento).
3) No que diz respeito aos aspectos metodológicos das avaliações, as equipas de avaliação seguiram abordagens multi‐método, onde foi possível aplicar efectivamente um conjunto alargado de métodos de recolha de informação e abarcar, por essa via, um vasto leque de sensibilidades, opiniões e stakeholders chave. No entanto, a aposta das equipas de avaliação incidiu em métodos clássicos de pesquisa social, pouco inovadores neste aspecto. O recurso, em algumas avaliações, a TIC e plataformas online de recolha, armazenamento e divulgação de
informação não produziu os efeitos esperados, tendo denotado uma fraca adesão por parte dos seus destinatários.
4) Em matéria de resultados, os membros dos Grupos de Acompanhamento salientaram algumas fragilidades, nomeadamente na sustentação factual dos mesmos, e ao nível das recomendações sublinharam o grau pouco significativo de concretização, clareza e operacionalidade com que as mesmas foram apresentadas.
5) O balanço sobre os produtos de avaliação foi bastante positivo, sendo os mesmos considerados úteis, mas com algumas margens de melhoria, designadamente ao nível de uma redução das suas dimensões bem como no que se prende com uma maior incidência nos aspectos mais relevantes do estudo, em detrimento de informações acessórias.
Estas conclusões ilustram a perspectiva dos Grupos de Acompanhamento sobre o trabalho em que estiveram envolvidos durante o 1.º ciclo de avaliações do QREN e dos PO e complementam o estudo já desenvolvido pelo Observatório do QREN (de cariz interno e baseado essencialmente em análise documental e na perspectiva dos seus representantes nos GA) e apresentado à Rede de Avaliação na sua 9.ª reunião, realizada a 05.07.2010.
Tendo em conta o quadro mais amplo de meta‐avaliação em que estes dois estudos se enquadram, importa estabelecer as próximas etapas deste esforço de análise da qualidade das avaliações com vista à obtenção de lições para o futuro e, em última instância, de melhoria contínua dos processos de planeamento e implementação das avaliações no contexto do QREN e dos PO. Neste âmbito, está prevista a dinamização de dois tipos de acções: i) auscultação das equipas de avaliação, no sentido de aferir as suas opiniões e sensibilidades sobre os processos avaliativos em que participaram; ii) realização de um estudo de meta‐avaliação externa.
