Que indicadores de desempenho para a investigação
(aplicada)? Construção de um framework para posicionar as Instituições de Ensino Superior (Politécnico)
Ricardo Biscaia
CIPES e U. Portucalense
GT2 – Qualidade no Ensino Superior: Estratégias e Indicadores
21 de Outubro de 2015
ISCPSI
Motivação
Sistema de ensino superior binário:
• Universidades: Têm uma base legal para fazer investigação básica;
• Politécnicos: Têm uma base legal para fazer investigação aplicada.
Dada esta especifidade ao nível legal, será que os indicadores
de desempenho existentes reflectem as especifidades das IESP,
posicionando-as de forma correcta no sistema de ensino
superior português?
Objectivos
Propor uma base teórica de avaliação do desempenho da
investigação (aplicada), capaz de ajudar os decisores políticos e a liderança das IESP a geri-la adequadamente.
Propor um conjunto de indicadores de desempenho para cada
uma das dimensões de investigação (aplicada) propostas, de forma a
permitir às IESP identificar a sua posição atual e definir estratégias
para o futuro.
Desempenho: Uma problemática bastante atual
• Aumento das preocupações (formais) ao nível da qualidade e desempenho no ES, levando a um aumento das pressões para a sua medição e avaliação.
• Pressões ao nível financeiro empurram as IES para a necessidade de demonstrar que o seu dinheiro é gasto de forma eficiente e eficaz no cumprimento das suas missões.
• Ao nível Europeu, os Estados introduziram modelos de financiamento baseados no desempenho das instituições (17 de 21 países – DEFINE).
• Como resultado, cada vez mais se assiste a uma incorporação de
indicadores de desempenho nos processos de gestão e tomada de
decisão das IES.
Gestão do Desempenho no Ensino Superior Português
Existência de bases de dados a nível nacional para a avaliação do desempenho institucional.
Por exemplo, no âmbito do sistema de avaliação e acreditação do ES, as IES têm que fornecer alguns indicadores à A3ES, sendo por isso forçadas a proceder à recolha de informação própria.
Tentativa de introdução de financiamento baseado no desempenho através de uma fórmula para o sistema de ES Português em 2006
• A experiência funcionou apenas num curto período, tendo o país voltado a um sistema de negociação directa entre governo e IES, tendo como base as alocações atribuídas em anos anteriores.
Avaliação da Investigação em Portugal
A atribuição de financiamento com base no desempenho esteve sempre mais ligada ao ensino do que à investigação
• A Investigação é avaliada através dos centros de investigação, estando as universidades e politécnicos praticamente fora deste processo.
Recentemente parece haver algum interesse do Estado para atribuir
financiamento às IES com base também no desempenho das suas
atividades de investigação (Ex.: “Call” da FCT para a definição de
indicadores sobre o desempenho das IESP no que se refere a atividades de
investigação aplicada e de criação cultural e o seu impacto para as regiões
em que estão inseridas).
Avaliação da Investigação em Portugal
Quão diferentes são as actividades de investigação dos Politécnicos e das Universidades?
Será que as devemos avaliar de forma diferente? Será que é possível
distinguir investigação “básica” de “aplicada”?
Sistemas Binários…
Que missões para estes sistemas?
Os sistemas binários são comuns na Europa (presentes em 19 dos 30 países da base de dados do projeto ETER).
As diferenças entre o universitário e o politécnico dependem da moldura legal existente em cada país:
• As Universidades são tendencialmente orientadas para um ensino mais teórico / académico e para a investigação básica.
• Os Politécnicos são orientados para um ensino mais prático / vocacional e para a investigação aplicada, e têm normalmente uma maior influência em termos regionais.
• A atribuição de missões é problemática: a “costela académica” dos
politécnicos e a “costela vocacional” das universidades colocam
em causa as fronteiras existentes entre os subsistemas.
Sistemas binários:
Que diferenças ao nível da investigação?
A divisão entre “investigação básica” (criação de conhecimento sem fins práticos imediatos) e “investigação aplicada” (aplicação da investigação básica com fins práticos) é problemática:
• Não é fácil classificar os contributos científicos de forma consensual (sendo mais evidente o problema nas áreas das Engenharias e da Saúde);
• As funções das IES evoluíram para além do ensino e da investigação. Estas têm agora um papel empreendedor e de “ligação ao meio envolvente”.
• Há uma maior aceitação deste papel das IES enquanto atores fundamentais na criação, desenvolvimento e manutenção de redes de contactos e de sistemas de inovação.
Então, como olhar para a investigação nas IESP?
Metodologia – Fase 1
Revisão de Literatura sobre o conceito de investigação aplicada.
Criação/Recolha de um conjunto de indicadores adequados para as IESP.
• Baseados nos trabalhos da A3ES, U-Map, U-Multirank e E3M.
Quatro dimensões de análise identificadas, reflectindo os diferentes tipos de investigação que podem ser praticados nas IESP.
Um conjunto de indicadores de desempenho adequado a cada dimensão de análise.
• Incluindo indicadores baseados em inputs, outputs, processos e resultados.
Metodologia – Fase 1
Procurámos validar as nossas dimensões e indicadores de desempenho junto dos actores relevantes.
• Entrevistas a líderes de 6 IESP e a um representante do CCISP.
• Organização de dois “Focus Groups” para promover o diálogo entre os representantes de diversas IESP sobre a forma mais apropriada de medir o desempenho das suas actividades de investigação aplicada e de criação cultural:
Estiveram presentes 17 representantes de 15 IESP.
Metodologia – Fase 1
Análise de Conteúdo Exploratória
Uma matriz de análise foi definida de acordo com o guião da entrevista.
• Divisão entre Investigação Básica e Aplicada.
• Importância da gestão do desempenho.
• Apresentação das dimensões de classificação das actividades de investigação.
• Proposta dos indicadores de desempenho para cada dimensão.
Citações codificadas para preservar o anonimato dos entrevistados.
• E refere-se às entrevistas e o FG para os focus groups (1 e 2);
• Institituições codificadas como IESP (de 1 a 6 nas E e de 1 a 15 nos FG).
Resultados:
Investigação “Básica” vs. Investigação “Aplicada”
Uma separação rígida entre investigação básica e aplicada é problemática (do ponto de vista operacional e de aceitação por parte das IESP)
• “Essa tentativa de separar fizemos há uns meses e não conseguimos. Não faz sentido separar e dizer que o objetivo da investigação do politécnico é diferente do universitário. Há excelentes grupos na universidade a fazer investigação aplicada, e vice-versa”. (FG1, IESP3)
• “Eu não consigo ver entregar às universidades investigação fundamental e entregar aos politécnicos investigação aplicada, acho que é um erro. Ambos fazem ambas as coisas e portanto não vale a pena insistirmos nessa ideia (…) conceptualmente acho que já não faz sentido pensar dessa forma” (E, IESP3).
Os dois tipos de investigação coexistem nos IESP..
Resultados:
A importância de gerir o desempenho
A avaliação do desempenho é importante…
• “só faz sentido acompanharmos um determinado fenómeno se tivermos condições para o monitorizar. Senão estaremos sempre a cair na zona do palpite, o que eu acho não se coaduna com o rigor” (E, IESP2).
• “é evidente que tem de haver porque é a única forma de podermos melhorar no dia-a-dia. (…) Se não tivermos indicadores não conseguimos ver o que estamos a fazer e não vamos conseguir melhorar” (E, IESP5).
Mas…Difícil:
“Extremamente difícil” (E, IESP3).
“… nós somos tentados a criar indicadores de desempenho (…) e depois…
não fazemos nada com os dados recolhidos” (E, IESP5).
Dimensões para a
gestão da avaliação do desempenho
2 Eixos:
1) ‘Comercialização/Empreendedorismo’ – Esforço de comercialização das IES;
2) ‘Ligação ao Meio’ – Mede as ligações existentes com o meio envolvente.
• 4 Dimensões:
• Transferência de Conhecimento e Ciência: p.e. start-ups e spin-offs;
• Consultoria e Serviços: p.e. Serviços prestados a empresas;
• Co-Investigação e Co-Inovação: p.e. Projectos científicos desenvolvidos em cooperação com parceiros não-académicos.
• Produção Científica, Tecnológica e Artísticas: p.e. , Publicações científicas.
Dimensões para a
gestão da avaliação do desempenho
Com um nível de aceitação significativo…
• “Este esquema que aqui está… conceptualmente está muito bem” (E, IESP4).
• “… esta análise [faz] todo o sentido (…) para medir e educar o sistema”
(FG1, IESP3).
Ferramenta de apoio para monitorizar o posicionamento estratégico e os resultados da IESP para a sua investigação (aplicada).
Adequada para avaliar o desempenho de investigação tanto para as universidades como para os politécnicos.
“acho que estas 4 dimensões se aplicam tanto na universidade como no politécnico, cada vez mais universitário” (FG2, IESP2).
Resultados:
Dimensões para a gestão da avaliação do desempenho
Resultados:
Indicadores de desempenho
Os indicadores de desempenho deveriam ser os mesmos para todo o sistema.
• “O sistema politécnico tem que ter a mesma métrica em termos de investigação - quer seja fundamental, quer seja aplicada - que o subsistema universitário (…). É completamente perverso (…) dizer que à partida os politécnicos nunca vão conseguir fazer investigação como as universidades e portanto vamos arranjar uns indicadores mais fraquinhos” (E, IESP1).
Conjunto de Indicadores que medem os outcomes:
“Se a avaliação é necessária? Sim. (…) Como deve ser feita a avaliação?
claramente pelo impacto que tem na sociedade, ponto final.” (E, IESP1).
“Precisamos de medir o impacto social, económico e cultural da nossa investigação aplicada” (E, IESP3).
Conjunto de Indicadores que medem os outcomes:
• “no caso do politécnico acho que é imprescindível termos um conjunto de indicadores de impacto direto, (…) da atividade de proximidade junto da realidade social onde estamos inseridos, (…) e do alcance e da repercussão que depois têm nas comunidades onde estão de facto inseridos.” (E, IESP2).
• “há muitos resultados que são intangíveis, e cada vez mais nos dias de hoje o intangível está presente e é difícil de medir” (E, IESP1).
Dificuldade na medição de actividades científicas relacionadas com a criação cultural.
Resultados:
Indicadores de desempenho
Diferentes objetivos de acordo com o tipo de instituição (universitária/
politécnica) – Reforço do sistema binário - e a área científica.
• “Os indicadores podem ser os mesmos, mas as metas para os indicadores têm de ser ajustadas para a capacidade de trabalho que eu tenha. Não é razoável pensar que um docente do subsistema politécnico consiga produzir tanto como um docente do subsistema universitário” (E, IESP1).
• “Eventualmente a criação dos indicadores por área científica…” (FG1, IESP10).
• “Até porque se houver a possibilidade de distribuir pesos ou percentagem de pesos, já resolve o problema” (FG1, IESP3).
Resultados:
Indicadores de desempenho
Conclusões – Fase 1
As dimensões foram validadas e os indicadores de desempenho propostos foram melhorados.
Dificuldade em separar Investigação básica e Investigação aplicada, dada a coincidência dos conceitos, o que prejudica a avaliação do desempenho vigente.
Possibilidade de agregação dos indicadores por dimensão do nosso framework.
• Como? Calculando índices para cada uma das dimensões e realizando um exercício de benchmarking, onde os resultados são relativizados de acordo com a melhor IES em cada dimensão.
Conclusões – Fase 1
Conclusões – Fase 1
Valor do framework proposto:
Contributo para uma maior responsabilização das IES(P) na melhoria dos seus resultados, nomeadamente do desempenho das suas atividades de investigação;
Enquadramento que possibilita a cada instituição reflectir sobre a sua posição atual no sistema de ES, contribuindo para o seu planeamento estratégico futuro.
Fase 2 (em desenvolvimento)
Fusão dos projetos 02/INDICADORES/2014 e 05/INDICADORES/2014
Melhoria do framework proposto pela inclusão da dimensão
Impacto Societal e ajuste nos nomes das restantes
Na dimensão Impacto Societal são incluidos indicadores que medem o impacto na sociedade fruto da presença das IES.
p.e. Contributo para a requalificação da população residente; para a dinâmica cultural…
São indicadores que situam ao nível da “Terceira missão” das IES.
Fase 2 (em desenvolvimento)
Re-definição dos indicadores propostos pelas duas equipas
Método Delphi: os IESP (Públicos e Privados) vão seleccionar/validar os indicadores propostos, de acordo com um conjunto de critérios.
Estudos de caso: a possibilidade de recolha dos dados e construção
dos indicadores validados vai ser testada em quatro instituições.
Fase 2 (em desenvolvimento)
Projeto 02/INDICADORES/2014
Coordenação:
Sandra Saúde, Instituto Politécnico de Beja Equipa de investigadores:
Carlos Borralho, Instituto Politécnico de Beja Isidro Féria, Instituto Politécnico de Beja
Maria Mercedes Sala Rios, Universitat de Lleida Maria Téresa Gallo Rivera, Universidad de Alcalá Mariona Farré Perdiguer, Universitat de Lleida Rúben Garrido Yserte, Universidad de Alcalá Sandra Lopes, Instituto Politécnico de Beja Teresa Torres Solé, Universitat de Lleida
Projeto 05/INDICADORES/2014
Coordenação:
Maria João Rosa, CIPES e DEGEI, UA Equipa de investigadores:
Ana Isabel Melo, CIPES e ESTGA, UA Gonçalo Paiva Dias, ESTGA, UA
Hugo Figueiredo, CIPES e DEGEI, UA Isabel Machado, CIPES e IPAM
Paula Rocha, CIPES
Ricardo Biscaia, CIPES e Universidade Portucalense
