M
ESTRADO EM
C
IÊNCIAS
E
MPRESARIAIS
T
RABALHO
F
INAL DE
M
ESTRADO
T
RABALHO DE
P
ROJETO
C
ONTRIBUTOS PARA A DEFINIÇÃO DE UM
S
ISTEMA DE
I
NDICADORES DE
A
COMPANHAMENTO E
A
VALIAÇÃO DE
D
ESEMPENHO
(IAAD)
DE
E
NTIDADES
F
ORMADORAS
J
OÃO
P
EDRO
R
ODRIGUES
M
ACHADO
J
ÚRI
:
P
RESIDENTE
:P
ROFESSOR
D
OUTOR
P
AULO
A
LEXANDRE
G
UEDES
L
OPES
H
ENRIQUES
,
P
ROFESSOR
A
SSOCIADO DO
ISEG
DA
U
NIVERSIDADE DE
L
ISBOA
V
OGAIS
:P
ROFESSOR
D
OUTOR
P
EDRO
L
UÍS
P
EREIRA
V
ERGA
M
ATOS
,
P
ROFESSOR
A
UXILIAR
DO
ISEG
DA
U
NIVERSIDADE DE
L
ISBOA
P
ROFESSOR
D
OUTOR
J
OSÉ
M
IGUEL
A
RAGÃO
C
ELESTINO
S
OARES
,
P
ROFESSOR
A
UXILIAR
DO
ISEG
DA
U
NIVERSIDADE DE
L
ISBOA
M
ESTRADO EM
C
IÊNCIAS
E
MPRESARIAIS
T
RABALHO
F
INAL DE
M
ESTRADO
T
RABALHO DE
P
ROJETO
C
ONTRIBUTOS PARA A DEFINIÇÃO DE UM
S
ISTEMA DE
I
NDICADORES DE
A
COMPANHAMENTO E
A
VALIAÇÃO DE
D
ESEMPENHO
(IAAD)
DE
E
NTIDADES
F
ORMADORAS
J
OÃO
P
EDRO
R
ODRIGUES
M
ACHADO
O
RIENTAÇÃO:
P
ROFESSORD
OUTORJ
OSÉM
IGUELA
RAGÃOC
ELESTINOS
OARESRESUMO
A relevância da formação profissional justificou a implementação de um modelo de certificação de entidades formadoras, tutelado pela Direção-Geral do Emprego e das Relações de Trabalho (DGERT). A avaliação do desempenho dessas entidades está prevista nesse modelo, através de um processo de autoavaliação, com base em indicadores. Neste contexto, o presente estudo versa sobre a temática da qualidade, com um enfoque no domínio da atividade formativa, de modo a contribuir para a definição de um painel de Indicadores de Acompanhamento e Avaliação de Desempenho (IAAD).
Constituíram objetivos específicos deste trabalho: a avaliação da relevância de um conjunto de indicadores, destinados a aferir a qualidade formativa; a análise da respetiva aplicabilidade ao Sistema de Formação Nacional e a verificação dos grupos de indicadores mais associados.
Os resultados obtidos demonstram que os indicadores mais relevantes situam-se, quase exclusivamente, ao nível dos resultados da atividade formativa. Contudo, tendo em conta que um sistema de indicadores deve estar alinhado com o modelo de funcionamento da formação, foi possível assinalar outros indicadores, ao nível dos recursos e do processo formativo, ainda com um grau de relevância significativo.
Concomitantemente, os resultados demonstram que os indicadores considerados mais relevantes são aplicáveis à realidade nacional, porquanto os dez considerados mais pertinentes são exatamente os mesmos que são julgados como os mais aplicáveis.
ABSTRACT
The relevance of training justified the implementation of a model of training providers certification, tutored by the Directorate-General of Employment and Labour Relations (DGERT). Performance evaluation of these entities is foreseen according to that model, through a process of self-assessment, based on indicators. In this context, the present study deals with quality concept, with a focus in training activity, in order to contribute to the definition of a Monitoring and Performance Evaluation Indicators Panel.
The specific objectives of this study were: the evaluation of the relevance of a set of indicators, designed to assess the training quality; the analysis of the respective applicability to the National Training System and the check of the associated indicator groups.
The results show that the most relevant indicators take place, almost exclusively, in terms of the results of training activity. However, given that an indicator system should be aligned with the model of training operation, it was possible to point out other indicators, at the level of resources and training process as well, although with a significant degree of relevance.
At the same time, the results show that those indicators considered the most relevant are applicable to the national reality, because the ten ones indicated as the most pertinent are exactly the same that are considered to be the most applicable.
ÍNDICE
Resumo ... i
Abstract ... ii
Índice ... iii
Lista de figuras ... iv
Lista de tabelas ... v
Glossário de termos e abreviaturas ... vi
Agradecimentos ... vii
1. Introdução ... 1
2. Revisão de Literatura ... 3
2.1. Conceito de qualidade ... 3
2.2. Qualidade da formação ... 4
2.3. Avaliação da qualidade da formação ... 5
2.4. Indicadores de qualidade formativa ... 7
2.5. Sistemas de indicadores de qualidade formativa ... 10
3. Metodologia ... 13
3.1. Objetivos do estudo e perguntas de pesquisa ... 13
3.2. População objeto do estudo ... 14
3.3. Processo de recolha da informação ... 14
3.3.1. Desenho do questionário ... 15
3.3.2. Pré-teste ... 18
3.3.3. Processo de recolha de informação ... 18
3.4. Amostra do estudo ... 19
3.5. Análise estatística ... 19
4. Apresentação e análise dos resultados ... 21
4.1. Caracterização da amostra ... 21
4.2. Relevância dos Indicadores de Qualidade ... 22
4.3. Aplicabilidade dos Indicadores de Qualidade ... 27
4.4. Análise comparativa da relevância versus a aplicabilidade dos Indicadores de Qualidade ... 30
4.5. Análise das questões abertas ... 31
5. Conclusões e recomendações ... 34
5.1. Limitações e recomendações ... 35
6. Referências Bibliográficas ... 36
LISTA DE FIGURAS
Figura 1 – Perfil de médias da classificação dos indicadores quanto à respetiva
relevância para aferição da qualidade formativa ... 24 Figura 2 – Perfil de médias da classificação das componentes da relevância dos
indicadores ... 26 Figura 3 – Perfil de médias da classificação dos indicadores relativamente à sua
LISTA DE TABELAS
Tabela I – Indicadores de qualidade EQAVET relativos ao Quadro de Referência
Europeu de Garantia da Qualidade ... 10
Tabela II – Domínios e dimensões de avaliação do sistema de indicadores de qualidade australiano que se integra no AQTF ... 11
Tabela III – Indicadores do quadro de referência de garantia da qualidade formativa do VTC de Hong Kong ... 12
Tabela IV – Caracterização do universo de entidades formadoras certificadas ... 14
Tabela V – Indicadores de Acompanhamento e Avaliação de Desempenho (IAAD) ... 15
Tabela VI - Caracterização da amostra do Estudo ... 21
Tabela VII – Classificação dos indicadores quanto à respetiva relevância para aferição da qualidade formativa ... 23
Tabela VIII – Componentes da relevância dos indicadores ... 25
Tabela IX – Classificação dos indicadores relativamente à respetiva aplicabilidade ... 27
Tabela X – Componentes dos indicadores relativamente à respetiva aplicabilidade ... 29
Tabela XI – Indicadores que constituem um alargamento da abrangência da análise ... 32
GLOSSÁRIO DE TERMOS E ABREVIATURAS
ACP - Análise de componentes principais
ANQEP - Agência Nacional para a Qualificação e o Ensino Profissional AQTF - Australian Quality Training Framework
CEDEFOP - Centro Europeu para o Desenvolvimento da Formação Profissional DGERT - Direção-Geral do Emprego e das Relações de Trabalho
DNF - Diagnóstico de Necessidades de Formação EFP - Educação e Formação Profissional
EFQM - European Foudation for Quality Management
EQAVET - Quadro de Referência Europeu de Garantia da Qualidade EUA - Estados Unidos da América
IAAD - Indicadores de Acompanhamento e Avaliação de Desempenho KMO - Kaiser-Meyer-Olkin
KPI - Key Performance Indicator (indicadores-chave de desempenho) LNF – Levantamento de Necessidades de Formação
PDCA - Plan-Do-Check-Act
RQ –Research Question (questão de investigação)
TQM - Total Quality Management (Gestão da Qualidade Total) UE - União Europeia
AGRADECIMENTOS
O empenhamento e o esforço associado ao presente estudo, apesar de se tratar de um trabalho académico de cariz individual, tiveram o contributo de muitas pessoas que muito me honraram com a sua amizade, cumplicidade, experiência e abnegação. A todas elas o meu profundo reconhecimento e agradecimento, por terem participado e colaborado na construção do que, para mim, constituiu uma importante etapa da minha vida.
À minha mulher e filhas, Mafalda e Teresa, por termos trilhado este percurso em conjunto, pela amizade, motivação, entreajuda e compreensão pelo tempo em que não pude estar presente nas suas vidas. Aos meus Pais, pela educação e valores que me deram, que espelham em muito do que hoje sou. À minha família e amigos, pelo constante incentivo, apoio e pela confiança que sempre depositam em mim.
Ao Professor Doutor José Miguel Soares pela partilha do saber, orientação científica, permanente encorajamento e revisão do trabalho.
Aos meus amigos, Carmo Botelho e Gabriel Pereira, pelo reencontro, pela ajuda tão intensa e importante que gentilmente concederam e pela enorme partilha de conhecimentos e experiências. À Catarina Alves, pelo interesse demonstrado, cooperação e apoio. Aos colegas e amigos da DSQA/DGERT, pelo acolhimento, partilha de experiências, incentivo, confiança e ajuda ao longo de todo o trabalho.
1. INTRODUÇÃO
A importância da formação profissional para o desenvolvimento de competências nas pessoas, nas suas diferentes dimensões, conhecimentos, capacidades de ação e comportamentos e, concomitantemente, o seu contributo para a competitividade e desempenho das empresas e de um país, é comummente reconhecida. Por esta razão, a afetação de importantes recursos a esta atividade é uma realidade muito evidente, sendo que a origem dos mesmos é, não só privada (das empresas e de iniciativa individual), como também pública (fundos de origem nacional e/ou comunitária). Neste contexto, a maximização da qualidade formativa, de modo a tornar os rácios da eficiência e eficácia com uma expressão significativa, é objeto de grande atenção por todos os stakeholders1.
Estando em causa, no contexto atual, a afetação de avultados orçamentos nacionais e comunitários ao financiamento da formação profissional, Portugal, em linha com as orientações europeias, implementou um modelo, inicialmente de acreditação, regulado pela Portaria n.º 782/97, de 29 de agosto (Portaria n.º 782, 1997). Em 2010, o mesmo evoluiu para a certificação de entidades formadoras, tutelada pela Direção-Geral do Emprego e das Relações de Trabalho (DGERT), nos termos da Portaria n.º 851/2010, de 6 de setembro (Portaria n.º 851, 2010), posteriormente alterada pela Portaria n.º 208/2013, de 26 de junho (Portaria n.º 208, 2013). Constituem objetivos deste Sistema de Certificação, a promoção da qualidade e a credibilização da atividade das entidades formadoras, que operam no âmbito do Sistema Nacional de Qualificações. Outro objetivo, é o de contribuir para que o financiamento das atividades formativas tenha em conta a qualidade da formação ministrada e os seus resultados.
A avaliação do desempenho das entidades certificadas está prevista neste Sistema de Certificação. Com efeito, a Portaria n.º 208 (2013) determina que as entidades formadoras realizem anualmente um processo de autoavaliação com base em indicadores. Acresce referir, que conforme previsto no mesmo diploma legal, a informação em causa visa a melhoria contínua das entidades formadoras certificadas, bem como o respetivo acompanhamento e monitorização do seu
desempenho. É neste contexto que importa, no campo de ação do processo de autoavaliação, estabelecer um sistema de acompanhamento e avaliação através da implementação de um painel de indicadores, de modo a promover a excelência do desempenho formativo das entidades em causa.
Há que referir que, de acordo com a maioria da literatura publicada, assim como no contexto das políticas formativas da União Europeia (UE), o conceito em causa neste estudo é o da Educação e Formação Profissional (EFP)2, previsto no Sistema Nacional de Qualificações Português, aprovado
pelo Decreto-Lei n.º 396/2007, de 31 de dezembro (Decreto-Lei n.º 396, 2007).
Nesta medida, pretendeu-se estudar a temática da qualidade, com um enfoque no domínio da atividade formativa, de modo a contribuir para a definição de um conjunto de Indicadores de Acompanhamento e Avaliação de Desempenho (IAAD) com aplicação ao Sistema de Formação Nacional, composto pelas entidades formadoras certificadas. Assim, a questão central de investigação deste estudo é a sistematização de um painel de indicadores relevante e aplicável à aferição da qualidade da formação e capaz de promover a melhoria contínua dessa atividade formativa.
Para o efeito, pretendeu-se aferir o “estado da arte” relativamente aos sistemas de monitorização da qualidade formativa, com uma adequada revisão bibliográfica e propor um conjunto de indicadores relevantes, decorrentes do estudo efetuado. De modo a testar a aplicabilidade, a avaliar a relevância percebida para cada indicador e a validar o modelo proposto, procedeu-se a um estudo quantitativo, mediante a aplicação de um questionário a entidades formadoras certificadas, seguido de um tratamento estatístico adequado.
O presente trabalho final de mestrado está organizado em cinco capítulos, sendo o primeiro a presente Introdução. No segundo capítulo é apresentada a revisão da literatura, e no terceiro capítulo encontra-se a metodologia utilizada e as perguntas de pesquisa. No quarto capítulo são apresentados os resultados e feita a sua análise, e no último capítulo são apresentadas as conclusões, limitações e recomendações do presente estudo.
2 A terminologia Educação e Formação Profissional (EFP) tem correspondência na língua inglesa a Vocational
2. REVISÃO DE LITERATURA
Conforme referiram Masson, Baati e Seyfried (2010) a educação e a formação profissional são consideradas como instrumentos primordiais para a promoção do desenvolvimento. Vários estudos citados por Chang e Chen (2013) corroboram que a formação tem efeitos positivos nas diferentes medidas de desempenho das Organizações e que contribui para o seu sucesso organizacional. Da mesma forma, Agbola e Lambert (2010), defendem que um sistema de EFP de qualidade promove o aumento de competências, o emprego, a produtividade e, consequentemente, o incremento da economia.
2.1. Conceito de qualidade
Numerosa literatura sustenta que o conceito de qualidade, apesar de se reportar à antiguidade, tem evoluído significativamente ao longo das últimas décadas, primordialmente devido aos trabalhos de grandes autores no domínio da gestão da qualidade, tais como Deming, Juran, Crosby e Ishikawa (Sousa & Voss, 2002; Hafeez, Malak & Abdelmeguid, 2006). Conforme Hafeez et al. (2006) resumiram, baseados nos mencionados autores, o conceito de qualidade nos anos 40 do século passado tinha uma ótica de mera inspeção visual e de seleção das não conformidades, ou seja do que não se adequava ao padrão. Nos anos 50, progrediu-se para um controlo de qualidade realizado a tempo inteiro por inspetores, baseado em pré-requisitos e standards de desempenho, neste caso na ótica da adequação ao uso. Posteriormente, nos anos 60, emergiu o conceito de garantia de qualidade, com ênfase nas ações preventivas focadas nos produtos/serviços, no desenho dos processos e na implementação de auditorias, conforme propôs Feigenbaum em 1951 (Hafeez et al., 2006). Neste caso visava-se a adequação ao custo. Finalmente, a partir dos anos 70 o paradigma passou a ser a Gestão da Qualidade Total (TQM3), com vista a uma melhoria contínua. Este
conceito significa que o alcance da qualidade deve ser obtido através de todas as dimensões da Organização, entrando em linha de conta com as respetivas interações. Neste último modelo os seus grandes pilares são a satisfação do cliente e a melhoria contínua (Hafeez et al., 2006). Os mesmos
autores resumem o atual conceito de qualidade em executar bem à primeira, satisfazendo permanentemente as necessidades dos clientes, através do envolvimento de toda a Organização e da adequada utilização dos recursos disponíveis, praticando uma melhoria contínua.
2.2. Qualidade da formação
Di Battista, Palomba e Vergani (2009), após intensa revisão bibliográfica, arguiram que a qualidade em EFP tem sido encarada de várias formas. Do ponto de vista técnico, através da sua correlação com a Gestão da Qualidade Total, com um enfoque nos processos. Também tem sido tratada por um prisma regulatório, como por exemplo, no âmbito da implementação de sistemas de gestão da qualidade baseados na ISO 9000 ou de modelos de acreditação/certificação, tutelados por organismos oficiais. Relataram, ainda, que apesar dessas abordagens existem muitas dúvidas sobre a viabilidade de adotar esses modelos para avaliar a qualidade de sistemas de EFP. Com efeito, indicaram que o conceito de qualidade em EFP está relacionado com a qualidade em serviços, já que estes e a formação partilham características e semelhanças. Nesta ótica, a respetiva concetualização é similar, o que significa que a forma como um serviço, bem como o sistema que o fornece são avaliados pelos seus diferentes stakeholders, depende da rede de relações criada entre o prestador do serviço e o utilizador.
Soares (1994 e 2003) defende que a mais relevante tendência para o futuro é o incremento da qualidade nas empresas de prestação de serviços, em virtude do cada vez maior peso dos serviços na economia atual. Enfatiza, assim, uma dinâmica de melhoramento da qualidade, ou seja o desenvolvimento de dinâmicas de qualidade e a sua integração nas estratégias globais das diferentes organizações, e a extensão das operações de qualidade a todas as funções e níveis hierárquicos de uma organização. Este paradigma é aplicável à EFP.
O Centro Europeu para o Desenvolvimento da Formação Profissional (CEDEFOP) como agência europeia e centro de referência para a EFP, envolveu nos anos 90 vários especialistas no estudo dos Sistemas de EFP de sete países europeus (Di Battista et al., 2009). Destes trabalhos resultaram as seguintes abordagens para o conceito de qualidade: como valor absoluto (excelência); orientada para o produto; orientada para a satisfação do cliente; orientada para o processo (conformidade com as especificações) ou otimização da relação preço/qualidade. Posteriormente, em 2001, o mesmo Centro, lançou o Fórum Europeu da Qualidade da EFP, em que o conceito da qualidade se alicerçava na eficácia dos Sistemas de EFP, medida pelo alcance dos seguintes objetivos, definidos a nível europeu: empregabilidade; alinhamento da procura da formação com a oferta e aumento do acesso de públicos desfavorecidos à formação financiada por fundos públicos.
Neste contexto, Golubova (2011), num estudo que incidiu no domínio do EFP, considerou que qualidade formativa correspondia à estreita correspondência entre os serviços fornecidos e as necessidades dos formandos e da economia.
No que concerne ao efeito das práticas de gestão da qualidade no desempenho organizacional, Nair (2006) demonstrou uma correlação positiva entre estes aspetos em inúmeras organizações. Na mesma senda, ao analisarem numerosa literatura, Sousa e Voss (2002), neste caso no âmbito da gestão da qualidade do produto, chegaram à mesma conclusão da existência de evidências no incremento do desempenho operacional e da qualidade.
2.3. Avaliação da qualidade da formação
ao posto de trabalho, desempenho dos formadores), o que dificulta uma comparação realística entre diferentes ações de formação.
Ojala e Vartainen (2008) também sistematizaram o condicionalismo inerente à definição de qualidade. Em primeiro lugar, é percebida como um conceito relativo, considerando que não é possível defini-la em absoluto, sem termo de comparação. Depois, a qualidade não é uma característica permanente mas sim volátil, já que varia com as condições e padrões com que é comparada. Finalmente, a qualidade é avaliada por um conjunto de pessoas pelo que o seu resultado respeita à súmula das diferentes opiniões individuais.
Um dos modelos de avaliação da qualidade da formação mais conhecido e aplicado é o proposto por Kirkpatrick e Kirkpatrick (2006). Este apresenta a avaliação por quatro níveis sequenciais, cada vez mais exigentes e indicatórios: reação, aprendizagem, comportamento e resultados. O Nível 1 –
reações – afere a reação dos participantes à formação imediatamente no final da ação, sendo muitas
vezes considerada como uma medição “a quente”; o Nível 2 – mensura a aprendizagem, os conhecimentos, técnicas e mudanças de atitude, tendo como referência a situação de partida e os objetivos de aprendizagem definidos; o Nível 3 – avalia as mudanças de comportamento no trabalho e, finalmente, o Nível 4 – mede o impacto na Organização.
A modernização e a melhoria contínua do Sistema de Formação da UE, decorrentes da transição para uma economia baseada no conhecimento, têm constituído uma das grandes prioridades da política europeia, especialmente desde os anos 2000. Este esforço, nos termos da Recomendação do Parlamento Europeu e do Conselho de 18 de junho de 2009 (Recomendação, 2009), culminou com o estabelecimento de um Quadro de Referência Europeu de Garantia da Qualidade, atualmente conhecido como EQAVET4, de aplicação voluntária, com o objetivo de promover e supervisionar a
melhoria contínua dos sistemas de EFP, com base em referências europeias comuns. Este Quadro sustenta-se num ciclo da qualidade ou de Deming (Plan-Do-Check-Act5), incluindo as fases de
planeamento, de implementação, de avaliação/apreciação e de revisão, suportando-se em critérios
de qualidade, descritores indicativos e indicadores comuns. Possui uma abordagem sistémica e holística da qualidade, dando ênfase à inter-relação entre os níveis (Administração/Sistema de EFP e entidades formadoras) e os stakeholders.
Masson et al. (2010) notaram que a nova abordagem da UE, com a avaliação da qualidade da EFP entra em linha de conta com as alterações significativas, que atualmente se verificam na conceção da EFP: orientação para resultados e desempenho; foco nos clientes/formandos; novos modelos de gestão para as escolas e entidades formadoras; promoção da transparência e parcerias e introdução da autoavaliação. Neste contexto, realçam, ainda, que este novo modelo não é compatível com uma abordagem top-down6, carecendo do incentivo de iniciativas bottom-up7, promovendo uma motivação das entidades e a sua apropriação, por parte das mesmas, através de autoavaliações. Concomitantemente, Masson et al. (2010) encontraram algumas ambiguidades no EQAVET, nomeadamente no facto da abordagem da UE promover uma nova cultura de gestão mais focada nos outputs8 e resultados, em detrimento dos inputs9. Repare-se que, tradicionalmente, a ênfase da avaliação centrava-se nos recursos utilizados pelos promotores de EFP, sendo que nas últimas décadas o enfoque passou para os processos formativos e, mais recentemente, para as aprendizagens e resultados (Coates, 2009).
Desta forma, a literatura demonstra a importância da implementação de práticas de autoavaliação com o objetivo principal de promover a melhoria da qualidade do processo educativo e formativo, conforme referem Pisonová e Nagyová (2014) ao estudarem o setor da educação.
2.4. Indicadores de qualidade formativa
Segundo Pisonová e Nagyová (2014) um processo de autoavaliação implica, desde logo, a seleção de um conjunto de critérios e indicadores, para que, no âmbito de determinado fenómeno, se possa aferir se a meta estabelecida foi, ou não, alcançada. Os critérios circunscrevem a qualidade
6 Termo na língua inglesa habitualmente utilizado para referir abordagens de cima para baixo, neste contexto da Administração/Entidades Reguladoras para as entidades formadoras.
7 Termo na língua inglesa usualmente utilizado para referir abordagens de baixo para cima, neste contexto das entidades formadoras para a Administração/Entidades Reguladoras.
que determinada dimensão avaliativa-chave deve possuir, caracterizando o estado desejado. Subsequentemente, devem ser complementados com os adequados indicadores de qualidade, que permitem a aferição do grau de presença de certas características do fenómeno avaliado. Neste contexto, um indicador orienta o avaliador para as características-chave do critério em avaliação.
Também Soares (2014), num estudo que incidiu sobre o domínio dos serviços, no caso no setor do turismo, afirmou que a avaliação de uma estratégia geradora de valor numa Organização carecia de um sistema integrado de avaliação de desempenho, em detrimento de uma análise baseada apenas em indicadores de um tipo (e.g. financeiros ou operacionais).
Não obstante, há que ter sempre presente que a definição de indicadores é uma tarefa assaz
complexa. Um indicador estatui “o que conta” e tem uma capacidade de “moldar” o comportamento
dos operadores e do sistema, porque estimula esse comportamento a um nível individual e organizacional. Um indicador de qualidade fornece uma informação indireta da qualidade da formação e dos seus resultados, pelo que consequentemente, não dá uma medida direta dos resultados dessa formação (Coates, 2009).
De facto, a utilização de indicadores apresenta alguns inconvenientes, conforme notou Lim (2009). Desde logo, os indicadores de resultados utilizam dados ex-post, ou seja estão sempre desatualizados, não dando informação sobre o que está a acontecer, presentemente ou no futuro.
Potenciam comportamentos evasivos da equipa de modo a “protegerem-se” de resultados menos favoráveis. Por último, estimulam o alcance da meta, independentemente dos meios para a alcançar, ou seja privilegiam a eficácia em detrimento da eficiência.
vários itens estatísticos ou de indicadores compostos que tentam medir um determinado aspeto do fenómeno complexo. Oakes (1986) conclui que um Sistema de Indicadores afere as várias componentes do fenómeno em estudo e, ainda, a forma como esses componentes se inter-relacionam de modo a produzir efeitos sinergéticos. A mesma autora defende que um Sistema de Indicadores deve estar alinhado com o modelo de funcionamento da EFP abarcando, designadamente, os recursos, os processos e os produtos/resultados.
Kádárová, Kalafusová e Durkáová, (2014) defendem que um sistema de indicadores deve ser aceite pelos stakeholders, de modo a garantir que o aplicam. Deve, igualmente, possuir uma técnica de medição em fontes identificadas, recolher dados representativos e ter um algoritmo de cálculo adequado.
Van den Berghe (1997) esclarece que a utilização de indicadores pode conduzir à pretensão do perfecionismo, ou seja que um pequeno conjunto de indicadores [perfeitos] pode cobrir todo o espetro do fenómeno complexo. Pelo contrário, afirma que esta realidade nunca será alcançada, nem sequer seria benéfica. Com efeito, os indicadores são apenas uma ferramenta e não um fim em si mesmos, carecendo sempre da respetiva interpretação.
2.5. Sistemas de indicadores de qualidade formativa
Em Portugal, a implementação do Quadro EQAVET inicia agora os primeiros passos, na sequência dos trabalhos da Agência Nacional para a Qualificação e o Ensino Profissional (ANQEP), como refere Galvão (2015). Os dez indicadores EQAVET são apresentados na Tabela I.
Tabela I – Indicadores de qualidade EQAVET relativos ao Quadro de Referência Europeu de Garantia da Qualidade
Indicador Tipo de Indicador Indicadores gerais para a garantia da qualidade
I1 - Importância dos sistemas de garantia da qualidade
para os prestadores de EFP Indicador de contexto/de input I2 - Investimento na formação de professores e
formadores Indicador de input/de processo
Indicadores que contribuem para os objetivos de qualidade das políticas de EFP
I3 - Taxa de participação em programas EFP Indicador de input/de processo/de resultados
I4 - Taxa de conclusão nos programas de EFP Indicador de processo/de resultados I5 - Taxa de colocação em programas de EFP
Destino dos formandos após a formação Proporção de formandos empregados após a
formação
Indicador de resultados
I6 - Utilização das competências adquiridas no local de trabalho
Tipo de emprego após a formação Taxa de satisfação dos formandos e dos
empregadores com as competências adquiridas
Indicador de resultados
Informação sobre o contexto
I7 - Taxa de desemprego em função de diferentes critérios Indicador de contexto I8 - Prevalência de grupos vulneráveis Indicador de contexto I9 - Mecanismos para identificar necessidades de
formação no mercado de trabalho Indicador de contexto/ de input I10 - Dispositivos utilizados para promover um melhor
acesso à EFP Indicador de processo
Fonte: Adaptado de Recomendação do Parlamento Europeu (2009) e Galvão (2015)
entidades patronais, que relevam para o estudo em apreço, figuram na Tabela II.
Tabela II – Domínios e dimensões de avaliação do sistema de indicadores de qualidade australiano que se integra no AQTF
Domínios Dimensões
Qualidade da formação
D1 - Qualidade do formador D2 - Satisfação global
D3 - Efetiva avaliação da aprendizagem
D4 - Clarificação dos resultados expectáveis ao nível dos formandos D5 - Estímulos para a aprendizagem
Correlação com o posto de
trabalho D6 - Relevância da formação para o posto de trabalho D7 - Desenvolvimento de competências Condições da formação D9 - Suporte efetivo (da entidade e D8 - Recursos da formação
staff)
Envolvimento dos formandos D10 - Aprendizagem ativa
Fonte: Adaptado de Coates (2009)
Meyers e Blom (2004), citados por Agbola e Lambert (2010), após o estudo dos sistemas de garantia de qualidade da EFP de doze países (e.g. África do Sul, Austrália, EUA, UE, Escócia e Nova Zelândia) coligiram o conjunto de indicadores utilizados por esses sistemas. Concretamente, estão em causa as seguintes dimensões: Suporte aos formandos; Conteúdos programáticos/Programas; Infraestrutura; Professores/Formadores; Avaliação; Estruturas administrativas; Gestão; Financiamento/Planeamento estratégico/ Marketing e Colaboração; Comunicação/Divulgação; Ensino; Ligações com os stakeholders e, finalmente, Avaliação e investigação.
Van der Sluis, Reezigt, e Borghans (2014), num estudo sobre o valor que os stakeholders atribuem à formação, consideraram como indicadores, entre outros, a apreciação que os empregadores fazem dos formandos após a formação e a valoração do desempenho dos formadores pelos formandos.
Quality Award Framework. Concretamente, trata-se de um sistema que prevê dezasseis indicadores, sendo um relativo à liderança, seis aos processos e nove aos resultados, conforme se explicita na Tabela III.
Tabela III – Indicadores do quadro de referência de garantia da qualidade formativa do VTC de Hong Kong
Componente Indicador (processo) Indicador (resultados )
Liderança I1 - Liderança a vários níveis da unidade operativa
Processos
Planeamento Estratégico I2 - Desenvolvimento estratégico e implementação
Financeira e Recursos Humanos
I3 - Planeamento financeiro e controlo orçamental
I4 - Gestão de Recursos Humanos e Desenvolvimento
Suporte formativo
I5 - Conceção e desenvolvimento de programas de formação I6 - Monitoria e aprendizagem I7 - Suporte formativo
Resultados
Desempenho dos
Formandos I8 - Taxa de retenção I9 - Taxa de aproveitamento
Satisfação de stakeholders
I10 - Satisfação dos formandos I11 - Satisfação da equipa formativa I12 - Satisfação da Entidade Patronal Orçamental e financeira I13 - Custo unitário da formação
Eficácia organizacional I14 I15 - Taxa de inscrições – N.º de formandos previsto I16 - Taxa de empregabilidade
3. METODOLOGIA
3.1. Objetivos do estudo e perguntas de pesquisa
Tendo presente o conjunto de indicadores desenvolvidos e aplicados em diferentes contextos organizacionais, culturais e internacionais, pretendeu-se avaliar a relevância percebida e aferir a aplicabilidade de indicadores de qualidade da formação, no âmbito do Sistema de Formação Nacional. Assim, o ponto de partida deste estudo teve como base o problema geral de investigação, relativo à definição de um sistema de indicadores de acompanhamento e avaliação de entidades formadoras, de modo a promover a excelência do respetivo desempenho formativo e a sua melhoria contínua. Este problema geral foi operacionalizado em duas perguntas centrais de investigação (research questions [RQ]):
RQ1 - Quais os indicadores mais relevantes para aferir a qualidade formativa, de modo a integrarem um Sistema de Indicadores de Acompanhamento e Avaliação de Desempenho (IAAD) de Entidades Formadoras?
RQ2 - Os indicadores considerados mais relevantes são aplicáveis à realidade do Sistema de Formação Nacional, composto pelas entidades formadoras certificadas?
De modo a dar resposta a estas perguntas procedeu-se a um estudo quantitativo, mediante a aplicação de um questionário por e-mail às entidades formadoras certificadas, seguido de um tratamento estatístico adequado. Realça-se que a recolha de dados, através desta metodologia e instrumento, permitiu obter uma imagem quantitativa da realidade e uma dimensão estatística, que possibilitou a resposta às questões de pesquisa.
3.2. População objeto do estudo
A população em causa, que corresponde ao conjunto de entidades certificadas pela DGERT, cifrava-se em 1915, tendo por referência a data de 10 de maio de 2016. Atente-se no facto de se tratar de um universo passível de inquirição e de modo a potenciar a fiabilidade dos resultados estatísticos do estudo, optou-se pela tentativa de inquirição da totalidade da população. Para o efeito, foi recolhida a listagem das entidades formadoras certificadas, que se encontra disponível para consulta pública, na base de dados da DGERT. Foram, adicionalmente, obtidos os respetivos contactos, designadamente o endereço de correio eletrónico registado nessa base de dados. Importa clarificar que a certificação das entidades formadoras é concedida por áreas de educação e formação, de acordo com a Classificação Nacional das Áreas de Educação e Formação (CNAEF), aprovada pela Portaria n.º 256/2005, de 16 de Março (Portaria n.º 256, 2005). A Tabela IV caracteriza sumariamente a população em estudo.
Tabela IV - Caracterização do universo de entidades formadoras certificadas N.º
Entidades Certificadas
Tipo Entidade Tipologia Natureza Jurídica Média do
nº de áreas certificadas Privadas Públicas Pessoa
Coletiva
Pessoa
Singular Sociedade Associação Cooperativa Fundação Individual
1915 1906 9 1907 8 1373 452 52 30 8
6,28
100,0% 99,5% 0,5% 99,6% 0,4% 71,7% 23,6% 2,7% 1,6% 0,4%
Fonte: DGERT
Considerou-se, inicialmente, como respondente-chave o Gestor de Formação, tendo em conta o perfil, atribuições e responsabilidades afetas a este colaborador, no âmbito do sistema de certificação. Contudo, a realidade nacional das entidades formadoras, nos termos das conclusões do pré-teste efetuado, afastou a obrigatoriedade de apenas se inquirir este interlocutor, pelo que o questionário deu abertura a que a resposta fosse efetuada pela pessoa que a entidade entendesse ser a mais adequada para esse efeito (e.g. coordenador pedagógico ou outro).
3.3. Processo de recolha da informação
através do endereçamento de mensagens de correio eletrónico para o universo de entidades formadoras certificadas, onde constava o respetivo link de acesso. Seguiram-se as recomendações enunciadas por Barnett (2002), redigindo-se a mensagem de pedido de colaboração de uma forma cuidadosa, garantindo a confidencialidade das respostas e oferecendo um incentivo tangível, no caso, a disponibilização dos resultados do estudo aos eventuais interessados.
A fase de construção do questionário e de inquirição passou por um conjunto de etapas, que se resumem seguidamente.
3.3.1. Desenho do questionário
A construção do questionário suportou-se na apresentação de um conjunto de Indicadores de Acompanhamento e Avaliação de Desempenho (IAAD), sustentado na revisão de literatura, para efeitos da eventual validação das perguntas de pesquisa. Os IAAD em causa figuram na Tabela V, explicitando-se, na mesma, o respetivo significado através do algoritmo associado, bem como o(s) modelo(s) de sistemas de avaliação da qualidade em que se inspiram. Os vários indicadores propostos têm, ainda, correlação com os níveis 1 (reação), 2 (aprendizagem) e 3 (comportamento) do modelo proposto por Kirkpatrik e Kirkpatrik (2006) e distribuem-se pelas três óticas referidas por Oakes (1986), designadamente recursos, processos e produtos/resultados.
Tabela V – Indicadores de Acompanhamento e Avaliação de Desempenho (IAAD)
Indicador Algoritmo Sistemas de Indicadores Correlação com outros
EQAVET AQTF VTC
1. Estrutura e organização internas da estrutura de formação / Recursos
I1.1 – N.º Coordenador(es) Pedagógico(s)
D8;
D9 I4; I7
I1.2 - Índice de Tecnicidade ((N.º de trabalhadores com vínculo e com habilitação superior /Total de trabalhadores com
vínculo) x 100) D9 I4
I1.3 - Antiguidade Média dos Trabalhadores da Equipa de Formação
(∑ das antiguidades dos trabalhadores com
vínculo /N.º de trabalhadores com vínculo ao
serviço). Unidade: anos civis I4
I1.4 - Média de Horas de Formação da Equipa
(∑ das horas de formação frequentadas pelos
trabalhadores com vínculo /N.º de trabalhadores
com vínculo ao serviço) I2 I4
2. Serviço de formação / Processo formativo
Planificação da atividade formativa I2.1 - Taxa de execução das
Indicador Algoritmo Sistemas de Indicadores Correlação com outros
I2.2 - Taxa de ações de formação suportadas num LNF ou DNF
((N.º de ações de formação executadas, suportadas num LNF ou DNF/n.º total de ações
executadas) x 100) I9 I5
Desenvolvimento da atividade formativa I2.3 - Taxa de formandos
sujeitos a processo de seleção
((N.º de formandos sujeitos a processo de
seleção / n.º total de formandos) x 100) I15
I2.4 - Taxa de formandos que são sujeitos a processo de avaliação de
aprendizagem sumativa
((N.º de formandos que são sujeitos a processo de avaliação de aprendizagem sumativa/n.º total
de formandos) x 100) D3 I6
I2.5 - Taxa de Assiduidade ((Volume total de formação assistido/volume total de formação previsto) x 100) I4 D10
3. Resultados da atividade formativa e melhoria contínua / Produtos e resultados
I3.1 - Valor médio da qualidade formativa global
((Notação média da satisfação com a qualidade formativa – avaliação de reação / nota máxima da escala considerada) x 100)
D2; D8; D9; D10 I5; I7; I10
I3.2 - Valor médio da qualidade dos formadores
((Notação média da satisfação com a qualidade dos formadores – avaliação de reação / nota
máxima da escala considerada) x 100) D1 I6; I10
I3.3 - Taxa de formandos
com aproveitamento ((N.º de formandos com aproveitamento/n.º total de formandos) x 100) I4 D10 D3; I9 I3.4 - Taxa de desistências ((N.º de formandos desistentes/n.º de formandos que iniciaram formação) x 100 I4
I3.5 - Taxa de reclamações (N.º de reclamações/n.º de formandos que frequentaram ações de formação) x 100) I1 D10
I3.6 - Taxa de medidas de melhoria implementadas
(N.º de melhorias implementadas com eficácia no período n/n.º de oportunidades de melhoria
identificadas no período n-1) I1 I2
I3.7 - Taxa de Empregabilidade
((N.º de formandos que concluíram e
conseguiram colocação na mesma área do curso, até 6 meses após a sua conclusão / n.º total de formandos) x 100)
I5; I6 D6; D7 I16
I3.8 - Valor médio da satisfação dos formandos com as competências/ qualificações adquiridas
((Notação média da satisfação atribuída pelos formandos, aferida em avaliação pós-formação /
nota máxima da escala considerada) x 100) I6
D6;
D7 I10
I3.9 - Valor médio da satisfação dos empregadores com as competências/ qualificações adquiridas
((Notação média da satisfação atribuída pelos empregadores, aferida em avaliação pós-formação / nota máxima da escala considerada) x 100)
I6 D6; D7 I12
Legenda: LNF - Levantamento de Necessidades de Formação; DNF - Diagnóstico de Necessidades de Formação EQAVET - Quadro de Referência Europeu de Garantia da Qualidade; AQTF - Australian Quality Training Framework; VTC - Vocational Training Council of Hong Kong
Fonte: Elaboração própria
O questionário foi dividido em diferentes secções, a saber: 1 – indicação da função desempenhada pelo respondente; 2 – caracterização jurídica da entidade formadora; 3 –
indicadores; 5 – outros indicadores; 6 – grau de aplicabilidade dos indicadores e 7 – observações. Para aferição das variáveis em estudo foram utilizadas escalas multi-item de acordo com a metodologia proposta por Likert, o que significa que foram adotadas escalas de medida (item) para cada um dos indicadores em estudo. Esta metodologia, destinada a aferir diferentes opiniões dos inquiridos, é muito utilizada em numerosos estudos científicos, como constatou Hartley (2013). Este autor, decorrente da revisão de literatura que empreendeu, também verificou a frequência de utilização de escalas Likert com 5 ou 7 pontos, sem que tenha encontrado evidência científica da maior adequação de uma em detrimento da outra. Note-se que a versão original de Likert utilizou uma escala com 5 pontos, incluindo um ponto neutro, com um distanciamento similar entre as diferentes notações (Harpe, 2015). A utilização de uma escala uniforme, numerada e com denominação para cada item da escala, foi também defendida por Krosnick (1999). Cumulativamente, a utilização de escalas com uma valoração crescente (pólo negativo à esquerda e positivo à direita), a inexistência de perguntas colocadas de uma forma negativa e que questionem, simultaneamente, mais de um conceito, correspondem a boas práticas a seguir (Hartley, 2013). O questionário desenvolvido seguiu todas estas premissas, sendo que as escalas utilizadas foram graduadas da seguinte forma: nada, pouco, ponto médio (relevante ou aplicável), muito e extremamente. Realça-se que, relativamente aos indicadores, a opção por se questionar para cada um a indicação da respetiva notação, em detrimento de se solicitar a elaboração de um ranking, dentro das alternativas possíveis, foi considerada mais vantajosa, nos termos dos argumentos coligidos por Krosnick (1999).
3.3.2. Pré-teste
Considerando a sua mais-valia para a minimização dos fatores-críticos do estudo, conforme refere Barnett (2002), e para identificar eventuais questões que os respondentes tivessem dificuldade em interpretar (Krosnick, 1999), efetuou-se um pré-teste do questionário, o qual consistiu na aplicação de um teste piloto a um grupo restrito de entidades formadoras certificadas e a técnicos especialistas do domínio da formação, de modo a validar a respetiva adequação ao objetivo pretendido. Esta etapa iniciou-se em 2 de maio de 2016 e teve como resultado a correção ou reformulação do articulado de algumas questões, bem como do texto do e-mail introdutório, com vista a clarificar o objetivo do estudo e o contexto das perguntas a efetuar. Nesta medida, no termo desta etapa foram melhorados os instrumentos acima referidos, acomodando-se alguns contributos recebidos. Apresenta-se a versão final do questionário aplicado (Anexo 3) e do e-mail (inicial e de insistência) que o acompanhou, nos Anexos 1 e 2, respetivamente.
3.3.3. Processo de recolha de informação
O envio das mensagens de correio eletrónico à totalidade das entidades formadoras certificadas, com o link de acesso ao questionário, ocorreu em 15 de maio de 2016. Durante esse processo constatou-se a devolução de 936 mensagens, por diversas razões, tais como, endereço inexistente ou falha técnica. De 16 a 22 de maio de 2016 reenviaram-se as mensagens devolvidas, para os mesmos endereços eletrónicos, de modo a despistar eventuais falhas técnicas. Desta forma, foram novamente devolvidas algumas mensagens, tendo sido possível enviar as restantes, atribuídas às aludidas falhas. Realça-se que o conteúdo do e-mail garantia a confidencialidade das respostas e que, consequentemente, não era possível conhecer as entidades que, entretanto, iam respondendo ao questionário. Excecionam-se as entidades que voluntariamente responderam ao e-mail, afirmando terem procedido à resposta ao questionário. Estão neste caso 28 entidades, as quais não foram objeto de mais nenhuma insistência. Nesta fase foram recolhidas 162 respostas.
alterações face ao primeiro, foi remetido por lotes de entidades entre os dias 29 de maio e 3 de junho de 2016. Após este novo esforço, constatou-se a impossibilidade de contactar 99 entidades, porquanto os e-mails vieram devolvidos em qualquer das duas tentativas de contacto. Tendo em conta, que, alegadamente, se estaria em presença de entidades formadoras que, entretanto, encerraram atividade, ou que alteraram o endereço eletrónico de contacto, sem refletirem essa situação junto da DGERT, iniciou-se em 3 de junho de 2016 uma tentativa de contacto telefónico com as últimas entidades referidas. O resultado deste trabalho traduziu-se na comunicação com 37 entidades, onde se reiterou o pedido de resposta, mantendo-se a impossibilidade de contactar com 62 entidades. Após a fase de insistência, encerrou-se o processo de recolha de respostas no dia 5 de julho de 2016, tendo-se obtido 333 respostas válidas, de um total de 1.853 entidades contactadas.
3.4. Amostra do estudo
Nos termos do exposto, resultou do trabalho de recolha de informação uma amostra não probabilística por conveniência (Marôco, 2014), tendo em conta que a participação na resposta ao questionário era voluntária. Tal como se referiu, o questionário foi respondido por 333 entidades formadoras certificadas, ou seja uma taxa de resposta de 18%, considerando as entidades ativas. Refira-se que o número de respostas obtido representaria, para um nível de confiança de 95%, um erro máximo admissível de 4,9%, caso a amostra fosse selecionada de forma aleatória simples (Vicente, 2012).
3.5. Análise estatística
Os dados recolhidos foram sujeitos a tratamento estatístico através do software IBM SPSS Statistics, versão 22.0. De modo a avaliar a qualidade da amostra, testou-se a aderência das características populacionais conhecidas. Para as variáveis qualitativas ‘Tipo de Entidade’,
‘Tipologia’ e ‘Natureza Jurídica’ procedeu-se ao teste não paramétrico de ajustamento do qui-quadrado. Para a variável quantitativa ‘n.º de áreas de educação e formação certificadas’ efetuou-se o teste paramétrico t para uma média (Marôco, 2014).
4. APRESENTAÇÃO E ANÁLISE DOS RESULTADOS 4.1. Caracterização da amostra
O questionário foi respondido por 333 entidades formadoras certificadas, distribuindo-se os respondentes pelas seguintes categorias: Gestores de Formação (60,1%), Coordenadores Pedagógicos (26,7%) e Técnicos de formação (2,1%). Os restantes 11,1% corresponderam a respostas submetidas por diferentes figuras profissionais, tais como, ao nível da Direção-Geral, Secretários-Gerais, Responsáveis pela Qualidade, ou Formadores. Verificou-se que 27 entidades (8% das entidades respondentes) afirmaram não ter executado formação em 2015, o que, atendendo à conjuntura económica vigente, se considera justificável. As restantes entidades realizaram, em 2015, em média, 164 ações de formação, e formaram, no mesmo ano, em média, 815 formandos. Na Tabela VI apresenta-se a caracterização das entidades certificadas respondentes.
Tabela VI - Caracterização da amostra do Estudo N.º
Entidades Certificadas
Tipo Entidade Tipologia Natureza Jurídica Média do
nº de áreas certificadas Privadas Públicas Pessoa
Coletiva
Pessoa
Singular Sociedade Associação Cooperativa Fundação Individual
333 324 9 331 2 204 105 13 9 2
7,15
100,0% 97,3% 2,7% 99,4% 0,6% 61,3% 31,5% 3,9% 2,7% 0,6%
Fonte: Elaboração própria
Realizou-se um teste de ajustamento do qui-quadrado para as variáveis qualitativas ‘Tipo de
Entidade’, ‘Tipologia’ e ‘Natureza Jurídica’, de modo a aferir o ajustamento dos conjuntos de
classes da amostra à respetiva distribuição no universo, que era conhecida. Refira-se que para ambas as variáveis, ‘Tipo de Entidade’ e ‘Tipologia’, se estava em presença de 50% de classes com uma frequência esperada inferior a 5 elementos, o que obrigou a determinar a sua probabilidade exata. No que se refere à ‘Tipologia’, constatou-se que a amostra está ajustada à população (χ2
(1) =
0,336; p = 0,648). No que concerne ao ‘Tipo de Entidade’ (χ2 (1) = 32,476; p < 0,001) e à ‘Natureza
Jurídica’ (χ2
(4) = 18,591; p = 0,01), o mesmo não se verificou. De facto, das entidades respondentes,
2,7%, eram de natureza pública, sendo que a sua distribuição na população é de 0,5%. Da mesma
percentagem de ‘Associações’ na amostra (31,5% versus 23,6% da população) e menor de
‘Sociedades’ (61,3% versus 71,7% da população).
Outra variável aferida na recolha de informação foi a do número de áreas de educação e formação certificadas em cada entidade respondente. Constatou-se que a amostra obtida, com exceção de alguns casos considerados marginais, que indicaram um número de áreas certificadas igual ou superior a 21 (15 casos em 333 inquiridos, conforme se pode verificar no Anexo 4), tem uma média de 6,17 áreas certificadas. Este resultado corresponde a um número idêntico ao da população (t(317)= -0,412; p = 0,681).
Nesta conformidade, a interpretação dos resultados obtidos neste estudo tem como pressuposto que a amostra está ajustada ao universo das entidades certificadas no que respeita à ‘Tipologia’ e à
‘Média de áreas certificadas’, neste caso, retirando os casos marginais, considerados não
significativos. Não obstante, as variáveis ‘Tipo de Entidade’ e ‘Natureza Jurídica’ não se revelaram totalmente ajustadas, pelo que a extrapolação dos resultados deve ter este aspeto em consideração, o que não se considera significativamente relevante atendendo às variáveis e desvio em causa.
4.2. Relevância dos Indicadores de Qualidade
Verificou-se uma boa consistência interna do grupo de 18 indicadores estudados para o constructo, relevância para aferição da qualidade formativa, porquanto o teste do alfa de Cronbach atingiu o valor de 0,887, ou seja, bem acima de 0,7 (Marôco & Garcia Marques, 2006). Os resultados obtidos demonstram que as entidades inquiridas consideraram como mais e menos relevantes os indicadores constantes na Tabela VII, sendo que a escala multi-item considerada foi de 1 (nada relevante) a 5 (extremamente relevante). A distribuição de frequências da ‘Relevância’
percebida para cada indicador consta no Anexo 5.
Constata-se nos indicadores considerados menos relevantes uma predominância dos relativos à estrutura e organização interna, ou seja ao nível dos recursos (3 dos 4 inicialmente questionados, a
saber, ‘Média de horas de formação da equipa’, ´N.º de Coordenadores Pedagógicos’ e
menos relevantes situam-se no âmbito do processo formativo, mais precisamente na planificação
(‘Taxa Ações de Formação suportadas por LNF/DNF’) e desenvolvimento (‘Taxa de Formandos
sujeitos a processo de seleção’). Pelo contrário, os indicadores considerados mais relevantes situam-se, quase exclusivamente, ao nível dos resultados da atividade formativa, a saber ‘Qualidade dos formadores’, ‘Qualidade formativa global’ e ‘Satisfação com as competências/qualificações
adquiridas (indicadores relativos aos formandos e aos empregadores)’. Exceciona-se deste padrão
de muita relevância o indicador ‘Taxa de assiduidade’, que se situa ao nível do processo formativo,
mais precisamente no âmbito do desenvolvimento da formação.
Tabela VII – Classificação dos indicadores quanto à respetiva relevância para aferição da qualidade formativa
Indicadores menos relevantes Indicadores mais relevantes
Indicador Média padrão Desvio Indicador Média padrão Desvio Média de Horas de Formação
da Equipa de Formação 3,47 0,855 Valor médio da qualidade dos formadores 4,22 0,729 Taxa Ações de Formação
suportadas por LNF/DNF 3,42 0,939
Valor médio da satisfação dos formandos com as competências/ qualificações adquiridas
4,18 0,743
Nº Coordenadores Pedagógicos
que prestam serviço na entidade 3,29 1,156
Valor médio da qualidade
formativa global 4,16 0,737
Antiguidade Média dos Trabalhadores da Equipa de
Formação 3,19 0,962
Valor médio da satisfação dos empregadores com as
competências/ qualificações adquiridas
4,13 0,868
Taxa de Formandos sujeitos a
processo de seleção 3,17 1,073 Taxa de Assiduidade 4,02 0,852
Fonte: Elaboração própria
Figura 1 – Perfil de médias da classificação dos indicadores quanto à respetiva relevância para aferição da qualidade formativa
Fonte: Elaboração própria
Procedeu-se a um método multivariado de análise fatorial, no caso, uma análise de componentes principais (ACP), de modo a identificar subconjuntos de variáveis (indicadores), muito correlacionados entre si e pouco associados a outros subconjuntos. Pretendeu-se, igualmente, identificar e percecionar a estrutura das relações entre os diferentes indicadores, assim como, encontrar dimensões latentes e reduzir a informação através da determinação de novas variáveis. No Anexo 9 figura a matriz de correlações relativa à ‘Relevância’ percebida dos diferentes indicadores.
A aplicação da ACP revelou uma boa adequabilidade aos dados em presença (KMO=0,851; χ2 (153)
= 2825,055; p < 0,001).
adquiridas’, porquanto agrega os indicadores relativos à qualidade formativa aferida em sede de avaliação de reação (global e dos formadores) e à satisfação dos formandos e empregadores com as competências/qualificações adquiridas na formação.
Tabela VIII – Componentes da relevância dos indicadores
Indicadores Componente Qualidade Formação e Competências Adquiridas Planeamento e
empregabilidade Contínua Melhoria Avaliação da Formação Estrutura
Valor médio qualidade formativa (av.
reação) 0,874 0,114 0,094 0,192 0,080
Valor médio qualidade formadores
(av. reação) 0,860 0,059 0,126 0,253 0,125
Satisfação formandos c/ competências 0,691 0,228 0,405 0,145 0,091
Satisfação empregadores c/
competências 0,548 0,290 0,416 0,041 0,212
Taxa Ações suportadas por LNF/DNF 0,145 0,774 0,085 0,044 0,207
Taxa formandos sujeitos a seleção 0,087 0,756 0,106 0,141 0,252
Taxa de Execução 0,251 0,591 -0,054 0,317 0,180
Taxa Empregabilidade 0,056 0,512 0,397 0,291 0,059
Taxa Reclamações 0,235 -0,009 0,852 -0,008 0,003
Taxa Desistências 0,063 0,020 0,733 0,437 0,028
Taxa Implementação Melhorias 0,357 0,274 0,605 0,203 0,144
Taxa de Aproveitamento 0,257 0,077 0,179 0,806 0,052
Taxa de Assiduidade 0,186 0,131 0,304 0,726 0,153
Taxa formandos sujeitos a av.
sumativa 0,127 0,385 -0,012 0,667 0,149
Índice Tecnicidade 0,200 0,086 0,056 0,057 0,805
Antiguidade média da Equipa -0,008 0,158 0,021 0,100 0,773
Nº Coord. Pedagógicos 0,065 0,428 -0,009 0,008 0,595
Média Horas Formação Equipa 0,185 0,249 0,172 0,324 0,541 Percentagem de variância explicada 36,28% 11,75% 7,24% 6,16% 5,38%
Fonte: Elaboração própria
A segunda componente, ‘Planeamento e empregabilidade’ inclui indicadores relacionados com
LNF/DNF, seleção de formandos e taxa de execução, correlacionados com a fase de planeamento e, ainda, o indicador taxa de empregabilidade. Os indicadores relativos a reclamações, desistências e implementação de melhorias, ao integrarem a mesma componente justificam a sua denominação de
‘Melhoria contínua’. A designação da componente ‘Avaliação da formação’ deve-se ao facto de integrar indicadores referentes ao aproveitamento, assiduidade e avaliação sumativa. Finalmente, a
última componente, ‘Estrutura’, inclui os quatro indicadores deste domínio: tecnicidade, antiguidade, número de coordenadores pedagógicos e horas de formação da equipa.
componentes extraídas (loadings > |0,5|), respetivamente, 0,859, 0,738, 0,777, 0,763 e 0,723, demonstra-se uma boa consistência interna de cada conjunto de variáveis. Desta forma, considerou-se interessante construir novas variáveis compósitas (índices) através da média aritmética das respostas obtidas nas variáveis mais relevantes de cada componente. O resultado obtido consta na Figura 2.
Figura 2 – Perfil de médias da classificação das componentes da relevância dos indicadores Fonte: Elaboração própria
4.3. Aplicabilidade dos Indicadores de Qualidade
O grupo de 18 indicadores foi igualmente estudado de modo a aferir a respetiva aplicabilidade ao Sistema de Formação Nacional. Este conjunto de indicadores revelou uma consistência interna muito boa, porquanto o teste do alfa de Cronbach atingiu o valor de 0,931, mais uma vez, claramente acima de 0,7 (Marôco & Garcia Marques, 2006).
Segundo as entidades respondentes, foram considerados como mais e menos aplicáveis à sua realidade, os indicadores constantes na Tabela IX, sendo que a escala multi-item considerada foi de 1 (nada aplicável) a 5 (extremamente aplicável). A distribuição de frequências da ‘Aplicabilidade’ dos diferentes indicadores figura no Anexo 6.
Tabela IX – Classificação dos indicadores relativamente à respetiva aplicabilidade
Indicadores menos aplicáveis Indicadores mais aplicáveis
Indicador Média padrão Desvio Indicador Média padrão Desvio Antiguidade média dos
Trabalhadores da Equipa de
Formação 3,48 1,02
Valor médio da qualidade dos
formadores 4,18 0,842
Taxa ações de formação
suportadas por LNF/DNF 3,48 1,083 Valor médio da qualidade formativa global 4,13 0,847 Nº Coordenadores Pedagógicos
que prestam serviço na entidade 3,40 1,172 Taxa de Assiduidade 3,97 0,984 Taxa de Empregabilidade 3,16 1,346 Taxa de Aproveitamento 3,95 0,991 Taxa de formandos sujeitos a
processo de seleção 3,14 1,294
Valor médio da satisfação dos formandos c/ as competências/
qualificações adquiridas 3,89 0,968
Fonte: Elaboração própria
Foram assinalados como menos aplicáveis, dois indicadores relativos a recursos, ‘Antiguidade
média’ e ‘N.º Coordenadores Pedagógicos’, dois respeitantes ao processo formativo, ‘Taxa ações de formação suportadas por LNF/DNF’ e ‘Taxa de formandos sujeitos a processo de seleção’ e um de
resultados, ‘Taxa de Empregabilidade’. Em sentido oposto, no grupo de indicadores considerados mais aplicáveis, destacam-se os incluídos nos resultados, ‘Qualidade dos formadores’, ‘Qualidade formativa global’, ‘Taxa de Aproveitamento’ e ‘Satisfação dos formandos com as
competências/qualificações adquiridas’. Cumulativamente, também foi indicado como muito
as medidas descritivas da ‘Aplicabilidade’ dos indicadores. A Figura 3 apresenta o perfil das médias dos resultados obtidos para cada um dos indicadores, no que concerne à sua aplicabilidade às entidades formadoras inquiridas.
Figura 3 – Perfil de médias da classificação dos indicadores relativamente à sua aplicabilidade Fonte: Elaboração própria
Também para o constructo ‘Aplicabilidade’ se procedeu à ACP, por forma a identificar subconjuntos de variáveis (indicadores) muito correlacionados entre si, tendo-se observado o pressuposto para tal. De facto, a aplicação da ACP evidenciou uma muito boa adequabilidade aos dados em apreço (KMO: 0,905; χ2
(153) = 4137,932; p < 0,001). No Anexo 10 figura a matriz de
correlações relativa à ‘Aplicabilidade’ dos diferentes indicadores.
A primeira componente extraída foi denominada de ‘Resultados e melhoria contínua’ porque inclui os principais indicadores estudados, inseridos nestes dois domínios, com exceção da taxa de empregabilidade e da satisfação com as competências adquiridas. Segue-se a componente de
‘Estrutura e LNF/DNF’ que agrega os quatro indicadores estudados relativos à estrutura e o de planeamento, relativo ao LNF/DNF. As últimas duas componentes, ‘Satisfação com competências’
e ‘Seleção de formandos e empregabilidade’, foram assim intituladas, uma vez que resultam, respetivamente, dos indicadores que medem a satisfação dos formandos e empregadores com as competências/qualificações adquiridas e de seleção de formandos, mais a empregabilidade.
Tabela X – Componentes dos indicadores relativamente à respetiva aplicabilidade
Indicadores Componente Resultados e Melhoria Contínua Estrutura e LNF/DNF Satisfação com competências Seleção Formandos e Empregabilidade
Taxa Desistências 0,786 0,156 0,012 0,358
Taxa de Assiduidade 0,757 0,198 0,092 0,290
Taxa Reclamações 0,729 0,137 0,327 0,013
Taxa de Aproveitamento 0,649 0,316 0,151 0,288
Valor médio qualidade formadores (av.
reação) 0,641 0,301 0,574 -0,171
Valor médio qualidade formativa (av. reação) 0,640 0,312 0,560 -0,152
Taxa Implementação Melhorias 0,600 0,269 0,454 0,225
Taxa de Execução 0,564 0,427 0,159 0,228
Taxa formandos sujeitos a av. sumativa 0,460 0,421 0,089 0,452
Antiguidade Média da Equipa 0,177 0,821 0,116 0,070
Nº Coord. Pedagógicos 0,143 0,763 -0,004 0,263
Índice Tecnicidade 0,238 0,760 0,273 0,065
Média Horas Formação Equipa 0,265 0,674 0,315 0,141
Taxa Ações suportadas por LNF/DNF 0,325 0,522 0,066 0,394
Satisfação formandos c/ competências 0,264 0,155 0,795 0,273
Satisfação empregadores c/ competências 0,086 0,142 0,763 0,456
Taxa Empregabilidade 0,129 0,109 0,258 0,818
Taxa formandos sujeitos a seleção 0,266 0,297 0,134 0,704 Percentagem de variância explicada 47,95% 8,70% 7,53% 6,24%
Fonte: Elaboração própria
Figura 4 – Perfil de médias da classificação das componentes da aplicabilidade Fonte: Elaboração própria
Decorre da ACP empreendida, que os conjuntos de indicadores considerados mais aplicáveis pelas entidades formadoras certificadas são os respeitantes aos resultados da atividade formativa/melhoria contínua e satisfação com as competências/qualificações obtidas (quer do ponto de vista dos formandos, quer dos empregadores), o que é muito interessante porque estes são também julgados como os mais relevantes.
4.4. Análise comparativa da relevância versus a aplicabilidade dos Indicadores de Qualidade
Figura 5 – Comparação da relevância e aplicabilidade dos indicadores Fonte: Elaboração própria
A ACP corrobora esta análise, tendo em conta que as três componentes consideradas mais relevantes – no âmbito dos resultados e da melhoria contínua – são também julgadas as mais aplicáveis pelas entidades formadoras certificadas.
A análise comparativa da ACP efetuada, quer à relevância, quer à aplicabilidade dos indicadores, demonstra a existência de uma agregação não coincidente para cada um dos constructos, com
exceção da componente ‘Estrutura’, que em ambas associa os quatro indicadores estudados para este domínio. Neste contexto, assinala-se o facto dos indicadores relativos à satisfação dos formandos e empregadores com as competências/qualificações adquiridas surgirem agregados aos respeitantes à qualidade formativa no caso do constructo relevância e, para a aplicabilidade, surgirem independentes dos mesmos. Também as componentes relativas à ‘Avaliação da formação’ e ‘Melhoria contínua’ surgem independentes, no constructo alusivo à relevância e associados na componente respeitante aos resultados, no constructo aplicabilidade.
4.5. Análise das questões abertas
