PROCESSO DE AUDITORIA
DE
SISTEMAS INTERNOS DE GARANTIA DA QUALIDADE
Exercício Experimental ASIGQ 2012
Análise Crítica do Processo e Medidas de Melhoria
1.
IntroduçãoA Agência de Avaliação e Acreditação do Ensino Superior (A3ES) subscreve o princípio, hoje em dia consensual em todo o Espaço Europeu de Ensino Superior, de que a responsabilidade pela qualidade do ensino cabe, em primeiro lugar, a cada instituição de ensino superior, a qual, nesse sentido, deverá criar as estruturas e os procedimentos internos apropriados para promover e garantir essa qualidade. À Agência competirá proceder à realização de auditorias tendo em vista a certificação dos procedimentos internos de garantia da qualidade das instituições.
Assim, na sequência de uma ampla discussão pública sobre este tema, e com o intuito de proporcionar orientações que possam auxiliar as instituições na conceção e desenvolvimento dos seus sistemas internos de qualidade, desejavelmente a partir dos mecanismos e procedimentos de que já disponham e de acordo com o perfil e as necessidades específicas de cada instituição, a Agência adotou um conjunto de referenciais para os sistemas internos de garantia da qualidade, formulados como proposições não prescritivas que descrevem as principais características de um sistema de garantia da qualidade bem desenvolvido e consolidado.
A partir dessa base de trabalho, desenvolveu-se a arquitetura de um modelo de auditoria dos sistemas internos de garantia da qualidade, com vista à sua certificação, para o qual foram elaborados e adotados um Manual para o Processo de Auditoria, um Guião para a Autoavaliação e um Guião para Elaboração do Relatório de Auditoria, que foram publicitados na página da Agência.
Em finais de 2011 foi dirigido um convite às instituições de ensino superior, no sentido de poderem apresentar a sua manifestação de interesse para participar num primeiro exercício experimental de aplicação do modelo de auditoria, a desenvolver em 2012. Foram recebidas 14 manifestações de interesse, das quais se selecionaram cinco por serem as únicas que dispunham de um manual da qualidade, ou documento equivalente, formalmente aprovado e com um mínimo de um ano de aplicação efetiva. Em fevereiro de 2012 realizou-se um Workshop de preparação do processo de auditoria com as cinco instituições participantes. Realizaram-se ainda Seminários internos em quatro dessas instituições, a seu pedido, com o intuito de mobilizar as comunidades académicas para as questões da qualidade e, mais especificamente, para o processo de auditoria. O prazo para submissão do relatório de autoavaliação decorreu de 1 de março a 31 de maio.
As auditorias, que envolveram visita a cada uma das instituições, decorreram de julho a novembro de 2012. Os relatórios preliminares ficaram disponíveis em início de dezembro e o processo de tomada de decisão sobre a certificação dos sistemas auditados ficou concluído em janeiro de 2013.
Este exercício, dado o seu caracter experimental, foi acompanhado de muito perto pelo Conselho de Administração, que manteve um contato frequente com o Presidente da Comissão de Avaliação Externa (CAE) e com a Gestora de Procedimentos. Foi assim possível tomar conhecimento, praticamente em tempo real, da forma como se
desenvolveram os procedimentos e das dificuldades encontradas, bem como resolver de imediato algumas dessas questões.
A CAE realizou uma reunião plenária final, no dia 11 de dezembro de 2013, para acertos nos relatórios preliminares, que foram submetidos na plataforma nesse dia. Aproveitou-se essa oportunidade para a CAE reunir também com o Conselho de Administração, com vista a uma troca de opiniões sobre a forma como decorreu o processo e a uma primeira abordagem para identificação de aspetos a melhorar e de levantamento de pistas para esse processo de melhoria.
Para além da informação de feedback informal assim obtida, considerou-se que, apesar do número relativamente reduzido de atores, seria importante proceder à obtenção de feedback formal através de inquérito (às instituições envolvidas e aos membros da CAE), como via para uma recolha mais estruturada e sistematizada de opiniões, comentários e sugestões.
O presente relatório promove a apresentação pública dos resultados desse inquérito e da apreciação crítica a que se procedeu a partir da informação obtida, bem como da subsequente definição de medidas de ajuste e melhoria a introduzir nos instrumentos e procedimentos que sustentam o processo de auditoria.
2.
Estrutura do inquéritoOs questionários usados no inquérito, específicos para cada tipo de destinatários, colocam vários blocos de questões, que se discriminam em anexo (Anexos I e II). Cada bloco contém questões de resposta fechada e ainda uma questão de resposta aberta para recolha de opiniões sobre os aspetos mais positivos e mais negativos a destacar no conjunto das questões abordadas no bloco e, se o respondente o desejar, para sugestões de melhoria. Foi ainda incluído um bloco adicional, em cada um dos questionários, para observações sobre aspetos eventualmente não cobertos pelas questões constantes do inquérito.
Nas questões de resposta fechada foi usada uma escala Likert 1-5 para apreciação do grau de adequação de instrumentos e procedimentos, em que os níveis extremos da escala correspondem a:
1 – Muito pouco adequado 5 – Muito bem adequado
O valor médio da escala é 3, pelo que se consideram como positivas as respostas nos níveis 4 e 5 e como negativas as respostas nos níveis 1 e 2. Em termos de médias das respostas por questão, consideram-se como positivas as médias superiores a 3 e negativas as médias inferiores a 3.
3.
Apresentação e análise de resultados do inquéritoFace ao número reduzido de participantes, os dados quantitativos levantados nas respostas fechadas não são estatisticamente significativos, pelo que são apresentados apenas a título informativo. Mais importantes são os comentários e sugestões obtidos através das respostas abertas.
3.1 Inquérito às instituições de ensino superior participantes
3.1.1 Taxa de participação
Os dados relativos à taxa de participação no inquérito foram os seguintes: Número de IES participantes: 5
Número de respostas obtidas: 4 (80,0 %)
3.1.2 Resultados quantitativos
3.1.2.1 Resultados apurados
A tabela seguinte mostra a distribuição de frequências absolutas das respostas obtidas no inquérito às instituições de ensino superior:
1 2 3 4 5 n.r.
A1. Adequação do Manual para a Auditoria 1 3 4,75
A2. Adequação da matriz de critérios 2 2 3,50
A3. Adequação do Guião de autoavaliação 3 1 4,25
A4. Adequação do Workshop de
preparação do processo 2 2 4,50
A5. Adequação do Seminário local 3 1 4,25
B1. Adequação da plataforma eletrónica 1 2 1 4,00
B2. Adequação do apoio prestado pela
A3ES 2 2 4,50
B3. Adequação dos prazos de abertura da
plataforma 1 1 2 4,25
C1. Adequação dos procedimentos para a
preparação da visita 1 2 1 4,00
C2. Adequação do programa da visita 1 3 4,75
C3. Atitude da CAE perante a instituição 4 5,00
D1. Qualidade do relatório da CAE 1 3 4,50
D2. Adequação dos procedimentos de
pronúncia 2 2 4,50
D3. Adequação dos procedimentos de
recurso 4
n.r. - não responderam.
Tabela 1 - Frequências absolutas de respostas obtidas (IES).
N.º de respostas por item da escala
Questão Média
3.1.2.2 Análise dos resultados
Os dados da Tabela 1 refletem uma opinião muito positiva das instituições de ensino superior participantes em relação ao processo de auditoria dos sistemas internos de garantia da qualidade e aos procedimentos e mecanismos que o suportam:
- A média das respostas às diferentes questões varia entre 3,50 (para a adequação da matriz de critérios) e 5,00 (para a atitude da CAE perante a instituição);
- A média das respostas ao total das questões é de 4,37, registando-se um único caso de média inferior a 4;
- Não se verificaram respostas negativas em qualquer das questões;
- O número de respostas positivas para o conjunto das questões (46, das quais 21 no nível 4 e 25 no nível 5) representa 88,5 % do total de 52 respostas recebidas. As questões mais valoradas, com média igual ou superior a 4,50, respeitam à adequação do Manual para a auditoria, do Workshop de preparação do processo e do programa da visita, ao apoio prestado pela agência e ao trabalho da CAE. A menos valorada, como referido, respeita ao grau de definição da matriz de critérios.
3.2 Inquérito aos membros da Comissão de Avaliação Externa (CAE)
3.2.1 Taxa de participação
Os dados relativos à taxa de participação no inquérito foram os seguintes: Número de membros da CAE: 8
Número de respostas obtidas: 6 (75,0 %)
3.2.2 Resultados quantitativos
3.2.2.1 Resultados apurados
A tabela seguinte mostra a distribuição de frequências absolutas das respostas obtidas no inquérito aos membros da Comissão de Avaliação Externa:
1 2 3 4 5 n.r.
A1. Adequação do Manual para a Auditoria 0 0 0 1 5 0 4,83
A2. Adequação da matriz de critérios 0 0 0 5 1 0 4,17
A3. Adequação do Guião de auditoria 0 0 0 4 2 0 4,33
A4. Adequação da plataforma eletrónica 0 0 2 3 1 0 3,83
B1. Adequação do apoio obtido por parte
da A3ES 0 0 1 1 4 0 4,50
B2. Adequação do apoio logístico para
deslocações e estadias 0 0 0 0 6 0 5,00
C1. Adequação dos programas das visitas 0 0 1 5 0 0 3,83
C2. Atitude geral das instituições perante a
CAE 0 0 0 3 3 0 4,50
D1. Apreciação global da qualidade dos
relatórios de autoavaliação 0 0 1 5 0 0 3,83
D2. Adequação do Guião para a
elaboração do relatório de autoavaliação 0 0 0 5 1 0 4,17
E1. Adequação da formação recebida 0 0 1 3 1 1 4,00
E2. Apreciação do funcionamento global da
CAE 0 0 1 5 0 0 3,83
n.r. - não responderam.
Tabela 2 - Frequências absolutas de respostas obtidas (CAE).
N.º de respostas por item da escala
Questão Média
Os dados da Tabela 2 demonstram uma avaliação globalmente bastante positiva, por parte dos membros da Comissão de Avaliação Externa, em relação à adequação dos procedimentos e mecanismos que suportam o processo de auditoria:
- A média das respostas varia entre 3,83 (em 4 itens, designadamente o funcionamento global da CAE) e 5,00 (para o apoio logístico em deslocações e estadias);
- Não se verificam respostas negativas em qualquer das questões;
- O número de respostas positivas para o conjunto das questões (64, das quais 40 no nível 4 e 24 no nível 5) representa 90,1 % do total das respostas recebidas. As questões mais valoradas, com média superior a 4, são as relativas à adequação do apoio logístico, da documentação (manual e guiões) e da atitude das instituições perante a CAE. Por sua vez, as questões menos valoradas, embora com uma média claramente positiva de 3,83, correspondem à adequação da plataforma eletrónica e dos programas das visitas, à qualidade dos relatórios de autoavaliação e ao funcionamento global da CAE.
4.
Análise dos elementos de feedback e medidas de melhoriaAs observações e sugestões de melhoria recolhidas a partir do presente inquérito, bem como a informação recolhida através do acompanhamento próximo do desenvolvimento do processo de auditoria, foram cuidadosamente analisadas com vista ao aperfeiçoamento dos procedimentos e instrumentos envolvidos.
As instituições participantes no exercício experimental e os membros da CAE realçam, nas suas respostas, diversos aspetos positivos na organização e condução do processo de auditoria, destacando igualmente alguns aspetos menos positivos em relação aos quais apresentam propostas de melhoria.
Sintetizam-se de seguida as principais sugestões recebidas e as medidas de melhoria que foram implementadas.
Processo e documentação
As instituições consideraram que o processo é globalmente positivo, contribuindo para uma visibilidade acrescida das questões relacionadas com a qualidade, com impacto na participação da comunidade académica e na cultura interna de qualidade. Consideram ainda que a documentação disponível é adequada e suficientemente explícita.
Uma instituição refere que o período para submissão do relatório de autoavaliação coincidiu com uma altura de muito trabalho nos gabinetes de qualidade, sugerindo que se procure encontrar um período de menor pressão de trabalho nesses gabinetes. Efetivamente, verificou-se uma sobreposição parcial entre os períodos de submissão dos relatórios para a auditoria e para o 1.º ano do ciclo regular de avaliação e acreditação de ciclos de estudos em funcionamento. Com a estabilização da calendarização de processos entretanto conseguida, esse problema deixa de se verificar, uma vez que os prazos para submissão de relatórios de autoavaliação na plataforma eletrónica passarão a terminar em meados de outubro para os novos ciclos
de estudos, final de dezembro para os ciclos de estudos em funcionamento e final de março para os sistemas internos de qualidade.
Outra instituição refere haver pouca informação sobre as consequências e follow-up das auditorias. Embora esses aspetos tenham sido tratados no Workshop preparatório e a questão dos objetivos da auditoria tenha sido tema de frequentes referências em documentos da agência, foi introduzida uma melhor clarificação dos procedimentos de follow-up no Manual para a Auditoria e o plano de atividades da agência para 2013, a propósito das ações programadas para a preparação de uma nova fase do sistema de avaliação, uma vez concluído o primeiro ciclo regular de acreditações, refere explicitamente “a existência de um sistema interno de garantia de qualidade devidamente certificado pela agência” como uma das condições a ter em conta na flexibilização do processo de acreditação dos ciclos de estudos.
Por parte dos membros da CAE foram apresentadas sugestões pontuais de melhoria de texto no Manual, que foram incorporadas na versão revista.
Critérios e instrumentos
É sugerido que se promova uma melhor caracterização dos níveis da escala de apreciação em relação a algumas áreas de análise. Algumas observações de membros da CAE vão mais longe, sugerindo o desdobramento dos campos em subcampos por eixos de análise em cada área, “com explicitação de indicadores/quási metas”, bem como que se pondere uma escala de cinco níveis que facilite atribuir um rating às instituições certificadas. A preocupação subjacente é a significativa concentração de apreciações no nível 3 da escala (nível de “em desenvolvimento”), englobando situações algo diferenciadas.
Essas questões foram alvo de discussão aprofundada com os membros da CAE e, posteriormente, no Conselho de Administração. Um primeiro aspeto a considerar é a preocupação em que o processo de auditoria não contribua para induzir mecanismos centrados na conformidade com parâmetros definidos externamente, pelo que os referenciais e critérios terão que permanecer formulados de forma suficientemente aberta para poder abarcar modelos de implementação dos sistemas internos de garantia da qualidade diferenciados, adaptados ao perfil, experiência prévia e estado de desenvolvimento de cada instituição, como recomendam as boas práticas neste domínio. Neste contexto, a atribuição de um rating ou a especificação muito detalhada da matriz de critérios traria mais inconvenientes do que vantagens.
Considerou-se, contudo, que a terminologia usada para os diferentes níveis da escala de apreciação não era a mais adequada para uma boa perceção por parte da sociedade, tendo-se adotado novas designações que procuram traduzir de modo mais claro os estados de desenvolvimento do sistema interno de garantia da qualidade correspondentes a cada um dos nível da escala, numa ótica de desenvolvimento incremental: “1 – desenvolvimento insuficiente”; “2 – desenvolvimento parcial”; “3 – desenvolvimento substancial”; e “4 – desenvolvimento muito avançado”. Promoveram-se ainda clarificações pontuais da matriz de critérios em aspetos que tinham suscitado dúvidas.
No que respeita ao guião para a autoavaliação foi sugerido que, a exemplo da análise SWOT, que é feita de forma global, a secção relativa a aspetos identificados para melhoria do sistema interno de garantia da qualidade possa ser organizada de forma
mais integrada. O guião foi revisto nessa secção, mantendo a discriminação de aspetos para melhoria por áreas de análise, por se tratar de uma dimensão essencial da “abordagem de desenvolvimento” subjacente ao processo de auditoria, mas incluindo uma secção adicional relacionada com o impacto do sistema, na qual a instituição é convidada a apresentar uma síntese de aspetos que, através dos procedimentos internos de garantia da qualidade, foram identificados para melhoria das atividades e resultados da instituição, e as correspondentes medidas de melhoria já iniciadas ou implementadas.
Foi referido que havia dois campos no guião, relativos à articulação entre o sistema de garantia da qualidade e os órgãos de governação e gestão da instituição, que pareciam duplicados (embora na realidade o seu objetivo fosse diferente: campo descritivo, na primeira parte do relatório, e campo analítico na segunda parte). Conjugando essa observação com uma sugestão da CAE para que o relatório de autoavaliação passe a incluir uma breve caracterização da estrutura orgânica da instituição proponente (caso essa informação não conste já do manual da qualidade), o campo descritivo foi reformulado para conter essa caracterização, bem como uma descrição da forma como o sistema interno de garantia da qualidade se interliga com a estrutura de governação e gestão da instituição.
No que respeita à plataforma eletrónica, uma instituição sugeriu a simplificação do processo de ligação dos campos de autorreflexão aos ficheiros ou hiperligações que a instituição pode incluir como anexos ao relatório de autoavaliação. A ideia subjacente à secção de anexos do guião é, porém, a de permitir à instituição apresentar elementos integrantes da documentação normal do sistema que possam constituir evidência do seu bom funcionamento e impacto, ficando clarificado que é possível anexar até 50 ficheiros de até quatro megabytes cada e até 50 hiperligações.
Por parte da CAE, são levantadas questões de usabilidade da plataforma (por exemplo, janelas muito estreitas) e é sugerido que, para facilitar a interação entre os membros da comissão, se criem na plataforma campos para trabalho preliminar da CAE, sem limite de tamanho, com atribuição, por defeito, de nome de utilizador e diferenciação de cor para cada membro da CAE. Estas questões serão canalisadas para o grupo de trabalho que se encontra em fase de constituição para uma reflexão sobre o funcionamento da plataforma envolvendo a agência, instituições e membros de CAE, com vista a perspetivar a introdução de melhorias.
Funcionamento da CAE
As observações das instituições realçam, sem exceções, o bom nível de interação entre a CAE e as instituições, considerando que a equipa de auditores desempenhou a sua função de forma credível, construtiva e assertiva.
Pelo lado da CAE é sugerido que se reforce a preparação prévia dos seus membros em questões metodológicas e no uso da plataforma eletrónica. Há também uma referência à conveniência em se promover uma melhor clarificação do papel dos diferentes membros da CAE, questão que está tratada no Manual de Avaliação mas não constava explicitamente do Manual para a Auditoria. Na revisão deste manual incluiu-se uma referência cruzada para aquele outro quanto a esta matéria.
As instituições consideram que as visitas foram bem organizadas e os trabalhos correram normalmente, com cumprimento integral do programa estabelecido e com uma interação positiva com a Comissão de Avaliação Externa. Também os membros da Comissão referem ter encontrado uma atitude positiva por parte das instituições e relevam a flexibilidade do programa-tipo para a visita, que foi facilmente adaptado à tipologia e especificidades próprias de cada instituição.
É sugerido por uma instituição que o planeamento da visita se faça com prazos mais coordenados e bem definidos, incluindo a definição prévia do prazo para resposta da instituição ao plano proposto e para indicação dos intervenientes, com submissão da resposta através da plataforma da A3ES, como é praticado no âmbito da avaliação de ciclos de estudos. No âmbito do exercício experimental, e face ao número reduzido de instituições envolvidas, privilegiou-se, efetivamente, o contacto mais personalizado com os interlocutores das instituições, mas com a generalização do processo passarão a seguir-se de forma sistemática as metodologias habituais de interação através da plataforma eletrónica.
A CAE refere casos de excesso de pessoas presentes em algumas reuniões e a repetição de pessoas em várias reuniões durante a visita, sugerindo que a definição dos interlocutores na fase de preparação da visita se faça com maior antecedência e com a intervenção de todos os membros da comissão. Esta preocupação será naturalmente tida em consideração pelo gestor de procedimentos da agência, tendo ainda sido explicitamente incluída no programa-tipo a indicação de que, em princípio, o número de interlocutores presentes nas reuniões não deverá exceder oito pessoas, para além dos membros da CAE, e em caso algum esse número poderá exceder doze pessoas.
É ainda sugerido que o programa da visita inclua uma sessão de demonstração do funcionamento do sistema informático de apoio. A CAE dispõe de autonomia para esse efeito, como ocorreu já em pelo menos um caso.
Processo de decisão
Em relação à qualidade dos relatórios de auditoria e processo de decisão, foi expressa a opinião de que as recomendações constantes dos relatórios são claras, relevantes e úteis, não se registando qualquer observação sobre o processo de decisão.
A única sugestão apresentada é de que a agência deveria solicitar o acesso ao sistema de informação da instituição durante um período de tempo alargado e anterior à visita para a CAE poder estudar o sistema em profundidade.
Interação com a agência
As instituições salientam a importância da realização do Workshop de preparação para aprofundar conceitos e esclarecer dúvidas, bem como a disponibilidade, rapidez e qualidade do apoio prestado pela agência. É sugerido que o Seminário local seja usado para melhor clarificação da matriz de critérios e que no Workshop inicial sejam dadas algumas indicações sobre aspetos técnicos associados ao preenchimento do guião.
Os membros da Comissão de Avaliação Externa realçam a adequação do apoio logístico prestado pela agência, sugerindo que se faça um maior esforço no sentido de garantir a presença de todos os membros da Comissão na reunião prévia a realizar na
véspera da visita e, como atrás referido, que a visita seja organizada com maior antecedência para possibilitar um melhor acerto do programa entre a CAE e a instituição.
4.1 Síntese das medidas de melhoria adotadas
Na sequência do acompanhamento do exercício experimental e das análises atrás expressas foram adotadas as seguintes medidas para a melhoria do processo de auditoria, que, no essencial, passam pela revisão dos documentos estruturantes do processo:
Revisão do Manual para a Auditoria, designadamente nos seguintes aspetos: - revisão da escala de apreciação dos estágios de desenvolvimento dos itensavaliados e correspondentes afinações na matriz de critérios;
- clarificação das especificidades próprias das instituições politécnicas quanto ao item “investigação e desenvolvimento”;
- revisão e clarificação das condições necessárias para a certificação de um sistema interno de garantia da qualidade, designadamente quanto ao número máximo permissível de áreas em “desenvolvimento parcial”;
- complemento dos mecanismos de follow-up com um procedimento adicional no caso de haver áreas do sistema que tenham merecido uma apreciação de “desenvolvimento parcial”;
- melhorias pontuais no texto do manual.
Revisão do Guião para a Autoavaliação, incluindo a introdução de um novo campo relacionado com evidências de impacto do sistema interno de garantia da qualidade na melhoria das atividades e resultados da instituição, e a introdução de clarificações pontuais, designadamente na secção de anexos.
Revisão do Guião para Elaboração do Relatório de Auditoria, clarificando os conceitos de “recomendações essenciais” e “recomendação adicionais colocadas à consideração da instituição” e introduzindo dois campos adicionais, um para indicação explícita das condições a serem cumpridas e respetiva calendarização no caso de ser proposta uma decisão de certificação condicional e outro para considerações finais, designadamente uma apreciação de aspetos levantados em sede de pronúncia, se for caso disso.
Revisão do programa-tipo para as visitas de auditoria, em que se promoveu uma melhor explicitação do tipo e número máximo de interlocutores a participar nas reuniões.
Identificação de um conjunto de questões a serem discutidas no Workshop preparatório e nos Seminários locais, relacionadas com aspetos práticos da condução do processo de auditoria.5.
ConclusãoOs resultados do exercício experimental validam o processo de auditoria de sistemas internos de garantia da qualidade, denotando uma apreciação muito positiva por parte das instituições e dos avaliadores envolvidos. Deu-se assim um passo importante na construção partilhada de um modelo de auditoria que é agora disponibilizado a todas as instituições interessadas.
A obtenção da informação de feedback, formal e informal, levantada no decurso do exercício e tratada neste relatório permitiu uma reflexão aprofundada sobre a organização e funcionamento do processo de auditoria, com reflexos na melhoria dos instrumentos e procedimentos que o sustentam. Essas melhorias, que foram formalmente acolhidas no Manual para a Auditoria e restante documentação de suporte, cujas versões revistas estão publicitadas na página Web, representam um contributo importante para a prossecução da política de qualidade da agência. A A3ES agradece a todos os intervenientes a forma empenhada como participaram neste processo e a variedade e riqueza de observações e sugestões com que contribuíram para a sua melhoria.
ANEXO I
Inquérito às Instituições de Ensino Superior (IES)
Formulário do inquérito ASIGQ/IES – ASIGQ 2012:
A. Preparação do processo de avaliação/acreditação: A1. Adequação do Manual para o Processo de Auditoria
A2. Adequação da matriz de critérios usada no processo (grau de explicitação e clareza) A3. Adequação do Guião para a elaboração do relatório de autoavaliação
A4. Adequação do Workshop de preparação do Processo de Auditoria
A5. Adequação do Seminário local de preparação do processo de auditoria (utilidade e
forma de organização)
A6. Comentários e sugestões de melhoria sobre aspetos relacionados com a preparação
do processo de auditoria
B. Execução do processamento da candidatura
B1. Adequação da plataforma eletrónica para o processamento online da candidatura B2. Adequação do apoio prestado pela A3ES durante o processo de candidatura
B3. Adequação dos prazos de abertura da plataforma, para apresentação da candidatura B4. Comentários e sugestões de melhoria sobre os aspetos relacionados com a execução
do processamento da candidatura
C. Visita da CAE à instituição
C1. Adequação dos procedimentos para a preparação da visita (fixação de datas, definição
do programa da visita e aspetos logísticos)
C2. Adequação do programa da visita aos fins em vista
C3. Atitude da CAE perante a instituição (correção nos contactos e crítica construtiva)
C4. Comentários e sugestões de melhoria sobre os aspetos relacionados com a visita da
CAE à instituição
D. Resultados do processo de auditoria
D1. Qualidade do relatório da CAE (clareza na fundamentação das apreciações; relevância
e utilidade das recomendações efetuadas)
D2. Adequação dos procedimentos de pronúncia
D3. Adequação dos procedimentos de recurso (se aplicável)
D4. Comentários e sugestões de melhoria sobre os aspetos relacionados com os
resultados do processo
E. Observações
E1. Observações adicionais, nomeadamente sobre aspetos não cobertos pelas questões
ANEXO II
Inquérito aos membros das Comissões de Avaliação Externa (CAE)
Formulário do inquérito ASIGQ/CAE – ASIGQ 2012:
A. Documentação, critérios e instrumentos:
A1. Adequação do Manual para o Processo de Auditoria
A2. Adequação dos critérios usados para a avaliação (nomeadamente em termos do grau
de adequação e clareza)
A3. Adequação do Guião para a elaboração do Relatório de Auditoria
A4. Adequação da plataforma eletrónica ao trabalho de elaboração dos relatórios e de
interação com as instituições
A5. Comentários e sugestões de melhoria sobre aspetos relacionados com documentação,
critérios e instrumentos
B. Apoio logístico
B1. Adequação do apoio obtido por parte da A3ES para o desenvolvimento dos trabalhos
de auditoria
B2. Adequação do apoio logístico para deslocações e estadias
B3. Comentários e sugestões de melhoria sobre aspetos relacionados com o apoio
logístico
C. Visitas às instituições
C1. Adequação dos programas das visitas (duração, organização, contactos)
C2. Atitude geral das instituições perante a CAE (abertura e cooperação por parte dos
diferentes agentes da instituição)
C3. Comentários e sugestões de melhoria relacionados com as visitas às instituições D. Qualidade dos relatórios de autoavaliação
D1. Apreciação global da qualidade dos relatórios de autoavaliação apresentados pelas
instituições de ensino superior
D2. Adequação do Guião para a elaboração do relatório de autoavaliação D3. Comentários sobre a qualidade dos relatórios de autoavaliação E. Funcionamento da CAE
E1. Adequação da formação recebida (tempo de formação, formato e temas tratados) E2. Apreciação do funcionamento global da CAE
E3. Comentários e sugestões de melhoria sobre aspetos relacionados com a formação e o
funcionamento da CAE
F. Observações
F1. Observações adicionais, nomeadamente sobre aspetos não cobertos pelas questões