Neste capítulo agruparam-se os dados recolhidos através das entrevistas realizadas ao Responsável pela garantia da qualidade no IHMT e às funcionárias não docentes que integram a equipa da NOVA Escola Doutoral, participantes já caracterizados no capítulo anterior. Realizaram-se sínteses das informações obtidas através de entrevistas semidiretivas, após a o tratamento e análise dessa informação, que se apresentam de seguida.
Garantia da Qualidade do Ensino no IHMT – entrevista ao Responsável
Qualidade no IHMT. As preocupações com a qualidade no IHMT acompanham as
tendências da sociedade portuguesa e a preocupação com a certificação da qualidade. A entrada de Portugal na União Europeia teve consequências ao nível da certificação, da avaliação da qualidade e do cumprimento das normas ISSO, trazendo para a discussão o conceito da qualidade. A avaliação da qualidade do ensino no contexto universitário é, em muito boa medida, uma consequência dos compromissos estabelecidos no âmbito da União Europeia que conduziram à implementação de sistemas da avaliação da qualidade da Educação em todas as universidades portuguesas.
Anteriormente à implementação do SGQE-UNL, nos anos 90, o IHMT possuía um mecanismo não sistemático de participação voluntária que foi implementado por forma a acompanhar a tal tendência da avaliação da qualidade do ensino e da Educação. Esse mecanismo previa a aplicação de inquéritos de satisfação aos estudantes. Em 2010/2011 o IHMT importou o SGQE-UNL para a sua unidade orgânica, ainda nos primórdios da
implementação do Sistema. Esta implementação decorreu de reuniões com os órgãos centrais do SGQE-UNL, envolvendo especialmente Gabinete de Apoio à Qualidade do Ensino e a Comissão da Qualidade do Ensino. No início do processo de implementação do SGQE-UNL
existiu maior preocupação em implementá-lo nas unidades orgânicas de maior dimensão e com 1.º ciclo. Posteriormente, passou a ser obrigatória a aplicação no 2.º ciclo e facultativo para o 3.º ciclo.
Implementação do SGQE. O atual Presidente do Conselho de Qualidade do Ensino
envolveu-se no processo de implementação do SGQE-UNL tendo proposto o modelo do SGQE-UNL, tendo fornecido um manual de orientação. O modelo proposto provém da experiência europeia e a sua proposta inicial era muito complexa. Existiam muitos níveis de análise, era necessário ter muita disponibilidade de tempo por parte das unidades orgânicas, auscultavam-se muitos envolvidos e existiam muitos instrumentos e procedimentos de
recolha de informação. Existiu a necessidade de se simplificar os questionários aos estudantes pois eram muito extensos.
Considera-se que os propósitos do SGQE no IHMT são auscultar os estudantes, conseguir que existam consequências da auscultação aos estudantes e garantir a qualidade do ensino. De acordo com o Responsável pela garantia da qualidade do ensino no IHMT o SGQE-UNL as suas principais vantagens são a existência de instrumentos e procedimentos de auscultação dos envolvidos mais diretos, estudantes e docentes, e o facto de se ajudar a detetar problemas no ensino.
Um dos órgãos locais do SGQE-UNL no IHMT é a Comissão da Qualidade do Ensino que é constituída pelos membros do Conselho Pedagógico e por um membro externo que preside à Comissão. Este membro externo confere independência, constituindo-se num importante elemento ao longo do processo. Ao nível dos órgãos centrais do SGQE-UNL, o IHMT está representado na Comissão da Qualidade do Ensino.
Aquando da implementação do modelo do SGQE-UNL no IHMT passaram a existir procedimentos de recolha, apresentação e análise de informação avaliativa por cada nível
organizacional (os questionários aos estudantes, os relatórios de ciclos de estudos e o
relatório da unidade orgânica). O questionário aos estudantes, o relatório da unidade orgânica e o relatório dos Ciclos de Estudos foram os instrumentos e procedimentos selecionados pela instituição considerados mais úteis à unidade orgânica.
Instrumentos, procedimentos e envolvidos. Os questionários inicialmente
concebidos pelo SGQE-UNL eram muito vastos, tinham muitas questões que foram posteriormente reduzidas a 9. Aquando dessa alteração, o IHMT tinha elaborado um
questionário com questões muito aproximadas das questões do questionário formulado pelo SGQE-UNL. Neste formato de 9 questões a unidade orgânica fez algumas adaptações às suas necessidades. Uma das alterações efetuadas foi a mudança da escala de resposta para seis opções de resposta. A unidade orgânica adotou ainda outras 3 questões específicas pela necessidade de obter mais informações sobre como o estudante teve conhecimento dos cursos e da instituição (divulgação dos cursos e do IHMT) e o acesso a informações sobre
empregabilidade. A instituição acrescentou ainda outras questões abertas para auscultar os estudantes e para detetar situações a melhorar na unidade orgânica. Nesta unidade orgânica valorizam a implementação do SGQE-UNL e a auscultação dos estudantes considerando que, desta forma, contribuem para integrar o Sistema na sua instituição. Valorizam, igualmente o esforço que a unidade orgânica faz melhorar as situações que os estudantes apontam como aspetos a melhorar. No IHMT sentiu-se a necessidade de se criar um sistema user friendly para aceder ao questionário. O questionário foi administrado aos estudantes através de uma plataforma informática que recolhe, anualmente, entre duzentos a trezentos questionários. O envolvimento dos estudantes no processo de preenchimento/resposta aos questionários sobre o ensino nas diferentes unidades curriculares tem evoluído negativamente. Na verdade, os
estudantes parecem estar bastante desmotivados para se envolverem neste processo ao contrário do que aconteceu no início da implementação do SGQE-UNL.
Em relação à participação dos docentes, existiu resistência inicial embora atualmente todos os docentes participem, de acordo com as informações do Responsável, já que, segundo este, a não participação dos docentes contribui para uma imagem negativa dos mesmos. Contudo, é indicada a menor disponibilidade dos docentes para motivar a participação dos estudantes.
O SGQE-UNL garante os direitos dos estudantes uma vez que estes não são obrigados a participar bastando, para tal, assinalar que não querem responder ao questionário. Desta forma, fornecem informações importantes sobre o acesso ao questionário e os motivos para não responder ao mesmo. Considera-se que se encontrou um equilíbrio em relação à
imposição do questionário aos estudantes pela UNL e o direito do estudante em não participar.
No caso da elaboração do relatório da unidade orgânica é necessário reunir os relatórios dos docentes, dos regentes e dos ciclos de estudos, e as informações por parte de todos os envolvidos, embora em entrevista não tenha ficado claro quais destes relatórios de aplicação facultativa, são preenchidos pelo IHMT. O relatório é elaborado entre novembro e janeiro e divulgado em março no Conselho Pedagógico. No mês de janeiro são normalmente realizadas as reuniões da Qualidade do Ensino em Conselho da Qualidade do Ensino.
Nesta unidade orgânica, talvez pela sua pequena dimensão, considera-se que todos se encontram envolvidos no processo: o próprio Responsável pela Qualidade do Ensino, que é simultaneamente o Presidente do Conselho Pedagógico, os estudantes, os docentes, os responsáveis dos ciclos de estudos e o pessoal do apoio técnico/informático.
O Responsável pela Qualidade do Ensino desempenha funções tais como: garantir a garantia da qualidade; assegurar o preenchimento dos inquéritos e a entrega dos instrumentos
e procedimentos de avaliação pelos coordenadores de curso; garantir as taxas de resposta; realizar o relatório da unidade orgânica; contribuir para a melhoria do ensino, através da melhoria das unidades curriculares. É o elemento que coordena e assegura o funcionamento do SGQE-UNL na unidade orgânica e é quem a representa nas reuniões relacionadas com a qualidade do ensino. O Responsável responde ao Presidente da Qualidade do Ensino e responde também à Comissão da Qualidade do Ensino. Os coordenadores dos cursos e os docentes também apoiam o Responsável em algumas funções. As funções dos coordenadores de curso são garantir as respostas dos estudantes, o acesso dos questionários aos estudantes e o processamento dos dados e os docentes asseguram que os estudantes respondem aos questionários.
A relação entre o Gabinete de Apoio à Qualidade do Ensino e a unidade orgânica estabelece-se através das reuniões e do envio dos relatórios. O GAQE executa funções muito administrativas, como a gestão da informação e a preocupação com os números e com o cumprimento do calendário, quando deveria eventualmente acompanhar mais proximamente o SGQE-UNL e assegurar a garantia da qualidade do ensino. De acordo com os dados obtidos, as consequências do Sistema são pouco visíveis, assim como a consequência dos dados contidos nos Relatórios, e o GAQE revela pouca preocupação com o conteúdo dos Relatórios e mais com a sua entrega. Ou seja, revela dar mais importância à obtenção dos dados e de informações sobre os indicadores, às taxas de resposta e menor importância ao seu conteúdo.
Divulgação e utilização dos resultados. É importante a divulgação da informação
aos estudantes para melhorar a perceção da qualidade do ensino. O relatório da unidade orgânica é divulgado, ainda que se limite aos representantes dos cursos e ao Conselho Pedagógico, não sendo, assim, divulgado aos alunos, nem ao público em geral.
A informação recolhida pelos instrumentos e procedimentos do SGQE-UNL é utilizada para corrigir situações detetadas na unidade orgânica. Entre as situações que são assinaladas através dos questionários dos estudantes destacam-se: a avaliação negativa de unidades curriculares, as faltas de recursos materiais, a estratégia pedagógica das unidades curriculares e a insatisfação com o curso. Contudo, os dados obtidos junto do Responsável pela garantia da qualidade do ensino no IHMT mostram que essas informações são pouco utilizadas pela Reitoria.
Constrangimentos. Alguns dos constrangimentos da implementação do SGQE-UNL
no IHMT estão relacionados com problemas técnicos de informática, com a desconfiança de alguns estudantes face à confidencialidade e anonimato dos questionários e com a
acessibilidade ao próprio questionário dos estudantes.
Outros constrangimentos sentidos pelo IHMT passam pela desconfiança dos estudantes face ao SGQE-UNL, o conseguir que os docentes aceitem o anonimato dos estudantes que respondem aos questionários, o motivar a participação dos estudantes, o desinteresse de participação dos envolvidos e a dificuldade em atingir a
significância/representatividade estipulada. A hierarquização e automatização do processo, a dificuldade de gestão da informação, a desadequação da pergunta do questionário aos estudantes relacionada com o feedback, a redundância da questão de saber se os alunos querem ou não responder, a preocupação da Reitoria/do Sistema com as taxas de resposta, a desmotivação dos estudantes e docentes em participar, a dificuldade em adaptar o modelo do Sistema à UNL e a pouca clareza dos propósitos do SGQE constituíram outras dificuldades e limitações do SGQE-UNL.
Um outro constrangimento associado ao SGQE-UNL é a inexistência de avaliação da qualidade dos cursos de 3.º ciclo.
Aspetos positivos e perspetivas futuras. O SGQE-UNL apresenta alguns desafios
para o futuro como, por exemplo, a introdução da recolha de dados qualitativos, a necessidade de se evidenciarem consequências das avaliações a partir da Reitoria, a
necessidade de avaliar o SGQE, o maior envolvimento por parte da Reitoria, a divulgação dos resultados e o delinear soluções comuns a todas as unidades orgânicas.
Destacam-se como pontos positivos da implementação do SGQE-UNL no IHMT a imparcialidade e confidencialidade, a justiça na avaliação que realiza, o equilíbrio entre a recolha e a gestão da informação, a capacidade de monitorizar o SGQE-UNL, a interiorização do Sistema e a utilidade do SGQE-UNL. Por outro lado, destacam-se como pontos negativos, a inexistência de consequências do SGQE-UNL, a preocupação com as estatísticas, a
construção do modelo do SGQE-UNL por um especialista estrangeiro e os custos elevados da importação do Sistema.
Existe uma ligação entre a missão da unidade orgânica e o SGQE-UNL na procura da garantia da melhor qualidade do ensino e investigação realizados no IHMT, apoiando-se este no SGQE-UNL para avaliar essa qualidade.
Algumas alterações ou adaptações que o Responsável pela Garantia da Qualidade do Ensino do IHMT gostaria de ver ao SGQE-UNL são a aceitação de 30% de respostas dos questionários aos estudantes (ou seja, considerar-se que essa percentagem é representativa) e a existência de consequências visíveis que se apoiem nas informações recolhidas pelo SGQE- UNL.
Além de serem vistos como constrangimentos, podem também ser encarados como perspetiva futura a implementação do sistema no 3.º Ciclo, a adaptação do Sistema às unidades orgânicas, a existência de consequências dos resultados encontrados pelo SGQE- UNL, a informação e divulgação sobre os resultados e a divulgação do relatório final aos estudantes.
Apesar de salientar algumas diferenças de opinião sobre como deveria ser
implementado o SGQE-UNL na unidade orgânica isso não significa que o Responsável pela garantia da qualidade do ensino no IHMT tenha conduzido a implementação do Sistema de forma muito distante daquilo que é proposto pelo SGQE-UNL.
Mecanismos de avaliação da qualidade nos cursos de 3.º Ciclo - NOVA Escola Doutoral Decidiu-se procurar mais opiniões sobre a avaliação dos cursos de 3.º Ciclo visto ter
sido um constrangimento do SGQE-UNL assinalado por alguns entrevistados (como já se mencionou anteriormente). Nesse sentido o projeto da NOVA Escola Doutoral, por ter já mecanismos de avaliação dos seus cursos representou uma hipótese para recolher
informações de como pode funcionar a avaliação de cursos de 3.º Ciclo. Entrevistou-se três elementos da equipa da NOVA Escola Doutoral, duas delas no papel de funcionárias não docentes e uma delas enquanto estudante de um curso de doutoramento.
NOVA Escola Doutoral. Este projeto existe desde 2013 e fornece cursos de formação em competênciastransversais aos alunos de doutoramento da UNL. A NOVA Escola
Doutoral aposta natransversalidade, interdisciplinaridade e partilha, por forma a assegurar uma “oferta deformação complementar aos doutorandos e aos orientadores, reforçando o seu desenvolvimento pessoal e profissional”14. Estes cursos centram-se nos estudantes e,por essa razão, são concebidos para que os estudantes tenham um papel ativo. Oscursos são de
participação voluntária e gratuita.
Entrevista às Profissionais não Docentes da NOVA Escola Doutoral. De acordo
com as entrevistadas, o questionário de avaliação da formação faz parte dos mecanismos de
avaliação dos cursos da NOVA Escola Doutoral, sendo preenchido pelos estudantes no final de cada edição dos cursos. Foi salientado que este questionário teve como base um outro que foi proposto e aprovado pelo Conselho da Qualidade do Ensino da NOVA e que é de
aplicação facultativa nas diferentes Unidades Orgânicas.
O questionário é composto, na sua maioria, por questões fechadas com uma escala de resposta entre 1 e 6. As questões contemplam a opinião do estudante em relação à
componente teórica, às discussões e trabalhos efetuados, aos materiais, ao corpo docente, à duração do curso, à qualidade da experiência de aprendizagem, à utilidade da aprendizagem, à qualidade dos recursos e estruturas e à clareza. Pergunta-se ainda ao estudante se
recomendaria os cursos a colegas. Existem também questões abertas que correspondem a comentários sobre eventuais melhorias. O tratamento e análise dos dados é realizado pela equipa da NOVA Escola. Os dados são apresentados no final de cada semestre aos
coordenadores dos diferentes cursos e à Comissão da Escola Doutoral. Os coordenadores dos cursos são também informados acerca das sugestões feitas pelos estudantes. Os dados são utilizados para justificar alterações. Como vantagens dos mecanismos de avaliação da NOVA Escola Doutoral e da relação próxima entre a NOVA Escola Doutoral e os coordenadores dos cursos as entrevistadas realçam principalmente a obtenção do feedback atempado por parte dos estudantes e a introdução de alterações em tempo útil; A existência de um questionário comum a todos os cursos permite a comparação entre cursos, mas é apontada como
desvantagem, apenas na medida em que não permite colocar questões direcionadas para as especificidades de cada curso.
As entrevistadas referem que a equipa da NOVA Escola Doutoral reúne com os docentes e os estudantes representantes das Unidades Orgânicas o que permite a partilha e discussão de aspetos relacionados com os cursos e a avaliação de necessidades sobre a implementação de novos cursos.
Entrevista a uma estudante de doutoramento da UNL. Na perspetiva de uma
estudante de doutoramento e participante dos cursos da NOVA Escola Doutoral as principais vantagens dos instrumentos de avaliação são o anonimato, o contribuir para uma melhoria contínua, a obtenção de feedback para os docentes e para a NOVA Escola Doutoral através da auscultação dos alunos, a identificação de lacunas, o reforço dos pontos fortes e a capacidade de mudança. Como vantagens da implementação das alterações, a estudante de
doutoramento/participante NOVA Escola Doutoral indica que a integração dos estudantes na tomada de decisão traz benefícios para os futuros alunos, para os docentes e para a NOVA Escola Doutoral. A opinião geral da estudante de doutoramento/participante NOVA Escola Doutoral sobre os instrumentos de avaliação dos cursos é de que os mecanismos de avaliação da qualidade não introduzem constrangimentos e que a inexistência de formas de auscultação é que poderia constituir um constrangimento. Do ponto de vista da estudante os instrumentos de avaliação não se devem cingir à verificação da qualidade, devendo constituir uma fonte de mudança.
O caso da NOVA Escola Doutoral ainda que tenha características próprias, por exemplo, a sua curta duração e o facto de serem constituídos grupos semelhantes a turmas pode tornar mais fácil a aplicação dos questionários e manter o seu anonimato, o que se tornará difícil no caso de cursos de doutoramento com, por exemplo, dois estudantes.