Conclusões
O problema de partida deste relatório era compreender como se relacionam as práticas de gestão da qualidade do IHMT com o Sistema de Garantia da Qualidade da UNL. A partir daqui construiu-se a questão: de que forma o SGQE do IHMT se relaciona com o
preconizado pelo SGQE-UNL? A matriz de avaliação ajudou a orientar este estudo tendo definido como objeto as práticas de gestão da qualidade do IHMT e como dimensões as estruturas de gestão da qualidade, relação com os órgãos centrais do SGQE-UNL, processos de recolha de dados e processos de divulgação dos dados. Sendo a avaliação a “apreciação sistemática do valor e do mérito de um objeto” (Joint Committee,1994, cit in Stufflebeam e Shinkfield, p.3) segue-se o momento de produzir conclusões sobre o estudo.
O SGQE-UNL foi concebido para promover um ensino de qualidade e prevê instrumentos e procedimentos de recolha e análise de informação que promovem uma avaliação para a melhoria.
A criação do SGQE-UNL decorre da legislação portuguesa (Lei n.º38/2007) para a garantia da qualidade do ensino nas instituições de ensino superior e defende por isso a implementação de sistemas internos de garantia da qualidade. Esta legislação é influenciada pelas instituições europeias que fomentaram a necessidade de se avaliar a qualidade do ensino nas instituições de ensino superior. Essa tendência poderá estar assente no conceito de accountability, que é um processo, de acordo com Afonso (2009a) que assenta na avaliação para orientar as tomadas de decisão, sendo um processo que é completado pela prestação de contas e pela responsabilização. Considera-se que o SGQE-UNL almeja a melhoria do ensino e procura ser um meio para orientar as suas práticas, recorrendo à avaliação da qualidade do seu ensino, em primeiro lugar, e posteriormente à prestação de contas. A prestação de contas
toma lugar, por exemplo, aquando da elaboração dos relatórios das unidades orgânicas e de toda a UNL. O relatório da UNL pode servir o propósito de disseminar informação, segundo Stufflebeam e Shinkfield (2007) com vista a promover o seu ensino.
O conceito de qualidade que o SGQE-UNL assume é “a adequação das estruturas organizacionais, dos seus processos e atividades à consecução dos objetivos da instituição (fit for purpose)” (Bases Gerais do SGQE-UNL, 2013). Deste modo, pode dizer-se que essa definição corresponde à conceção da avaliação da qualidade ajustada ao propósito de Harvey e Green (1993, cit in Wittek e Kvernbekk, 2011). O propósito do SGQE-UNL é a melhoria contínua do ensino, logo, através dele, procura-se garantir a qualidade da formação que toda a universidade proporciona. Por outro lado, embora não seja assumido pelo SGQE-UNL
também se adota uma conceção de avaliação da qualidade como medida, já que os seus instrumentos e procedimentos assentam na medição e comparação de critérios.
Parece existir uma grande preocupação com a coerência e com o alinhamento entre o que está nos documentos de base do SGQE-UNL e o que é implementado, assim como a preocupação em definir bem os seus fundamentos, como é o caso da adoção de uma definição da qualidade para o SGQE-UNL.
No Quadro 4 sintetizaram-se as orientações do SGQE-UNL tendo em vista facilitar a comparação com o que é efetivamente posto em prática pelo IHMT no que se refere a três das quatro dimensões definidas na matriz de avaliação. As três dimensões escolhidas para a elaboração do quadro foram as consideradas mais pertinentes para obter conclusões sobre o trabalho realizado. As dimensões referem-se às estruturas locais de gestão da qualidade, aos processos de recolha de dados e aos processos de divulgação dos dados.
Considerando as informações recolhidas ao longo do estudo não se poderá dizer que existe uma grande discrepância entre o que consta nos documentos oficiais que suportam o
SGQE-UNL e as práticas de gestão da qualidade no IHMT. Na verdade, nesta unidade orgânica existem os órgãos previstos para o funcionamento do SGQE-UNL, com a
particularidade de os membros que compõem a Comissão serem os mesmos que compõem o Conselho Pedagógico. Pode por isso observar-se que, sendo uma instituição de pequena dimensão, se possa ter optado por otimizar os recursos. Por essa mesma razão não existe um Gabinete de Apoio à Qualidade do Ensino ainda que a sua existência seja recomendada nas unidades orgânicas de maior dimensão. Da mesma forma, por se tratar de uma unidade
orgânica de pequena dimensão e apesar de existir um Responsável pela garantia da qualidade, existem outros intervenientes envolvidos que asseguram o funcionamento do SGQE-UNL, sem que seja necessário existir um gabinete específico. Neste sentido, será possível que o próprio SGQE-UNL se encontre mais integrado no dia-a-dia de todos os intervenientes.
O IHMT implementa os dois instrumentos e procedimentos obrigatórios, isto é, os questionários aos estudantes e o Relatório da Unidade Orgânica, não tendo ficado totalmente esclarecido quais são os outros instrumentos e procedimentos facultativos implementados. Contudo, na entrevista ao Responsável pela Garantia da Qualidade do Ensino foi referido que para a elaboração do Relatório da Unidade Orgânica se reúnem “os relatórios de toda a gente” (Anexo P).
Relativamente à divulgação e utilização dos dados, no IHMT pratica-se parte do que está previsto nas Bases Gerais do SGQE-UNL (2013). A divulgação dos dados é apenas interna, e neste caso faz-se nas reuniões de Conselho Pedagógico e aos representantes dos cursos. Não é divulgada informação aos estudantes e não foi referido se terão conhecimento da informação básica: a satisfação global das unidades curriculares. Os dados são utilizado para a melhorias das situações assinaladas e reportadas, tal como previsto pelo SGQE-UNL.
Dimensões de
avaliação Orientações do SGQE-UNL SGQE no IHMT
Estruturas de gestão da qualidade
Responsável pela Garantia da Qualidade do Ensino;
Comissão de Ciclo de Estudos; Comissão da Garantia da
Qualidade do Ensino presidida por um elemento externo;
Gabinete de Apoio à Qualidade do Ensino.
Responsável pela Garantia da Qualidade do Ensino;
Não se obteve informação; Comissão da Garantia da
Qualidade do Ensino cuja composição corresponde à do Conselho Pedagógico, sendo presidida por um membro externo; Não tem.
Processos de recolha de dados
Obrigatórios:
Questionários aos estudantes e Relatório da Unidade Orgânica; Facultativos:
Relatório do Docente da Unidade Curricular, Relatório do Regente da Unidade
Curricular e Relatório do Ciclo de Estudos.
São aplicados os questionários aos estudantes e é elaborado o Relatório da Unidade Orgânica; Não ficou claro quais são os
relatórios facultativos utilizados.
Processo de divulgação dos dados
Comunidade académica; Docentes das unidades
curriculares, responsável pela unidade curricular e responsável do departamento;
Satisfação global da unidade curricular;
As unidades orgânicas decidem sobre os níveis de divulgação.
Representantes de curso; Conselho Pedagógico.
Quadro 4. Comparação entre o que é preconizado pelo SGQE-UNL e o que é implementado pelo IHMT, segundo as dimensões da matriz de avaliação.
Para o funcionamento do SGQE-UNL nas unidades orgânicas e visto que existem quer estruturas centrais, quer estruturas locais, considera-se ser necessário um certo alinhamento nos objetivos para a boa articulação do Sistema, embora a nível central, seja promovida a sua descentralização e a autonomia das unidades orgânicas para o porem em prática. Pela parte da unidade orgânica em estudo, essa autonomia e descentralização não tem contribuído para fortalecer o funcionamento do SGQE-UNL. Isto é, se por um lado a
autonomia das unidades orgânicas é positiva, por outro lado, compromete a função agregadora de um SGQE-UNL comum a todas elas. Acresce ainda o facto de a unidade orgânica suportar a maior parte das responsabilidades do funcionamento do SGQE-UNL, cingindo-se o trabalho das estruturas centrais à sua monitorização pontual, aquando da entrega dos relatórios previstos.
Apesar da dificuldade do processo inicial de construção e implementação dos instrumentos e procedimentos de recolha de informação, em especial o questionário de satisfação dos estudantes, parece existir acordo do Responsável pela Garantia da Qualidade do Ensino no IHMT com os tópicos incluídos no questionário, exceto com a questão da divulgação ou não de feedback aos estudantes, por representar dificuldades de interpretação.
Embora existam alguns constrangimentos da implementação deste SGQE-UNL na unidade orgânica, são aspetos que estão identificados e que dessa forma será mais fácil a sua resolução. Esses constrangimentos não têm, contudo, impedido que se considere a existência do alinhamento entre o que é preconizado pelo SGQE-UNL e as práticas de gestão de
qualidade do IHMT. Isto é, apesar do Responsável pela Garantia da Qualidade do Ensino no IHMT considerar que deveriam ser alterados alguns aspetos ao SGQE-UNL, que a seu ver representam constrangimentos, isso não significa que nessa unidade orgânica não seja
implementado o que é preconizado pelo SGQE-UNL. Retomando a questão “Em que medida o Sistema de Garantia da Qualidade do Ensino do IHMT é consistente com o preconizado
pelo SGQE-UNL?”, e após a apresentação e discussão dos dados, pode concluir-se que apesar de algumas pequenas divergências entre o que é sugerido pelo SGQE-UNL e o que é implementado pelo IHMT, esta unidade orgânica encontra-se alinhada com o preconizado pelo Sistema.
No que diz respeito à avaliação da qualidade no 3.º Ciclo parece ser importante a existência de um instrumento de auscultação dos estudantes. A NOVA Escola Doutoral possui um questionário para auscultar os estudantes, semelhante ao questionário aplicado ao 1.º e 2.º Ciclos. A proximidade que existe entre a Coordenação, a equipa da NOVA Escola Doutoral e os estudantes que participam nos cursos parece ser relevante para a avaliação da qualidade dos cursos. Isto porque, não só se realiza uma avaliação informal, que está além do
questionário aplicado, como também se vai fazendo um acompanhamento próximo ao longo do processo.
Após a recolha e análise dos dados recolhidos ao longo do estudo, desde a primeira fase de caracterização do SGQE e de procura de resposta à questão e problema definidos, encontrou-se pontos fortes, pontos fracos e sugestões de melhoria ao SGQE, que
modestamente se apresentam de seguida.
Pontos positivos
Como ponto positivo, existe o envolvimento de vários stakeholders, dos quais os estudantes desempenham um papel essencial. Através dos questionários é atribuído um papel relevante às opiniões e perceções dos estudantes e isso parece ser um dos motivos que
justifica a preocupação com a taxa de resposta.
O facto de ser dada margem para adaptações do SGQE-UNL às características das unidades orgânicas, ao nível da adaptação dos instrumentos e procedimentos e dos órgãos, é
um aspeto positivo.
Pontos negativos
O facto de os questionários se basearem na satisfação dos estudantes pode contribuir para que se considere qualidade do ensino com a satisfação dos estudantes por determinadas unidades curriculares. Outro aspeto relacionado com os questionários aos alunos é o facto de estes serem a única fonte de dados em primeira mão. Deste modo, se não existir participação dos estudantes não existe informação para alimentar o SGQE-UNL, porque, como se viu anteriormente, é um Sistema com um funcionamento em cascata.
Propostas de melhoria
Por forma a garantir a existência de informações para alimentar o SGQE-UNL e para diversificar a fonte dos dados, sugere-se que sejam envolvidos outros stakeholders, além dos estudantes.
Um outro aspeto a melhorar no SGQE-UNL, e reforçando as informações recolhidas, será a implementação de avaliação da qualidade dos cursos de doutoramento, igualando a obrigatoriedade do 1.º e 2.º Ciclos.
Propõe-se a existência de uma plataforma online que facilite não só o preenchimento dos questionários e relatórios do SGQE-UNL, que permita o seu armazenamento numa base de dados e que permita a colaboração no seu tratamento e análise. Poderá ser interessante a colaboração de docentes da UNL de outras unidades orgânicas na elaboração dos relatórios. Poderá ser um meio para a divulgação dos resultados a todos os envolvidos.
Reflexões
desafios e onde identifico também algumas lacunas no trabalho final. Saliento como aspeto positivo a realização do estágio com outras duas colegas tendo permitido discutir outros pontos de vista, modos de trabalho e momentos de partilha de ideias. Destaco como um desafio a manipulação de muita informação, a dificuldade em passá-la do caos à organização que senti necessidade de conceber e pôr em prática.
Foi uma oportunidade para poder contactar com um sistema interno de garantia da qualidade numa instituição de ensino superior de grande dimensão proporcionando-me uma visão, a partir de dentro, do seu funcionamento. Permitiu-me ficar com a perceção do
trabalho por trás da conceção, implementação e acompanhamento de um sistema de avaliação da qualidade.
Considero que este relatório poderia ter integrado mais entrevistas a outros envolvidos que não tivessem funções diretas nas estruturas do SGQE-UNL e, assim, talvez encontrar pontos de vista diferenciados por forma torná-lo mais rico. Ainda assim, os intervenientes nem sempre tiveram opiniões concordantes o que permitiu mostrar diferentes visões e perspetivas. Contudo, penso que todas informações recolhidas foram importantes, os intervenientes foram as pessoas adequadas e as pessoas que detinham os conhecimentos sólidos para o desenvolvimento do estudo.
Posto isto, atento para outros aspetos que poderiam ser interessantes estudar no futuro como, por exemplo, verificar a existência de cultura de qualidade comparando se é mais visível em unidades orgânicas de grande dimensão e com gabinetes específicos para o
trabalho da qualidade do ensino, ou se em unidades orgânicas pequenas em que esse trabalho é desempenhado um pouco por todos os colaboradores.
REFERÊNCIAS
A3ES (s.d.). Glossário A3ES. Em Documentos:
http://www.a3es.pt/pt/documentos/documentos/glossario, Dezembro de 2014
Abrantes, P. (2010). Políticas de avaliação e avaliação de políticas: o caso português no contexto ibero-americano. Revista Iberoamericana de Educación, n.º 53, pp.25-42. Consultado em junho de 2014 em: http://www.rieoei.org/rie53a01.pdf
Afonso, A.J. (2009a). Nem tudo o que conta em educação é mensurável ou comparável. Crítica à accountability baseada em testes estandardizados e rankings escolares. Revista Lusófona de Educação, 13, pp. 13-26. Consultado em junho de 2014 em: www.scielo.oces.mctes.pt/pdf/rle/n13/13a02
Afonso, A.J. (2009b). Políticas e accountability em educação – subsídios para um debate ibero-americano. Sísifo. Revista de Ciências da Educação, 09, pp.57-70. Consultado em junho de 2014 em: http://sisifo.fpce.ul.pt
Amado, J. e Freire, I. (2013). Estudo de caso na investigação em Educação (pp.121-142). In J. Amado (coord.). Manual de investigação qualitativa em Educação. Coimbra: Imprensa da Universidade de Coimbra
Amado, J. e Ferreira, S. (2013). A entrevista na investigação educacional (pp.207-230). In J. Amado (coord.). Manual de investigação qualitativa em Educação. Coimbra:
Imprensa da Universidade de Coimbra
Bardin, L. (1995). Análise de conteúdo. Lisboa: Edições 70.
Borralho et.al (2011). Ensino, avaliação e a participação dos alunos em contextos de
experimentação e generalização do programa de matemática do ensino básico. Lisboa: Instituto de Educação da Universidade de Lisboa.
Davok, D. (2007). Qualidade em educação. Avaliação: Revista da Avaliação da Educação Superior. vol. 12, n. 3, pp. 505-513.
EUA (2010). EUA Policy Statement on Quality and Quality Assurance in the European Higher Education Area.
Fernandes, D. (2009). Avaliação de programas e de projectos pedagógicos.
Fernandes, D. (2010). Acerca da articulação de perspectivas e da construção teórica em avaliação educacional.
Fernandes, D. (2013). Avaliação em educação: uma discussão de algumas questões críticas e desafios a enfrentar nos próximos anos. Revista Ensaio: Avaliação e Políticas Públicas em Educação, n.o 78, vol.21, Janeiro/Março 2013.
Gabinete de Apoio a Qualidade do Ensino (2013.). Bases Gerais do Sistema de Garantia da Qualidade do Ensino. Lisboa: Universidade Nova de Lisboa.
Guba, E.G. e Lincoln, Y.S. (1994). Competing paradigms in qualitative research. In N.K. Denzin e Y.S. Lincoln. Handbook of qualitative research (pp.105-117). Thousand Oaks: Sage.
Holden, D.J. e Zimmerman, M.A. (2009). Evaluation Planning Here and Now. In D. J. Holden e M.A. Zimmerman. A pratical guide to program evaluation planning (pp.7- 32). London: Sage.
Instituto de Higiene e Medicina Tropical (2015). Sobre o IHMT. Apresentação. Disponível em: http://www.ihmt.unl.pt/?lang=pt&page=ihmt&subpage=o-ihmt, consultado em Junho de 2015
Lukas, J. F. e Santiago, K. (2004). Naturaleza de la investigación y evaluación en educación. In J. F. Lukas e K. Santiago. Evaluación eduactiva (pp.15-52). Madrid: Alianza Editorial
Stake, R. e Schwandt, T. (2006). On discerning quality in evaluations. In I. Shaw, J. Greene e M. Mark (2006). The Sage handbook of evaluation, pp. 404-418. London: Sage.
Stufflebeam, D.L. e Shinkfield, A.J. (2007). Evaluations theory, models and applications. San Francisco: John Wiley and Sons, Inc. (p.3-47).
Universidade Nova de Lisboa (2014). Brochura de cursos 2014/2015. Disponível em: http://www.unl.pt/data/brochuras/Brochura_Cursos_2014_2015.pdf
Legislação
Diário da República, 2.ª série – n.º 164 – 26 de Agosto de 2008, Despacho normativo n.º42/2008
ANEXOS
Anexo A – Bases Gerais do Sistema de Garantia da Qualidade da Universidade NOVA de Lisboa
Anexo B – Grelha de análise de conteúdo das Bases Gerais do Sistema de Garantia da Qualidade da Universidade NOVA de Lisboa
Anexo C – Guião de entrevista à Entrevistada A e à Entrevistada B
Anexo D – Protocolo da entrevista à Entrevistada A
Anexo E – Grelha de análise de conteúdo da entrevista à Entrevistada A
Anexo F – Síntese da entrevista à Entrevistada A
Anexo G - Protocolo da entrevista à Entrevistada B
Anexo H - Grelha de análise de conteúdo da entrevista à Entrevistada B
Anexo I - Síntese da entrevista à Entrevistada B
Anexo J - Guião de entrevista à Entrevistada C
Anexo K - Protocolo da entrevista à Entrevistada C
Anexo L - Grelha de análise de conteúdo da entrevista à Entrevistada C
Anexo M - Síntese da entrevista à Entrevistada C
Anexo N - Guião de entrevista ao Entrevistado D
Anexo P - Grelha de análise de conteúdo da entrevista ao Entrevistado D
Anexo Q - Guião de entrevista às Entrevistadas E
Anexo R - Protocolo da entrevista às Entrevistadas E