UNIVERSIDADE DE LISBOA INSTITUTO DE EDUCAÇÃO
Sistema de Garantia da Qualidade de Ensino na Faculdade de
Ciências Médicas da Universidade NOVA de Lisboa
Ana Rita Arnauth Bule
MESTRADO EM CIÊNCIAS DA EDUCAÇÃOÁrea de Especialidade: Avaliação em Educação
Relatório de Estágio orientado pelo Prof. Doutor Domingos Fernandes
ii Agradecimentos
Aos meus pais e irmã por nunca me deixarem desistir. Pelas palavras de força e motivação quando mais precisava e pelo estímulo constante ao longo do relatório. São sem dúvida um pilar para mim.
Ao meu Tio pela ajuda preciosa. Muito Obrigada.
Às minhas orientadoras de estágio, Prof ª Joana Marques e Prof ª Patrícia Rosado Pinto pela aprendizagem, disponibilidade e orientação durante todo o processo.
Às minhas colegas de estágio na NOVA, pelo tempo que passámos juntas com boa disposição e trabalho à mistura. Obrigado pelo incentivo e força nos meus momentos menos positivos.
Aos amigos e colegas da Tiffosi pela paciência, compreensão, motivação e pela ajuda que me deram em fazer esquecer os problemas e os obstáculos que surgiram.
Finalmente, agradeço ao meu Orientador de Estágio, Prof. Dr. Domingos Fernandes pela confiança, ajuda, orientação, críticas e sugestões dadas durante o ano.
iii Resumo
O presente Relatório insere-se no segundo ano de mestrado de Avaliação em Educação, realizado na Universidade NOVA de Lisboa, e tem como propósito ilustrar e dar a conhecer o trabalho desenvolvido pelo seu Sistema de Garantia de Qualidade do Ensino (SGQE), numa das suas Unidades Orgânicas, mais concretamente na NOVA Medical School|Faculdade de Ciências Médicas (NMS|FCM).
Tendo como objetivo, a necessidade de compreender as relações entre o SGQE da UNL e as práticas de gestão da qualidade desenvolvidas na FCM, foi formulada uma questão orientadora que permitisse aprofundar e desenvolver o estudo.
A metodologia utilizada e posteriormente aplicada permitiu o desenvolvimento da apresentação, discussão e conclusão dos resultados, optando-se pela análise de documentos, realização e análise de entrevistas e análise de conteúdo. Os resultados desta avaliação pretendem demonstrar uma contribuição para a melhoria da Qualidade do Ensino da Instituição, abrangendo, a aprendizagem, o ensino e a relação entre as duas dimensões, SGQE – UNL e Unidade Orgânica – FCM.
Palavras – chave: Sistema de Garantia da Qualidade do Ensino (SGQE), Unidade Orgânica, Faculdade de Ciências Médicas (FCM), Ensino, Qualidade, Avaliação do Ensino Superior
iv Abstract
The following Report is included in the second grade of the degree Education’s Evaluation made at Universidade NOVA Lisboa (UNL), ant it is aimed to explain the developed work by Education Qualitty Guarantee System (SGQE) in one of its Academic Units, namely New Medical School – Faculdade de Ciências Médicas (NMS/FCM).
Its main objective is to understand the relationship between SGQE from UNL and the quality good practices developed from FCM. Was also formulated a main question that could allow to develop this study.
The methodology applied allowed the presentation development, results, discussion and conclusion, and it was based at documents’, interviews’ and content’s analysis. The results of this evaluation pretend to demonstrate a truly contribution to a better Quality of the Institution’s education, namely the teaching, learning and relationship between this two dimensions: SGQE-UNL and Academic Unit – FCM.
Key - words: Education Qualitty Guarantee System (SGQE), Academic Unit, NOVA Medical School (NMS), teaching quality evaluation of higher education
v ÍNDICE
Capitulo I – Introdução ... 1
Contextualização do Relatório ... 1
Estrutura do Relatório ... 2
Caracterização da Universidade NOVA de Lisboa ... 3
Teoria do Programa e caracterização do SGQE – UNL ... 4
Órgãos centrais ... 6
Órgãos Locais ... 10
Instrumentos de Avaliação ... 12
Caracterização da Faculdade de Ciências Médicas – FCM ... 14
Atividades desenvolvidas no Estágio ... 17
Capitulo II - Enquadramento Metodológico ... 19
Problema e Questão da Avaliação ... 19
Matriz de Avaliação ... 20
Análise de Conteúdo ... 22
Entrevista Semi – Diretiva ... 24
Capitulo III - Enquadramento Teórico ... 27
Conceito de Avaliação ... 27
A Natureza da Avaliação... 29
Objetivos, Fundamentos e Abordagens da Avaliação ... 31
Conceito de Qualidade ... 33
Fundamentos e critérios da Qualidade ... 35
A Qualidade no Ensino Superior………..37
Princípios e Linhas Orientadoras no contexto Europeu ... 40
Capitulo IV - Apresentação e Análise dos Resultados ... 43
O SGQE e a perspetiva da sua implementação na Universidade... 43
Entrevistada A. ... 43
Entrevistada B. ... 49
Entrevistada C. ... 53
Relação entre as Perceções das Participantes sobre o SGQE ... 56
O SGQE e a sua implementação na Unidade Orgânica - FCM ... 58
Perceção da responsável pela área da Qualidade do Ensino na FCM ... 59
Perceção de um aluno ... 66
Perceção de uma docente ... 69
vi
Conclusões ... 72 Reflexões ... 76
Referências Bibliográficas: ... 78
Anexos (suporte digital)
Anexo I - Guião da entrevista à Pró-Reitora (Entrevistada A) Anexo II - Protocolo Pró-Reitora (Entrevistada A)
Anexo III - Grelha de Análise de Conteúdo à Pró-Reitora (Entrevistada A)
Anexo IV - Guião da entrevista funcionária responsável 3.º ciclo (Entrevistada B) Anexo V - Protocolo funcionária responsável 3.º ciclo (Entrevistada B)
Anexo VI - Grelha de Análise de Conteúdo a uma funcionária responsável 3.º ciclo (Entrevistada B)
Anexo VII - Guião da entrevista funcionária - membro da equipa reitoral do pelouro da qualidade (Entrevistada C)
Anexo VIII - Protocolo funcionária - membro da equipa reitoral do pelouro da qualidade (Entrevistada C)
Anexo IX - Grelha de Análise de Conteúdo um membro da equipa reitoral do pelouro da Qualidade – (Entrevistada C)
Anexo X - Guião da entrevista da responsável pela área da Qualidade do Ensino na FCM Anexo XI - Protocolo da responsável pela área da Qualidade do Ensino na FCM
Anexo XII - Grelha de Análise de Conteúdo da responsável pela área da Qualidade do Ensino na FCM
Anexo XIII - Guião da entrevista a um aluno da FCM Anexo XIV - Protocolo da Entrevista a um aluno da FCM
Anexo XV - Grelha de Análise de Conteúdo a um aluno da FCM Anexo XVI- Guião de Entrevista a uma professora da FCM Anexo XVII - Protocolo da Entrevista a uma professora da FCM
Anexo XVIII - Grelha de Análise de Conteúdo da entrevista a uma professora da FCM Anexo XIX - Bases gerais SGQE – UNL
Anexo XX - Grelha de Análise de Conteúdo das Bases Gerais do SGQE – UNL Anexo XXI - Síntese interpretativa dos dados - bases gerais
Anexo XXII - Modelo questionário aos alunos - Bases Gerais SGQE
vii
Anexo XXIV - Lei - 38 - 2007 - A3ES Anexo XXV - Cronograma
Índice de Quadros
Quadro 1 – Matriz de avaliação………20
Quadro 2 – Órgãos que compõem o SGQE………..44
Quadro 3 – Aplicação do SGQE na FCM……….60
Índice de Figuras Figura 1 – Órgãos centrais do SGQE………8
Figura 2 – Órgãos locais do SGQE………...11
Figura 3 – Instrumentos de Avaliação do SGQE……….12
Figura 4 – Hierarquia da FCM……….16
Índice de Siglas
SGQE – UNL - Sistema de Garantia da Qualidade do Ensino da Universidade NOVA de Lisboa
1 Capitulo I – Introdução
Contextualização do Relatório
O presente relatório de estágio insere-se no âmbito do 2º ciclo de mestrado em Ciências da Educação, na área de especialização de Avaliação em Educação, e reflete o trabalho realizado ao longo de oito meses. O estágio realizado no Gabinete do Sistema de Garantia da Qualidade da Universidade NOVA de Lisboa (SGQE – UNL) e na Faculdade de Ciências Médicas (FCM) teve como principal propósito a compreensão de todo o trabalho realizado ao nível do SGQE, no sentido de assegurar a Qualidade no Ensino da Universidade, assim como no seu funcionamento e na sua influência ao nível das Unidades Orgânicas, nomeadamente na FCM. O trabalho desenvolvido neste relatório procura analisar a utilidade refletida na integração, na mobilização e na reutilização dos conhecimentos adquiridos no meu percurso académico.
Neste sentido, a opção pessoal para a escolha do estágio e para a apresentação deste relatório assentou, prioritariamente, na necessidade que encontrei para desenvolver e colocar em prática algumas das competências adquiridas durante a licenciatura e o 1º ano do ciclo de Estudos do grau de mestre. Na minha perspetiva, o estágio profissional é potencialmente uma mais-valia no desenvolvimento das competências, dos conhecimentos e das capacidades adquiridas. Penso, assim, tratar-se de uma imprescindível e fundamental necessidade o enquadramento das práticas observadas nas diversas dinâmicas protagonizadas num estágio, bem como a respetiva e oportuna articulação entre os conhecimentos anteriormente adquiridos e durante todo o trabalho desenvolvido.
2
O trabalho realizado permitiu-me compreender a contribuição prestada no sentido de uma avaliação do SGQE -UNL. Toda a informação por mim reunida, facilitou e possibilitou a realização de uma análise favorável a uma compreensão e a um conhecimento mais aprofundado de um Sistema de Garantia de Qualidade inserido e oferecido por uma Universidade.
Estrutura do Relatório
O presente relatório inicia-se com o Capitulo I destinado à introdução, à sua estrutura, à caracterização, não só do Sistema de Garantia da Qualidade do Ensino na Universidade NOVA de Lisboa e da Faculdade de Ciências Médicas, mas também dos agentes envolvidos, dos seus participantes e do seu contexto envolvente. O Capitulo II reflete o Enquadramento Metodológico com a descrição do problema e da Questão, assim como a matriz da avaliação e a metodologia utilizada para a recolha, análise e tratamento de dados.
No Capitulo III, apresenta-se e discute-se o enquadramento teórico, com o desenvolvimento das temáticas inerentes ao tema deste estudo, designadamente os conceitos de avaliação, de qualidade e, ainda, a qualidade no ensino superior. Considero este capítulo de extrema e singular importância, pois irá possibilitar uma posterior representação e uma consideração sustentadas e alicerçadas na literatura existente.
O Capítulo IV assenta na análise e na interpretação dos resultados. Serão simultaneamente exibidos os resultados obtidos e respetivas análise, ao mesmo tempo que permitirá uma interpretação das entrevistas realizadas ao longo do estágio.
No Capítulo V, apresentam-se, por fim, as considerações finais, onde serão discutidas as conclusões e reflexões decorrentes do trabalho desenvolvido no estágio e
3
das entrevistas elaboradas, mas também as da minha trajetória no Gabinete da Garantia da Qualidade na Universidade NOVA de Lisboa.
Caracterização da Universidade NOVA de Lisboa
A Universidade NOVA de Lisboa foi fundada a 11 de Agosto de 1973 e é a mais recente das três universidades estatais de Lisboa. Integrada numa estrutura de expansão e diversificação do Ensino Superior, a NOVA assume uma visão atual e diversificada no contexto universitário português. Esta Instituição académica estrutura-se de acordo com um modelo departamental e interdisciplinar, associado à Tecnologia, em parceria com as Ciências Sociais e Humanas e as Ciências Médicas.
A NOVA é uma Universidade descentralizada, com cinco Faculdades, três Institutos e uma Escola (sendo então composta por 9 Unidades Orgânicas) que usufruem de um elevado grau de autonomia. A NOVA conta atualmente com mais de 19.000 estudantes inscritos e com 1.491 docentes, 804 funcionários e 225 investigadores.
A principal missão da NOVA, enquanto Instituição (segundo o site oficial da Universidade), é desenvolver uma investigação competitiva no plano internacional privilegiando áreas interdisciplinares; um ensino de excelência, com ênfase crescente nos segundos e terceiros ciclos; uma prestação de serviços de qualidade, quer no plano interno, quer no plano internacional, capaz de contribuir de forma relevante para o desenvolvimento social e para a qualificação dos recursos humanos, dedicando particular atenção aos países onde se fala a língua portuguesa.
4 Teoria do Programa e caracterização do SGQE – UNL
Considerando de extrema utilidade a importância da explicação, da clarificação e da definição do conceito de “ Teoria do Programa”, Fernandes (2011, p.4) refere que “ (…) a Teoria de um Programa tem a ver com o estudo, a caracterização e os princípios e/ou pressupostos do que se pretende avaliar que, supostamente, permitirão concretizar as mudanças ou as transformações que se esperam. “, desempenhando deste modo um papel importante para a concretização dos processos \ estudos de avaliação assim como “ (…) a) definir as questões mais apropriadas; b) selecionar os procedimentos mais adequados para recolher a informação necessária; e c) identificar os objetos e as dimensões do que se pretende avaliar e que devem merecer particular atenção. “ (Fernandes, 2011, p. 5)
Partindo desta ideia, a teoria do programa exige que se estude e se compreenda um dado objeto de avaliação, de modo a determinar os melhores processos de avaliação da qualidade. Ou seja, a teoria do programa permite identificar os problemas, bem como as questões e os procedimentos mais adequados, os quais nos permitirão uma avaliação mais sistemática e mais inteligente acerca de um determinado objeto.
O que aqui se discutirá prende-se, sobretudo, com a necessária compreensão do Sistema de Garantia da Qualidade da UNL e da forma como este processo é posto em prática na Unidade Orgânica - Faculdade de Ciências Médicas, nomeadamente ao nível de uma compreensão relativa à utilização dos procedimentos presentes no SGQE, os quais nos permitirão o desenvolvimento, o crescimento e a melhoria do funcionamento da FCM. Com Base no Documento do anexo XIX explicarei o funcionamento do SGQE – UNL.
As Bases Gerais do Sistema de Garantia da Qualidade do Ensino na NOVA, estipulam que “ (…) a sua missão se desenvolve, designadamente, através de um ensino
5
de excelência […] veiculado por programas académicos competitivos a nível nacional e internacional (…) deve ser capaz de assegurar, de forma sistemática e permanente, a realização da sua missão, e, consequentemente, a qualidade do seu ensino” (Bases Gerais, p. 3).
Tal como mencionado no parágrafo anterior, a Universidade NOVA de Lisboa possuí um Sistema de Garantia da Qualidade do Ensino (SGQE) interno, onde procura valorizar as competências dos estudantes, a melhoria contínua dos seus ciclos de estudos e, consequentemente, as suas Unidades Orgânicas. Tal como é referido nas Bases Gerais do SGQE (p.4), o seu principal objetivo prevê a contribuição e colaboração orientadas, para uma melhoria contínua da qualidade do ensino, abrangendo o ensino e aprendizagem, assim como a necessária relação entre ambas, para que a investigação e outro tipo de atividades da Universidade, sejam feitas igualmente numa clara articulação entre o Sistema de avaliação do desempenho dos docentes e dos serviços.
O funcionamento do Sistema deve basear-se na transparência dos objetivos e dos procedimentos, prevendo mecanismos que garantam a imparcialidade e a prestação de contas aos vários parceiros envolvidos.
Assim, é possível dizer que o SGQE foi estruturado tendo em conta as especificidades e particularidades da NOVA:
a) A forte tradição de autonomia das diversas Unidades Orgânicas (UO);
b) A existência de diferentes dimensões e vocações (ensino e investigação, com uma forte incidência nesta segunda);
c) A diferente natureza (multidisciplinares ou unidisciplinares);
6
Assim sendo, considerou-se que o SGQE teria de ser flexível para acomodar a diversidade de Unidades Orgânicas, mas devendo de igual modo assegurar a identidade da Universidade através da coerência dos seus princípios, estruturas, instrumentos e processos.
Em cada Unidade Orgânica existe uma Comissão da Qualidade do Ensino, nomeada pelo Diretor, que atua como órgão de governação do Sistema de Garantia da Qualidade do Ensino ao nível da Unidade Orgânica (Bases Gerais, p. 9). No fim de cada ano letivo, a Comissão deve elaborar um relatório sobre o funcionamento do Sistema de Garantia da Qualidade do Ensino, com base, entre outros, nos resultados dos questionários administrados aos estudantes, bem como dos relatórios de auto- avaliação e de avaliação dos docentes e responsáveis pelos ciclos de estudos. Neste sentido, a Universidade encontra-se organizada a partir de órgãos centrais e locais que ajudam a manter, melhorar e colocar em prática o trabalho desenvolvido para a Qualidade e excelência do Ensino.
Órgãos centrais
De acordo com as Bases Gerais do SGQE – NOVA, a Universidade tem um Conselho da Qualidade do Ensino (CQE) que opera como o órgão de governação do Sistema de Garantia da Qualidade do Ensino. Este órgão é responsável pela existência de um sistema que funciona de acordo com as necessidades da própria Universidade, tendo em conta a sua conceção e necessária colaboração com as diferentes Unidades Orgânicas.
Deste modo, o CQE tem como missão assegurar o funcionamento do Sistema de Garantia da Qualidade do Ensino na Universidade.
7
Assim, ao CQE da NOVA compete:
a) Propor, para aprovação do Reitor, as Bases Gerais do Sistema de Garantia da Qualidade do Ensino, assim como outros documentos orientadores do mesmo, considerados relevantes, depois de ouvido o Colégio de Diretores,
b) Propor, para aprovação do Reitor, a criação dos órgãos que manifestem ser necessários ao bom funcionamento do Sistema de Garantia da Qualidade do Ensino da NOVA;
c) Propor, para aprovação do Reitor, com base nas propostas das Unidades Orgânicas, o calendário anual das avaliações periódicas dos ciclos de estudos; d) Propor, para aprovação do Reitor, com base nas propostas apresentadas pelas
Unidades Orgânicas, a nomeação dos membros dos painéis das avaliações referidas na alínea anterior;
e) Propor, para aprovação do Reitor, a documentação de base de monitorização e avaliação dos ciclos de estudos e das unidades curriculares;
f) Proceder à análise e emitir os necessários pareceres relativamente aos relatórios que lhe forem apresentados pelo Gabinete de Apoio à Qualidade do Ensino da Universidade;
g) Aprovar o relatório anual sobre o funcionamento do Sistema de Garantia da Qualidade do Ensino e sobre a qualidade do ensino na Universidade, a apresentar ao Reitor e ao Conselho Geral da NOVA;
h) Emitir o parecer sobre as propostas de financiamento de iniciativas de melhoria da qualidade do ensino (Anexo XIX).
8
Na Figura 1 apresenta-se a composição dos órgãos centrais no SGQE na UNL atualmente:
Figura 1 – órgãos centrais do SGQE
Com base na figura 1 e nas Bases Gerais do SGQE (Anexo XIX) exponho por alíneas, o modo de funcionamento dos órgãos centrais do SGQE e como este se encontra organizado.
a) Existe um membro externo do Conselho Geral, que preside e organiza todo o trabalho feito no Sistema.
b) Um ou mais membros da Equipa Reitoral com o pelouro da qualidade do ensino – a Vice-Reitora para a Qualidade do ensino do 1.º e 2.º ciclo de estudos; um Vice-Reitor para a Qualidade do Ensino do 3.º ciclo de estudos. É de realçar que os membros têm a função de assegurar a relação entre a equipa reitoral, o Reitor, e o Conselho da Qualidade do Ensino, assim como a relação entre a Reitoria e as Unidades Orgânicas;
9
c) Cinco membros do corpo docente da Universidade, indicados pelo Colégio de Diretores;
d) Três representantes dos estudantes de 1.º, 2.º e 3.º ciclo de estudos. Os dois primeiros são designados pelo Conselho de Estudantes, enquanto o terceiro é nomeado pelo Reitor;
e) Um elemento do Gabinete de Apoio à Qualidade do Ensino da NOVA, sem direito de voto. Este elemento foi por mim entrevistado, no sentido de um esclarecimento favorável à compreensão do funcionamento inicial e atual do Sistema. A este membro compete preparar as bases gerais do Sistema de Garantia da Qualidade do Ensino, assim como a planificação dos documentos orientadores do sistema, a monitorização da qualidade e da aprendizagem ao nível do ciclo de estudos, a organização e realização de avaliações temáticas e transversais a toda a Universidade e assegurar as relações entre a Universidade e a A3ES.
f) Um Núcleo de Inovação Pedagógica e de Desenvolvimento Profissional dos Docentes que tem a missão de contribuir para a qualidade das experiências de aprendizagem dos estudantes da NOVA, através do apoio ao desenvolvimento profissional dos seus docentes. Este núcleo tem, ainda, as funções ligadas à organização de cursos de formação de docentes, do trabalho com os docentes, no âmbito dos processos de avaliação de desempenho, e a de apoiar as Unidades Orgânicas, bem como as comissões de ciclo de estudos ligadas aos processos de monitorização e de avaliação dos ciclos de estudos e das unidades curriculares. Cabe-lhe, também, as tarefas de promover e de coordenar a edição de guias de boas práticas de ensino (Anexo XIX).
10 Órgãos Locais
Na Figura 2 apresento a composição dos órgãos locais. Existe em cada Unidade Orgânica uma Comissão da Qualidade do Ensino, nomeada pelo Diretor, que atua como órgão de governação do Sistema de Garantia da Qualidade do Ensino.
Os membros deste órgão são nomeados pelos Diretores das Unidades Orgânicas. São suas competências:
a) Assegurar as relações entre a Unidade Orgânica e a Reitoria, designadamente, através dos membros da Equipa Reitoral responsáveis pela garantia da qualidade do ensino;
b) Assegurar as relações com os demais órgãos da Unidade Orgânica;
c) Superintender no Gabinete de Apoio à Qualidade do Ensino da Unidade Orgânica, quando exista;
d) Garantir a articulação entre o sistema de garantia da qualidade do ensino e outros mecanismos institucionais de avaliação, nomeadamente, do desempenho dos docentes e dos serviços (Anexo XIX).
11 Figura 2 – órgãos locais do SGQE
Este órgão integra o responsável pela Garantia da Qualidade do Ensino, ao nível da Unidade Orgânica e um membro externo à Unidade Orgânica que preside (presidente). Cada Unidade Orgânica tem um Gabinete de Apoio à Qualidade do Ensino, que atuará como um órgão de natureza executiva. Este órgão tem como principais funções:
- Elaborar o relatório anual sobre o funcionamento do Sistema de Garantia da Qualidade do Ensino e sobre a qualidade do ensino;
- Elaborar os relatórios de síntese de monitorização dos ciclos de estudos e de avaliação das unidades curriculares. Os ciclos de estudos são constituídos por uma ou mais comissões, a quem compete a elaboração do relatório anual de monitorização do ciclo de estudos, bem como a preparação do relatório de auto-avaliação do ciclo de estudos, no âmbito do seu processo de avaliação periódica. A composição desta comissão deverá obedecer aos seguintes critérios:
12
a) Incluir o coordenador do ciclo de estudos, a quem compete as funções de presidente;
b) Incluir docentes e discentes, representativos da diversidade do ciclo de estudos;
c) Caso não integre discentes, a comissão deverá, nos seus relatórios, fazer prova evidente do esforço realizado, que lhe permita demonstrar que os estudantes foram efetivamente consultados; (Anexo XIX)
Instrumentos de Avaliação
No SGQE - UNL utilizam-se dois tipos de instrumentos: o primeiro direcionado para a avaliação do ensino, sendo responsabilidade de cada Unidade Orgânica; o segundo está mais ligado às avaliações temáticas e transversais a toda a Universidade. Ambos têm como objetivo a avaliação do ensino, bem como o cruzamento de informação respeitante quer por parte dos estudantes, quer por parte dos docentes. Na figura 3 apresentam-se os instrumentos realizados pelas Unidades Orgânicas:
13
Tal como apresentado na figura 3, os instrumentos são integrados sequencialmente e de modo linear pelos seus envolvidos. Explico, de seguida, na forma de alíneas, o seu funcionamento:
a) Os estudantes avaliam a unidade curricular, através de um questionário semestral;
b) Os docentes podem elaborar, semestralmente, um relatório pedagógico sobre o funcionamento da sua unidade curricular. (Se o docente for o responsável da unidade curricular, este instrumento não é necessário);
c) O responsável da unidade curricular redige um relatório, semestral, de avaliação da unidade curricular;
d) A Comissão de Ciclo de Estudos elabora um relatório anual, de monitorização do ciclo de estudos, baseando-se nos três instrumentos anteriores e nos dados estatísticos relativos aos ciclos de estudos;
e) O responsável do Sistema de Garantia da Qualidade de cada unidade orgânica redige, anualmente, um relatório sobre a qualidade do ensino da respetiva Unidade Orgânica correspondente àquele ano letivo, com base nos vários relatórios de ciclo de estudos indicados na alínea d. Este relatório é enviado para a Reitoria;
f) O Gabinete de Apoio à Qualidade do Ensino na Reitoria prepara o relatório anual sobre o funcionamento do Sistema de Garantia da Qualidade do Ensino e sobre a Qualidade do Ensino na Universidade, o qual é submetido à apreciação do Conselho da Qualidade do Ensino.
14 Caracterização da Faculdade de Ciências Médicas – FCM
A NOVA Medical School|Faculdade de Ciências Médicas (NMS|FCM) é uma Unidade Orgânica da Universidade NOVA de Lisboa (NOVA), criada em 1977. Tem 1.603 estudantes de graduação (incluindo 90 em programas de mobilidade) e 503 estudantes de pós-graduação. Conta com 411 docentes e investigadores, entre os quais 30% são doutorados. Pode ler-se no site da Faculdade que a percentagem de não – doutorados deve -se sobretudo, à existência de docentes das unidades curriculares clínicas que são médicos de serviços clínicos que cooperam na Faculdade.
A NMS|FCM oferece um vasto leque de cursos e programas de pós-graduação e investigação, contando com um número significativo de grupos de excelência em biomedicina, investigação translacional, investigação clínica e epidemiologia e serviços.
A abertura do novo Pólo de Investigação do Campus de Santana, para além das melhorias às atividades pedagógicas (nova biblioteca e novo centro de formação em competências clínicas), veio dar um contributo muito importante para o desenvolvimento da investigação na Faculdade, em estreita colaboração com o Centro de Estudos de Doenças Crónicas (CEDOC) e o Centro de Investigação em Genética Molecular Humana (CIGMH).
A Faculdade tem por missão o serviço público para a qualificação de excelência nos domínios das ciências médicas e da saúde, desenvolvendo os seguintes propósitos:
a) Uma investigação competitiva no plano internacional, privilegiando áreas interdisciplinares, que incluem a investigação orientada para a resolução dos problemas da saúde que afetam a sociedade;
15
b) Um ensino de excelência com uma ênfase crescente no segundo e no terceiro ciclos e veiculado por programas académicos competitivos a nível nacional e internacional;
c) Uma base alargada de participação interinstitucional aproveitando as possibilidades de criação de novas sinergias no campo da saúde, tanto a nível das Unidades Orgânicas da Universidade NOVA de Lisboa, como a um nível mais global;
d) Uma prestação de serviços de qualidade, a nível nacional e internacional, capaz de contribuir de forma relevante para a melhoria dos cuidados de saúde e da qualificação dos recursos humanos no campo da saúde, nomeadamente dos países lusófonos.
Face ao desenvolvimento da Educação Médica e para responder à necessidade de avaliação e qualidade do seu ensino, a FCM cria em 1996 o Departamento de Educação Médica com os seguintes objetivos:
“ (…) Assegurar o apoio e a formação dos Docentes da Faculdade, no âmbito da planificação, organização, condução e avaliação da prática pedagógica; fomentar o aprofundamento e a discussão de temáticas educativas, articuladas com as questões específicas do domínio das Ciências Médicas; Participar nas atividades de análise e avaliação dos programas e dos currículos; Fomentar a troca de experiências pedagógicas com outras instituições.” (Rosado Pinto & Marques, p. 276).
O Departamento de Educação Médica é igualmente o espaço utilizado pela Unidade Orgânica para elaborar o que é pedido no Sistema de Garantia da Qualidade do Ensino na UNL, isto é, os instrumentos pedidos a todas as Unidades Orgânicas para a apresentação dos resultados.
16
Na figura 4 apresenta-se o funcionamento do Departamento de Educação Médica tendo em conta o que foi dito e explicado no excerto em cima:
Figura 4 – Hierarquia da FCM
O Departamento está vinculado ao que é solicitado pela Reitoria da Universidade NOVA e, juntamente com a Comissão da Qualidade do Ensino da FCM, esta é composta: pelo Presidente do Conselho da Faculdade; pela responsável da área da Qualidade do Ensino; pelo Presidente do Conselho Científico e Pedagógico; por dois Docentes doutorados; por um docente e três estudantes. A sua função situa-se sobretudo ao nível da elaboração das tarefas pedidas, tais como: a elaboração do relatório do 1º semestre e do relatório final, o envio do relatório final à Direção e ao Conselho da NOVA Medical School|Faculdade de Ciências Médicas.
17 Atividades desenvolvidas no Estágio
Ao longo do estágio, para além de procurar compreender o funcionamento do SGQE da NOVA de Lisboa e a maneira como este é implementado na Unidade Orgânica - FCM, foram realizadas outras tarefas. Inicialmente, para um melhor conhecimento do processo de trabalho e para uma melhor compreensão do seu funcionamento num contexto mais central, com o trabalho desenvolvido no Gabinete de Apoio à Qualidade (GAQE) do Ensino na Reitoria da Universidade, centrei-me na pesquisa no site e na consulta das Bases Gerais do Sistema de Garantia da Qualidade do Ensino (Anexo XIX).
Após a pesquisa aprofundada acerca do SGQE, e de modo a compreender a implementação do mesmo, focalizei-me numa das Unidades Orgânicas da Universidade, mais precisamente na Faculdade de Ciências Médicas (FCM). Assim, a segunda tarefa passou por associar e conciliar informação (consulta de documentos, site da faculdade) que permitisse conhecer o trabalho desenvolvido no âmbito do Sistema de Garantia da Qualidade da UNL comum a todas as Unidades Orgânicas. Para concretizar estas duas tarefas, foram realizadas seis entrevistas a participantes do GAQE e da FCM que permitiram complementar e relacionar os dados recolhidos através da análise dos documentos. Desse modo pretendia-se tirar ilações concretas e mais claras acerca dos propósitos deste relatório.
Para a realização das entrevistas, elaborei os seus guiões e, após as mesmas, construí as grelhas de análise de conteúdo, e a síntese interpretativa dos dados - análise da grelha de análise das Bases Gerais do Sistema de Garantia da Qualidade do Ensino da NOVA.
Aquando da realização da segunda tarefa, tive o privilégio de trabalhar no relatório anual da Unidade Orgânica (FCM). No relatório anual surgiu a oportunidade de
18
ajudar no tratamento dos dados obtidos com os questionários e nas respostas abertas de cada unidade curricular dos alunos. Estive um dia a trabalhar com a responsável por este tratamento de dados, sendo bastante enriquecedor conhecer ainda melhor como é feito o procedimento e análise dos mesmos.
Ficaram assim cumpridos os objetivos: saber o funcionamento do Sistema de Garantia da Qualidade do Ensino (SGQE) da Universidade e da implementação do mesmo numa Unidade Orgânica - Faculdade de Ciências Médicas (FCM); compreender todo o processo envolvente no trabalho que é realizado em prol da qualidade de excelência (identificar a estrutura, conteúdos e finalidade de cada instrumento); e conhecer especificamente o trabalho desenvolvido na FCM para realizar as tarefas pedidas pelo Sistema.
19 Capitulo II - Enquadramento Metodológico
O projeto visiva relacionar as orientações constantes no SGQE com os procedimentos utilizados na FCM para a garantia da qualidade do ensino.
Neste capítulo, apresento o problema e a questão da Avaliação, a matriz de Avaliação e as metodologias utilizadas para o desenvolvimento do relatório.
Assim, consciente da complexidade desta tarefa, optei por uma metodologia que permitisse descrever detalhadamente os fenómenos de interesse, para se proceder a uma análise e interpretação dos dados que permitissem responder à questão desta avaliação.
Problema e Questão da Avaliação
O objetivo central do SGQE, como referido anteriormente, é contribuir para a melhoria da Qualidade do Ensino da Instituição, abrangendo o ensino, a aprendizagem, as relações entre estas duas dimensões, a investigação e outras atividades da Universidade. As entrevistas realizadas aos stakeholders e o estudo dos documentos acerca do Sistema, permitiram o conhecimento dos aspetos acima referidos tal como explicarei mais à frente neste relatório.
O SGQE foi ainda estruturado para funcionar articuladamente com os sistemas de avaliação do desempenho dos docentes e dos serviços. Neste contexto, o Sistema de Garantia da Qualidade de Ensino na Faculdade de Ciências Médicas da Universidade Nova de Lisboa ocupou um lugar relevante no desenvolvimento deste estudo.
20
Assim, o problema deste estudo avaliativo resultou da necessidade de compreender as relações entre o SGQE da UNL e as práticas de Gestão da Qualidade desenvolvidas na FCM. A partir deste problema, formulou-se a seguinte questão que orientou o desenvolvimento deste trabalho: De que forma o SGQE da FCM integra as orientações preconizadas pelo SGQE - UNL? Ou seja, através da descrição e análise das práticas de qualidade realizadas na FCM, o que se pretende compreender é de que modo a implementação do SGQE nesta Unidade Orgânica integra e reflete as características e funcionamento preconizados no SGQE-UNL.
Matriz de Avaliação
A elaboração de uma Matriz de Avaliação permitiu identificar claramente o objeto e as dimensões deste estudo de avaliação, permitindo igualmente delimitar e focar os esforços a desenvolver. De acordo com Spaulding (2008, citado por Fernandes, 2011 pp. 9 -10), “ (…) uma Matriz de avaliação não é mais do que uma esquematização de um plano que permite orientar os avaliadores no terreno e garantir que a informação relevante não deixa de ser recolhida.” No Quadro 1 apresentam-se o objeto e as dimensões que foram consideradas neste trabalho.
Objeto Dimensões
Práticas de Gestão da Qualidade na Faculdade de Ciências Médicas
Procedimentos de Recolha e tratamento de dados
Objetos de avaliação Divulgação dos dados
Envolvimento dos estudantes Envolvimento dos docentes
21
O objeto práticas de Gestão da Qualidade na Faculdade de Ciências Médicas (FCM) surge, por um lado, como um propósito de compreender as práticas de gestão enquanto instituição independente do Sistema geral (SGQE – UNL) e, por outro lado, como este se relaciona e segue os parâmetros e instrumentos estabelecidos pelo próprio Sistema (SGQE – UNL). Segundo o site da FCM, “Cada Unidade Orgânica tem a liberdade de ajustar à realidade e cultura próprias os passos intermédios do Sistema, devendo as referidas adaptações estar suficientemente documentadas para uma futura acreditação pela A3ES a todo o Sistema.” Portanto, pareceu-me importante fazer o ajustamento entre o objeto identificado e as suas dimensões, de modo a clarificar e esclarecer a gestão da Unidade Orgânica - FCM. Através da dimensão Procedimentos de recolha e tratamento de dados, procurei compreender os procedimentos utilizados pela Unidade Orgânica, isto é, quais os objetos de avaliação utilizados (como os questionários aos estudantes, os relatórios dos docentes e regentes entre outros), como é feito o tratamento dos dados obtidos pelos instrumentos e como, posteriormente, esses resultados são utlizados para a melhoria da qualidade do Ensino.
Por outro lado, através das dimensões Envolvimento dos Estudantes e o Envolvimento dos Docentes, procurei estudar os modos e os processos de participação destes importantes intervenientes (stakeholders) e a importância que os estudantes e os docentes dão aos instrumentos utilizados.
Por fim, a divulgação dos dados é fundamental para perceber e compreender como e quando são divulgados, e qual o seu impacto no desenvolvimento do Sistema. Além disso, interessa ainda saber se existe algum tipo de feedback por parte dos envolvidos, aquando da divulgação desses dados.
22 Análise de Conteúdo
A análise de conteúdo, segundo a definição de Berelson (1952), citado por Carmo et al (1998), é “uma técnica de investigação para a descrição objetiva, sistemática e quantitativa do conteúdo manifesto da comunicação” entre entrevistador-entrevistado” (p. 251). Ou, segundo a definição de Bardin (1977), citado por Carmo et al (1998), corresponde ao “conjunto de técnicas de análise das comunicações visando obter, por procedimentos sistemáticos e objetivos de descrição do conteúdo das mensagens, indicadores (quantitativos ou não) que permitam a inferência de conhecimentos relativos às condições de produção/receção (variáveis inferidas) destas mensagens” (p. 251)
Stone (1966), citado por Carmo et al (1998), define – a como “ uma técnica que permite fazer inferências, identificando objetiva e sistematicamente as características específicas da mensagem” (p. 251).
Assim, a análise de conteúdo não é uma análise meramente descritiva, mas sim uma perspetiva onde se reconhece o real, não como único, mas como multifacetado. É possível identificar três fases na organização de uma análise de conteúdo: a primeira corresponde à pré-análise – onde ocorre um levantamento de hipóteses, a definição de objetivos, a escolha do material que vai ser analisado e o desenvolvimento dos instrumentos para a recolha dos dados; nesta linha de pensamento, é de realçar que na pré- análise o investigador deve proceder à escolha dos documentos que são analisados, à enunciação das várias hipóteses e dos objetivos da investigação e, ainda, à elaboração de indicadores, pois todos dependem uns dos outros; isto é, as atividades enunciadas encontram-se interligadas; a segunda fase equivale à exploração - em que há uma codificação da entrevista e da informação dela recolhida, através da elaboração das
23
grelhas de análise, constituídas segundo categorias, subcategorias, indicadores e unidades de registo; e por fim, a fase do tratamento de resultados.
Neste sentido, a análise de conteúdo deve, primeiramente, ser bastante objetiva, pois deve ser realizada de acordo com determinadas regras e obedecer a instruções claras e precisas, para que se possam obter os resultados desejados; sistemática, pois o seu conteúdo deve ser integrado e organizado em grupos previamente escolhidos, em função dos objetivos que o investigador quer atingir; e, por fim, quantitativa através da seleção dos elementos que o investigador acha pertinente incluir.
Tendo em conta a utilização da análise de conteúdo no presente relatório, esta terá um caráter significativo, para a exibição dos resultados obtidos através das entrevistas realizadas aos vários envolvidos, para a clarificação e conhecimento do tema e do problema, na Teoria do Programa, através da grelha de análise de conteúdo e da posterior síntese interpretativa dos dados das bases gerais do SGQE - UNL (acima descritos), bem como à posterior discussão dos dados. É igualmente de destacar a importância da grelha de análise de conteúdo para sintetização das transcrições das entrevistas efetuadas.
Com a finalidade de adquirir um conhecimento prévio sobre o funcionamento do Sistema de Garantia da Qualidade do Ensino da Universidade NOVA de Lisboa, realizei a recolha e análise de documentos. Saint-Georges (1997) considera que “ (…) a pesquisa documental apresenta-se como um método de recolha e de verificação de dados: visa o acesso às fontes pertinentes, escritas ou não, e, a esse título, faz parte integrante da heurística da investigação” (p. 30). Já Carmo & Ferreira (1998) caracterizam a análise de conteúdo de documentos, como sendo um processo que envolve seleção, tratamento e interpretação da informação existente em documentos (escrito, áudio ou vídeo), com o objetivo de retirar algum significado e conclusão. Segundo os mesmos autores, o investigador ou o avaliador “ (…) necessita de recolher o testemunho de todo um trabalho
24
anterior, introduzir-lhe algum valor (…) a fim de que outros possam voltar a desempenhar o mesmo papel no futuro” (p. 251) Assim, é importante a realização de uma pesquisa focada e centralizada no que realmente interessa para a avaliação, procurando informação pertinente.
Esta técnica de investigação apresenta como principais vantagens o facto de constituir uma fonte de dados estável e rica e de custo reduzido, que complementa informações e identifica problemas. “A utilização da análise de conteúdo de documentos surge essencialmente quando o acesso aos dados é problemático; quando se pretendem confirmar informações; e quando importa investigar a expressão do sujeito” (Ludke & André, 1986, p.39).
Assim, podemos constatar que a técnica de análise de conteúdo de documentos se caracteriza por ser um processo ativo e dinâmico que permite representar o conteúdo de um documento de uma forma distinta da original, com o intuito de se obterem renovadas informações. Isto é, corresponde a uma forma de complementar a informação obtida por outros métodos, de modo a poder encontrar-se, nos documentos, informações úteis para o objeto em estudo.
Entrevista Semi – Diretiva
Outra técnica de investigação utilizada para a recolha dos dados foi a entrevista semi-diretiva, uma vez que é considerada adequada para estudar processos de representações, valores e normas transmitidas por um indivíduo.
Segundo Amado J. (2013), nas entrevistas semi - diretivas ou semiestruturadas, “ (…) as questões derivam de um plano prévio, um guião onde se define e regista, numa
25
ordem lógica para o entrevistador, o essencial do que se pretende obter, embora na interação se venha a dar uma grande liberdade de resposta ao entrevistado.” (p. 208)
Amado J. defende que alguns autores descrevem as entrevistas semi - diretivas (ou semiestruturadas) como algo que se define através “ (…) da pesquisa de natureza qualitativa, sobretudo pelo facto de não haver uma imposição rígida de questões que permite ao entrevistado discorrer sobre o tema proposto, respeitando os seus quadros de referência salientando o que para ele for mais relevante (…) “ (2013, p. 209).
Segundo Morgan, citado por Bodgan, R. & Bilken, S. (1994) “Uma Entrevista consiste numa conversa intencional, geralmente entre duas pessoas, embora por vezes possa envolver mais pessoas, dirigidas por uma das pessoas, com o objetivo de obter informações sobre a outra (…); a entrevista é utilizada para recolher dados descritivos na linguagem do próprio sujeito, permitindo ao investigador desenvolver intuitivamente uma ideia sobre a maneira como os sujeitos interpretam aspetos do mundo” (p.134).
Para uma entrevista bem estruturada, é necessário ter em conta a elaboração do guião de entrevista. Segundo Amado J. (2013), “A entrevista deve ser estruturada em termos de blocos temáticos e de objetivos, constituindo esse “instrumento” o que passamos a designar por guião de entrevista (…) [que] resulta de uma preparação profunda para a entrevista (…) [e] ajuda a gerir questões e relações” (p. 214).
Assim, é possível dizer que o guião da entrevista vai ao encontro do pensamento e da estrutura que o entrevistador pretende, em torno do objeto de investigação. A definição do objeto de investigação e a sua delimitação no campo acabam por influenciar o que o sujeito deve pronunciar, e, exigir o aprofundamento de aspetos e de questões, considerados pertinentes pelo entrevistador.
26
É de evidenciar que as Entrevistas, realizadas ao longo do estágio, foram bastante importantes para conhecer as realidades existentes, face às práticas de gestão do Sistema e da sua implementação na Unidade Orgânica. Os entrevistados foram escolhidos de acordo com as necessidades do estudo, e, por se tratarem de participantes ativos no Sistema.
As entrevistas foram igualmente úteis para compreender como funciona a Unidade Orgânica, tendo em conta o Sistema de Garantia da Qualidade aplicado na NOVA; para obter informações sobre os métodos e estratégias utilizados pelos responsáveis pelo processo da Qualidade; sobre a participação dos stakeholders; e sobre o modo de divulgação e estruturação do SGQE na Unidade Orgânica. É importante frisar, que a participação voluntária e a disponibilidade dos entrevistados foi fundamental para o esclarecimento e desenvolvimento deste estudo.
Foram feitas as seguintes entrevistas:
À Pró – Reitora - responsável pelo pelouro da Qualidade no 1º e 2º ciclo;
A uma das colaboradoras que trabalham no 3º ciclo;
A um membro da equipa reitoral do pelouro da Qualidade;
À responsável pela área da Qualidade do Ensino na FCM;
A um aluno;
A uma docente.
. Após a realização das entrevistas, de forma a organizar e categorizar a informação recolhida e facilitar a compreensão da dinâmica de funcionamento da Faculdade de Ciências Médicas, construí grelhas de análise de conteúdo, que serviram de base para a verificação dos dados das entrevistas.
27 Capitulo III - Enquadramento Teórico
Para fundamentar o estudo desenvolvido, é importante clarificar alguns dos conceitos que serviram de base para o presente relatório, nomeadamente, os conceitos de Avaliação, Qualidade, (onde estará subjacente o sistema de Garantia de Qualidade, a Qualidade do Ensino Superior e a noção de Qualidade da A3ES e a relação com a EUA - European University Association).
Conceito de Avaliação
Segundo Fernandes (2007), é possível considerar a avaliação como uma “ prática social cuja presença é cada vez mais indispensável para caracterizar, compreender, divulgar e melhorar uma grande variedade de problemas que afetam as sociedades contemporâneas”. (p.2)
Partindo desta ideia, Stufflebeam e Shinkfield (2007), de acordo com a definição do Joint Committee on Standards for Educational Evaluation, defendem que a avaliação consiste na formulação de juízos acerca do valor (qualidade extrínseca ao objeto) e do mérito (qualidade intrínseca ao objeto) de um determinado objeto. Isto é, a avaliação pode surgir através da identificação das qualidades extrínsecas e intrínsecas nela inerentes, funcionando numa lógica de complementaridade e tornando assim o processo mais completo e igualmente mais complexo (p.15).
Segundo Fernandes (2007), "Um dos desafios que hoje se coloca à avaliação é o de contribuir para melhorar a vida das pessoas, tendo como ponto de partida a aceitação
28
e o reconhecimento de uma diversidade de perspetivas e de abordagens, evitando assim a polémica pela polémica e apostando no pluralismo nas suas diferentes formas" (p.1). O mesmo autor explica que os propósitos que se pretendem alcançar, através de um estudo avaliativo, podem influenciar significativamente o modo como se planifica e o que se desenvolve no processo de recolha de informação, assim como o que se estrutura e difunde no próprio relatório de estudo. O caminho que uma avaliação leva, isto é, o fim a que esta se destina deve ser considerado, aquando da escolha dos procedimentos de recolha de dados, do tipo de interação entre os stakeholders e do avaliador e do tipo de procedimentos a utilizar no estudo. Alguns dos propósitos a ser relacionados numa avaliação podem, por exemplo, ser os seguintes:apoiar a tomada de decisões;servir a prestação pública de contas; melhorar as práticas e procedimentos numa dada organização; compreender problemas de natureza social, contribuindo para a identificação de soluções possíveis;ecompreender as experiências vividas por quem está envolvido numa dada prática social (Fernandes, 2007).
Outros autores, como Stufflebeam e Shinkfield (2007), definem a avaliação como “o processo sistemático de delinear, obter, relatar e aplicar informações descritivas e judicativas sobre o mérito, o valor, a probidade, a viabilidade, a segurança, o significado, e / ou a equidade de um objeto” (p.13).
Neste sentido, defendem que a avaliação deverá ter em conta: a honestidade, isto é, uma avaliação deverá atuar com seriedade e ética, não escondendo informações, nem deturpando os resultados; a viabilidade, procurando-se fornecer orientações para soluções de fácil aplicação, eficientes, com recursos adequados e politicamente viáveis, para que haja mais hipóteses de melhoramento; a segurança dos objetos a avaliar; o significado que os programas ou serviços avaliados poderão ter em curto e longo prazo na comunidade; e a equidade, isto é, é necessário ter em conta questões como igualdade de
29
oportunidades e liberdade individual, quando se avalia um programa que presta serviços à comunidade (Stufflebeam e Shinkfield, 2007). Em resumo, é fundamental que num projeto, ou num estudo de avaliação seja necessário definir o seu propósito e a finalidade, saber qual a sua intencionalidade (o porquê de se estar a avaliar), definir qual será o percurso e estabelecer o que se pretende alcançar.
A Natureza da Avaliação
Tendo em conta o que foi dito anteriormente, para que os propósitos de uma avaliação sejam conseguidos, utilizam-se avaliações formais (avaliações sistemáticas e deliberadas) ou informais (avaliações tácitas), mais ou menos enquadradas por um modelo teórico, ou sem qualquer enquadramento no caso da maioria das avaliações tácitas. Deste modo, é necessário compreender a natureza das abordagens de avaliação, assim como a relação entre elas (Fernandes, 2007).
A avaliação encontra-se presente em vários contextos do nosso dia-a-dia, quer a nível pessoal, quer a nível profissional. De facto, sem nos apercebermos, fazemos, ao longo da nossa vida, avaliações onde cada indivíduo pode interpretar determinada situação de maneira diferente e onde a experiência de cada um conduz à formulação de juízos de valor. De uma maneira mais concreta, a experiência de cada um pode ajudar-nos essencialmente a discernir o que eventualmente ajudar-nos fará sentir mais confortáveis, ou o que possamos ajustar ou regular as nossas ações enquanto indivíduos. Este é o tipo de avaliação que normalmente se designa como avaliação informal. Segundo Fernandes (2007), “ (…) esta avaliação informal é muitas vezes insuficiente e insatisfatória, pois (…) é muito dependente das experiências, saberes e conceções das pessoas e, por isso, é
30
muito influenciada pelas expectativas e preferências” (pp. 6 e 7). Este tipo de avaliação informal acaba por não ser infinitamente credível.
Por sua vez, a avaliação formal, segundo Lukas, & Santiago (2004) define-se “ (…) como um processo de identificação, recolha e análise de informação relevante, que pode ser definida com um caráter quantitativo e qualitativo, de modo sistemático, rigoroso, objetivo, credível, fiável e válido, para assim poderem emitir-se juízos de valor baseados em critérios e referências pré – estabelecidos, para se determinarem o valor e o mérito do objeto educativo e melhorá-lo” (p.44). Assim, a avaliação formal deve ajudar a clarificar critérios e apresentar claramente o que está na base do juízo avaliativo, permitindo, deste modo, reduzir ou mesmo eliminar a sua possível parcialidade. Como afirma Fernandes (2007), a “avaliação formal tem normalmente uma abrangência e uma profundidade que a avaliação informal, realizada por um indivíduo, não pode ter. Vai para além da evidência que está ao alcance de um indivíduo e proporciona processos avaliativos que são coletivos (sociais) e não meramente individuais” (p.7).
Nesta linha de pensamento, uma avaliação formal permite o desenvolvimento de processos, isto é, os objetivos de atingir uma multiplicidade de propósitos são determinantes na escolha de estratégias e procedimentos avaliativos a utilizar.
É de referir que, apesar de ambas as avaliações terem abordagens diferentes, não deixam de se complementar, pois “ (…) parece certo que, no desenvolvimento de uma avaliação formal, é incontornável a sua interação com as atividades inerentes à avaliação informal “ (Fernandes 2007, p.8).
Segundo Fernandes (2007), a avaliação formal e a avaliação informal podem relacionar-se de modo complexo através das seguintes formas: a avaliação formal é vista como um desenvolvimento e uma melhoria no tipo de conhecimento que é gerado pela
31
avaliação informal, porque o torna mais explícito e mais fundamentado em evidências diversas; a avaliação formal e a avaliação informal geram diferentes tipos de conhecimento que, no mínimo, são considerados potencialmente complementares; a avaliação formal e a avaliação informal desafiam-se e questionam-se mutuamente, sem obedecer a qualquer hierarquia e geram formas interativas de conhecimento.
Objetivos, Fundamentos e Abordagens da Avaliação
Não sendo uma ciência exata, nem uma mera medida, a avaliação não permite inferir conclusões definitivas, isto é, não é possível determos um conjunto de ferramentas que garanta a sua total clareza e certeza, pois os instrumentos usados na avaliação são determinados pelo modo como o avaliador os utiliza.
Quando falamos acerca dos fundamentos da avaliação, referimo-nos à base onde assenta o domínio de conhecimento acerca da Avaliação.
A Avaliação baseia-se em fundamentos filosóficos que se encontram ligados a questões de natureza epistemológica (Qual a natureza da relação entre aquele que quer conhecer e aquilo que se pensa que pode ser conhecido? Como é que quem quer conhecer se relaciona com o conhecimento?); ontológica (Qual a forma e a natureza da realidade? Há uma realidade suscetível de ser conhecida ou estudada de forma objetiva); e
metodológica (Que procedimentos são utilizados por quem quer conhecer para descobrir
o que pensa que pode ser conhecido?) (Guba & Lincoln, 1994 Citado por Fernandes, 2005, p. 91).
Tais questões mencionadas anteriormente são influenciadas por diferentes paradigmas que se exprimem através de pressupostos próprios, dos quais, a título de exemplo, se destacam: o paradigma do positivismo, que assume pressupostos empíricos
32
racionalistas; e o paradigma do construtivismo, que assume pressupostos de racionalidades sociocráticas. Desta forma, podem identificar-se duas grandes abordagens de avaliação: a abordagem criterial que se caracteriza pela procura da objetividade, baseada em critérios, pela distância do avaliador em relação ao objeto a avaliar, pela utilização das metodologias de natureza mais quantitativa e pela pouca participação dos sujeitos envolvidos. Por outro lado, a abordagem experiencial reporta a uma avaliação mais subjetiva e interativa entre o avaliador e os avaliados, com um carácter mais qualitativo nas escolhas metodológicas, e impulsionador face ao envolvimento dos sujeitos inerentes ao processo avaliativo.
A avaliação utiliza uma variedade de abordagens, baseadas em racionalidades mais técnicas e objetivas, valorizando-se metodologias quantitativas, ou em racionalidades mais interpretativas e críticas, onde há uma maior proximidade entre o avaliador e os participantes e se valorizam metodologias mais qualitativas. Assim, estas lógicas podem vir a influenciar as várias abordagens, de acordo com os pressupostos ontológicos, epistemológicos e metodológicos escolhidos.
Alguns autores têm procurado aglomerar as diferentes abordagens em categorias amplas, como é o exemplo de Stufflebeam (2000), referido por Fernandes (2010, pp. 23-24), que propõe quatro categorias: as pseudo - avaliações, cujos resultados são incompletos ou têm pouca validade, como é o exemplo de avaliações controladas politicamente; as quase - avaliações, orientadas pelas questões e pelos métodos, que se caracterizam por resultados que à partida têm limitações ou se demonstram insuficientes para saber o mérito de um objeto, como é o exemplo de avaliações experimentais; as avaliações orientadas para a melhoria e prestação de contas, onde se pretende avaliar o mérito e o valor de um objeto, como é o exemplo de avaliações para a certificação ou
33
acreditação; e as avaliações orientadas por uma agenda social, que visam a transformação e a melhoria da sociedade, ajudando as pessoas a intervir mais nas áreas sociais e políticas.
Segundo Stufflebeam e Shinkfield (2007, p. 14), “ (…) a avaliação desempenha um papel essencial numa sociedade, constituindo-se como uma disciplina omnipresente por se poder observar uma avaliação em todos os aspetos de uma sociedade, fornecendo informações sobre o valor de serviços, produtos e objetos.”
Conceito de Qualidade
Para Reeves e Bednar (1994), não existe uma definição global de Qualidade, pois esta surge em diversas circunstâncias e, por natureza, é influenciada por uma diversidade de fatores que a tornam um conceito complexo.
Demo (2001), citado por Davok (2007), “entende que a qualidade converge com a ideia de bem feito e completo, sobretudo quando o termo se aplica à ação humana, nessa condição, a qualidade é o toque humano na quantidade.” (p. 507)
Para Dourado, Oliveira & Santos (2007), é importante definir a Qualidade e descortinar a possibilidade de construção de dimensões e fatores que expressem relações de: “ (…) a) validade – entre os objetivos educacionais e os resultados escolares, não se reduzindo a médias ou similares; b) credibilidade – tendo em vista elementos que possam ser confiáveis em termos do universo escolar; c) incorruptibilidade – ou melhor, fatores que tenham menor margem de distorção; d) comparabilidade – ou seja, aspetos que permitam avaliar as condições da escola ao longo do tempo” (Darling-Hammond, 1991 citado por Dourado, L. e al 2007, p. 11).
34
Nesta linha de pensamento, o termo Qualidade, tal como referido anteriormente na definição de avaliação, poderá ser discutido sob duas perspetivas: uma baseada no pensamento criterial e outra baseada na experiência pessoal. Na primeira abordagem, se-gundo Fernandes (2013, p.19), “ (…) a qualidade é determinada através da comparação entre as evidências obtidas no processo de avaliação e os critérios definidos de acordo com uma variedade de processos”. Isto é, esta abordagem permite desenvolver medidas de qualidade (qualidade como medida), sendo que esta se pode considerar como sendo real e independente do avaliador. Segundo Stake (2006), um critério aponta para um sen-tido mais descritor ou uma característica de um determinado objeto de avaliação; o con-ceito de standards refere-se à quantidade dessa característica, que é importante e funda-mental para a valorização que atribuímos ao objeto em estudo.
A segunda abordagem, por sua vez, é baseada no pensamento experiencial, isto é, relaciona-se com as experiências vividas, sendo sempre uma construção feita por seres humanos, onde as relações pessoais estão fortemente interligadas. Assim, quando falamos de experiências, de acordo Fernandes (2013), “ (…) a qualidade é essencialmente deter-minada pelas experiências que uma diversidade de intervenientes viveu com os diferentes aspetos do objeto, cuja qualidade se pretende avaliar. A perspetiva da qualidade, como experiência, baseia-se na proximidade entre o avaliador e o objeto de avaliação, no seu contexto.” (p. 21).
Para gerir uma educação com Qualidade, a concetualização e a complementaridade entre critérios são essenciais. Neste âmbito, a eficiência define-se como um critério económico que demonstra a capacidade administrativa de produzir o maior número de resultados com o mínimo de recursos, energia e tempo; por outro lado, a eficácia consiste num critério institucional que demonstra a capacidade administrativa para o cumprimento de metas já estabelecidas; outro critério importante é a efetividade
35
que observa e calcula a capacidade administrativa, para a satisfação das necessidades da comunidade em que se encontra inserida; e, por fim, a relevância, sendo um critério cultural que mede o desempenho administrativo face à sua importância, ao seu significado, valor e apropriação. Deste modo, “no paradigma multidimensional de administração da educação a eficiência é subsumida pela eficácia; a eficácia e a eficiência são subsumidas pela efetividade; a efetividade, a eficácia e a eficiência são subsumidas pela relevância” (Sanders, citado por Davok, 2007, p. 511).
Segundo Dourado e al (2007, p.9) a “ (…) qualidade da educação é um fenômeno complexo, abrangente, e que envolve múltiplas dimensões, não podendo ser apreendido apenas por um reconhecimento da variedade e das quantidades mínimas de insumos considerados indispensáveis ao desenvolvimento do processo de ensino - aprendizagem e muito menos sem tais insumos.” Por sua vez, para Davok (2007, p. 506), “A expressão qualidade em educação (…) admite uma variedade de interpretações dependendo da conceção que se tenha sobre o que esses sistemas devem proporcionar à sociedade (…) Uma educação de qualidade pode significar tanto aquela que possibilita o domínio eficaz dos conteúdos previstos nos planos curriculares; como aquela que possibilita a aquisição de uma cultura científica ou literária; ou aquela que desenvolve a máxima capacidade técnica para servir ao sistema produtivo; ou ainda aquela que promove o espirito crítico e fortalece o compromisso para transformar a realidade social (…) ”.
Fundamentos e critérios da Qualidade
Os processos metodológicos, como a obtenção de feedback formal e informal, o tratamento da informação recolhida, a publicação de relatório de conclusões e medidas de melhoria adotadas; a recolha de (boas) práticas de medição do impacto dos processos
36
de garantia externa da qualidade, e, por fim, o envolvimento dos stakeholders nas práticas explicadas, podem vir a estabelecer aos objetos em estudo, a capacidade de transparência, para responder às necessidades dos envolvidos. Scriven resume, no parágrafo descrito acima (1991, citado por Davok 2007, p. 511), que “um objeto educacional exibe valor quando os seus recursos estão sendo bem aplicados para atender as necessidades dos
stakeholders, exibindo mérito quando faz bem o que propõe a fazer”.
Assim, um objeto educacional tem Qualidade, quando tiver valor e mérito, quer seja num sistema, num processo, ou num programa em curso. É importante que haja as condições necessárias para que o objeto educacional tenha qualidade, tendo em conta os critérios a ela inerentes. Assim, a avaliação e a qualidade devem ser tidas em consideração como instrumentos mobilizadores de novas atitudes e práticas, numa lógica de avaliação dos indivíduos, dos grupos e das próprias instituições, capaz de incrementar práticas de avaliação, onde seja possível o envolvimento, uma participação e o conhecimento coletivo dos diferentes participantes, não esquecendo os critérios nele subjacentes, tal como Davok (2007, p.513) explica: “se um objeto educacional não tiver relevância e efetividade, ele não exibe valor; se não tiver eficácia e eficiência, ele não exibe mérito; por conseguinte, se um objeto educacional não tiver relevância, efetividade, eficácia e eficiência, não exibe qualidade”. É nesta multiplicidade de dimensões da qualidade que reside a sua intangibilidade e onde avaliar é discernir a qualidade (processo sistemático, deliberado para o discernimento da qualidade de um determinado objeto), onde a lógica da avaliação vem ao encontro da lógica científica, na procura sistemática da recolha de dados, formulando juízos e tomando decisões (formular critérios, medi-los, formar um juízo e tomar decisões).
Num contexto mais internacional, a nível educacional, a UNESCO define a Qualidade da Educação como um fenómeno complexo, que deve ser encarado com base
37
em várias perspetivas que garantam dimensões comuns. Segundo o Boletim da Unesco citado por Dourado et al (2007,p.12), a OCDE e a Unesco utilizam como paradigma, para aproximação da Qualidade da Educação, a relação inputs-processos-resultados. Neste sentido, a Qualidade da Educação é definida envolvendo a relação entre os recursos materiais e humanos, bem como a partir da relação que ocorre na escola e na sala de aula, ou seja, os processos de ensino-aprendizagem, os currículos, as expectativas de aprendizagem com relação à aprendizagem das crianças. Destaca, ainda, que a qualidade pode ser definida a partir dos resultados educativos, representados pelo desempenho do aluno. Deste modo, a qualidade da educação como direito fundamental, além de ser eficaz e eficiente, deve respeitar os direitos de todos, ser relevante, pertinente e equitativa.
A Qualidade no Ensino Superior
Segundo o site oficial da DGES (Direção Geral do Ensino Superior), o Ensino Superior português abrange o ensino universitário e o ensino politécnico. O ensino universitário é proporcionado em instituições de ensino universitário públicas e privadas,
que abrangem as universidades, os institutos universitários e outras instituições de ensino universitário. O ensino superior politécnico é centrado nas instituições de ensino público e privado que incluem os institutos politécnicos e outras instituições de ensino politécnico.
No caso específico de uma Instituição do Ensino Superior, é importante garantir a qualidade dos seus ciclos de estudos, tendo em conta a promoção de uma cultura institucional interna de garantia da qualidade.
