Neste capítulo reuniram-se as opções metodológicas em que se baseou este trabalho, a apresentação do problema, da questão e da matriz de avaliação, a seleção e caracterização dos entrevistados e a descrição do desenvolvimento do trabalho.
Planear uma avaliação
Existem várias sugestões para a planificação de uma avaliação (e.g. Westat, 2002; Holden e Zimmerman, 2009), compostas por várias etapas que apoiam um estudo de
avaliação desde a sua conceção até à implementação. Holden e Zimmerman (2009) propõem cinco etapas que não são mutuamente exclusivas, pois, podem sobrepor-se ao longo da planificação. Com esta referência à proposta de Holden e Zimmerman (2009) procura-se apenas apoiar as escolhas realizadas neste estudo sem que esse facto seja restritivo.
De acordo com Holden e Zimmerman (2009) e o seu modelo EPIC – Evaluation Planning Incorporanting Context – as etapas que o compõem, sendo que em cada etapa se tende a convergir para a implementação da avaliação, são11:
Acesso ao contexto (compreender o ambiente político e organizacional; definir a relação entre o avaliador e o patrocinador; determinar o nível da avaliação); Obter reconhecimento (especificar a utilização da avaliação; validar
perspetivas);
Envolver os stakeholders (identificar e convidar stakeholders; definir os papéis dos stakholders e as estruturas para a sua participação; estabelecer processos de grupo para a participação contínua dos stakeholders);
Descrever o programa (determinar a teoria do programa; compreender a história e evolução do programa);
Focar a avaliação (completar uma lista das questões de avaliação; garantir a fiabilidade; priorizar as questões para responder).
Na fase de acesso ao contexto deve ter-se em especial atenção a contextualização da avaliação, isto é, compreender o ambiente político e organizacional, os aspetos
organizacionais, estruturais e circunstanciais do programa (Holden e Zimmerman, 2009). Para Holden e Zimmerman (2009) na fase de obter reconhecimento é importante que o avaliador consiga reforçar a importância da avaliação, para que os envolvidos se comprometam com o processo, e que pense nas suas possíveis utilizações. A fase do
envolvimento dos stakeholders é uma continuação da anterior, na qual estes são identificados, procurando o seu envolvimento no processo, estabelecendo os seus papéis e a comunicação com os envolvidos (idem). As duas fases seguintes poderão ser aquelas que se aproximam mais do planeamento propriamente dito.
Na fase de descrição do programa considera-se relevante a construção da teoria do programa e poderá ser útil desenvolver uma matriz de avaliação. A última fase da
planificação da avaliação é, segundo os autores que se vêm citando, a focagem da mesma. Nesta fase é importante que o avaliador formule as questões de avaliação e selecione o que pretende avaliar e se apoie nos propósitos do estudo a realizar (Holden e Zimmerman, 2009).
Problema, questão e matriz
O problema que se definiu para a realização deste estudo decorreu da necessidade de querer conhecer como seria o funcionamento do SGQE-UNL e a sua execução numa unidade orgânica da UNL. Como anteriormente se referiu, o presente relatório partiu do problema que consistiu em compreender como se relacionam as práticas de gestão de qualidade do Instituto de Higiene e Medicina Tropical (IHMT) com o Sistema de Garantia da Qualidade do Ensino da Universidade Nova de Lisboa (SGQE-UNL). Este foi o problema que se definiu com vista
a estudar como é implementado o SGQE-UNL numa das unidades orgânicas da Universidade NOVA de Lisboa. A opção pela unidade orgânica em causa prendeu-se com o facto de ser uma das unidades orgânicas de dimensão semelhante às outras unidades orgânicas utilizadas para os estudos de avaliação das duas colegas que também realizaram o estágio curricular no Gabinete de Apoio à Qualidade do Ensino. Por outro lado, tornou também que o estudo fosse viável.
Posteriormente definiu-se uma questão de avaliação, com o objetivo de melhor orientar o estudo em causa. A questão, enunciada abaixo, suporta o problema que se
formulou, na medida em que se pretende compreender quais as características, as estruturas e os processos de gestão da qualidade praticadas pelo IHMT, procurando perceber o modo de implementação e de funcionamento do SGQE-UNL no IHMT. A questão de avaliação é então:
De que forma o Sistema de Garantia da Qualidade do Ensino do IHMT se relaciona com o preconizado pelo SGQE-UNL?
Como forma de responder a esta questão construiu-se a seguinte matriz de avaliação (Quadro 2) que contém um objeto e as respetivas dimensões, por forma a focar a avaliação, como defendido por alguns autores como Holden e Zimmerman (2009). A matriz de
avaliação, de acordo com Spaulding (2008, cit in Borralho et al., 2011) “não é mais do que uma esquematização de um plano que permite orientar os avaliadores no terreno e garantir que a informação relevante não deixa de ser recolhida”(p.4). A matriz de avaliação pode ser usada como uma “ferramenta (…) que ajuda a organizar as questões de avaliação em torno de dos domínios e objetivos identificados”12 (Holden e Zimmerman, 2009, p.23), sendo por isso
útil também para focar a avaliação. O foco da avaliação é importante, como se viu
anteriormente, para procurar assegurara a viabilidade da avaliação. Segundo Rossi et al. (2004, cit in Holden e Zimmerman, 2009) “deve ser encontrado um equilíbrio entre o que se deseja da avaliação e o que é exequível em termos de recursos disponíveis” 13 (p.10).
Considerou-se como objeto as práticas de gestão da qualidade do IHMT e como dimensões: as estruturas de gestão da qualidade, a relação que existe com os órgãos centrais do SGQE-UNL, como é feita a recolha de dados, divulgação dos resultados e
constrangimentos que advém dessas práticas de gestão da qualidade. Como se viu
anteriormente o SGQE-UNL atribui autonomia às unidades orgânicas para a implementação do Sistema, quer ao nível da criação dos órgãos locais, quer ao nível dos instrumentos e procedimentos utilizados, daí que se justifique o estudo do funcionamento do SGQE-UNL geral numa unidade orgânica. Importa, no fundo, compreender como se processa a garantia da qualidade do ensino nessa unidade orgânica e que relação pode ser estabelecida entre o preconizado pelo SGQE-UNL a nível central e a nível local.
Objeto Dimensões
Práticas de gestão da qualidade do IHMT
Estruturas de gestão da qualidade
Relação com os órgãos centrais SGQE- UNL
Processos de recolha de dados
Processos de divulgação dos resultados Quadro 2. Matriz de Avaliação
Metodologia
A investigação qualitativa, que suporta o presente trabalho, não se caracteriza apenas pela natureza qualitativa dos dados. De acordo com a citação seguinte, a investigação
qualitativa caracteriza-se por: “a fonte direta de dados é o ambiente natural, constituindo o investigador o instrumento principal” (Bogdan e Biklen, 1994, p.47). Além disso, é descritiva e dá maior ênfase ao processo do que aos resultados. Neste sentido, a análise dos dados é indutiva e o significado é muito relevante para a investigação (Bogdan e Biklen, 1994).
A Figura 5 exemplifica como se desenvolveu o processo de recolha de informação para este relatório. Realizaram-se cinco entrevistas semidiretivas a seis participantes, sendo que a última entrevista (Entrevistadas E) incluiu a auscultação de três intervenientes, uma das quais também foi entrevistada na primeira fase de entrevistas. Inicialmente, e com o objetivo de caracterizar e compreender o SGQE-UNL, entrevistou-se três pessoas, das quais uma esteve envolvida no processo inicial da conceção e implementação do SGQE-UNL
(Entrevistada A), e as outras duas pessoas (Entrevistadas B e C) são as atuais responsáveis pela coordenação e monitorização do SGQE-UNL. Esta primeira fase de caracterização do SGQE-UNL permitiu criar as bases para sustentar a segunda fase do relatório, a do estudo das práticas de gestão da qualidade no IHMT. Também nesta segunda fase se recorreu à entrevista semidiretiva ao Responsável pela garantia da qualidade do ensino (Entrevistado D) naquela unidade orgânica.
Destas quatro entrevistas emergiu um constrangimento do SGQE-UNL referido por dois dos quatro entrevistados até ao momento: a não implementação do Sistema na avaliação da qualidade do ensino nos cursos de 3.º Ciclo. A não avaliação do 3.º Ciclo foi referida como uma lacuna do SGQE-UNL e constituiu-se numa oportunidade para recolher novos dados para o presente relatório. Desta forma procurou-se saber mais informações sobre algumas práticas de avaliação da qualidade nos cursos de 3.º Ciclo, que pelo seu cariz facultativo neste Ciclo, são inspiradas nos mecanismos utilizados pela NOVA Escola Doutoral. Para tal,
entrevistou-se três colaboradoras da NOVA Escola Doutoral (Entrevistadas E), uma com o duplo papel de membro da equipa e de participante nos cursos, outra como membro da equipa
e como coordenadora de um dos cursos e outra como membro da equipa e como estudante de doutoramento na Universidade NOVA de Lisboa (tendo sido também a Entrevistada A). A contribuição de todas elas revelou-se importante para saber quais os mecanismos e como funcionam, mas também que perceções possuíam sobre a avaliação da qualidade no 3.º Ciclo.
Para assegurar a fiabilidade e a validade das informações recolhidas foram enviados os protocolos das entrevistas efetuadas e as sínteses das mesmas aos participantes no processo de recolha das informações.
Seleção e caracterização dos entrevistados
Amado (2013) recomenda que os entrevistados sejam considerados “como
«testemunha privilegiada» ” (Quivy e Campenhoudt, 1998, p.71 cit in Amado, 2013, p.214) Figura 5. Recolha da informação para o relatório de estágio.
estatuto, etc., estejam envolvidas ou em contacto muito próximo com o problema que se quer estudar” (Amado, 2013, p.214). Por essas razões a escolha dos entrevistados é um momento importante para a recolha de dados.
Os participantes entrevistados foram indicados pela Profª. Patrícia Rosado Pinto, uma das pessoas que integrou a equipa de conceção do SGQE-UNL e também uma das pessoas que acompanhou o trabalho desenvolvido no âmbito do estágio curricular. Os
entrevistados participaram voluntariamente e a escolha dos mesmos foi deliberada consoante as funções que ocupavam em relação ao objeto em estudo (Figura 6), à sua disponibilidade e aos conhecimentos que possuíam. Isto é, para cada uma das fases que foi necessária a recolha de informação através de entrevistas, foram entrevistadas as pessoas que detinham os
conhecimentos e as informações necessárias. Foram, portanto, as “testemunhas privilegiadas” (Quivy e Campenhoudt, 1998 cit in Amado, 2013). Optou-se por manter os entrevistados em anonimato, fazendo contudo referência aos cargos ou funções que desempenham no SGQE- UNL e na Universidade NOVA de Lisboa.
Como já foi referido, para a caracterização do SGQE-UNL entrevistou-se uma das pessoas, a entrevistada A, que acompanhou o processo de criação e implementação do SGQE-UNL desde o início, considerando-se um elemento importante para uma primeira aproximação ao SGQE-UNL e à sua contextualização. É atualmente responsável pela Qualidade do Ensino no 3.º Ciclo da UNL.
Entrevistada A
- Envolvida no processo inicial da conceção e implementação do SGQE- UNL
- Membro da equipa NOVA Escola Doutoral (NED)
- Estudante de doutoramento na Universidade NOVA de Lisboa - Qualidade do Ensino no 3.º Ciclo de Estudos
Entrevistada B - Atual responsável pela coordenação e monitorização do SGQE-UNL
Entrevistada C - Atual responsável pela coordenação e monitorização do SGQE-UNL
- Pró-reitora do pelouro da Qualidade do Ensino da UNL
Entrevistado D
- Responsável pela Garantia da Qualidade do Ensino do IHMT - Presidente do Conselho Pedadógico do IHMT
Entrevistadas E
I- Membro da equipa NED e participante nos cursos II- Membro da equipa NED e coordenadora de um dos cursos III- Membro da equipa NED e estudante de doutoramento na Universidade
NOVA de Lisboa
Figura 6. Funções ocupadas pelos entrevistados.
Posteriormente, para compreender a implementação do SGQE-UNL entrevistou-se duas pessoas que são atualmente responsáveis pelo processo, a atual responsável pelo SGQE- UNL no GAQE no 1.º e 2.º Ciclos (Entrevistada B) e a atual Pró-Reitora responsável pelo pelouro da Qualidade do Ensino da UNL (Entrevistada C). Ambas se revelaram disponíveis para dar a conhecer o atual funcionamento do SGQE-UNL, as alterações que este sofreu, os problemas, desafios e as potencialidades. Considera-se que estas três pessoas desempenharam um papel fundamental para a recolha de informações sobre o funcionamento do SGQE-UNL contribuindo para a sua compreensão e contextualização.
Posteriormente, numa segunda fase deste estudo de avaliação, entrevistou-se o Responsável pela qualidade do ensino no IHMT (Entrevistado D) constituindo-se num elemento de informação privilegiado acerca do processo de implementação do SGQE-UNL no IHMT. O Responsável pela qualidade do ensino no IHMT revelou-se uma importante fonte de informação, bom conhecedor da realidade da sua unidade orgânica e do
funcionamento do SGQE a nível central e a nível local. Mostrou-se muito disponível e interessado pela escolha do tema deste estudo e aberto a mostrar as suas opiniões em relação ao que considerava ser bom e menos bom no funcionamento do SGQE. Fazendo parte de uma unidade orgânica de pequena dimensão permitiu revelar o seu conhecimento de perto do funcionamento dessa instituição e da implementação do Sistema.
Considerou-se ainda necessário entrevistar três membros da equipa da NOVA Escola Doutoral (Entrevistadas E) que assumem também funções de coordenação de um dos cursos, o papel de participante nos cursos e o papel de estudante de doutoramento na Universidade NOVA de Lisboa. São pessoas que ao assumirem papéis de funcionárias não docentes da UNL, pois integram a equipa da NOVA Escola Doutoral, e ao mesmo tempo funções de coordenação e de participantes nos cursos permitem obter outras perspetivas sobre o tema em estudo. Esta entrevista foi realizada por e-mail, ao contrário das outras anteriores que foram presenciais.
É certo que os entrevistados escolhidos para fornecer as informações que serviram de base a este relatório são pessoas que ocupam funções dentro do próprio SGQE-UNL e, sabe-se que se corre o risco de enviesamento ao integrar apenas as perceções desses
participantes, contudo considerou-se que seriam elementos-chave para o desenvolvimento do trabalho e para ir ao encontro do problema, da questão e das dimensões formuladas.
Entrevista semidiretiva
Na sequência do que anteriormente foi referido considera-se que a entrevista é a metodologia mais adequada para explorar as características do contexto e dos objetos do estudo. De acordo com Bogdan e Biklen (1994) “uma entrevista consiste numa conversa intencional, geralmente entre duas pessoas, embora por vezes possa envolver mais pessoas (Morgan, 1998), dirigida por uma das pessoas, com o objetivo de obter informações sobre a outra” (p.134). Para Quivy e Campenhoudt (1998, p.193 cit in Amado e Ferreira, 2013) “a entrevista é o método adequado para a «análise do sentido que os atores dão às suas práticas e aos acontecimentos com os quais se veem confrontados: os seus sistemas de valores, as suas referências normativas, as suas interpretações de situações conflituosas ou não, as leituras que fazem das próprias experiências, etc.” (p.207). A entrevista semidiretiva parece ser o método de recolha de dados mais adequada para os objetivos do trabalho, além da análise
documental, pois, neste tipo de entrevista “as questões derivam de um plano prévio, um guião onde se define e regista, numa ordem lógica para o entrevistador, o essencial do que se
pretende obter, embora na interação se venha a dar uma grande liberdade de resposta ao entrevistado” (Amado e Ferreira, 2013, p.208). Foram construídos os guiões das entrevistas que se encontram nos Anexos C, J, N e Q.
Análise de conteúdo
Posteriormente à recolha de dados através da entrevista semidiretiva e da consulta de documentos é recomendada a utilização da análise de conteúdo. No caso deste estudo esta técnica de análise de dados foi aplicada aos protocolos das entrevistas realizadas e ao documento das Bases Gerais do SGQE-UNL (Anexos B, E, H, L, P e S). É uma técnica ou método, sendo uma questão que divide vários autores (Amado, 2013), e desta forma tem diferentes propósitos. Se considerada como técnica a análise de conteúdo “deve responder
aos critérios habituais a qualquer modo de observação: objetividade, fidelidade, validade e discriminação” (Amado, 2013, p.305); se considerada método, a “análise de conteúdo torna- se um procedimento básico da investigação qualitativa (Bogdan e Biklen, 1994, p.220) muito especialmente se o objetivo é, mais do que corroborar e ilustrar teorias, procurar desenvolvê- las de raiz, a partir de dados” (Amado, 2013, p.305). A análise de conteúdo é uma técnica de tratamento e de análise de dados e Bogdan e Biklen (1994, cit in Amado, 2013) consideram que “a análise envolve o trabalho com os dados, a sua organização, divisão em unidades manipuláveis, síntese, procura de padrões, descoberta de aspetos importantes do que deve ser apreendido e a decisão do que vai ser transmitido aos outros” (p.299). A análise de conteúdo é “uma técnica que aposta claramente na possibilidade de fazer inferências interpretativas a partir dos conteúdos expressos, uma vez desmembrados em 'categorias'“ (Amado, 2013, p.300).
Segundo Bardin (1995) trata-se de “um método muito empírico, dependente do tipo de «fala» a que se dedica e do tipo de interpretação que se pretende como objetivos” (p.31), cujo propósito não é descrever os conteúdos mas sim interpretá-los recorrendo à
categorização (Bardin, 1995). A análise de conteúdo é composta por quatro fases principais: a organização e análise, a codificação, a categorização e a inferência (Bardin, 1995). Para construir boas categorias de análise, parte central da análise de conteúdo, estas devem ser, segundo Bardin (1995): homogéneas (não misturar elementos que pertencem a outras categorias), exaustivas (“esgotar a totalidade do «texto» ” (p.36), exclusivas (“um mesmo elemento do conteúdo, não pode ser classificado aleatoriamente em duas categorias diferentes” (p.36), objetivas (“codificadores diferentes, devem chegar a resultados iguais” (p.36) e pertinentes (“adaptadas ao conteúdo e ao objetivo” (p.36). Contudo, esta
categorização é uma forma artificial de se organizar a informação recolhida mas um método útil para agregação e análise de informação (Bardin, 1995).
A análise de conteúdo é uma técnica de tratamento e de análise de dados e, Bogdan e Biklen (1994, cit in Amado, 2013) consideram que “a análise envolve o trabalho com os dados, a sua organização, divisão em unidades manipuláveis, síntese, procura de padrões, descoberta de aspetos importantes do que deve ser apreendido e a decisão do que vai ser transmitido aos outros” (p.299). Amado (2013) refere-se à análise de conteúdo como um método ou técnica que permite realizar inferências sobre dados recolhidos: é “uma técnica que aposta claramente na possibilidade de fazer inferências interpretativas a partir dos conteúdos expressos, uma vez desmembrados em 'categorias' ” (Amado, 2013, p.300).
No Quadro 3 podem observar-se as tarefas desenvolvidas neste estudo. A construção dos instrumentos de recolha de informações, a sua aplicação e a análise dos dados obtidos ocorreram em diferentes momentos ao longo do estágio, tendo sido necessário, por vezes, ajustar esta calendarização das tarefas.
Quadro 3. Cronograma das tarefas do estágio curricular.
Meses
Tarefa
Out. Nov. Dez. Jan. Fev. Mar. Abr. Maio Jun.
Análise de documentos x x x Construção de instrumentos de recolha de informação x x x Aplicação dos instrumentos de recolha de informação x x x x x Análise e tratamento de dados x x x x x Redação do relatório final de estágio x x