ETAPA 1 DO FRAMEWORK : Planejamento

Inicialmente vale considerar que, conforme visualizado na revisão da literatura, a etapa de planejamento visa o alinhamento do contexto dos processos com os objetivos da organização. Dessa forma, será abordado a seguir cada passo proposto para essa etapa no framework apresentado na Figura 10, mediante os resultados da aplicação no contexto do curso de mestrado acadêmico que foi selecionado.

4.3.1.1 ―Identificar a área que o programa de pós-graduação é credenciado na CAPES e os objetivos da avaliação‖:

Em razão das informações estratégicas apresentadas nesta pesquisa, tais como resultado de avaliações anteriores, adotou-se como estratégia não revelar o nome do curso que será objeto desta investigação científica.

Como características principais pode-se citar que o programa de mestrado acadêmico selecionado para este Estudo de Caso pertence à Universidade Federal do Rio Grande do Norte, vinculado ao Centro de Ciências da Saúde - CCS. Credenciado há 10 anos junto na CAPES, o referido programa de mestrado acadêmico é da área de saúde e enfrenta o desafio de melhorar o conceito de avaliação CAPES, que hoje possui nota 4.

Na pré-análise do documento de área CAPES para o curso de mestrado selecionado, foi compreendido que esses objetivos estão organizados em cinco dimensões de avaliação, a saber: ―1- Proposta do programa‖; ―2 - Corpo docente‖; ―3- Corpo discente teses e dissertações‖; ―4- Produção intelectual‖ e ―5- Inserção social‖ e serão explicadas no passo a seguir.

4.3.1.2 ―Conhecer os objetivos de avaliação da CAPES e extrair indicadores que possuem maiores representatividades para o resultado da avaliação‖:

Cada dimensão de avaliação possui um peso para o conceito geral da avaliação, mas, vale destacar que a ―1- Proposta do Programa‖ é uma dimensão de avaliação qualitativa e, para que os demais critérios sejam avaliados, o Programa deve ser coerente na proposta, contemplando às exigências que são estabelecidas para apresentação dessa dimensão de avaliação. Assim, essa dimensão de avaliação não possui um percentual definido no documento de área como peso para a nota geral, justamente por ter um caráter qualitativo, contudo, pode comprometer todo resultado da avaliação, caso não atenda aos requisitos que são observados pela CAPES.

Para a área do curso selecionado, a dimensão de avaliação relacionada ao "2- corpo docente" equivale ao peso de 20% do conceito global da avaliação realizada pela CAPES. Já o critério ―3- Corpo discente, teses e dissertações‖, possui peso de 30% do conceito geral da avaliação. Em seguida e, com representatividade ainda mais relevante, o critério relacionado à dimensão de avaliação ―4- Produção intelectual‖ apresenta um peso de 40% da nota da avaliação geral da área do Programa selecionado. Quanto ao critério "5- inserção social" contempla 10% do peso global da avaliação da área do Programa de Pós-graduação selecionado. A Figura 11 abaixo faz uma síntese da representatividade de cada dimensão de avaliação da CAPES:

Figura 11 - Representatividade no resultado global da avaliação CAPES para área do Programa

Diante da constatação as duas dimensões de avaliação que, se somadas, correspondem à 70% do resultado da avaliação para área do programa de mestrado escolhido, quais sejam, ―3- Corpo discente, teses e dissertações‖ e ―4- Produção Intelectual‖, será realizado um detalhamento específico de forma a extrair informações importantes desses objetivos de avaliação que serão observadas nas fases seguintes do framework, conforme visualizado a seguir:

 Detalhamento da dimensão de avaliação da CAPES ―3- Corpo discente, teses e dissertações‖:

Esta dimensão de avaliação compreende a 30% da nota geral da avaliação CAPES para a área do Programa de Pós-graduação selecionado, esta dimensão de avaliação contempla indicadores que são observados para pontuação, conforme explorados adiante.

Um dos indicadores observados é a ―quantidade de teses e dissertações defendidas no período de avaliação, em relação ao corpo docente permanente e à dimensão do corpo discente‖. Conforme Documento de Área CAPES (2016) o propósito é ―avaliar a proporção de teses e dissertações concluídas em relação ao corpo docente permanente (adequar os critérios quantitativos em relação aos novos docentes permanentes; Avaliar a proporção de titulações em relação à dimensão do corpo discente)‖.

Outro indicador considerado nesta dimensão de avaliação é a ―distribuição das orientações das teses e dissertações defendidas no período de avaliação em relação aos docentes do programa‖, que tem como objetivo avaliar a proporção entre o número de orientandos e o número de orientadores, bem como a distribuição equitativa.

Ainda é observado nesta dimensão de avaliação o indicador relacionado à ―qualidade das Teses e Dissertações e da produção de discentes autores da pós-graduação e da graduação (no caso de IES com curso de graduação na área) na produção científica do programa, aferida por publicações e outros indicadores pertinentes à área‖. Esse indicador cuida de ―avaliar a proporção de discentes e egressos autores (titulados nos últimos quatro anos) com publicações em relação à dimensão do corpo discente, como também avalia a produção do corpo discente em eventos científicos: trabalhos apresentados, resumos em anais, entre outros. Além disso, se propõe a qualificar a produção discente com base no qualis periódicos da área.

Também se encontra nesta dimensão de avaliação o indicador relacionado à ―eficiência do Programa na formação de mestres e doutores bolsistas: tempo de formação de mestres e doutores e percentual de bolsistas titulados‖. O propósito deste indicador é avaliar o tempo médio de titulação de bolsistas em nível de Mestrado.

 Detalhamento da dimensão de avaliação da CAPES ―4- Produção Intelectual‖:

A dimensão de avaliação da CAPES relacionada à Produção Intelectual corresponde a 40% da nota geral da avaliação da área do Programa de Pós-graduação selecionado. Assim, essa dimensão de avaliação também contempla indicadores que são observados pela CAPES. Neste estudo serão explorados os indicadores críticos apontados no resultado da avaliação anterior do Programa de Pós-graduação selecionado, conforme explanados a seguir.

Um dos indicadores críticos observados, que também foi uma oportunidade de melhoria identificada no resultado da avaliação anterior do Programa de Pós-graduação selecionado é calculado da seguinte forma: ―pontos por artigos com discentes + egressos/número de docentes permanentes, considerando a média do quadriênio de acordo

com a relação: (artigos com discentes + egressos X peso relativo Qualis) / total de docentes permanentes no final de cada ano‖. Isso demonstra cada vez mais a importância do trabalho integrado entre docentes e discentes na produção intelectual.

A ―produção técnica, patentes e outras produções consideradas relevantes‖ é outro indicador observado e apontado como uma oportunidade de melhoria na avaliação anterior do Programa de pós-graduação estudado. Conforme Documento de avaliação CAPES da área do Programa de Pós-graduação selecionado, são observados para o atendimento deste indicador:

 Depósitos e licenciamentos de patentes e produtos, processos e protótipos;  Livros e capítulos de livros;

 Elaboração de documentos para agências internacionais, instituições nacionais, estaduais e municipais relacionadas com a área farmacêutica, desde que tenham sido publicados em meio impresso ou eletrônicos;

 Participação dos docentes em comissões e comitês técnicos relacionados com a política de saúde e de desenvolvimento científico e tecnológico;

 Participação de docentes na editoria de periódicos científicos da área;

 Elaboração de normas, protocolos e programas da área das ciências farmacêuticas;

 Consultorias e assessorias no âmbito da política de saúde e de desenvolvimento científico e tecnológico.

4.3.1.3 ―Analisar resultado anterior da avaliação CAPES e extrair oportunidades de melhorias‖:

Essas dimensões de avaliação da CAPES apresentadas anteriormente recebem conceitos com a seguinte classificação: "fraco", "regular", "bom" e "muito bom". Observado o resultado da avaliação do quadriênio anterior (2013-2016) do curso de mestrado selecionado, constatou-se que as únicas dimensões de avaliação que não obtiveram o conceito máximo estão relacionadas ao "3- Corpo discente, teses e dissertações" e a "4- Produção intelectual", conforme Quadro 3 adiante:

Quadro 3 - Visão geral do resultado da avaliação CAPES para o Programa Selecionado

Na análise desses dados foi encontrada a oportunidade de melhoria deve contemplar o alinhamento de um processo com os objetivos de avaliação da CAPES relacionados com as dimensões de avaliação "3- corpo discente, teses e dissertações" e "4- produção intelectual", por apresentarem fragilidades na avaliação anterior, de modo a não alcançar o conceito máximo. Além disso, esses fatores de avaliação são fundamentais para que o Programa de pós-graduação selecionado melhore o desempenho, visto que a soma desses dois critérios corresponde a 70% do resultado geral da avaliação, com base no Documento de Área analisado.

Quadro 4 – Resultados de avaliação da CAPES no quadriênio 2013-2016 para o mestrado selecionado ―3- Corpo Discente, Teses e Dissertações‖:

Durante o quadriênio, o Programa titulou 98 mestres. O Programa manteve uma média de 46,25 alunos matriculados de mestrado. O número médio de orientações (ano) por docente permanente encontra-se acima do percentil qualificado “Muito Bom”, mas o número de titulados em relação ao número de matriculados ano encontra-se no percentual qualificado como “Regular” para mestrado. A distribuição das orientações de dissertações e teses defendidas no período em relação aos docentes do programa encontra-se no percentil 50 qualificado como “Muito Bom” na área. A razão de discentes com publicações em relação ao número total de publicações encontra-se no percentil qualificado como “Regular” na área, mas a publicação de egressos e produção com discentes em relação à média dos docentes permanentes foi qualificada como “Bom”. A eficiência do Programa na formação de mestres foi de 23,84 meses, qualificado como “Muito Bom”.

PONTO PARÂMETRO PESO AVALIAÇÃO

01 Proposta do Programa 0,0 Muito Bom

02 Corpo Docente 20,0 Muito Bom

03 Corpo Discente, Teses e Dissertações 30,0 Bom

04 Produção intelectual 40,0 Bom

05 Inserção social 10,0 Muito Bom

―4- Produção intelectual‖:

Com relação à produção intelectual, os professores permanentes publicaram durante o quadriênio mais de 250 artigos em revistas qualificadas, conforme distribuição apresentada, segundo a estratificação de periódicos Qualis. Uma análise comparativa mostra que a produção científica qualificada e a sua distribuição com relação aos docentes permanentes do Programa foi qualificada com um atributo “Regular” e a produção de artigos com egressos foi qualificada como “Bom”. A distribuição de publicações qualificadas em relação ao corpo docente permanente do Programa apresentou um percentil qualificado com “Bom” na área. A produção técnica, patentes e outras produções consideradas relevantes foram qualificadas como “Fraco” na área.

Fonte: Ficha de avaliação CAPES do Programa de Pós-graduação selecionado

Nos tópicos abaixo é possível visualizar o detalhamento dessas dimensões de avaliação consideradas críticas diante de suas respectivas representatividades e oportunidades de melhorias identificadas nas avaliações anteriores.

4.3.1.4 ―Selecionar um processo com relação direta com os indicadores selecionados‖: Diante da necessidade de selecionar um processo que tivesse relação direta com as dimensões de avaliação relacionados ao ―3- Corpo discente teses e dissertações‖ e ―4- Produção intelectual‖, foi realizado o questionamento ao coordenador do mestrado acadêmico selecionado sobre quais seriam os processos essenciais que podem impactar na atividade do curso. A partir desses processos elencados elaborou-se, juntamente com a coordenação, um quadro que relaciona esses processos com os indicadores de avaliação CAPES para cada dimensão de avaliação considerada crítica (―3- Corpo discente teses e dissertações‖ e ―4- Produção intelectual‖).

O Quadro 5 abaixo demonstra que, na ótica do coordenador do curso, em relação ao processo de seleção de discentes e de credenciamento de docentes, o processo de controle acadêmico possui relação direta com todos os indicadores das dimensões de avaliação CAPES identificadas como críticas na etapa 1 do framework.

Assim o processo de controle acadêmico foi escolhido para análise e proposições de melhorias nesta etapa do framework, uma vez que o fluxo compreendido desde a entrada do aluno até a formação desse discente tem total relevância para ser explorado na busca do alinhamento com as dimensões de avaliação CAPES supracitadas, já que tanto as

dissertações, quantos as produções intelectuais, oriundas dos projetos de pesquisa dos alunos, estão contempladas nessas dimensões de avaliação da CAPES, que se traduzem em objetivos a serem alcançados pelo curso.

Quadro 5 - Relação dos principais processos com os objetivos3 _{de avaliação CAPES selecionados}

PRINCIPAIS PROCESSOS DO MESTRADO ACADÊMICO SELECIONADO NA ÓTICA DA COORDENAÇÃ O DO CURSO

INDICADORES DA CAPES SELECIONADOS

―3- Corpo Discente, Teses e Dissertações‖ ―4- Produção Intelectual‖

Tempo médio de titulação de bolsistas em nível de Mestrado Número de alunos titulados no Mestrado /Número de matriculad os Número médio de orientações por docente permanente (Número de orientações/ Total de docentes permanentes) Prêmios de teses e dissertações Produção de artigos (expressa em pontos) com discentes Publicações com autoria discente/ Total de publicações Seleção de discentes X X X Credenciamento de docentes X X Controle acadêmico dos discentes X X X X X X

"X" - Relação direta4 _{com o indicador CAPES.}

Fonte: Dados da pesquisa (2019) - Modelo adaptado de MÜLLER (2014).

Diante da análise apresentada, na etapa 2 do framework realizou-se a análise do processo escolhido e a identificação de problemas e oportunidades de melhorias para o processo escolhido, buscando o alinhamento desse processo com os objetivos da avaliação CAPES.

3 _{Os critérios e indicadores de avaliação CAPES são tratados nesta pesquisa como ―objetivos de avaliação‖,}

uma vez que se traduzem em um fundamental alvo a ser atingido por um programa de pós-graduação stricto

sensu, se caracterizando como uma questão estratégica para esse contexto. 4

A classificação de ―relação direta‖ do processo com os respectivos indicadores de avaliação da CAPES é dada pela compreensão da coordenador do Programa de mestrado acadêmico sobre os impactos que cada processo pode causar nos indicadores de avaliação da CAPES.