Mudanças na Avaliação dos Programas de Pós-Graduação das Eng III: Perspectivas

(1)

Mudanças na Avaliação dos

Programas de Pós-Graduação das

Eng III: Perspectivas

Edgar Nobuo Mamiya - UnB

Ana Paula Cabral Seixas Costa - UFPe

Osmar Possamai – UFSC

Setembro de 2018

(2)

Organização da apresentação

• Breve diagnóstico da pós-graduação nas Engenharias III • Diretrizes para as mudanças

• Propostas de mudança

• Qualis – perspectivas de evolução

(3)

Avaliação da Pós-Graduação no Brasil

Objetivos da Avaliação:

• Certificação da qualidade da pós-graduação brasileira (referência para a distribuição de bolsas e recursos para o fomento à pesquisa);

• Identificação de assimetrias regionais e de áreas estratégicas do conhecimento no SNPG para orientar ações de indução na criação e expansão de programas de pós-graduação no território nacional.

fonte: http://capes.gov.br/avaliacao/sobre-a-avaliacao

(4)

O Sistema Nacional de Pós-Graduação - SNPG

• 49 áreas de avaliação • Organizados em 3 Colégios • 4332 programas de pós-graduação: • 3486 cursos de Mestrado • 2198 cursos de Doutorado

• 765 cursos de Mestrado Profissional

(5)

Em Fev-2018, o CTC-ES aprovou um conjunto de recomendações para o

aperfeiçoamento da Avaliação dos Programas de Pós-Graduação.

O documento concorda com manifestações de sociedades científicas:

“Apesar dos avanços expressivos, há necessidade de:

➢maior foco na Qualidade da formação dos Doutores e Mestres e

➢simplificação do processo de avaliação”

5

(6)

1857 1873 2099 2274 0 500 1000 1500 2000 2500 2013 2014 2015 2016

Mestres - Eng III

458 456 535 597 0 100 200 300 400 500 600 700 2013 2014 2015 2016 Doutores - Eng III

93 cursos de Mestrado

26 cursos de Mestrado Profissional 8103 Mestres titulados no quadriênio

57 cursos de Doutorado

2056 Doutores titulados no quadriênio

Engenharias III: titulação de Mestres e Doutores

(7)

Qualidade dos Doutores e Mestres titulados

O que a define?

• Base sólida de formação e

• Capacidade autônoma de produção do conhecimento

Quais são os indicadores de qualidade dos Doutores e Mestres?

(8)

Qualidade da formação do Doutor e do Mestre

• Avaliada pela análise, no Quesito 1:

• Da proposta curricular: número de créditos, disciplinas obrigatórias, • do elenco de disciplinas e aderência às linhas de pesquisa

• das ementas e bibliografia das disciplinas • da periodicidade na oferta das disciplinas • ...

(Indicadores de Processo...)

Efetividade desta análise?

Somente quando insuficiências graves são detectadas...

(9)

2389 2073 3201 986 1892 ₁₇₈₇ 2746 2295 1761 869 ₇₆₀ 1194 435 762 856 1390 ₁₁₇₇ 880 0 1000 2000 3000 4000 A1 A2 B1 B2 B3 B4 B5 C NPC Eng III - 2013 a 2016

Total Com Disc e/ou Egressos

Pouco mais de 1/3 (38 %) dos artigos publicados em periódicos indexados no WoS ou Scopus (estratos A1 a B3) têm coautoria de discentes ou egressos

9

4020 / 10541 = 38%

Produção do conhecimento por discentes e egressos

– Engenharias III

(10)

Apenas 21% do total de artigos publicados pelos docentes permanentes no quadriênio: (i) têm coautoria de discentes ou egressos e (ii) foram publicados

em periódicos com indicadores de citação (indexados no WoS ou Scopus)

10

Produção do conhecimento por discentes e egressos

(11)

52% dos artigos com discentes ou egressos:

- não exibem indicadores de citação ou

- foram publicados em mídias não classificáveis como periódicos

11

Produção do conhecimento por discentes e egressos

(12)

A maioria dos

17 itens

da Avaliação define

Indicadores de Processo

:

• 2.2.1. Disciplinas ministradas na pós-graduação

• 2.3. Distribuição das atividades de pesquisa e de formação entre os docentes

• 2.4. Contribuição dos docentes p/ atividades de ensino e/ou pesquisa na graduação • 3.1. Quantidade de teses e dissertações defendidas

• 3.2. Distribuição das orientações concluídas entre os docentes • 3.4. Tempo de titulação de mestres e doutores bolsistas

• 4.2. Distribuição da produção intelectual entre os docentes • ...

Os itens não deveriam estar concentrados em

Indicadores de Resultado

?

• 3.3. Qualidade das Teses e Dissertações e da Produção de Discentes

12

(13)

Efeitos colaterais

do processo atual de avaliação: 1

Diversos indicadores quantitativos – de processo – não estão relacionados com a qualidade da formação:

• Tempo de titulação

• Número de titulações/orientador/ano • Carga horária dos docentes ...

e têm levado à:

titulação de

número crescente de Doutores e Mestres

,

mas

à revelia da qualidade de suas formações

(14)

Efeitos colaterais

do processo atual de avaliação: 2

O número excessivo de itens de avaliação, 17, faz com que o aspecto fundamental da avaliação – item 3.3: qualidade da formação do Mestre ou Doutor ... (indicador de resultado) – se dilua entre os indicadores (21)

O ruído é maior que o sinal ...

(15)

Efeitos colaterais

do processo atual de avaliação: 3

Os indicadores, tais como definidos atualmente (quocientes com docentes no

denominador) estão levando a reduções sistemáticas do número de docentes dos programas, tendendo perigosamente para o mínimo (10) estabelecido pela área

Docentes que privilegiam a qualidade de suas produções intelectuais e da

formação de sues orientandos – em detrimento da quantidade – estão sendo expurgados de programas consolidados

Esta tendência, na área das Engenharias III (e provavelmente em diversas outras), vai

de encontro à consolidação de programas de pós-graduação...

(16)

Grupo de Trabalho: Ficha de Avaliação

PORTARIA CAPES Nº 148, DE 4 DE JULHO DE 2018

Instituiu o Grupo de Trabalho (GT) da Ficha de Avaliação

Proposta de nova Ficha de Avaliação: será apresentada aos Coordenadores de Área

em 03 de outubro de 2018.

Novo Documento de Área: até o final de 2018.

Qualis de referência – (http://www.capes.gov.br/seminario-avaliacao-producao/) Avaliação parcial, em meados de 2019

(17)

17

Nova Ficha de Avaliação

– Diretrizes propostas pelo GT

• Foco na qualidade da formação de Doutores e Mestres.

• Redução do número de quesitos e itens

, destacando aqueles que

verdadeiramente discriminam a qualidade dos programas, dando

ênfase à formação discente.

(18)

Nova Ficha de Avaliação – proposta do GT

1. Proposta do Programa

Áreas de concentração, linhas de pesquisa, proposta curricular, perfil do corpo docente, autoavaliação, planejamento, infraestrutura

2. Formação

Atuação dos docentes em pesquisa e formação, qualidade e adequação das teses

e dissertações, qualidade da produção discente (*)

3. Impactos Acadêmico, Social e Econômico

Impacto da produção acadêmica, técnica ou inovadora, destino e atuação dos egressos, resultados das ações de inserção social, visibilidade nacional e

internacional

18

(*) mínimo de 70% do quesito

Nota 5 : “Muito Bom” nos três quesitos

Nota 4: No mínimo “Bom” nos três quesitos Nota 3: No mínimo “Regular” nos três quesitos

(19)

Propostas da Eng III: avaliação da qualidade

• Avaliar apenas a produção intelectual com coautoria de discentes ou egressos e

relacionadas com suas teses e dissertações (indicador de resultado)

Foco na avaliação da missão do programa: formar Doutores e Mestres

Eliminar motivação para a inclusão de docentes produtivos mas que não contribuem para as atividades de formação no programa

Há outro fórum – CNPq – para avaliar o desempenho acadêmico do pesquisador.

(20)

Propostas das Eng III: avaliação da qualidade

• Contabilizar o número de citações dos artigos publicados com coautoria de discentes e egressos e relacionada com as teses e dissertações, ao invés do número

de artigos em cada estrato do Qualis.

-> a publicação é apenas a primeira etapa da vida de um artigo! Seu impacto sobre a sociedade caracteriza mais adequadamente sua qualidade.

• Considerar apenas as melhores produções intelectuais associadas à melhor tese ou dissertação de cada orientador.

(21)

45% dos artigos publicados não possuem indicadores de citação 21 2389 2073 3201 986 1892 ₁₇₈₇ 2746 2295 1761 869 ₇₆₀ 1194 435 762 856 1390 ₁₁₇₇ 880 0 1000 2000 3000 4000 A1 A2 B1 B2 B3 B4 B5 C NPC Eng III - 2013 a 2016

Relembrando que:

(22)

22

52% dos artigos com discentes ou egressos:

- não exibem indicadores de citação ou

(23)

• Indicadores de produção intelectual (discente) baseada somente na produção em

periódicos indexados nas bases WoS ou Scopus

Tendência da CAPES: base Scopus (mais ampla)

➢Induziria orientador e orientando à publicação de artigos com chances de

serem citados

➢Permitem contabilizar impacto: citações

23

Propostas das Eng III: avaliação da qualidade

(24)

Propostas das Eng III: simplificação

• Flexibilização/eliminação de indicadores:

• quantidade de disciplinas ministradas na pós-graduação por docente permanente do programa, por ano

• tempo titulação de Mestres e Doutores • número de titulações /docente / ano • …

Simplificação da avaliação e foco nos resultados, deixando aos programas a tarefa de decidir como alcançá-los.

(25)

Comissão de consultores da área das Engenharias III

A Comissão de Análise de Propostas de Cursos Novos reuniu-se nos dias 10 e 11 de julho de 2018 para discutir mudanças na avaliação dos programas de pós-graduação

da área das Engenharias III

25

Edgar Nobuo Mamiya (UnB) – Coord Eng III João Carlos Correia Baptista Soares de Mello (UFF)

Ana Paula Cabral Seixas Costa (UFPe) – Coord Adj João Roberto Ferreira (UNIFEI)

Osmar Possamai (UFSC) – Coord Progs Profissionais Leandro Alcoforado Sphaier (UFF)

José Roberto França Arruda (UNICAMP) Francis Henrique Ramos França (UFRGS)

Cristiano Alexandre Virgínio Cavalcante (UFPe) Ednildo Andrade Torres (UFBa) - prof

Emanuel Negrão Macedo (UFPa) Marcelo Areias Trindade (USP-SC) - prof

Luiz Felipe Roris Rodriguez Scavarda do Carmo (PUC-Rio) Laura Silvia Bahiense da Silva Leite (UFRJ) - prof

Fábio Comes de Castro (UnB) Osvaldo Luiz Gonçalves Quelhas (UFF) - prof

Michel Jose Anzanello (UFRGS) Vicente Lopes Junior (UNESP-IS) - prof

(26)

Propostas da Comissão APCN - destaques

Quesito 2 – Perfil do Corpo Docente:

• Avaliar a consolidação acadêmica do corpo docente utilizando o índice h2 (h do h)

com base nas citações do Scopus.

Além de mensurar o impacto e repercussão da produção docente do programa, tal índice também favorece programas compostos por maior número de

docentes (mitigando a tendência de redução de tamanho dos programas).

• Reduzir o peso do indicador FOR (% de Bolsistas PQ) na avaliação do Perfil do

Corpo Docente, de maneira a elevar a influência do h2 dos docentes.

(27)

Propostas da Comissão APCN - destaques

Quesito 2 – Perfil do Corpo Docente:

• Jovens Doutores: não seriam incluídos nos denominadores dos indicadores, mas suas produções seriam consideradas nos numeradores.

QUÍMICA: Jovens Doutores = titulados de 2009 a 2012, na avaliação 2013-2016

• Docentes Sêniores: visando evitar a "expulsão" de docentes com alta bagagem e impacto na comunidade, mas que não apresentam produção comparável a

docentes em auge de produtividade.

OBS: em indicadores em que o quociente eventualmente se mantiver.

(28)

Considerações Finais

Espera-se que as propostas apresentadas forneçam subsídios para as discussões que levem ao aperfeiçoamento da avaliação de nossa pós-graduação

A nova ficha de avaliação será apresentada ao CT-ES em outubro. Sendo aprovada, caberá a cada área construir os indicadores que reflitam os itens a serem avaliados Algumas destas propostas já são práticas consolidadas em outras áreas de avaliação Há urgência nas discussões e na apresentação de propostas: o Documento de Área deve ser concluído até o final do ano, para aplicação na Avaliação Parcial, em meados de 2019.