• Nenhum resultado encontrado

Avaliação da produção científica brasileira: pensando com a história das ciências. Mesa-Redonda, 9 de junho de 2011, UFRJ

N/A
N/A
Protected

Academic year: 2021

Share "Avaliação da produção científica brasileira: pensando com a história das ciências. Mesa-Redonda, 9 de junho de 2011, UFRJ"

Copied!
7
0
0

Texto

(1)

Avaliação da produção científica brasileira: pensando com a história das ciências Mesa-Redonda, 9 de junho de 2011, UFRJ

Prof. Dr. Otávio Augusto S. Carpinteiro Universidade Federal de Itajubá

Se comparássemos as duas imagens da Figura 1, certamente julgaríamos que o corredor da esquerda venceria 100 metros em um tempo inferior ao do corredor da direita. Por que julgamos desta forma se não há qualquer informação a respeito da competência de ambos os corredores?

Figura 1: extraída da apresentação do Prof. Dr. Jozimar P. Almeida (Universidade Estadual de Londrina, PR), Fórum Jovem Cientista, Rio de Janeiro, RJ

A razão é simples. O corredor da esquerda possui bem mais recursos que o corredor da direita. Assim, mesmo que o corredor da direita seja o mais competente dos dois, o corredor da esquerda certamente apresentará maior produtividade, ou seja, vencerá os 100 metros em um tempo inferior, posto que seus recursos são maiores.

Esta relação entre competência e produtividade é bem conhecida. Diz o adágio popular que “competente é o que produz mais com menos”. Portanto, a produtividade não depende exclusivamente da competência, mas também (e fortemente) dos recursos disponíveis para a produção. Assim, P = C x R, onde P é a produtividade, C, a competência e R são os recursos1. Uma outra questão relevante, decorrente ainda da observação da Figura 1, é que não é possível medir-se competência através de métricas de produtividade quando os recursos disponíveis aos indivíduos são diferentes. Quando os recursos são diferentes, para medir-se competência, devem ser usadas métricas que meçam competência e não métricas que meçam produtividade. Em verdade, como analogia, seria bem incomum alguém medir a altura de um grupo de indivíduos e depois concluir que os que ficaram nas primeiras posições são os mais pesados.

As agências de fomento (CNPq, Capes, FAPs) definem, porém, uma outra relação entre competência e produtividade, bem diversa daquela estabelecida pelo senso comum. Para as

(2)

agências de fomento, a competência C = P, onde a produtividade P é dada essencialmente pela quantidade de artigos produzidos. De fato, as agências de fomento têm como política considerar como mais competentes os que produzem mais artigos científicos.

Há, porém, dois sérios problemas nesta política. Primeiro, porque ela desmerece as demais e igualmente importantes competências de um professor, como, por exemplo, dar uma ótima aula, formar bem as gerações futuras (dever precípuo da atividade docente) e participar de atividades de extensão, de coordenação e administrativas. Acaso alguma agência de fomento concede Bolsas de Produtividade em Ensino, ou Bolsas de Produtividade em Extensão, ou ainda Bolsas de Produtividade em Atividades Administrativas, para compensar as Bolsas de Produtividade em Pesquisa concedidas pelo CNPq?

Segundo, porque esta política, que estabelece uma nova (e inédita) relação entre competência e produtividade (C = P), não leva em consideração os recursos disponíveis para a produção. Desconsidera o fato de que as condições de trabalho (recursos humanos e de infra-estrutura para pesquisa) têm forte impacto na produção de artigos científicos.

É interessante notar que as agências de fomento não usaram esta política décadas atrás, quando todos os atuais grandes centros de pesquisa do país eram bem pequenos centros2. Desconsiderando os recursos para a pesquisa, as agências poderiam ter comparado, na época, a produtividade destes pequenos centros e de seus pesquisadores com a produtividade dos grandes centros de pesquisa internacionais e de seus pesquisadores. Certamente, por esta política atual, as agências teriam concluído, na época, que os pesquisadores nacionais eram incompetentes, bem como os centros onde atuavam. Felizmente, prevaleceu o senso comum e, diferentemente do que ocorre hoje em dia, elas compreenderam, na época, que deveriam levar em consideração a grande diferença de recursos disponíveis para os pesquisadores e centros nacionais em relação aos disponíveis para os pesquisadores e centros internacionais. Financiaram, assim, fortemente, os pequenos centros de então, dando-lhes condições de se tornarem, hoje em dia, grandes centros de pesquisa.

A política das agências de fomento estabelece a Bolsa de Produtividade em Pesquisa (Bolsa PQ) do CNPq como métrica para medir a competência dos professores e pesquisadores nacionais. Bolsistas PQ-1A são mais competentes que bolsistas PQ-1B, que, por sua vez, são mais competentes que bolsistas PQ-1C e assim, por diante, até os bolsistas PQ-2, que seriam mais competentes que os não-bolsistas.

Em princípio, é interessante notar que as Bolsas de Produtividade em Pesquisa não são Bolsas de Competência em Pesquisa. As métricas utilizadas para decidir sobre sua concessão não são métricas que meçam competência em pesquisa, mas, como o próprio nome delas indica, são métricas que medem produtividade em pesquisa. Assim, obviamente, ganham estas bolsas os professores/pesquisadores que têm mais recursos humanos e financeiros em seus centros de pesquisa. De fato, ao analisar os bolsistas PQ nível 1 na área de computação, em janeiro de 2010, verifica-se que há três professores/pesquisadores vinculados a programas de pós-graduação de grandes centros, três pertencentes a centros com mestrado desde 2002, 2000 e 1999 e os demais cento e três, pertencentes a grandes centros de pesquisa, com programas de mestrado e doutorado em computação consolidados há décadas.

Ser pesquisador 1 do CNPq traz grandes vantagens. Primeiro, ganham o direito de poder ser membros do Comitê Deliberativo (de estabelecer políticas de fomento em C&T) e de poder ser membros dos Comitês Assessores (de julgar e de decidir quem ganha os recursos de C&T) do CNPq. Segundo, só eles podem ser eleitos membros e só eles podem eleger os membros dos Comitês Assessores do CNPq. Assim, os Comitês Assessores são, em verdade, Comitês Oligárquicos. São Comitês que não têm por base, portanto, em sua constituição, nem a competência, posto que seus membros são alçados a estas posições devido à produtividade, nem os princípios democráticos. Terceiro, é deles o poder de estabelecer os critérios para

(3)

classificação de programas de pós-graduação (na Capes), revistas científicas (na Capes), projetos de pesquisa (CNPq) e eventos científicos (CNPq). Assim, a política das agências de fomento incentiva a concentração dos recursos nos consolidados e tradicionais centros de pesquisa, consolidando uma distribuição de recursos desigual e equivocada no país.

A Fundação de Amparo à Pesquisa do Estado de Minas Gerais (Fapemig) segue, fielmente, esta política. Nas avaliações das propostas submetidas aos Editais de Pesquisador Mineiro, por exemplo, o projeto da proposta vale apenas 40 pontos. Os demais 60 pontos são destinados a avaliação da produtividade (produção científica) do pesquisador. Ademais, nas avaliações das propostas submetidas aos demais Editais, pesquisadores bolsistas de Produtividade em Pesquisa do CNPq recebem pontuação extra, devido a suas produtividades.

A Capes, por sua vez, almeja “estabelecer o padrão de qualidade exigido dos cursos de mestrado e de doutorado e identificar os cursos que atendem a tal padrão”3. Falha, no entanto, em alcançar tal objetivo. Falha por uma razão muito simples ― como é possível a ela avaliar qualidade, competência dos programas se o documento de área, documento utilizado para avaliar os programas de pós-graduação, só possui métricas de produtividade?

Uma das métricas do documento de área da ciência da computação, por exemplo, é conceder pontuação extra aos programas pela quantidade de bolsistas de produtividade em pesquisa que possuem. Uma outra métrica, de grande valor na avaliação, é dada pela produtividade média dos professores dos programas. Esta métrica é calculada pela equação P = NP / ND, onde P é a produtividade média dos professores de um programa, NP é um valor ponderado, baseado no número de publicações obtidas pelo programa, e ND é o número de docentes do programa. Esta equação leva a situações interessantes. Por exemplo, seja um professor A, de um programa de pós-graduação consolidado, de um grande centro de pesquisa, que possua oito orientados, dentre alunos de mestrado e de doutorado, e seja um professor B, de um programa de pós-graduação recente, de um pequeno centro de pesquisa, que possua um único aluno orientado de mestrado. Se o professor A conseguir, com seus oito orientados, quatro publicações qualificadas e o professor B conseguir, com seu único orientado, uma publicação qualificada, surgirá uma situação bem interessante ― o professor mais produtivo, no caso o professor A, com quatro publicações, não é o professor mais competente, posto que obteve uma relação “número de publicações / número de alunos” inferior a do professor B.

Não seria, então, mais sensato e apropriado usar-se como métrica a competência média dos professores dos programas? Esta métrica poderia ser calculada, por exemplo, pela equação C = NP / (ND + NAM + NAD), onde C é a competência média dos professores de um programa, NP é um valor ponderado, baseado no número de publicações obtidas pelo programa, ND é o número de docentes do programa, NAM, o número de alunos de mestrado do programa e NAD, o número de alunos de doutorado do programa.

De fato, a Tabela 1 apresenta a classificação, em ordem decrescente, dos vinte mais bem classificados programas de pós-graduação, na área de ciência da computação, dada pela produtividade média dos professores dos programas, tal como realizada pela Capes. Os dados da tabela indicam o que é esperado. Os programas classificados pela Capes nos níveis superiores (5, 6 e 7), com grandes recursos humanos e de infra-estrutura, são, obviamente, os programas mais produtivos.

(4)

Tabela 1- Classificação, em ordem decrescente, dos vinte mais bem classificados programas de pós-graduação, na área de ciência da computação, dada pela produtividade média dos professores dos programas ― Tipo A: programa possui mestrado acadêmico; Tipo A/D: programa possui mestrado acadêmico e doutorado.

Classificação CAPES (Igeral) - P = NP / ND

# Universidade Tipo Nível Produtividade

1 UFRJ - COPPE A/D 7 0,84463848

2 USP/SC A/D 5 0,807064823 3 UNISANTOS A - 0,722222222 4 UFPE A/D 6 0,663131313 5 UNICAMP A/D 5 0,595198413 6 PUC-RIO A/D 7 0,587362319 7 UFMG A/D 6 0,579373559 8 UFRGS A/D 6 0,549132673 9 PUC/PR A/D 4 0,546491228 10 UFRN A/D 4 0,542003367 11 USP A/D 5 0,490002971 12 UFRJ A/D 4 0,48015873 13 UFCG A/D 4 0,440426587 14 UFU A 3 0,436190476 15 UFAM A/D 4 0,427022059 16 UNISINOS A 4 0,412912088 17 UFF A/D 5 0,397249589 18 UFC A/D 4 0,383194444 19 IME A 3 0,376538462 20 FESP/UPE A 3 0,344264069

As Tabelas 2 e 3 apresentam a classificação, em ordem decrescente, dos vinte mais bem classificados programas de pós-graduação, na área de ciência da computação, dada pela competência média dos professores dos programas. A Tabela 2, para cálculo do NP, utiliza as publicações do Qualis A1 ao B5. A Tabela 3, somente as do Qualis A1, A2 e B1. Os dados das tabelas indicam que os programas de níveis superiores (5, 6 e 7) não apresentam maior competência que os programas de níveis inferiores (3 e 4).

(5)

É importante ressaltar que os dados utilizados para os cálculos das três tabelas foram todos fornecidos pela própria Capes, em seu portal na Internet.

Tabela 2- Classificação, em ordem decrescente, dos vinte mais bem classificados programas de pós-graduação, na área de ciência da computação, dada pela competência média dos professores dos programas (cálculo do NP dado pelas publicações do Qualis A1 ao B5) ― Tipo A: programa possui mestrado acadêmico; Tipo A/D: programa possui mestrado acadêmico e doutorado.

Classificação Competência (Igeral) - C = NP / (ND+NAM+NAD)

# Universidade Tipo Nível Competência

1 UNISANTOS A - 0,458333333 2 UFRN A/D 4 0,163603597 3 USP/SC A/D 5 0,154326588 4 UNIFEI A 3 0,125 5 UFU A 3 0,122326203 6 UNISINOS A 4 0,122177134 7 UERN A 3 0,111722488

8 UFRJ - COPPE A/D 7 0,101574906

9 UFRJ A/D 4 0,098216413 10 PUC/PR A/D 4 0,094267709 11 UFF A/D 5 0,093540154 12 UFAM A/D 4 0,092342733 13 FESP/UPE A 3 0,091219232 14 UFC A/D 4 0,09016571 15 UFMG A/D 6 0,088371208 16 UFRGS A/D 6 0,085877863 17 UCPEL A 3 0,084553872 18 IME A 3 0,083602694 19 UFMS D 4 0,082151136 20 UNICAMP A/D 5 0,081990003

(6)

Tabela 3- Classificação, em ordem decrescente, dos vinte mais bem classificados programas de pós-graduação, na área de ciência da computação, dada pela competência média dos professores dos programas (cálculo do NP dado pelas publicações do Qualis A1, A2 e B1) ― Tipo A: programa possui mestrado acadêmico; Tipo A/D: programa possui mestrado acadêmico e doutorado.

Classificação Competência (Irestrito) - C = NP / (ND+NAM+NAD)

# Universidade Tipo Nível Competência

1 UNISANTOS A - 0,276041667

2 USP/SC A/D 5 0,107143416

3 UFU A 3 0,105998217

4 UFRN A/D 4 0,079148436

5 UNIFEI A 3 0,075793651

6 UFRJ - COPPE A/D 7 0,074961186

7 UFMG A/D 6 0,072222029 8 UFAM A/D 4 0,071649036 9 UFRJ A/D 4 0,065438098 10 UNB A/D 3/4 0,065 11 UNISINOS A 4 0,064436393 12 PUC/PR A/D 4 0,063771501 13 UERN A 3 0,061562998 14 UFES A/D 3/4 0,0598079 15 UFRGS A/D 6 0,059259041 16 UNICAMP A/D 5 0,059224455 17 USP A/D 5 0,058361559 18 UFMS D 4 0,057692042 19 UFC A/D 4 0,054463586 20 UFF A/D 5 0,053507302

É interessante, nesta análise, uma declaração dada pelo professor Jorge Almeida Guimarães, presidente da Capes, ao JC e-mail. O professor “defende o descredenciamento de mestrados e doutorados que tirem nota 3, considerada regular, em três avaliações trienais consecutivas ... ou muda ou vai fechar”4. À luz das Tabelas 2 e 3, o que seria mudar, então, para os programas de pós-graduação de nível 3? seria tornarem-se menos competentes do que os programas classificados pela Capes nos maiores níveis? ou seria tornarem-se ainda mais competentes que estes?

(7)

As consequências das políticas empregadas pelas agências de fomento, políticas estas baseadas em produtividade e não em competência, são muito sérias. Primeiro, retiram dos pesquisadores dos pequenos centros e dos próprios pequenos centros o que, por competência e direito, lhes é devido. Segundo, desestimulam fortemente a migração de professores/pesquisadores para os centros menos desenvolvidos do país e a permanência deles nestes centros. Terceiro, afetam seriamente o desenvolvimento social e econômico dos municípios que abrigam os pequenos centros. Quarto, prejudicam o desenvolvimento uniforme do país.

Um Segundo Manifesto aos Órgãos de Ciência e Tecnologia está disponível na Internet5. Foi escrito por um grupo de professores/pesquisadores que, já há anos, vem denunciando estas políticas prejudiciais ao desenvolvimento da ciência e tecnologia no país. O Manifesto detalha com maior profundidade os temas aqui abordados. Será encaminhado à Fapemig, SecCT-MG, Governo-MG, CNPq, Capes, MCT, MEC, Presidência da República e a alguns políticos voltados à área de educação. Apoios ao Manifesto, através de assinaturas, são bem-vindos! Por fim, gostaria de deixar meu agradecimento aos organizadores da Mesa-Redonda no Rio de Janeiro, RJ, promovida pela Sociedade Brasileira da História da Ciência (SBHC) e, em especial, ao professor Dr. Ivan da Costa Marques e à professora Dra. Regina Dantas.

Notas

1- Uma constante α pode ser incluída no lado direito da equação.

2- A definição do que é um grande centro e um pequeno centro de pesquisa em uma área do conhecimento está mencionada no artigo “As políticas equivocadas de nossas agências de fomento”, disponível em http://democracia-e-transparencia-em-ct.blogspot.com/2009/09/as-politicas-equivocadas-de-nossas.html.

3- CAPES ― Avaliação da pós-graduação, disponível em

http://www.capes.gov.br/avaliacao/avaliacao-da-pos-graduacao.

4- “Capes deve descredenciar cursos com avaliação ruim”, JC e-mail 4189, de 31 de Janeiro de 2011, disponível em http://www.jornaldaciencia.org.br/Detalhe.jsp?id=76170.

5- “Segundo Manifesto aos Órgãos de Ciência e Tecnologia”, disponível em http://democracia-e-transparencia-em-ct.blogspot.com/.

Referências

Documentos relacionados

Excluindo as operações de Santos, os demais terminais da Ultracargo apresentaram EBITDA de R$ 15 milhões, redução de 30% e 40% em relação ao 4T14 e ao 3T15,

A prevalência global de enteroparasitoses foi de 36,6% (34 crianças com resultado positivo para um ou mais parasitos), ocorrendo quatro casos de biparasitismo, sendo que ,em

Analisou-se os acompanhamentos das refeições servidas, que no caso são arroz branco polido (n=16), arroz integral (n=16) e feijão (n=15) das Unidades a partir da realização de

publicação em que Machado de Assis estava inserido, as formulações originais de suas obras e as condições e disposições do regime de produção oferecido pela interação entre

Foi membro da Comissão Instaladora do Instituto Universitário de Évora e viria a exercer muitos outros cargos de relevo na Universidade de Évora, nomeadamente, o de Pró-reitor (1976-

A produção hospitalar serviços, não se compara a uma produção industrial em larga escala, porém o conceito de terceirização do estoque dos itens mais expressivos economicamente,

Após a colheita, normalmente é necessário aguar- dar alguns dias, cerca de 10 a 15 dias dependendo da cultivar e das condições meteorológicas, para que a pele dos tubérculos continue

Por lo tanto, RD no solo debe reconocer su nacionalidad dominicana para disminuir su vulnerabilidad (CIDH, 2005, párr. 25)), pero también restituirlos por el daño inmaterial