II Workshop de Avaliação
Sociedade Brasileira de Física
Avaliação Individual
George E. A. Matsas
O PROBLEMA
A premissa básica da qual partimos é que temos um problema e esse
problema é que a 7a economia mundial investindo 1.5% do PIB em Ciência e Tecnologia não consegue gerar nenhum prêmio Nobel ou candidato a Nobel, nenhuma medalha Boltzmann, medalha Dirac, medalha Einstein, etc. (A União Européia investe 1.9% do PIB em média em Ciência e Tecnologia.)
A origem desse problema é óbvia. O Brasil é forte em quantidade e fraco em qualidade. Segundo o Centro para Estudos em Ciência e Tecnologia da
Universidade de Leiden –Holanda, a maior universidade do Brasil é a 15o
em volume de publicações, mas as mesmas publicações a colocam em 452o lugar em impacto (fonte: PESQUISA FAPESP online, Ed. 181 -2011). Eu não creio que devamos culpar fatores históricos mesmo sabendo que quando Harvard comemorava 350 anos, e.g., a USP, festejava seu 50o
aniversário. É bom lembrar que quando a Universidade de Chicago, SUNY Stony Brook, entre outras, também comemoravam 50 anos, elas já exibiam vários prêmios Nobel de Física, Química, etc.1 Tampouco creio que
possamos atribuir a causa desse problema a fatores externos haja vista que países igualmente periféricos já têm seus prêmios Nobel. Finalmente, eu não acredito que possamos culpar fatores internos como falta de recursos já que 1.5% do PIB da 7o economia mundial é um volume considerável. Portanto, só me resta tomar a via mais dolorosa e atribuir a causa do problema a nós mesmos que devemos estar usando mal os recursos humanos e financeiros disponíveis.
1
Além da motivação científica, há duas grandes aspirações que movem o pesquisador (assim como quase todo mundo): (i) prestígio e (ii) dinheiro; e em todo o mundo essas aspirações são exploradas pelos governos para melhorarem a pesquisa de seus respectivos países. O principal instrumento brasileiro, nesse contexto, a nível federal é a bolsa PQ do CNPq. O
problema brasileiro é que a política de concessão (e promoção) de bolsas PQ acaba induzindo aumento de “quantidade” em detrimento da melhoria da “qualidade”.
A política de se conceder bolsas PQ aos que publicam dois artigos qualis alfa/ ano leva a distorções óbvias e bem conhecidas: a relevância do artigo, o papel do autor, o número de co-autores, etc., nada disso importa. No final, a consequência dessa política é a que todos já sabem: físicos inseridos em grupos maiores e fazendo trabalho de rotina são beneficiados em
relação àqueles que trabalham com poucos colaboradores e se arriscam em problemas mais audaciosos ou se dedicam a melhorar a infra-estrutura local de pesquisa. Essa política pode ser eficiente para aumentar a massa de artigos, mas não para fomentar resultados seminais.
MITOS
É quase sempre usando mitos que as críticas acima são contestadas. Listo abaixo os mais comuns.
1. MITO: QUALIDADE VEM DE QUANTIDADE.
VERDADE: QUALIDADE VEM DO FOMENTO À QUALIDADE; EXCELÊNCIA VEM DE SE TER QUALIDADE EM QUANTIDADE.
A ORIENTAÇÃO DA CIÊNCIA BRASILEIRA É GRANDEMENTE MOLDADA PELA POLÍTICA DE CONCESSÃO DE BOLSAS PQ DO CNPQ
O PESQUISADOR BRASILEIRO TEM TUDO A GANHAR APOSTANDO EM QUANTIDADE E POUCO A LUCRAR SE ARRISCANDO POR QUALIDADE.
NUNCA SE ENCONTROU UM DIAMANTE LAPIDADO NUMA MINA DE CARVÃO. POLÍTICAS DE AUMENTO DE PRODUÇÃO EM MINAS DE CARVÃO
2. MITO: CRITÉRIOS NUMEROLÓGICOS SÃO MAIS JUSTOS E TRANSPARENTES.
VERDADE: A NUMEROLOGIA É CRIADA POR PESSOAS À SUA
IMAGEM E SEMELHANÇA E NADA TEM DE IMPARCIAL.2
E finalmente o mito mais prejudicial de todos:
3. O SISTEMA É POSITIVO PARA A MAIOR PARTE DA COMUNIDADE: DOIS ARTIGOS/ANO É POUCO.
VERDADE: AO PRIVILEGIAR QUANTIDADE AO INVÉS DE QUALIDADE, O ATUAL SISTEMA (i) SINALIZA PARA A DIREÇÃO ERRADA, (ii) DESENCAMINHA A JUVENTUDE E (iii) ACOMODA OS SENIORES.
Não há dúvida sobre a importância que as bolsas PQ tiveram no
desenvolvimento da pesquisa nacional até agora. Contudo, no atual estágio, se os critérios de avaliação não forem aperfeiçoados, as bolsas PQ acabarão inibindo o salto de qualidade que precisamos ter em nossa produção
científica. O atual modelo está esgotado.
PROPOSTA DE SOLUÇÃO
1. Em primeiro lugar é óbvio que o nome da bolsa precisa mudar para algo que sinalize para qualidade e não para quantidade: BOLSA DE EXCELÊNCIA EM PESQUISA seria uma possibilidade.
2
A CONOTAÇÃO PEJORATIVA DADA AQUI AO TERMO “NUMEROLOGIA” NÃO REFLETE CRENÇA DE QUE OS NÚMEROS NÃO DIGAM ALGO, MAS SIM DE QUE ELES NÃO DIZEM TUDO.
NÃO PRODUZIR NADA É SEMPRE RUIM, MAS PUBLICAR MUITO NÃO É NECESSARIAMENTE BOM.
O ATUAL SISTEMA É ÓTIMO PARA AUMENTAR A FONTE DE RENDA DOS PESQUISADORES, MAS MUITO RUIM PARA ALCANÇARMOS PAPEL
2. Em segundo lugar, se não quisermos corromper completamente o sentido do nível da bolsa PQ, há de se excluir a modalidade de rebaixamento por produção. O nível da bolsa deve refletir
senioridade científica. Não se perde senioridade científica por se produzir menos; perde-se, isso sim, quando for o caso, o
financiamento. Compete ao sistema ponderar se o binômio
qualidade/quantidade é satisfatório o suficiente para que o indivíduo continue sendo financiado pela bolsa PQ.
3. Em terceiro lugar, se quisermos privilegiar qualidade a quantidade, não poderemos mais terceirizar nossa tarefa de premiar mérito científico por meio de uma fórmula.
Contudo, como ex-membro do CA, eu bem sei que é impossível se entrar no mérito científico de cada pedido quando se tem uma semana para se julgar centenas de propostas; sobretudo porque os membros do CA
perdem a maior parte do tempo ouvindo relatos sobre solicitantes a respeito dos quais nada (ou quase nada) têm a dizer (já que a concessão
de cada bolsa PQ consome a atenção de todo o CA). Precisamos mudar o atual formato se quisermos ir além de critérios aritméticos.
Minha solução: minha solução consiste em:
(i) enxugar o atual CA para que tenha da ordem de 6 membros
(“Coordenadores”). Cada Coordenador seria responsável por uma das áreas cobertas pelas Phys. Rev. A-E + astronomia. Estes membros teriam nível 1A para que não ficassem constrangidos ao julgar colegas mais bem ranqueados;
(ii) cada um destes Coordenadores escolheria um conjunto de 4 ou
5 assessores anônimos de sua confiança que teriam um ou
SE DIVIDIRMOS AS ÁREAS EM 6 PRINCIPAIS, NOS MOLDES DA PHYS. REV. A-E + ASTRONOMIA, PODEMOS ESTIMAR QUE ATUALMENTE A EXPERTISE
DE CADA MEMBRO DO CA É DESPERDIÇADA 5/6 DO TEMPO.
SE CRITÉRIOS NUMÉRICOS FOSSEM EFICIENTES PARA CAPTURAR MÉRITO CIENTÍFICO, REVISTAS FORMADORAS DE OPINIÃO NÃO ESTARIAM AINDA
dois meses para entrarem no mérito científico das propostas com o intuito de classificarem-nas por prioridade;
(iii) esta lista seria levada ao Coordenador que discutiria o
resultado com os assessores no intuito de se convergir numa lista final;
(iv) as bolsas seriam então concedidas proporcionalmente ao
número de pesquisadores do CNPq já presentes em cada uma das subáreas;
(v) possíveis remanejamentos seriam feitos numa segunda rodada depois de discussão entre os 6 Coordenadores;
(vi) os Coordenadores assumiriam a responsabilidade pelo
resultado que não seria mais terceirizada para uma fórmula.
Essa nova sistemática permitiria aos assessores de cada subárea
analisarem aspectos qualitativos segundo a tradição de sua comunidade específica, cujo modus operandi pode ser tão diverso quanto física experimental de materiais e teoria axiomática de campos, podendo
ponderar cuidadosamente se o postulante é merecedor de ser apoiado pelo CNPq. Além disso, uma análise mais cuidadosa do trabalho de pesquisa permitiria identificar más práticas científicas, tais como adição de co-autores espúrios, publicação de artigos com pouco conteúdo original, etc. Finalmente o fato das propostas de cada subárea serem julgadas por um time único e enxuto de assessores garantiria um julgamento isonômico das propostas afins.
Por mais simples que a implementação dessa proposta seja, segue uma ainda mais simples abaixo.
Solução mínima: uma solução ainda mais simples (mas não tão eficiente),
seria fazer com que no início da reunião, o CA (já formado de 13 membros titulares e 7 suplentes) se divida em 6 grupos de trabalho (correspondentes às áreas cobertas pelas Phys. Rev. A-E + astronomia) e que sejam
atribuídos a cada grupo apenas os processos de sua expertise para efeito de classificação. Essa simples iniciativa já melhoraria a qualidade do
julgamento de um fator 6, pois evitaria que cada assessor do CA perca 5/6 do tempo olhando para processos sobre os quais nada tem a fazer a
não ser “contar”.
As bolsas seriam então novamente concedidas proporcionalmente ao
número de pesquisadores do CNPq já presentes em cada uma das subáreas.
CONCLUSÃO
Antes de finalizar, gostaria de me antecipar aos que argumentarão que tal mudança de conduta não levaria a nenhuma redistribuição radical de bolsas PQ. Eu não só concordo com essa análise, mas também vejo nisso uma virtude. Para não colocarmos em risco as conquistas já alcançadas, as mudanças devem ser suaves. Além de corrigir injustiças pontuais, o fundamental dessa nova conduta reside na mensagem que ela carrega. Nosso objetivo final deve ser o de estimularmos a geração de resultados seminais. Para tanto precisamos fazer melhor mesmo que menos. Eu não vejo onde esta mensagem está codificada quando degeneramos Science, Nature, Phys. Rev. Lett., etc com outras 140 revistas denominadas “qualis alfa”.
Esse “mesmo” não é tão mal, mas podemos fazer muito melhor com os mesmos recursos materiais e humanos se os números não forem usados
como carro chefe de uma política científica que (i) é injusta ao usar os mesmos critérios em subáreas com distintos modi operandi, (ii) ineficiente para punir más práticas científicas e (iii) pouco sensível à solidez e excelência.
AQUELES QUE NÃO FICAREM IMPRESSIONADO PELO FATOR 6 NA MELHORIA DA QUALIDADE DO JULGAMENTO, POR FAVOR, RECONSIDEREM LEMBRADO O QUE SIGNIFICARIA UM AUMENTO DE
SALÁRIO DESSE MESMO FATOR.
A MENSAGEM QUE OS ATUAIS CRITÉRIOS PASSAM É “FAÇA MAIS DO MESMO E RENOVE SUA BOLSA”.
I. SE QUISERMOS AVANÇAR, PRECISAREMOS FOMENTAR QUALIDADE EM DETRIMENTO DE QUANTIDADE.
II. PARA TANTO, PRECISAMOS ANTES VENCER NOSSOS FANTASMAS E SUBSTITUIR CRITÉRIOS ARITMÉTICOS POR JULGAMENTOS DE MÉRITO FEITOS POR JUÍZES HUMANOS CONSIDERADOS DE REFERÊNCIA PELA COMUNIDADE.
