RELAÇÃO ENTRE IMPORTÂNCIA E VULNERABILIDADE DE INDICADORES DE PRODUÇÃO CIENTÍFICA

Texto

(1)UNIVERSIDADE FEDERAL DE SANTA MARIA CENTRO DE CIÊNCIAS NATURAIS E EXATAS PROGRAMA DE PÓS-GRADUAÇÃO EM EDUCAÇÃO EM CIÊNCIAS: QUÍMICA DA VIDA E SAÚDE. RELAÇÃO ENTRE IMPORTÂNCIA E VULNERABILIDADE DE INDICADORES DE PRODUÇÃO CIENTÍFICA. TESE DE DOUTORADO. Alexandre Rodrigues de Oliveira. Santa Maria, RS, Brasil 2015.

(2) RELAÇÃO ENTRE IMPORTÂNCIA E VULNERABILIDADE DE INDICADORES DE PRODUÇÃO CIENTÍFICA. Alexandre Rodrigues de Oliveira. Tese apresentada ao Curso de Doutorado do Programa de PósGraduação em Educação de Ciências: Química da Vida e Saúde da Universidade Federal de Santa Maria (UFSM, RS), como requisito para obtenção do grau de Doutor em Educação em Ciências.. Orientador: Prof. Dr. Carlos Fernando de Mello. Santa Maria, RS, Brasil 2015.

(3) Ficha catalográfica elaborada através do Programa de Geração Automática da Biblioteca Central da UFSM, com os dados fornecidos pelo(a) autor(a).. Oliveira, Alexandre Rodrigues de Relação entre Importância e Vulnerabilidade de Indicadores de Produção Científica / Alexandre Rodrigues de Oliveira.-2015. 123 p.; 30cm. Orientador: Carlos Fernando de Mello Tese (doutorado) - Universidade Federal de Santa Maria, Centro de Ciências Naturais e Exatas, Programa de Pós-Graduação em Educação em Ciências: Química da Vida e Saúde, RS, 2015. 1. Produtividade em Pesquisa 2. Indicadores de Produção Científica 3. Cienciometria I. Mello, Carlos Fernando de II. Título..

(4) U N I V E R S I D A D E F E D E R A L D E S A N T A MARIA C E N T R O D E CIÊNCIAS NATURAIS E E X A T A S P R O G R A M A D E PÓS-GRADUAÇÃO EM EDUCAÇÃO E M CIÊNCIAS: QUÍMICA DA VIDA E S A Ú D E. A Comissão E x a m i n a d o r a , abaixo a s s i n a d a , a p r o v a a T e s e de Doutorado,. RELAÇÃO E N T R E IMPORTÂNCIA E V U L N E R A B I L I D A D E D E I N D I C A D O R E S D E PRODUÇÃO CIENTÍFICA. elaborada por A l e x a n d r e R o d r i g u e s de Oliveira. como requisito p a r a obtenção do grau de Doutor e m Educação e m Ciências. COMIjgSÃÒ E X A M I N A D O R A :. C a r l o s F e r n a n d o de Mello, Dr. ( U F S M ) (Presidente/Orientador). E l g i o n Lujdo da S i l v a L o r e t O j / t í r ( U F Ç M ). Joàlp B a t i s t a Teixeira da R o c h a , Dr. ( U F S M ). Maria do R o c i o F o n t o u r a T e i x e i r a , Dra. ( U F R G S ). (:^nié\. ( U N I P A M P A ). S a n t a Maria, 08 de outubro de 2 0 1 5 ..

(5) DEDICATÓRIA. Dedico esta tese à minha esposa, Luciana e a meus filhos, Vinícius e Laura, pelo amor, compreensão e paciência. Aos meus pais, Francisco e Maria Nazareth, que sempre acreditaram e incentivaram a realização deste sonho. Às minhas irmãs, Helena, Kátia e Wilma, pelo apoio incondicional e incentivo. A todas as pessoas que realmente acreditaram em mim e na realização desse trabalho, apesar de tantas adversidades..

(6) AGRADECIMENTO. A Deus, pela vida e por me permitir a realização deste trabalho. À minha esposa Luciana e aos meus filhos, Vinícius e Laura, pela paciência e compreensão que tiveram nos momentos em que eu estive ausente por conta dos muitos afazeres do doutorado. Ao Dr. Carlos Fernando de Mello, meu orientador, pela oportunidade, paciência, consideração e apoio nos momentos difíceis que passei ao longo de todo o curso e principalmente na finalização deste estudo. Ao CNPq, pelo Programa de Capacitação Institucional “in company” que me permitiu realizar o doutorado, e aos meus chefes, Dr. Geraldo Nunes e sra. Lucilene Barros, pelo apoio e por fazerem o possível para facilitar a conclusão desse estudo, ao mesmo tempo em que buscava atender minhas obrigações como servidor público. Ao Programa de Pós-Graduação em Educação de Ciências, Química da Vida e Saúde da Universidade Federal de Santa Maria, em especial ao sr. Gisandro Cunha Ilha, secretário executivo, sempre atencioso em esclarecer e orientar. Aos professores e colegas do PPG Educação de Ciências, Química da Vida e Saúde pela dedicação durante o curso. Às colegas de trabalho no CNPq e também colegas de doutorado, Lucilene Faustina Oliveira Candido e Denise de Oliveira, pela valorosa ajuda na análise textual discursiva dos dados coletados neste estudo. Aos amigos, próximos ou distantes, que de alguma forma me ajudaram e incentivaram neste período de estudos. À colega de trabalho, Dra. Suzane Margareth Fank de Carvalho, pela inestimável ajuda em todas as etapas deste trabalho principalmente na crítica, sempre construtiva. À Professora Dra. Celuta Sales Alviano, da UFRJ, pelo apoio pessoal e incentivo à realização desse doutorado. Aos professores que aceitaram o convite de fazer parte da banca de defesa: Dr. Elgion Lúcio da Silva Loreto, Dr. João Batista Teixeira da Rocha, Dra. Maria do Rocio Fontoura Teixeira e Dr. Daniel Henrique Roos. À UFSM que me possibilitou a realização do Curso de Doutorado e a todos que de alguma forma contribuíram para a realização deste trabalho..

(7) “Se não está em nosso poder o discernir as melhores opiniões, devemos seguir as mais prováveis.” RENÉ DESCARTES.

(8) RESUMO Tese de Doutorado Programa de Pós-Graduação em Educação de Ciências: Química da Vida e Saúde Universidade Federal de Santa Maria. RELAÇÃO ENTRE IMPORTÂNCIA E VULNERABILIDADE DE INDICADORES DE PRODUÇÃO CIENTÍFICA. Autor: Alexandre Rodrigues de Oliveira Orientador: Carlos Fernando de Mello Data e Local da Defesa: Santa Maria, 08 de outubro de 2015. A avaliação da produção científica de um pesquisador constitui valor decisivo no financiamento de projetos de pesquisa com recursos públicos oriundos de agências de fomento, definindo-se o Conselho Nacional de Desenvolvimento Científico e Tecnológico – CNPq – como foco deste estudo. Fundamentado nesse princípio, o CV Lattes do pesquisador é a fonte de informações pela qual o CNPq, por meio de seus Comitês de Assessoramento, analisa a produção científica individual. dos. proponentes. com. base. em. indicadores. de. produtividade. padronizados. A crescente demanda por apoio a projetos de pesquisa e, principalmente, por bolsas de produtividade em pesquisa – bolsas PQ –, sem o correspondente aumento de recursos públicos necessários para contemplá-las integralmente, revelaram uma problemática que constitui o objeto de estudo desse trabalho. Observa-se número cada vez maior de pesquisadores que atendem, e até mesmo superam, os requisitos mínimos para a concessão de bolsas PQ. Assim, questionou-se aos pesquisadores das áreas de biociências, tanto bolsistas PQ como não bolsistas, como eles percebem a importância dos vários indicadores de produtividade científica do CV Lattes. Da mesma forma, buscou-se a opinião deles sobre. a. susceptibilidade. destes. indicadores. à. manipulação. tendenciosa,. apresentada a eles como sendo o superdimensionamento da produção do pesquisador com vistas a um benefício em uma análise competitiva entre os pares. Adicionalmente,. foram. solicitadas. sugestões. de. novos. indicadores. e/ou. reformulações dos atuais objetivando assim realizar análise qualitativa dessas.

(9) sugestões sobre o que deveria ser modificado no atual cenário de indicadores de produtividade do CV Lattes. Nesse estudo, hipotetizou-se que a opinião sobre importância e susceptibilidade dos indicadores de produção científica muda em função do nível de bolsa PQ do requerente e que os indicadores mais importantes seriam aqueles considerados menos suscetíveis. Verificou-se que os pesquisadores demandam ética e integridade na avaliação de projetos de pesquisa e que seja valorizado o mérito da pesquisa e não apenas a quantificação das informações curriculares. Os resultados confirmam que os indicadores considerados mais importantes foram aqueles entendidos como menos suscetíveis à manipulação tendenciosa, que foram: orientação de mestrado e doutorado, coordenação de projetos de pesquisa financiados por agência de fomento internacional, coordenação de projetos de pesquisa financiados por agência de fomento nacional, supervisão de pós-doutorado, coordenação de projetos de pesquisa financiados por agência de fomento estadual, artigos publicados como autor correspondente, artigos publicados em periódicos indexados, prêmio internacional, membro de conselho editorial de periódico indexado internacional, revisor de periódico internacional e conferencista internacional. Figuraram entre eles os indicadores tradicionais, como publicações e orientações, e também indicadores pouco valorizados na avaliação da produção científica, como prêmios nacionais e internacionais. Mostrou-se que a magnitude de importância e suscetibilidade atribuída aos indicadores difere entre os bolsistas em seus diferentes níveis e os não bolsistas. O mesmo foi observado em relação ao gênero dos pesquisadores. Proponentes do sexo feminino atribuíram escores mais altos de importância e menores de susceptibilidade à maioria dos indicadores analisados. Mesmo que o foco deste estudo esteja nas opiniões dos pesquisadores das áreas de biociências, os resultados têm potencial de alterar a metodologia utilizada nas avaliações das concorrências para bolsas de produtividade científica, uma vez que o princípio para concessão de recursos à pesquisa está fundamentado na análise do mérito científico, geralmente atrelado ao nível de produtividade dos pesquisadores concorrentes. Palavras-chave: Produtividade em Pesquisa. Produção Científica. Indicadores de Produção Científica..

(10) ABSTRACT PhD Thesis Graduate Program in Science Education: Chemistry of Life and Health Federal University of Santa Maria. IMPORTANCE AND SUSCEPTIBILITY OF SCIENTIFIC PRODUCTION INDICATORS. Author: Alexandre Rodrigues de Oliveira Advisor: Carlos Fernando de Mello Defense Place and Date: Santa Maria, October 08th, 2015. The assessment of the scientific output of the proponent is part of the evaluation of research projects in public research funding agencies, such as the National Council of Scientific and Technological Development (CNPq). The standardized Lattes curriculum vitae is the source of information used by the Advisory Committees to analyze individual scientific production. Standardized indicators of productivity are used to evaluate the quantity and quality of the scientific output of a researcher. The increasing demand for research productivity fellowship (RPF) support without a corresponding increase in research budget revealed an issue that is the subject of this work. An increasing number of proponents fulfill, or even exceed, the minimum requirements of productivity indicators for RPF granting. However, the number of granted researchers does not increase due to budget restrictions, making the process more competitive. In this study we questioned both granted and non-granted RPF proponents how they perceived the relative importance and susceptibility of various indicators of scientific productivity of CV Lattes. In addition we asked for suggestions of new research productivity indicators and what should be changed in the current scenario of productivity indicators extracted from CV Lattes. The proponents demand ethics and integrity in the evaluation of research projects and that the merit of the research should be taken into account, in addition to quantitative curriculum information. The proponents considered the most important indicators the less susceptible to manipulation, such as publications and grants, but also other indicators, such as national and.

(11) international awards. This study revealed a significant difference in the relative importance and susceptibility attributed to output indicators between RPF status and gender. Despite the observed differences, a list of consensual most important and least susceptible indicators was established. The most important and least susceptible indicators of scientific productivity were: number of M.Sc. and Ph.D. students advised, number of research projects funded by international research funding agency as principal investigator, number of research projects funded by national research funding agency as principal investigator,. number of post-docs. advised, number of research projects funded by state research funding agency as principal investigator, number of articles as corresponding author, number of articles in indexed journals, international award received, editorial board membership of indexed international journal, reviewer member of indexed international journal and speaker of international conference. Women attributed higher scores of importance to 36 out of 39 variables, and lower scores of susceptibility to 35 out of 39 variables than men. Though this study involves researchers from the biosciences, its results and conclusions may change the methodology used to classify scientific productivity fellowship granting in all areas of knowledge, since it involves the analysis of scientific productivity between applicants.. Key words: Research Productivity. Scientific Production. Scientific Production Indicators..

(12) SUMÁRIO. APRESENTAÇÃO .................................................................................................. 13 1 INTRODUÇÃO ..................................................................................................... 14 1.1 - O CV Lattes e os indicadores de produção dos pesquisadores ....................... 18 1.2 - Indicadores de produção científica ................................................................... 18 1.3 - Novos modelos de avaliação e fomento à pesquisa......................................... 23 1.4 - Justificativa ...................................................................................................... 24 1.5 - Hipóteses ......................................................................................................... 25 1.6 - Objetivo............................................................................................................ 26 1.7 - Objetivos específicos ....................................................................................... 26 1.8 - Procedimentos metodológicos ......................................................................... 27 1.9 - Definição dos grupos amostrais e teste do instrumento ................................... 29 1.10 - Análise dos dados .......................................................................................... 30 1.11 - Agrupamento dos critérios e análise quanto à importância e a vulnerabilidade dos indicadores ..................................................................... 31 1.12 - Aspectos éticos envolvidos na condução da pesquisa ................................... 32 2 Artigo nº 1: “Indicadores para a avaliação da produtividade em pesquisa: a opinião dos pesquisadores que concorrem a bolsas do CNPq na área de Biociências” .......................................................................... 34 2.1 - Resumo ........................................................................................................... 35 2.2 - Abstract............................................................................................................ 36 2.3 - Resumen ......................................................................................................... 36 2.4 - Introdução ........................................................................................................ 37 2.5 - Materiais e métodos ......................................................................................... 40 2.6 - Resultados e discussão ................................................................................... 43 2.7 - Considerações finais ........................................................................................ 53 2.8 - Referências ...................................................................................................... 54 3 Artigo nº 2: “Importance and susceptibility of scientific productivity indicators: two sides of the same coin” .............................................. 57 3.1 - Abstract............................................................................................................ 59.

(13) 3.2 - Introdução ........................................................................................................ 60 3.3 - Materiais e métodos ......................................................................................... 63 3.4 - Resultados ....................................................................................................... 67 3.5 - Discussão ........................................................................................................ 82 3.6 - Referências ...................................................................................................... 91 4 DISCUSSÃO ........................................................................................................ 97 5 CONSIDERAÇÕES FINAIS .............................................................................. 103 REFERÊNCIAS .................................................................................................... 106 ANEXO ................................................................................................................ 111.

(14) APRESENTAÇÃO. Esta tese foi organizada com a seguinte estrutura: Introdução, Justificativa, Objetivos, Primeiro artigo, Segundo artigo, Discussão, Considerações Finais, Referências e Anexo. A primeira parte refere-se à INTRODUÇÃO onde se apresenta o estado da arte e a JUSTIFICATIVA de desenvolvimento desse estudo, seguidos pela apresentação das hipóteses, dos OBJETIVOS e dos procedimentos metodológicos da pesquisa com enfoque no instrumento de coleta de dados utilizado. Em seguida são apresentados os dois artigos resultantes deste estudo: um já publicado, que constitui o capítulo 2 e outro submetido à publicação, que constitui o capítulo 3. Em cada um desses capítulos são apresentados os textos dos artigos na íntegra e na formatação exigida pelos periódicos de publicação. Na sequência, no item DISCUSSÃO, buscou-se a confluência dos resultados desta pesquisa, que foram apresentados separadamente nos artigos. No item CONSIDERAÇÕES FINAIS é apresentado um comentário geral e conclusivo do estudo e das perspectivas de impacto de seus resultados nos processos de avaliação da produção científica individual dos pesquisadores. Por fim, o item REFERÊNCIAS refere-se às citações contidas na introdução e nas considerações finais, tendo em vista que as referências contidas nos textos de cada um dos artigos estão citadas em seus respectivos capítulos..

(15) 1 INTRODUÇÃO. O fomento à pesquisa no Brasil é executado em maior parte por recursos oriundos de fontes, tanto no âmbito estadual (Fundações de Amparo à Pesquisa) quanto no âmbito nacional (Ministérios e suas agências de fomento: CAPES e CNPq), para pesquisa básica e aplicada (GALVÃO, 2010). Recursos de empresas privadas ainda respondem por percentuais menores, sobretudo voltados para a inovação tecnológica e incentivados por Leis e programas especiais de governo (SCHWARTZMAN, S. 2002; PACHECO, C. A., 2011). Os pesquisadores submetem propostas de projeto de pesquisa em resposta a chamadas ou editais públicos abertos por essas agências de fomento, estabelecendo-se assim acirrada concorrência em decorrência do elevado número de propostas que pleiteiam os recursos disponibilizados para apoio à pesquisa. O montante de recursos financeiros solicitado pelos pesquisadores supera os recursos disponibilizados para as chamadas e editais, de tal forma que somente os projetos considerados mais meritórios e os pesquisadores mais produtivos na avaliação pelos pares (peer review) são apoiados financeiramente. O Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) é uma agência de fomento que tem por missão apoiar o desenvolvimento da pesquisa científica e tecnológica e a formação de recursos humanos para a pesquisa no país, por meio do auxílio financeiro representado por diferentes modalidades de fomento: bolsas em várias modalidades aos alunos de ensino médio, graduação, pósgraduação, recém-doutores e pesquisadores, bem como auxílios à pesquisa, que podem ser voltados à publicação científica, apoio à capacitação de pesquisadores e promoção de eventos científicos. A bolsa de Produtividade em Pesquisa do CNPq (Bolsa PQ) é uma modalidade de fomento individual ao pesquisador. Foi criada pelo CNPq em 1976 e tem por finalidade distinguir o pesquisador que se destaca entre seus pares por sua produtividade científica, considerando os critérios normativos desse Conselho e os critérios específicos definidos pelos Comitês de Assessoramento (CA) 1.. 1. http://www.cnpq.br/web/portal-lattes/historico.

(16) 15. A bolsa PQ tem cinco níveis com diferentes valores de remuneração: PQ 2, menor nível, PQ 1D, PQ 1C, PQ 1B e PQ1A, maior nível. Os bolsistas de produtividade nível 1 também recebem recurso adicional de taxa de bancada com finalidade específica para despesas com insumos, materiais e outros custeios da atividade científica, conforme determinado por norma específica do CNPq (CNPq, 2015). Além dos benefícios financeiros, a condição de bolsista PQ pode ser requisito para fomentos específicos do CNPq, como acontece com bolsistas PQ nível 1A ou 1B, que são beneficiados pela exclusividade em certas chamadas e editais promovidos por essa agência de fomento, considerando tratar-se de pesquisadores reconhecidos pelo CNPq como de alto nível de produtividade científica. Existe também a bolsa PQ sênior, uma modalidade que é concedida após solicitação pelo pesquisador e avaliação de sua produção científica individual pelos CAs. Porém, exige-se que o pesquisador tenha no mínimo 15 anos, contínuos ou não, de atuação como bolsista PQ nível 1A ou 1B. Para fomentar pesquisa, o CNPq observa regras e procedimentos normativos. Contudo, a avaliação do mérito científico das propostas de projetos de pesquisa e solicitações de bolsas dos pesquisadores é realizada essencialmente por seus pares (peer review), que usualmente são os consultores indicados pela expertise em suas áreas de atuação (consultores ad hoc) e também por pesquisadores membros dos Comitês de Assessoramento Científico (CAs) de áreas específicas do conhecimento compostos em sua maioria por pesquisadores bolsistas de produtividade do CNPq 2. Esses comitês são estabelecidos pelo Conselho Deliberativo (CD), instância máxima do CNPq. Os nomes dos candidatos a membro desses comitês são indicados pela comunidade científica por meio de consulta realizada pelo CNPq. As indicações são analisadas pelas coordenações técnicas desse Conselho com o objetivo de atender, na medida do possível, à representatividade regional e de gênero dos pesquisadores na composição dos CAs das diferentes áreas do conhecimento e posteriormente são encaminhadas pelas Diretorias à deliberação final pelo Conselho Deliberativo. Estudo realizado por Bornmann e Daniel (2007) sobre procedimento de avaliação da produção científica de candidatos a bolsistas de doutorado e Pós-doutorado em biomedicina pelo Boehringer Ingelheim Fonds (BIF) Alemanha, mostrou que o impacto da avaliação dos consultores internos (equivalente aos CAs) na decisão da. 2. RN002/2015, acessível em http://www.cnpq.br/web/guest.

(17) 16. instância final de aprovação (BIF) foi superior ao dos consultores externos (ad hoc), corroborando a significativa importância que os comitês de assessoramento exercem no fomento à pesquisa pelo CNPq. A criação dos CAs data dos anos de 1970. Esses comitês foram criados para avaliar propostas de projetos de pesquisa sob o ponto de vista do mérito científico, relevância e perspectivas de impacto de seus resultados para a sociedade como um todo. Os pesquisadores que compõem os CAs (que são em diferentes números dependendo da área de conhecimento) são nomeados pelo CNPq para um mandato de três anos de atuação junto a este Conselho, sempre que convocados. A atuação dos CAs é normatizada pelo CNPq, bem como os critérios mínimos de avaliação que são utilizados por eles 3. Os pesquisadores membros desses comitês utilizam os critérios de avaliação determinados pelo CNPq com base em indicadores de produção científica que permitem avaliar quantitativamente a produção do solicitante, assim como indicadores que servem para avaliar qualitativamente as propostas de projetos de pesquisa submetidos às chamadas desta agência de fomento, quase sempre critérios específicos baseados nos objetivos propostos nos textos das chamadas e editais, induzidos por uma linha de ação ou eixo temático proposto pelo ente do governo que detém os recursos financeiros, usualmente os Ministérios do Governo Federal. Em termos práticos, os indicadores estabelecidos para quantificar um determinado critério de avaliação do mérito de uma proposta de projeto de pesquisa podem variar entre os comitês. Particularmente para os programas de pesquisa em biociências do CNPq, foram estabelecidos quatro comitês de assessoramento (CAs), conforme consta da tabela 1. Tabela 1 – Os Comitês de Assessoramento (CAs) de Biociências do CNPq e seus respectivos programas de pesquisa em 2014. Comitê (CA). Programas. BF MP MF IM. Bioquímica, Biofísica, Farmacologia e Fisiologia Microbiologia e Parasitologia Morfologia Imunologia. Fonte - CNPq in: Plataforma Integrada Carlos Chagas. 3. Critérios de Julgamento dos CAs, acessível em http://www.cnpq.br/web/guest/criterios-de-julgamento.

(18) 17. No âmbito das bolsas de produtividade em pesquisa, os CAs utilizam na avaliação quantitativa do mérito científico do pesquisador os seguintes indicadores: 1) Produção científica na forma de artigos publicados, capítulo de livro e livro publicado; 2) Formação de recursos humanos como orientações de mestrandos e doutorandos; e 3) Atividade de coordenação de projeto de pesquisa e orientação de alunos de pós-graduação. A tabela 2 apresenta os critérios utilizados pelos CAs das áreas de biociências do CNPq para avaliação de bolsas de produtividade no triênio 2012-2014, período de realização deste estudo. O foco na quantidade de artigos publicados em periódicos indexados, recebendo maior pontuação quanto maior o fator de impacto do periódico, e na quantidade de orientações de alunos de pósgraduação concluídas, essencialmente doutorandos e mestrandos. Outros critérios, quando valorizados, são computados como de menor importância. Tabela 2 – Critérios mínimos para concessão de bolsa PQ no âmbito dos Comitês de Assessoramento das áreas de biociências, por nível de bolsa PQ, para o triênio 20122014. Critérios Produção científica Número Artigos indexados. Período de Avaliação (anos). Formação RH Resumos congressos. Doutores. Coordenação Coordenação projeto de pesquisa**. Mestres. CA/ Nível PQ. 2. 1D. 1*. 2. 1D. 1*. 2. 1D. 1*. 2. 1D. 1*. 2. 1D. 1*. 2. 1D. 1*. BF. 5. 10. 10. 5(1). 20(1). 20(1). 0. 0. 0. 0. 1. 3. 1. 0. 0. sim. sim. sim. MP. 5. 10. 10. 5(1). 10(3). 20(1). 0. 0. 0. 0. 1. 2. 1. 2. 3. sim. sim#. sim#. IM. 5. 10. 10. 5(1). 20(1). 20(3). 0. 0. 0. 0. 1. 5. 1. 2. 0. sim. sim. sim. MF. 5. 10. 10. 5(1). 20(2). 25(2). 0. 0. 0. 0. 1. 3. 1. 2. 0. sim. sim. sim. Fonte - CNPq in: Plataforma Integrada Carlos Chagas (1) Impacto maior ou igual a 1. *. (2) Impacto maior ou igual a 1,35. ** orientando mestres e doutores. níveis A, B e C. (3) Impacto igual ou superior a 1,5. #. RH – Recursos humanos. orientando pós-doutor. Os dados que compõem os indicadores de produção científica utilizados pelos CAs atualmente são extraídos do Currículo Lattes dos pesquisadores e quantificados, o que pode ser feito de forma manual ou automatizada, pelo serviço de informática do CNPq. Do escore obtido para cada pesquisador, faz-se uma classificação prévia de recomendação por ordem de prioridade. A classificação final dependerá também da qualidade científica do projeto de pesquisa, previamente avaliado por consultores ad hoc (peer review)..

(19) 18. 1.1 - O CV Lattes e os indicadores de produção dos pesquisadores O currículo Lattes é uma forma eletrônica padronizada de currículo vitae criado pelo CNPq em 1999 e que evoluiu da preocupação dos dirigentes desse Conselho, ainda nos anos de 1980, pela utilização de um formulário padrão para registro dos currículos dos pesquisadores brasileiros. Os objetivos deste formulário seriam, além de permitir a avaliação curricular do pesquisador, a criação de uma base de dados que possibilitasse a seleção de consultores e especialistas, e a geração de estatísticas sobre a distribuição da pesquisa científica no Brasil 4. Seu formato vem sendo aperfeiçoado nos últimos anos. Além das informações sobre a formação acadêmica e atuação profissional do pesquisador, o CV Lattes permite a inclusão de dados que serão utilizados como indicadores de produção acadêmica, tanto os tradicionais, que informam a quantidade e descrição de artigos e livros publicados, formação de recursos humanos e coordenação de projetos de pesquisa, patentes e registros, até o mais inovadores, como as atividades de divulgação científica, popularização da ciência e inovação tecnológica. Por serem padronizados, os dados oriundos do CV Lattes são utilizados pelos CAs para avaliação da produção do pesquisador, tanto em valores numéricos, quanto em qualidade da produção científica.. 1.2 - Indicadores de Produção Científica Considerando a trajetória histórica do fomento à pesquisa pelo CNPq4, a produção de um pesquisador era fundamentalmente avaliada pela quantidade de artigos e livros publicados, que constituem juntos um indicador de publicação científica propriamente dito, e pelo número de alunos orientados, sobretudo em nível de pós-graduação, não agregando outros indicadores de sua produção científica individual ou coletiva, que também poderiam revelar a contribuição de suas atividades ao desenvolvimento científico do país. A medida quantitativa da produção científica dos pesquisadores, a bibliometria (RIBEIRO, 2006), constitui importante meio para avaliação do potencial de investimento financeiro em recurso humano em pesquisa, não se restringindo à esfera política, decisória de alocação de recursos às atividades de C&T (VELHO, 4. http://www.cnpq.br/web/portal-lattes/historico.

(20) 19. 1985). Nesse contexto, a bibliometria destaca a importância dos indicadores para apontar resultados imediatos e perspectivas de impactos destes investimentos, segundo Ribeiro (2006). Mais ainda, a cientometria, segundo Mugnaini et al. (2004), que aborda a evolução, a quantificação do esforço, o comportamento e o impacto social das ciências, por meio de indicadores produção científica e modelos matemáticos. Na cientometria, os indicadores bibliométricos, (medidas quantitativas baseadas na produção bibliográfica realizada por pesquisadores e seus grupos de pesquisa) têm um papel de destaque e passam a ter importância crescente dentro de sistemas nacionais de indicadores em C&T. Em uma perspectiva de crescentes e novos aportes, verificou-se a necessidade de se agregar indicadores de qualidade aos indicadores de produção, já tradicionalmente utilizados (STREHL, 2005). O Fator de Impacto dos periódicos (ISI – Web of Science), surgido da concepção original de Eugene Garfield de 1955 para indicar o potencial de referência de um periódico, e fundamentado no número de citações da publicação para os leitores/interessados na temática e não apenas na quantidade de trabalhos publicados, foi posto em prática no início da década de 1960 e consolidou a utilização de indicadores de qualidade na avaliação da produção científica. Ainda que existam controvérsias quanto aos diferentes indicadores de produção científica e do mérito individual de um pesquisador, talvez por uma questão de confiabilidade, os indicadores tradicionais - quantidade e qualidade de artigos publicados, livros editados e orientações em pós-graduação -, são os mais consensualmente aceitos como adequados para avaliação e concessão de fomento à pesquisa (OLIVEIRA; GRACIO, 2011; WOOTTTON, 2013). Além disso, esses indicadores também atendem às particularidades das áreas específicas do conhecimento, como demonstrado em estudos sobre o perfil dos bolsistas PQ que ressaltaram a ênfase dada pelos avaliadores (comitês) aos indicadores tradicionais de publicações e citações, como observado na medicina (JÚNIOR et al., 2010) e na química (SANTOS et al., 2010). A existência de critérios específicos para publicação em periódicos, quase sempre pautados em modelos externos, e ainda aliados à normatização, como são os critérios de qualificação dos periódicos QUALIS/CAPES e ISI/JCR, por exemplo, terminam por criar uma tendência, no meio acadêmico, de se focar a produção e de valorizar o que é publicado em periódicos que sigam estes critérios, sem questionar eventuais vieses e limitações imbuídos nesses critérios,.

(21) 20. como observado por Beuren e Souza (2008) em estudo com periódicos da área contábil. Ao se dar ênfase à quantificação de artigos publicados para a mensuração da produção científica do pesquisador, sobretudo na qualidade dos periódicos em que são publicados (índice de impacto), minimiza-se a avaliação de sua real produção científica, uma vez que apenas uma faceta do seu potencial produtivo está sendo avaliada; daí a importância de diversificar os indicadores para avaliar a produção científica do pesquisador (PINTO; MATIAS, 2011). O indicador bibliométrico proposto em 2005 por Hirsch (2005), o índice H, que fundamentou a avaliação do impacto da produção científica de um pesquisador nas citações dos trabalhos publicados, figurou como inovador, mas encontrou argumentos contrários à sua importância como indicador (BORNMANN; DANIEL, 2005; 2007), sobretudo por ser relativo e demandar associação a outros indicadores, além da possibilidade de. ser. inflacionado. por. autocitações. (BARTNECK;. KOKKELMANS,. 2011;. SCHREIBER, 2007; COSTAS; BORDONS, 2007 e COOKE; DONALDSON, 2014). Por este motivo, Bartneck e Kokkelmans chegaram a sugerir outro índice para avaliação de impacto da produção científica, o índice q. Entretanto, a proposta não alcançou o mesmo reconhecimento e aplicação na comunidade científica que o índice de Hirsch. Em um amplo estudo com pesquisadores das áreas de pesquisa em química, Van Raan (2006) demonstrou significativa coerência nos resultados da avaliação da produção científica de grupo de pesquisadores utilizando o índice H, diferentes indicadores bibliométricos e o método tradicional por peer review, sobretudo para grandes grupos de pesquisadores com altos índices de citações (grupos conhecidos). Para os grupos menores, com índices de citações não tão expressivos (pouco conhecidos), os resultados de avaliação com o índice H foram inferiores aos dos demais indicadores bibliométricos e do peer review. Outros estudos sugeriram a utilização de fatores de correção que pudessem ser aplicados ao índice H para reduzir o viés associado à autocitação, como a proporcionalidade na ordem de autoria do artigo (SCHREIBER, 2009a e 2009b), assim como estratificações do próprio índice H (BORNMANN et al., 2010), onde os autores sugeriram o índice H2, que seria estratificado em Lower - que representaria as citações em publicações de baixo índice de impacto; Center - as publicações em índice de impacto considerado médio na área de pesquisa; e Upper - as publicações de alto índice de impacto; dessa forma, seria possível diferenciar a qualidade da.

(22) 21. produção científica dos pesquisadores com mesmo índice H, numa dada área de conhecimento. Além desses indicadores métricos, voltados à análise da produção individual do pesquisador, procedimentos analíticos mais complexos, como o uso de indicadores derivados do índice H (H based indicators), correlacionam a produção individual do pesquisador em sua área de atuação de forma local ou mesmo global (FRANCESCHINI; MAISANO, 2011), podendo ser utilizados para quantificar a produção científica, de forma comparativa do pesquisador e, de forma mais ampla, de instituições de pesquisa, ou até mesmo de diferentes países (BOELL; WILSON, 2010). Além de quantificar os artigos publicados pelos pesquisadores e qualificá-los em função do índice de impacto dos periódicos, outro importante indicador utilizado para avaliar a produção científica individual do pesquisador consiste em ponderar a posição de autoria nos artigos publicados, atribuindo-se maior valor à primeira posição (autor principal) e à última posição (autor correspondente – orientador) em detrimento das demais posições de coautoria. Até mesmo na ordem de autoria de um artigo pode haver manipulação para favorecer autores ou grupos de pesquisadores, como apresentado no estudo realizado por Welker (2007) sobre inclusão de autores como forma de compensação por participação técnica ou para aumento de índice de citação. Nesse sentido, também não há consenso na comunidade científica acerca de um procedimento de ponderação da posição de autoria, se fracionada, harmônica ou igualmente distribuída que eliminasse esse viés (HAGEN, 2010; WEEKS, 2004). Alguns estudos demonstraram (SCHREIBER, 2009a, 2009b; HIRSCH, 2010; BORNMANN et al., 2011) que há uma tendência de se inflacionar o índice h de um pesquisador quando se pondera igualmente a ordem de autoria em um artigo, bem como se tende a eliminar este viés ao se fazer uma distribuição harmônica do valor dado à ordem de autoria neste artigo ou ainda com proposições de alteração no índice de citação ponderado pela ordem de autoria (ZHANG, 2009). Em um estudo realizado em 2012 (GREGORI Jr. et al., 2012), foi apresentada a criação do índice h-fac, de first autor commitment, um indicador baseado no índice h com a correção efetuada pela distribuição da ordem de autoria e do intervalo de tempo das publicações. Observa-se, assim, a tendência em se aprimorar a análise da bibliometria da produção científica individual ponderando diferentes fatores que se.

(23) 22. revelam como de significativa influência no resultado final da quantificação da produção. Os indicadores de produção que são utilizados para avaliar o mérito científico do pesquisador, quando o objetivo é a obtenção de recursos públicos, estão baseados nos resultados de suas atividades acadêmicas, especificamente de projetos de pesquisa realizados, como observado em estudo comparativo sobre a avaliação de bolsas de produtividade em pesquisa do CNPq (diversas áreas) e medidas bibliométricas utilizadas neste processo avaliativo (WAINER; VIEIRA, 2013). As outras atividades acadêmicas que o pesquisador desempenha, tais como organização de eventos científicos e atuação como gestor em instituições de ensino e pesquisa, assim como atuações fora do contexto acadêmico (vinculadas a empresas. e. indústrias),. quando. consideradas,. são. pouco. valorizadas. comparativamente aos demais indicadores de produção científica. Estudos sobre essa temática criticam a prevalência do método quantitativo ao qualitativo na avaliação da produção científica. Camargo Jr. (2013), apresenta reflexão sobre essa tema, sugerindo a ruptura da tradição de ranqueamentos (por parte dos CAs) com base em indicadores quantitativos de produção. Ele ressalta a necessidade de se agregar, tal como já se faz em vários países, a exemplo do Reino Unido, um conjunto de produtos (não necessariamente publicações) ligados ao projeto ou programa de pesquisa que possam ser examinados, para que a qualidade da produção seja de fato considerada nas avaliações pelos comitês. De modo geral, estudos sobre indicadores também ressaltam a inquietação da comunidade científica na busca por diferentes formas de se realizar a mensuração a produção científica, tal como apresentado no estudo de Thomas e Watkins (1998) por meio de um comparativo na avaliação por análise bibliométrica e por peer review da produção acadêmica de pesquisadores britânicos na área de ciência da informação. Alterações recentes na estrutura do Currículo Lattes, destacando a introdução de campos para informações sobre inovação tecnológica e de divulgação científica ampliaram os indicadores da produção individual do pesquisador em critérios que até então não eram considerados formalmente pelos comitês para a avaliação da produção científica..

(24) 23. 1.3 - Novos modelos de avaliação e fomento à pesquisa A crescente oferta de recursos para financiar projetos de pesquisa nos últimos anos, associada à ampliação das universidades e programas de pós-graduação formando novos doutores para atuar no campo da pesquisa científica refletiu-se no aumento da demanda por financiamento de projetos de pesquisa na última década no Brasil, associada ao aumento do número de novos doutores formados e atuantes no campo da pesquisa científica, reflete no aumento da demanda por bolsas de produtividade em pesquisa (bolsas PQ) em todas as áreas do conhecimento 5. O número de pesquisadores atendidos com bolsas de produtividade representa, a cada ano, um percentual menor do volume de propostas recebidas pleiteando essa modalidade de fomento, sendo que os jovens pesquisadores (no âmbito das biociências, foco deste estudo) são os que mais questionam 6 o CNPq por não terem sido contemplados, argumentando que seus indicadores de produção científica atendem aos requisitos mínimos para obtenção do fomento pretendido. Novas estratégias de avaliação do fomento à pesquisa são sugeridas, algumas aventando e enaltecendo novas formas de quantificação da produção científica, como apresentado no estudo de Waltman et al. (2011) sobre o uso de indicador baseado em citações, normalizado por ano e pela área de conhecimento da produção científica e, mais recentemente, Abramo e D’Ângelo (2015) que sugerem o processo de avaliação da produção científica por meio da utilização de análise estatística multivariada dos diferentes indicadores que quantificam os produtos da atividade científica dos pesquisadores, objetivando por este meio distinguir os pesquisadores mais produtivos, porém ainda fundamentado em critérios essencialmente quantitativos. O peer review continua, na opinião desses pesquisadores, como fundamental para a avaliação da qualidade dos produtos da atividade científica. Outras estratégias enfatizam a avaliação com ênfase na qualidade da produção científica, como apresentado por Sahel (2011) em estudo que analisou um método aplicado na avaliação da produção científica de pesquisadores franceses conciliando a quantificação dos indicadores tradicionais com a qualidade do que foi produzido por eles. Todavia, de acordo com Abramo e D'Ângelo (2011), ambas as modalidades de avaliação da produção científica 5 6. Censo Lattes 2010, acessível em http://lattes.cnpq.br/ Considerando o número de pedidos de reconsideração dos indeferimentos de propostas submetidas ao CNPq..

(25) 24. coexistirão não apenas por fatores meritórios, mas também por questões econômicas inerentes ao processo avaliativo das demandas de fomento, sobretudo em âmbito nacional. Novos critérios de avaliação da produção científica individual ou ainda a adequação dos critérios já existentes, podem ser propostos como medidas para sinalizar um novo modelo de avaliação do mérito científico, de acordo com o que foi argumentado por Priem (2013), quando ressalta o impacto das publicações científicas on line (web) na produção individual do pesquisador e o inevitável surgimento de uma nova modalidade de publicação de produção científica que requer novas formas de avaliação, comparativamente ao tradicional peer review.. 1.4 - Justificativa Não há consenso entre os avaliadores (consultores ad hoc e membros dos Comitês de Assessoramento) nem entre os pesquisadores que pleiteiam apoio às suas pesquisas, quanto à forma de mensuração do mérito em produtividade científica e os indicadores mais adequados para esta finalidade, sobretudo considerando-se as diferentes áreas do conhecimento científico às quais os pesquisadores vinculam suas propostas para pleitear financiamento à agência de fomento. Os critérios estabelecidos pelos comitês das áreas de biociências estão focados na quantidade de artigos publicados em periódicos indexados, recebendo maior pontuação quanto maior o fator de impacto do periódico, e na quantidade de orientações de alunos de pós-graduação concluídas, essencialmente doutorandos e mestrandos. Outros critérios são computados como de menor importância, quando valorizados, conforme pode ser conferido na tabela 2 (p.17). Com base nas diferenças mostradas nessa tabela, considera-se que as definições dos indicadores de produção científica e dos pesos a eles atribuídos, nos procedimentos de avaliação adotados por cada Comitê de Assessoramento do CNPq para avaliação de solicitações de bolsas PQ, são determinadas por bolsistas de produtividade que tendem a perpetuar, neste processo, suas convicções sobre a forma de avaliar o mérito da produção científica do pesquisador. Entende-se que os indicadores considerados por eles como de maior importância e que recebem maior ponderação no processo avaliativo são os que demonstram que a produção.

(26) 25. científica do pesquisador tem maior reconhecimento pela comunidade científica. Esse reconhecimento se estende ao pesquisador, sendo chancelado pela concessão da bolsa PQ. Ter uma bolsa PQ significa, assim, ter credibilidade no meio acadêmico, que é parte do Capital Científico desse meio, segundo Bourdieu (2004). Ainda de acordo com esse autor, pode-se entender que o elevado grau de exigência adotado pelos comitês para concessão de bolsas PQ seja um mecanismo de proteção à entrada de recém-chegados ao capital científico coletivamente acumulado. Dessa forma, critérios que poderiam explicitar outros resultados das atividades de pesquisadores, cuja mensuração dar-se-ia por outros meios que não prioritariamente por artigos publicados e orientações de pós-graduandos, ficam desvalorizados, quando não alijados do processo avaliativo. Desta forma, o que fica estabelecido como produção científica nesses julgamentos é o que pode ser quantificado com indicadores definidos e ponderados pelos assessores dos comitês, que são bolsistas PQ. Este estudo comparou a opinião de um número significativo de pesquisadores bolsistas PQ com a de pesquisadores não bolsistas, sobre a importância dos indicadores de produção científica contidos e extraíveis do CV Lattes, assim como o grau de suscetibilidade à manipulação tendenciosa de cada um destes indicadores, abrangendo todos os níveis desta modalidade de bolsa dos comitês de assessoramento do CNPq dos programas de pesquisa de áreas correlatas (biociências). Tal iniciativa representa uma oportunidade para a obtenção de dados singulares e inéditos, com o intuito de tecer considerações que venham a contribuir significativamente para o contínuo aperfeiçoamento do processo de fomento à pesquisa realizado pelo CNPq, no que se refere aos aspectos avaliativos fundamentados na produção científica dos pesquisadores.. 1.5 - Hipóteses Foram duas as hipóteses abordadas nesse estudo: 1. A percepção de importância e suscetibilidade dos indicadores de produção científica varia de acordo com o nível da bolsa PQ do pesquisador; 2. Indicadores menos vulneráveis são considerados mais importantes pelos pesquisadores..

(27) 26. Diversos estudos mostram inconsistências em indicadores de produção científica que comumente são utilizados nos processos avaliativos e apresentam soluções para tais problemas. Contudo, não há informações do que realmente seja importante se avaliar no que concerne à produção científica. Nesse sentido, entendemos que avaliar a produção científica com vistas ao fomento à pesquisa é atividade que requer a definição prévia de um perfil de pesquisador adequado ao que se pretende fomentar. Nesse sentido, é do nosso entendimento que compete à agência de fomento, enquanto órgão executor da política nacional de ciência, tecnologia, definir esse perfil, os critérios de avaliação e os indicadores de produção que apresentem as informações mais importantes e significativas para esse processo avaliativo. Logo, verificar a importância atribuída pelos próprios pesquisadores para cada um dos indicadores de produção científica que são utilizados na avaliação para o fomento. à. pesquisa. é. fundamental. para. contribuir. efetivamente. para. o. aperfeiçoamento do processo avaliativo executado pela agência de fomento. A opinião de pesquisadores, que são os maiores interessados na correta destinação dos recursos para a pesquisa, contribuirá significativa para a elaboração pela agência de fomento de um perfil de pesquisador produtivo.. 1.6 - Objetivo Investigar a opinião dos pesquisadores bolsistas de produtividade em pesquisa do CNPq (bolsistas PQ) e pesquisadores não bolsistas, das áreas de biociências, sobre os atuais indicadores de produção científica individual, extraíveis pelo CNPq do CV Lattes, focando a importância dos indicadores e a suscetibilidade destes à manipulação tendenciosa.. 1.7 - Objetivos específicos a) Identificar e classificar, conforme a opinião dos pesquisadores, quais são os indicadores de produção científica individual mais importantes e menos suscetíveis para avaliação da produção científica de um pesquisador, dentre os indicadores inseridos no Currículo Lattes (CV Lattes);.

(28) 27. b) Determinar se há relação de magnitude simbólica de importância e suscetibilidade de um indicador; c) Determinar se gênero e nível de bolsa de produtividade do CNPq modifica a percepção de importância e suscetibilidade dos indicadores de produtividade; d) Identificar eventuais novos indicadores de produção científica, ou sugestões de alterações nos já existentes que possam ser utilizadas nos procedimentos de seleção e financiamento de projetos de pesquisa adotados pelo CNPq.. 1.8 - Procedimentos metodológicos O método utilizado para a coleta de dados foi a aplicação de um questionário (Survey) semi-estruturado, exploratório e interseccional baseado nos princípios metodológicos estabelecidos por Babbie (1999), submetendo-se à avaliação dos pesquisadores uma relação pré-definida de indicadores individuais de produção científica, oriundos do formulário do CV Lattes, que se encontra disponível na Plataforma Lattes do CNPq 7. O questionário (anexo) foi organizado em três seções, como se observa na figura 1.. Figura 1 – Organização do questionário (Survey) e procedimentos metodológicos para análise.. 7. http://lattes.cnpq.br/.

(29) 28. Detalhamento do procedimento de análise de cada uma das seções do questionário: 1) Informações sobre o pesquisador, com objetivo de traçar o perfil do pesquisador no que se refere à idade, gênero, nível de bolsa PQ, tempo de doutorado, tempo como bolsista PQ, instituição de vínculo, região, estado e experiência profissional, que constituem as variáveis do perfil do pesquisador. 2) Opinião sobre os indicadores de produção, objetivando-se que estes fossem analisados: A) quanto à importância na avaliação da produção científica de um pesquisador e B) quanto ao grau possível de suscetibilidade à manipulação de dados. O critério de quantificação do grau de importância, assim como do grau de suscetibilidade à manipulação foi a livre indicação em escala graduada de 1 a 5 (escala de Likert). A cada indicador foi atribuído, portanto, um escore referente à sua importância e outro referente ao seu grau de suscetibilidade, definido no questionário como grau de fragilidade do indicador. O formulário eletrônico foi estruturado de tal forma que o pesquisador entrevistado respondesse aos itens dos blocos A e B sequencialmente, sem retorno às perguntas do bloco anterior. Essas informações do bloco B foram confrontadas com as diferentes variáveis do bloco A. A análise desses dados resultou na elaboração de um artigo que constitui o capítulo 3 deste trabalho e foi submetido à publicação em periódico indexado (Revista Scientometrics – ISSN 0138-9130). 3) Questão aberta para sugestões de novos indicadores e/ou para modificações dos atuais indicadores. A opção por uma questão aberta permitiu a livre manifestação dos pesquisadores entrevistados quanto aos critérios em uso e eventuais sugestões de novos critérios para avaliação da produção científica. A quantidade e a diversidade de informações recebidas (críticas e sugestões) levaram à adoção de um método de análise que considerasse não apenas as palavras-chave de cada resposta, mas as ideias contidas em cada sugestão ou crítica apresentada, de tal forma que viesse a ser possível analisar convergências e divergências de ideias que mostrassem correlação entre os diferentes grupos de pesquisadores bolsistas e não bolsistas, assim como gênero, atuação profissional e outras variáveis do perfil dos pesquisadores (bloco A do questionário)..

(30) 29. O artigo “Indicadores para a avaliação da produtividade em pesquisa: a opinião dos pesquisadores que concorrem a bolsas do CNPq na área de biociências”, apresentado na íntegra no capítulo 2 desse trabalho, mostra os resultados, a discussão e a conclusão resultantes da análise dos dados obtidos na terceira seção do questionário.. 1.9 - Definições dos grupos amostrais e teste do instrumento. Dois grupos de pesquisadores foram definidos: os pesquisadores bolsistas PQ (grupo 1) e os pesquisadores não bolsistas (grupo 2). A quantidade de pesquisadores no grupo 1 foi definida proporcionalmente ao número de bolsistas PQ de cada um dos quatro níveis, tendo como referência o total de bolsistas PQ dos CAs das biociências. Da mesma forma, definiu-se o número de pesquisadores não bolsistas que compõem o grupo 2. O detalhamento metodológico para a determinação dos grupos citados acima se encontra detalhado nos artigos independentes apresentados neste trabalho. O critério de inclusão dos pesquisadores não bolsistas foi a produção científica de cada um, avaliada pelos respectivos comitês na chamada de bolsas PQ de 2011/2012 do CNPq, que resultou em recomendação pelo mérito, mas que não foram atendidos falta de disponibilidade financeira para atingir a ordem de prioridade e/ou classificação dos mesmos. Considerando-se que o método aplicado envolveu o uso de questionário facultativo, o que reduz a expectativa de retorno de respostas, optou-se por enviar o questionário à quase totalidade do tamanho populacional de bolsistas PQ das áreas e biociências, excluindo-se as intercorrências operacionais (bolsas suspensas e canceladas). O instrumento foi previamente testado em um grupo de pesquisadores bolsistas e não bolsistas escolhidos aleatoriamente do universo de bolsistas PQ dos programas de biociências, conforme detalhado na metodologia dos artigos apresentados nos capítulos seguintes. O grupo teste foi composto por amostra de 35 pesquisadores, tendo sido obtido retorno de 22 formulários respondidos. O objetivo foi validar o questionário quanto à sua funcionalidade, clareza das perguntas e.

(31) 30. análise dos dados obtidos, considerando o instrumento utilizado (DESLANDES et al., 2012).. 1.10 - Análise dos dados O questionário eletrônico foi enviado aos pesquisadores por mala direta aos correios eletrônicos dos pesquisadores, com autorização da diretoria do CNPq à qual os bolsistas estavam vinculados (DABS). O survey foi estruturado para resposta direta no formato eletrônico para que os dados fossem armazenados diretamente no servidor na WEB que hospedava a planilha eletrônica (Google Docs). Cada pesquisador foi identificado por um código e o conjunto de dados correspondente às respostas deste pesquisador foi identificado por este código na planilha de respostas. O formulário foi mantido no servidor web disponível para receber questionários por um período de 30 dias. Contudo, como critério de exclusão ficou estabelecido que, constatada a duplicidade ou a multiplicidade de resposta de um mesmo pesquisador, seria considerada como válida a última resposta enviada pelo mesmo pesquisador, tendo como referência a data de encerramento do período de recebimento de questionários. O questionário, em sua última parte, registrou sugestões dos pesquisadores consultados quanto a possíveis novos indicadores para avaliação de produção científica, cujos dados foram analisados por meio da Análise Textual Discursiva (ATD) estabelecida por Moraes e Galiazzi (2007). Por esse método, cada conteúdo de resposta correspondeu a uma “Unidade de Significado”. O objetivo foi analisar centenas de ideias e confluí-las para enunciados sintéticos dos pontos comuns e principais dessas ideias. Procedeu-se com a “desconstrução” do conteúdo obtido, destacando os seus diferentes sentidos, ou seja, identificando o que houve de principal. nas. diferentes. respostas. e. focalizando. as. palavras-chaves. que. sintetizassem a ideia de cada resposta. Em seguida, com base no conteúdo da unidade de significado e nas palavras-chave, elaboraram-se “Categorias de Significado”, iniciais e em seguida finais, apurando ainda mais a ideia central das unidades de significado, de tal forma que se confluiu para os “Enunciados-Síntese” correspondentes à essência das Unidades de Significado. A figura 2, a seguir, resume o procedimento de análise por ATD..

(32) 31. • Ideias centrais. Categorias de significado iniciais. Categorias de significado intermediárias •Agrupamento por significado; •Discussão com teóricos/critérios dos comitês.. •Apuração das categorias intermediárias. Categorias de significado finais. Figura 2 – Fluxo do procedimento de Análise Textual Discursiva (ATD) aplicado aos dados obtidos na seção três do questionário, com base em Moraes e Galiazzi (2007).. Optou-se pelo método de análise pela ATD pela dinâmica de sua metodologia que requer análise detalhada de cada ideia apresentada (sugestão) e não apenas a mineração de dados (data mining) disponibilizada pelos métodos eletrônicos. Os resultados obtidos por meio da ATD confluíram para a elaboração do artigo apresentado no capítulo 2 dessa tese, que foi publicado na Revista Brasileira de Pós-Graduação (ISSN 1806-8405, v. 11, n. 25, p. 657 - 678, setembro de 2014).. 1.11 - Agrupamento dos critérios e análise quanto à importância e a vulnerabilidade dos indicadores Os indicadores de produção científica apresentados aos pesquisadores para análise foram aqueles que constam do formulário do CV Lattes, disponibilizado pelo CNPq na Plataforma Lattes 8. Esses trinta e nove indicadores foram agrupados em dez categorias em conformidade com o núcleo de referência de cada um desses indicadores. O objetivo desse agrupamento foi para facilitar a análise dos dados obtidos do questionário. Assim, os indicadores relacionados a publicações científicas, livros e outras formas de divulgação impressa ou eletrônica, foram 8. http://www.cnpq.br.

(33) 32. agrupados em “Produção Bibliográfica e Citações”; os indicadores relacionados a formação de recursos humanos como orientação de graduandos e pós-graduandos, foram agrupados em “Orientações”. Esse critério foi utilizado para agrupar os demais indicadores, como mostrado a tabela 3. Tabela 3 – Categorias de indicadores de produção científica, conforme registrados no formulário do CV Lattes do CNPq.. Grupo de Indicadores A B C D E F G H I J. Categoria de Indicadores Produção Bibliográfica e Citações Orientações e Supervisões Coordenação de projetos de pesquisa Participação em eventos científicos Atuação como Revisor Editoração – Publicações Científicas Premiações Participações em Sociedades Científicas Patentes e Registros Bolsa de Produtividade em Pesquisa - PQ. A tabela 1, apresentada no capítulo 3 (artigo 2, p. 65), resume todas as informações sobre os indicadores submetidos à análise dos pesquisadores nesse estudo. Cada um dos indicadores de produção científica submetido à avaliação dos pesquisadores foi apresentado associado a uma escala de Likert (1 – valor mínimo e 5 – valor máximo) para que os entrevistados emitissem opinião sobre o grau de importância e de fragilidade de cada indicador. A vulnerabilidade de um indicador foi denominada no questionário “fragilidade” de um indicador e ficou definida como a “possibilidade” de serem computadas informações que aumentem de forma irreal a produção do pesquisador. Os dados obtidos no questionário foram analisados estatisticamente e os resultados oriundos dessas análises foram apresentados no artigo 2, no qual constam os detalhes do procedimento metodológico e estatístico utilizados.. 1.12 – Aspectos éticos envolvidos na condução da pesquisa O projeto de pesquisa “Impressão de pesquisadores sobre a vulnerabilidade e confiabilidade de indicadores de produção científica” foi aprovado pelo Comitê de.

(34) 33. Ética em Pesquisa da UFSM (CAAE 13120313.0.0000.5346) e autorizado pela DABS do CNPq, diretoria à qual os bolsistas PQ entrevistados estão vinculados e também os pesquisadores não bolsistas, por afinidade da área de atuação, com base nas solicitações de fomento anteriormente encaminhadas a esta agência. As informações dos CV Lattes que foram utilizadas neste estudo, bem como todas as informações sobre avaliações anteriores de demandas submetidas ao fomento à pesquisa do CNPq, que constituíram parâmetros comparativos para análise e eventual aplicação dos resultados que venham a ser sugeridos neste estudo seguiram. procedimento. pesquisadores.. de. codificação. para. preservar. a. identidade. dos.

(35) 2 Artigo nº 1. “Indicadores para a avaliação da produtividade em pesquisa: a opinião dos pesquisadores que concorrem a bolsas do CNPq na área de Biociências.”. Publicado na Revista Brasileira de Pós-Graduação, Volume 11, número 25, setembro de 2014. Editora: CAPES, ISSN: 1806-8405, Qualis B1 (Interdisciplinar), apresentado como parte integrante dessa tese em seu formato original de publicação, com autorização dos editores..

(36) 35.

(37) 36.

(38) 37.

(39) 38.

(40) 39.

(41) 40.

(42) 41.

(43) 42.

(44) 43.

(45) 44.

(46) 45.

(47) 46.

(48) 47.

(49) 48.

(50) 49.

(51) 50.

(52) 51.

(53) 52.

(54) 53.

(55) 54.

(56) 55.

(57) 56.

(58) 3 Artigo nº 2. “Importance and susceptibility of scientific productivity indicators: two sides of the same coin.”. Submetido à publicação em julho de 2015 na revista Scientometrics, Editora: Springer, ISSN: 0138-9130, Qualis: B1 (Interdisciplinar), JCR: 2.183, apresentado como parte integrante dessa tese em seu formato de submissão..

(59) 58. Importance and susceptibility of scientific productivity indicators: two sides of the same coin. Alexandre Rodrigues de Oliveira Science Education Graduate Program Federal University of Santa Maria (UFSM) Santa Maria, RS, 97105-900, Brazil bioeducador@gmail.com, alexandre-oliveira@mail.ufsm.br. Carlos Fernando Mello (corresponding author) Department of Physiology and Pharmacology Federal University of Santa Maria (UFSM) Santa Maria, RS, 97105-900, Brazil Phone number: +55 55 3220 8870 Extension 32 cf.mello@smail.ufsm.br.