Os critérios para avaliação de pesquisador e periódicos científicos

Para recomendar ao CNPq a concessão de bolsas e auxílios à pesquisa, os CAs adotam um conjunto de indicadores para avaliar e classificar a demanda.

Os critérios, de natureza qualiquantitativa, são formulados para avaliar o mérito técnico-científico do pesquisador e de seu projeto de pesquisa144. Os critérios quantitativos relacionam-se ao conjunto da produção de um pesquisador em um determinado período, desde o número de publicação de artigos científicos até o número de orientação de alunos de

142 _{Fonte: <http://www.cnpq.br/normas/rn_05_022.htm>. Acesso em: 02 abr.2009.} 143

Fonte: CNPq <http://www.cnpq.br/cas/cas.htm>. Acesso em: 26 nov.2011.

144 _{Neste estudo ater-se-á na avaliação de mérito do pesquisador para concorrer a uma bolsa de Produtividade em}

graduação e pós-graduação, conforme mostra o Quadro 7. Os critérios qualitativos assumem um caráter mais subjetivo dessa produção, levando em conta fatores como abrangência e impacto da produção nos indexadores nacionais e internacionais (QUAD. 8). O projeto de pesquisa geralmente é considerado como um elemento estruturador da atividade do pesquisador.

Indicadores quantitativos Indicadores qualitativos

Nº de artigos científicos Continuidade e regularidade da publicação, citações (fator de impacto do periódico e índice h145 do pesquisador)

Nº de livros Publicação contínua de livros e capítulos de livros

Nº de publicações em anais Abrangência nacional e internacional

Nº de orientação Alunos de graduação e pós-graduação

Quadro 7 - Critérios qualiquantitativos para avaliação da produção científica do pesquisador brasileiro Fonte: www.cnpq.br . Acesso em: 26 abr.2009.

Comitês Áreas do conhecimento Qualificadores do artigo

Comitê LL Letras e Linguística Artigos de periódicos avaliados pelo Qualis/Capes

Comitê CS

Antropologia, Arquelogia, Ciências Politicas, Direito, Relações

Internacionais e Sociologia

Artigos de periódicos com avaliação do Qualis/Capes

Comitê AG Agronomia Artigos de periódicos com avaliação pelo

Qualis/Capes

Comitê BO Botânica Periódicos nacionais e internacionais de ampla abrangência do conteúdo.

Comitê BF

Biofísica, Bioquímica, Farmacologia, Fisiologia e Neurociências

Número de artigos em periódicos com fator de impacto igual ou superior a 1 e índice h.

Comitê MD Medicina Artigos de periódicos indexados na base ISI

Comitê FA Física e Astronomia Artigos de periódicos avaliados pelo Qualis/Capes

Comitê EE Engenharia Elétrica e Biomédica Artigos de periódicos indexados na base ISI e Qualis Capes

Quadro 8 - Qualificadores de artigos científicos, segundo os critérios de avaliação de bolsas de Produtividade em Pesquisa do CNPq (amostragem por comitês assessores com maior número de bolsista de produtividade em pesquisa do CNPq)

Fonte: Critérios de avaliação de bolsas PQ do CNPq <www.cnpq.br>. Acesso em: 27 abr.2009.

145_{Índice “h” é um índice para quantificar a produção científica individual. Foi proposto por Hirsch (2005) e}

significa que um pesquisador com índice “h” tem o número “h” de publicações com pelo menos “h” citações cada.

Quanto aos critérios qualificadores de produção científica, a maioria dos CAs considera artigos científicos que estejam indexados em bases de dados nacionais ou internacionais, como pode ser observado no Quadro 9.

Essas bases de dados de indexação de periódicos científicos são consideradas como um filtro a mais na avaliação da qualidade da pesquisa. Geralmente oferecem subsídios para avaliar a “qualidade” dos periódicos por meio de indicadores quantitativos baseados na contagem de citações que cada periódico recebe de outros periódicos científicos. Os principais índices atribuídos a essa métrica são conhecidos como fator de impacto e índice h.

O fator de impacto é calculado levando-se em conta o número de artigos publicados em determinado periódico e o número de citações que estes artigos recebem num determinado período. Com base nesse índice, os periódicos científicos são hierarquizados e, supostamente, quanto maior o fator de impacto maior será seu status na comunidade científica146. O índice h é utilizado para quantificar a produção individual do autor com base nas citações que seus artigos recebem, ou seja, para que um autor possa ter um índice h igual a 10, é preciso que ele tenha, no mínimo, dez citações para cada artigo publicado (HIRSCH, 2005).

Esses índices, embora polêmicos, têm sido utilizados pelos comitês assessores do CNPq na composição dos critérios de avaliação da produção científica de seus pares, como mostra o Quadro 9.

Quanto aos critérios para avaliação de um periódico científico, no que diz respeito a qualidade e a visibilidade da produção científica gerada no País, os periódicos científicos utilizados pelos programas de pós-graduação são estratificados, classificados e hierarquizados segundo critérios específicos atribuídos a cada área do conhecimento. O Quadro 9 mostra os indicadores qualitativos de um periódico nas avaliações do CNPq e da CAPES.

Indicadores Qualificadores

Série histórica do periódico

Tempo de publicação; continuidade com qualidade; periodicidade, regularidade, circulação, afiliação institucional e normalização internacional (ISSN).

Indexadores Estar indexados em bases relevantes reconhecidas pela comunidade científica e _{tecnológica (ex.SciELO, ISI, etc.).}

Conselho editorial Composto por pesquisadores brasileiros e estrangeiros reconhecidos nacional e _{internacionalmente.}

cont.

146 _{Para mais informações sobre fator de impacto ver website da Thomson Sicientific Impact Factor}

cont.

Autoria Reconhecimento nacional ou internacional dos autores e diversidade geográfica e _{institucional dos autores.}

Circulação Circulação regular nacional e internacionalmente; idiomas de circulação na área; _{fazer parte de redes institucionais nacionais e internacionais. .} Quadro 9 - Critérios de avaliação de periódicos científicos adotados no CNPq e CAPES

Fontes:< www.capes.org.br e http://www.cnpq.br/editais/ct/2008/058.htm#regula>. Acesso em 26 abr.2009.

Quanto aos indicadores de difusão do periódico científico, observa-se, a partir das análises dos documentos de classificação de periódicos da CAPES, que a maioria leva em conta a indexação do periódico em bases eletrônicas e valoriza aquela de acesso aberto, considerando a base SciELO no Brasil. Ressalte-se que as áreas de Antropologia e Arqueologia são as que mais se aproximam da “filosofia” do acesso aberto para a avaliação de periódicos científicos, como mostra o Quadro 10.

Áreas Qualificadores de difusão

Letras e lingüística Mantêm os mesmos critérios para formato eletrônico

Antropologia e Arqueologia

Mantêm os mesmos critérios para formato eletrônicos. A classificação final leva em conta a disponibilidade do periódico de forma integral em bibliotecas virtuais (SciELO). Considera os seguintes indicadores de acessibilidade: estatísticas de acesso (número de visitas, downloads e sua procedência); facilidade de uso; remessa automática de conteúdo; acesso universal por parte dos usuários; explicitação de Normas de Citação de Artigos Virtuais; acesso a números anteriores; quantidade e qualidade dos links; motor de busca interno e facilidade de localização através de motores de busca.

Ciências Políticas e Rel. Internacionais

Todas as revistas classificadas como nacional “A” devem estar indexadas no Scientific Electronic Library Online (SciELO).

Direito

Versão impressa: disponível em pelo menos 3 (três) bibliotecas no Brasil e/ou exterior – RVBI (Periódicos) – Senado Federal (www.senado.gov.br/sicon) e Ulrich's Periodicals Directory (www.ulrichsweb.com); Catálogo Coletivo Nacional de Publicações Seriadas (www.ibict.br/ccn); permuta regular (sistemas COMUT ou ARIEL)

Sociologia Não faz qualquer referência sobre meio de divulgação e indexação

Agronomia Indexado na base ISI e com fator de impacto divulgado no JCR ou em três das quatro bases indexadoras: AGRIS, BIOSIS, CAB e SciELO.

Botânica

Aqueles listados no JCR/ISI.Também serão consideradas as revistas nacionais que não estejam na base de dados do SciELO e JCR, mas que atendam a 75% dos critérios de inclusão no SciELO (www.scielo.org).

Ciências Biológicas

Revistas indexadas no ISI e no Qualis. Os artigos publicados em periódicos indexados na base de dados SciELO serão considerados no conjunto de indicadores qualiquantitativos de desempenho no triênio.

Ciências da Saúde O JCR é utilizado para classificação de periódicos de circulação internacional; O SciELO como referência para classificação de periódicos nacional A. Física e Astronomia Fator de impacto no JCR para classificação no Qualis

Engenharia Elétrica e Biomédica

Fator de impacto no JCR para classificação no Qualis e indexação na SciELO como nacional A.

Quadro 10 - Indicadores de difusão de periódicos, segundo critérios dos comitês de avaliação da CAPES, por áreas do conhecimento no triênio 2004-2006 (amostra por CAs que representam maior número de bolsistas de PQ no CNPq).

De acordo com os critérios de avaliação de periódicos científicos adotados pelo CNPq e a CAPES, observa-se que os avaliadores levam em consideração tanto os aspectos quantitativos como os qualitativos. Os aspectos qualitativos da produção científica individual de um pesquisador estão intrinsecamente relacionados à indexação do periódico, ou seja, do suporte no qual o artigo fora publicado, em serviços e bases de dados nacionais e internacionais. As bases de dados bibliográficas do Institute for Scientific Information (ISI) e do Sistema de avaliação Qualis da CAPES são os principais indicadores de qualidade de um periódico científico na maioria das áreas do conhecimento. Além das bases indexadoras, os periódicos científicos são avaliados de acordo com a diversidade e o reconhecimento dos membros de seu corpo editorial.

Embora as bases de dados nacionais e internacionais ofereçam maior visibilidade aos artigos científicos, em comparação aos periódicos que estão fora desses sistemas, essa visibilidade é parcial porque atinge uma parcela limitada dos potenciais usuários da informação. Para garantir visibilidade ampla da informação é preciso considerar, nos critérios de avaliação de pesquisador e de periódicos científicos, as condições de disseminação e o acesso à informação.