Indicadores unidimensionais

Conforme Sanz Casado e Martín Moreno (1997), os indicadores bibliométricos unidimensionais que se obtêm habitualmente para a análise da ciência e da tecnologia repartem-se em três grupos:

1. Indicadores de produção; 2. Indicadores de impacto; e 3. Indicadores de colaboração.

1. Indicadores de produção

Apesar da diversidade de indicadores existentes, para tentar medir a I&D verifica-se que os indicadores quantitativos do investimento em ciência e tecnologia, como orçamento, financiamento, pessoal e infraestrutura estão normalizados na OCDE há mais de 30 anos e são obtidos através de uma metodologia comum, seguindo o Manual de Frascati.

Porém, os indicadores de resultados como a produção, aumento e circulação de conhecimento, divulgação dos resultados, são difíceis de determinar, dado o conhecimento ser intangível e acumulativo. Todavia, e tendo em conta que os resultados de uma investigação são geralmente publicados em revistas científicas e outras fontes, como livros e teses, estas são muitas vezes usadas para estudar a literatura científica e obtenção desses indicadores (Filippo & Fernández, 2002). Deste modo, e tendo em conta a importância de se medir o rendimento das atividades de ciência e tecnologia, utilizam-se vários indicadores para dar conta da produtividade obtida.

57 a) Número de publicações

O indicador bibliométrico mais simples é o número de artigos publicados por um autor ou grupo de autores. Este indicador bibliométrico é básico e fácil de se calcular. Trata- se da contabilização do número de publicações (livros, artigos, patentes e relatórios técnicos, entre outros) de uma disciplina, autor, grupo de investigação, instituição ou país e seu respetivo crescimento ao longo de um determinado período de tempo. É simples de calcular e serve para medir, sobretudo, resultados de caráter quantitativo, ignorando questões como a qualidade (McClanahan et al., 2010).

O número de publicações permite conhecer a produção científica de um grupo e a taxa de crescimento do mesmo ao longo dos anos estudados. Por si só não é muito significativo, pelo que deve ser comparado com outras entidades similares para se poder conhecer o verdadeiro valor dos números obtidos. É recomendável relacionar este dado com indicadores de contexto. Outros indicadores gerais associados ao número de publicações são: a tipologia documental das publicações (artigos, revisões, cartas, editoriais, livros, capítulos, teses), o idioma de publicação, a origem institucional e geográfica e a temática. Para a obtenção da temática é importante referir que existem bases de dados (como as da TR) que atribuem uma ou várias disciplinas a cada uma das revistas.

No entanto, e apesar de simples, não deve fazer-se a comparação entre as várias áreas do conhecimento, uma vez que as mesmas apresentam diferentes práticas e tempos. Outro problema da contagem de publicações é que muitas são feitas em co-autoria e não é fácil definir a participação de cada um dos autores. Não é, pois, atribuir o crédito total a um autor quando se trata de um artigo que contou com a participação e ajuda de vários autores, no entanto, na maioria dos casos e áreas do conhecimento o primeiro autor é considerado como o principal contribuidor pelo que muitas vezes apenas este é contabilizado (Bellavista et al., 1991).

58 b) Periódicos de publicação

Os periódicos de publicação permitem conhecer em que publicações se divulgam os resultados da investigação. A partir da temática atribuída a cada periódico é possível determinar as áreas, campos científicos ou disciplinas nas quais se publica e a partir daí analisar as modalidades de produção em cada uma. Com base nos dados da publicação também se pode calcular a vida média e a obsolescência das revistas (Burton & Kebler, 1960) e comparar estes dados entre disciplinas. Ao conhecer a revista de publicação pode-se também medir-se a visibilidade internacional das publicações e determinar outro indicador importante: o FI. Este indicador é também designado por indicador de dispersão.

c) Produtividade dos autores

Este indicador resulta da conjugação de uma série de variáveis que se podem sistematizar em duas categorias: por um lado, características pessoais (inteligência, perseverança e capacidade); por outro, meio ambiente ou situação do autor (relação com colegas prestigiados; facilidade em adquirir informação; disciplina que integra; prestígio da instituição e capacidade económica da mesma). A análise da bibliografia deve ser o mais exaustiva possível e cobrir um período de tempo alargado.

2. Indicadores de visibilidade e impacto

O número de publicações é um indicador meramente quantitativo, que não avalia a qualidade ou importância do conteúdo dos documentos. Ora, nem todas as publicações têm o mesmo interesse e/ou valor científico. Assim, e de modo a ter também indicadores qualitativos, passaram a considerar-se o número de citações dos trabalhos e o FI dos periódicos de publicação. Nos últimos tempos e após alguma polémica relativa aos indicadores de impacto foram surgindo outras medidas de análise do valor da produção científica e dos seus autores.

a) Análise de citações

A análise de citações é um indicador já que permite a identificação e descrição de uma série de padrões da e na produção do conhecimento científico. Com os dados retirados das citações podem conhecer-se: autores mais citados, autores mais produtivos, elite

59

de pesquisa, frente de pesquisa, procedência geográfica e/ou institucional dos autores mais influentes num determinado campo de pesquisa; tipo de documento mais utilizado, idade média da literatura utilizada, obsolescência da literatura, procedência geográfica e/ou institucional da bibliografia utilizada; periódicos mais citados, núcleo de periódicos que compõem um campo.

O número de citações como indicador do impacto de uma determinada publicação é um dos indicadores que mais polémica tem gerado. O seu uso é baseado na premissa de que a citação de um documento é o reconhecimento de interesse e utilidade para a construção de novos conhecimentos. Embora tal possa ser verdade, a citação de um trabalho pode e é também influenciada por diversos fatores, como a língua de publicação do documento, o prestígio do periódico ou dos autores, entre outros.

Porém, é aceite que os altos índices de citação permitem identificar artigos relevantes, que contribuem significativamente para o progresso científico (Bar-Ilan, 2008; Moed, 2005) havendo uma boa correlação com o parecer de peritos, em particular nas áreas centrais da pesquisa e investigação.

Citação é um “conjunto de uma ou mais referências bibliográficas que, incluídas em uma publicação, evidenciam elos entre indivíduos, instituições e áreas de pesquisa, visto que mostram o relacionamento de uma publicação com outra” (Araújo, 2007, p. 18). Para a autora a análise de citação é como a parte da bibliometria que investiga as relações entre os documentos citantes e os documentos citados considerados como unidades de análise, no todo ou nas suas diversas partes, i.e. autor, título, origem geográfica, ano e idioma de publicação, etc. Relativamente ainda às citações Araújo refere, ainda, que estas contribuem para o desenvolvimento da ciência, resultando do reconhecimento de um investigador por parte dos seus pares, estabelecendo os direitos de propriedade e prioridade da contribuição científica de um autor. São importantes fontes de informação, pois, ajudam a julgar os hábitos de uso da informação e mostram a literatura que é indispensável para o trabalho dos investigadores (Araújo, 2007).

60

No entanto, há alguns cuidados a ter com o papel das citações, sobretudo as auto- citações no processo da comunicação científica. Uns condenam a utilização das auto- citações por as considerarem uma forma artificial de inflacionar as taxas de citação reforçando, assim, a posição desses investigadores no seu domínio científico; outros consideram adequada a aceitação de parte dessas auto-citações como elemento do processo de comunicação científica (Amante, 2011).

A utilização da análise de citação como indicador de visibilidade, impacto e influência científica coloca muitas questões, quer metodológicas quer éticas, particularmente se se considerar como verdadeiro que o autor pode inflacionar, de forma artificial, o número de citações relativas aos seus trabalhos.

Do mesmo modo, alguns autores consideram que a utilização de indicadores bibliométricos, como a análise de citações, tem sido feita de forma a confundir a avaliação do impacto com a avaliação da qualidade por se entender que o interesse demonstrado por uma publicação, e traduzido pelas citações que lhe são feitas, é revelador da sua qualidade. Mas porque impacto e qualidade não são sinónimos, é necessário distinguir entre qualidade, importância e impacto. A qualidade é uma característica intrínseca ao trabalho enquanto a importância e o impacto resultam de apreciações externas. As citações não constituem um indicador sobre a qualidade de uma publicação científica mas refletem, contudo, o impacto que a mesma tem na comunidade científica.

b) Fator de impacto

Intimamente associado à análise das citações está o FI das revistas, elaborado pela TR e que se baseia nas citações recebidas pelas publicações, e que é publicado anualmente no Journal Citation Reports (JCR) e que se utiliza como indicador de qualidade, visibilidade e prestígio. O JCR é um recurso essencial para a avaliação e comparação de periódicos, recolhendo dados referentes a 10.853 periódicos científicos, de 232 disciplinas de 83 países17_{. Permite conhecer dados bibliométricos dos diferentes} periódicos e compará-los dentro de uma mesma área científica, sendo constituído por

61

duas edições: a Science edition e a Social Sciences edition recolhendo informação das revistas consideradas como principais representantes da ciência internacional nas várias áreas do conhecimento.

Note-se que o JCR não disponibiliza o FI das revistas de Arts and Humanities, dada a menor importância das citações nestas áreas, pela sua forte orientação local e da longa meia-vida. Além disso, as publicações preferenciais da área das Artes e Humanidades não são periódicos, mas livros e monografias. O FI das revistas científicas é um dos indicadores mais utilizados para avaliar a visibilidade ou o impacto da literatura científica, sendo um índice do número de citações que recebem os trabalhos publicados numa revista específica durante um determinado período de tempo. Na prática, o FI contabiliza as citações efetuadas, num dado ano, a documentos publicados nos 2 anos anteriores. Ou seja, o FI da dada revista em 2011, contabiliza o número de citações ocorridas em 2011, a documentos publicados na mesma revista em 2009 e 2010.

As citações podem ser consideradas como medidas de uso, impacto ou influência da literatura de determinado autor sobre outro. Neste sentido, a validade do FI como indicador de visibilidade é amplamente aceite; todavia, a sua utilização tem originado numerosos debates, já que, e segundo Van Raan (2005) nem todos os artigos citados são de qualidade e os motivos para realizar uma citação variam consideravelmente, podem ser feitas citações para prestar homenagem a pioneiros, dar credibilidade a trabalhos relacionados, analisar trabalhos anteriores, sustentar afirmações, validar dados, contestar trabalhos ou ideias, entre outros, além de que podem existir auto- citações ou citações por acordo com colegas.

Deve também ter-se em conta de que existem diferenças significativas no FI mediante as disciplinas, uma vez que este é condicionado por fatores como taxa de crescimento, tamanho da comunidade científica ou hábitos de publicação (H. F. Moed, 2005).

62 c) Índice h

Entre os indicadores de impacto mais recentes encontra-se o Índice h, proposto por Jorge Hirsch, em 2005, como um procedimento para a avaliação da qualidade de um investigador, sem recorrer a métodos qualitativos, como revisão por pares.

Segundo Hirsch :

A scientist has index h if h of his/her papers belong to his/her h core. A paper belongs to the h core of a scientist if it has h citations and in addition belongs to the h-core of each of the coauthors of the paper (2010, p. 742).

Este índice corresponde, assim, ao número de artigos de um determinado autor com, pelo menos, o mesmo número de citações (Costas & Bordons, 2007). Ou seja, se o Índice h de um investigador for 16, quer dizer que, da totalidade de artigos publicados, esse investigador, tem 16 artigos com, cada um deles, pelo menos 16 citações. O cálculo é efetuado a partir da lista de artigos do investigador. Esta lista deverá ser apresentada por ordem decrescente do número de citações recebidas. Quando o número de ordem na lista iguala o número de citações recebidas, obtém-se o Índice h.

Segundo o próprio Hirsch, a correlação entre este índice e o êxito do investigador é inquestionável. Isso, juntamente com a simplicidade de cálculo, levou a que passasse a ser usado como medida de avaliação individual e institucional. No entanto, também é alvo de críticas na avaliação dos investigadores, uma vez que não entra em linha de conta com alguns fatores importantes, como a longevidade da carreira bem como a estratégia de publicação do investigador e as diferenças existentes entre áreas científicas. Além disso, o Índice h penaliza os autores que privilegiam a qualidade à quantidade e cujo valor máximo alcançado estará sempre limitado pelo número de documentos (Costas & Bordons, 2007).

Têm sido vários os indicadores alternativos propostos para melhorar as limitações deste indicador, sendo o mais conhecido o Índice g, proposto por Egghe (2008). Este pode alcançar valores superiores ao número total de documentos de um autor, a sua principal limitação é que as publicações ocasionais que sejam altamente citadas podem aumentá- lo consideravelmente, ainda que não sejam representativas da produção do autor.

63

Mais do que as várias propostas de indicadores a usar nas metodologias de avaliação a um nível "micro", o importante é não cair no reducionismo de usar um único indicador para avaliar a produção total de um investigador ou instituição e usar tantas variáveis quanto possível para ter uma ideia geral do objeto a ser estudado.

64

3. Indicadores relacionais ou de colaboração

Estes indicadores compreendem duas vertentes: a colaboração entre autores e a colaboração entre instituições. São obtidos a partir dos nomes e da afiliação institucional dos autores. Com estes dados podem construir-se indicadores de colaboração para conhecer com que instituições nacionais ou estrangeiras se fazem as publicações e calcular os padrões de colaboração entre instituições e autores (Katz & Martin, 1997). Também permitem conhecer as colaborações a nível temático, disciplinar e por área e assim obter mapas ou redes de relações.

Reconhecendo a importância da avaliação da atividade científica nas diversas instituições são, pois, diversos os métodos tendentes a analisar a qualidade, eficácia e produção de novos conhecimentos. Apesar da sua importância, os indicadores quantitativos só avaliam aspetos parciais da atividade dos investigadores. Existem inúmeros fatores que não são facilmente mensuráveis e que têm grande influência no desenvolvimento científico, pelo que é importante não perder de vista a perspetiva qualitativa.

Porém, Van Raan (1999) recomenda o conjunto de ambas as técnicas na avaliação da atividade científica, já que a avaliação qualitativa (como a revisão por pares) permite tratar aspetos relevantes da investigação que não devem ser descurados. A análise por pares, em que cada documento é lido na íntegra, é muito mais rigorosa do que a bibliométrica, menos detalhada. Porém, esta última pode ser a mais indicada para e no tratamento de grande quantidade de documentos.

Assim, e no que à análise da produção científica se refere, o ideal será usar uma combinação de ambos os sistemas de modo a alcançar um entendimento completo sobre a unidade ou grupo a avaliar.