Estudos bibliométricos

Tem havido nos últimos tempos o reconhecimento por parte dos países da OCDE para a importância do investimento na investigação científica, uma vez que a mesma desempenha um papel fundamental ao nível da inovação e da competitividade. Porém,

82

e ao mesmo tempo, há pouca sistematização das evidências do modo como o investimento nessas áreas pode conduzir ao aumento e melhoria da produção científica, melhoria da economia e níveis de desenvolvimento dos países.

A maioria dos estudos centra-se sobretudo no modo como a investigação contribui para a mudança e desenvolvimento das empresas e para o aumento da produtividade, sendo ainda poucos os estudos que associam o investimento na ciência e os seus efeitos no incremento da produção científica. Muitos dos estudos realizados sobre a influência e o impacto de organizações produtoras de conhecimento, no nosso caso as universidades, têm feito maioritariamente análises económicas, enfatizando o seu impacto económico no âmbito local, regional ou nacional (Arundel & Geuna, 2004; Fontana, Geuna, & Matt, 2006).

Tradicionalmente, a possibilidade de mensuração do impacto económico de uma universidade é baseada numa série de variáveis económicas, como novos empregos criados após o investimento público/privado em projetos de I&D (Eathington & Swenson, 2007), a receita, a produtividade e eficiência do trabalhador (Acs, Audretsch, & Lehmann, 2013; Braunerhjelm & Feldman, 2008; Harloe & Perry, 2004) e saúde pública ou de impacto ambiental (Desarbo, Di Benedetto, Song, & Sinha, 2005).

Esses estudos estão, pois, em grande parte relacionados com uma vertente económica. Veja-se, por exemplo, a dissertação de mestrado de Coelho (2012, p. 55) sobre a evolução da investigação em Portugal. Segundo o autor, o objetivo do seu estudo era “avaliar a influência das políticas públicas no desenvolvimento do sistema científico, dando particular destaque aos resultados do investimento crescente na investigação - formação de recursos humanos, produção científica e inovação”.

Em contraste com a dimensão económica, a dimensão do conhecimento ao nível da influência e impacto das instituições de I&D é, em geral, ainda muito pouco desenvolvida no nosso país.

83

A utilização de indicadores bibliométricos para descrever o desempenho do sistema científico de um país é uma prática aceite pela comunidade científica e é já executada em vários países. Em Portugal o sistema científico sofreu um crescimento considerável nos últimos anos, mas a falta de pessoal qualificado na área da bibliometria explica a inexistência de indicadores de desempenho descrevendo a evolução do sistema ao longo dos anos (2013, p. 22).

Quando comparados com os seus congéneres europeus, os estudos bibliométricos portugueses encontram-se ainda num estádio de desenvolvimento bastante embrionário. Em Portugal, o sistema científico sofreu um crescimento considerável nos últimos anos, mas a falta de pessoal qualificado na área da bibliometria explica a inexistência de indicadores de desempenho descrevendo a evolução do sistema ao longo dos anos. De facto, os trabalhos existentes caracterizam-se pelo seu caráter pontual e específico, escasseando, portanto, investigações de grande fôlego que impulsionem este campo de estudos em Portugal.

No caso nacional, as referências encontradas e que podem de alguma forma associar-se à questão da produção científica portuguesa consistem essencialmente em relatórios periódicos de fontes governamentais - maioritariamente da atual DGEEC, anterior GPEARI - sobre os indicadores estatísticos associados à medição da atividade de C&T a nível nacional.

No contexto desta investigação interessam-nos, sobretudo, os relatórios com dados de produção científica que incluem indicadores bibliométricos e as séries estatísticas da produção científica portuguesa, disponíveis para os anos de 1981-2010 e 1990-2010, respetivamente, tendo por base os dados existentes na plataforma InCites, da TR. Esta plataforma é constituída a partir de informação disponível na base de dados da WOS e compreende todos os registos bibliográficos publicados em revistas internacionais de referência, indexadas pela TR, que contenham pelo menos um autor com filiação institucional portuguesa.

84

Por conseguinte, podemos retirar das séries estatísticas (DSIECT, 2011) sobretudo informações de caráter genérico, como dados estatísticos sobre a produção científica portuguesa para o período em análise. Assim, atendendo às séries estatísticas, podemos obter as seguintes informações:

• Em 2005 e em 2010, o número de publicações por cada milhão de habitantes em Portugal foi de 506 e 832, respetivamente;

• A taxa de crescimento do número de publicações em Portugal, entre 2000-2010, foi de 159%, colocando o país na segunda posição face aos restantes países europeus;

• Entre 2005-2010, a taxa de crescimento do número de publicações por cada milhão de habitantes em Portugal foi de 61%;

• O número de publicações portuguesas por área científica, entre 2000 e 2010, revelou-se maior na área das Ciências Exatas, seguindo-se, por ordem decrescente, as Ciências Médicas e da Saúde, as Ciências Naturais, as Ciências da Engenharia e Tecnologias, as Ciências Agrárias, as Ciências Sociais, as Humanidades e, por fim, as Multidisciplinares;

• Entre 2005 e 2010, a taxa de crescimento do número de publicações por área científica foi maior nas Humanidades, atingindo um valor de 207%, seguindo-se as Ciências Sociais com 151%; as Ciências Médicas e da Saúde com 114%; as Ciências Agrárias com 71%; as Ciências Naturais com 62%; as Ciências da Engenharia e Tecnologias com 42%; e, por fim, as Ciências Exatas com 39%; • O número de publicações por tipo de documento, entre 1990 e 2010, atinge o

maior valor no artigo científico, cerca de 67% face à totalidade das restantes tipologias documentais;

• Relativamente à colaboração internacional esta cresceu de forma progressiva entre 2000-2010, tendo aumentado 6%; sendo que os países que mais colaboraram com Portugal foram os Estados Unidos da América, com uma taxa de 50%, a Espanha (44%), o Reino Unido (39%), a França (37%) e o Brasil (12%).

Ainda no contexto das atribuições da DGEEC, assinalamos a importância da publicação anual de documentos metodológicos, entre os quais o Inquérito ao Potencial Científico

85

e Tecnológico Nacional (IPCTN). Este recolhe informação oficial, a nível nacional, que permite a construção de indicadores estatísticos de caracterização e evolução do sistema científico e tecnológico nacional, através do levantamento dos recursos humanos e financeiros em atividades de I&D nas unidades de Estado, do ensino superior e nas instituições privadas sem fins lucrativos. Para além disso, este inquérito visa quantificar o número de investigadores e de unidades de I&D em Portugal. Estes indicadores, como referido anteriormente, são construídos com base na informação fornecida pela TR e apenas são apresentados para o nível nacional.

A nível institucional são apenas conhecidos os indicadores de desempenho providenciados pelo SCImago Institutions Ranking (SIR) e o Leiden Ranking.

Dos finais dos anos 80 e início dos 90 existem vários documentos, de figuras associadas à Ciência que abordam o estado do sistema científico português e apontam caminhos para recuperar o atraso científico e tecnológico que o país experimenta, relativamente aos seus congéneres europeus; entre eles encontra-se o Manifesto para a Ciência em Portugal da autoria de Mariano Gago (1990).

Ultimamente têm surgido alguns trabalhos que abordam essencialmente a recuperação do atraso científico nacional, sustentados na análise de indicadores estatísticos. Apesar desses trabalhos geralmente incluírem uma revisão da história e organização da Ciência em Portugal, não fazem a análise dos resultados da investigação e produção científica nacional de uma forma global (Coelho, 2012).

Porém, os estudos bibliométricos e a bibliometria assumem cada vez maior relevância e são cada vez mais utilizados por vários autores com o intuito de avaliar a evolução, a produtividade e a estrutura do conhecimento científico.

Geralmente, os estudos dentro deste campo de pesquisa têm por objetivo avaliar a produção científica de indivíduos, periódicos e instituições. De acordo com Wagner e Leydersdorff (2005), os autores dentro deste campo de pesquisa estão interessados na evolução das relações entre investigadores e tal tem-se mantido como tendência (Abramo, Angelo, & Solazzi, 2011; Wohlin et al., 2012; Zitt, Bassecoulard, & Okubo,

86

2000), bem como descobrir padrões de colaboração em geral (Franceschet & Costantini, 2010; Gazni & Didegah, 2011; Leydesdorff & Wagner, 2008) e estudar as ligações internacionais, em particular e analisar outras consequências da ligação entre financiamento e resultados (Adams, 2012; Clark & Llorens, 2012; Lundberg, Tomson, Lundkvist, Sk?r, & Brommels, 2006).

Assim, os estudos de bibliometria não consideram a dimensão económica da produção e difusão do conhecimento, mas visam permitir mapear e gerar diferentes indicadores de tratamento e gestão da informação e do conhecimento, especialmente em sistemas de informação e de comunicação científicos e tecnológicos, e de produtividade, necessários ao planeamento, avaliação e gestão da ciência e da tecnologia de uma determinada comunidade científica ou país.

Os estudos baseados em análises bibliométricas em Portugal são, pois, poucos e muito recentes, o que sugere que muito pode ainda ser feito no âmbito deste domínio.

Tendo por base o nosso levantamento bibliográfico verificámos que os dados recuperados ao nível da bibliometria foram bastante circunscritos, mas confirmámos já uma preocupação, ainda que muito ténue, por parte das universidades no que respeita à avaliação da sua produção científica. Deste modo, e no que a Portugal se refere, encontrámos alguns estudos bibliométricos institucionais de algumas de instituições portuguesas, algumas das quais constituem parte da nossa amostra. Salientamos aqui os estudos levados a cabo pela Universidade Nova de Lisboa (UNL), Universidade de Aveiro (UA) e Universidade do Porto (UP).

No entanto, e em consequência da ausência de informação e de pessoal qualificado, algumas instituições de ensino superior requereram, a entidades especializadas nesta área, relatórios que descrevem detalhadamente o desempenho científico da instituição. A UNL requisitou nos últimos seis anos dois relatórios ao Centre for Science and

Technology Studies da Universidade de Leiden (Visser & Nederhof, 2008, 2012). Estes

estudos tiveram como ponto de partida as publicações de 2000 a 2006 e de 2002 a 2008 em revistas associadas à WoS.

87

Numa perspetiva de evolução, quando se comparam os resultados obtidos com os do estudo realizado há 2 anos referente às publicações de 2000-2006, constata-se que o impacto global da UNL igualou a média internacional, que o número de artigos muito citados aumentou significativamente e que as unidades que integram a UNL aproximaram-se ou ultrapassaram a média internacional.

O impacto em 16 áreas científicas (medido pelo número de vezes que os artigos da UNL são citados por outros investigadores) foi comparado com 364 universidades mundiais, dando origem a um ranking para cada uma dessas áreas.

Também sobre a UP encontrámos vários estudos bibliométricos (Fernandes, 2013; Sequeira & Teixeira, 2011; Reitoria da Universidade do Porto, 2010; Vieira, 2013; Vieira, Nouws, Albergaria, Delerue-Matos, & Gomes, 2008). Os dois primeiros são sobre unidades orgânicas, sendo que no caso do primeiro se trata de um estudo bibliométrico sobre o uso de revistas eletrónicas por parte dos investigadores e docentes da Faculdade de Letras da UP e o segundo é sobre a colaboração internacional dos investigadores do INESC-Porto. O terceiro estudo é sobre a produção científica da UP indexada na WoS entre 2003 e 2009 (anos cobertos pelo nosso estudo). Já o quarto é sobre a aplicação de indicadores bibliométricos na avaliação individual do desempenho científico. E por fim, o quinto faz uma análise comparativa da produção científica da UP indexada na Scopus e WoS.

No que à UA diz respeito localizámos um estudo sobre os níveis de qualidade do ensino na Universidade (Huet, Rafael, Costa, & Oliveira, 2010). É uma outra abordagem, mas que reflete a importância da excelência do ensino e produção científica das instituições académicas, também referido no presente trabalho de investigação.

Localizámos e analisámos também o documento de apoio ao Seminário Rankings e Sistemas de Ensino Superior realizado na Universidade de Lisboa (Curado & Pinheiro, 2012) cujos objetivos eram discutir a natureza e impacto dos rankings, fontes e metodologias de construção, limitações e potencialidades.

88

Recentemente, também a FCT decidiu fazer um Diagnóstico do Sistema Nacional de Investigação e Inovação (SNI&I) português tendo em vista contribuir para a definição posterior de uma Estratégia de Especialização Inteligente do país e das suas regiões de âmbito mais geral. A análise foi efetuada no quadro da necessidade de fundamentar tal estratégia no perfil de especialização existente, nomeadamente a nível regional e nacional nas dimensões associadas à I&D e à Inovação. Para atingir este objetivo, foi realizada uma análise aprofundada da evolução do SNI&I, incidindo com um particular enfoque nas dinâmicas observadas no sistema no referente à produção e à exploração do conhecimento de base científica ou tecnológica (Henriques, 2013).

Localizámos também alguns estudos com carácter académico (teses e dissertações) como o de Antunes (2012), Fernandes (2013), Medeiros (2014), Sequeira e Teixeira (2011) e Vieira (2013).

O primeiro faz uma caracterização da amostra portuguesa da área da saúde indexada na WoS, o segundo faz um estudo bibliométrico através da análise do uso de revistas eletrónicas por docentes/investigadores da Faculdade de Letras da UP, o terceiro analisa bibliometricamente a mais recente produção científica portuguesa universitária sobre História medieval, em particular a produzida entre 2000 e 2010, o quarto faz uma análise bibliográfica da produção científica do INESC-Porto e o quinto analisa a aplicabilidade de indicadores bibliométricos como instrumento auxiliar das avaliações por pares em concursos para as categorias de Professor Associado e Catedrático nas universidades portuguesas.

Deste modo, e após pesquisa da bibliografia nacional sobre o assunto em estudo realizada no Repositório Científico de Acesso Aberto de Portugal (RCAAP) e que nos permitiu recolher algumas referências sobre a literatura científica produzida em Portugal no âmbito dos estudos bibliométricos, uma vez que os dados recuperados através dessa pesquisa foram bastante circunscritos, optámos por realizar uma pesquisa em bases de dados e repositórios internacionais.

Assim, fizemos pesquisas na WoS da TR, na Library, Information Science & Technology

89

e na b-on e individualmente nas interfaces dos editores Elsevier, Emerald, Springer,

Wiley e Taylor & Francis.

Fizemos também um levantamento dos artigos publicados no periódico Scientometrics da editora Springer, por ser esta considerada como a principal publicação ao nível da bibliometria e da análise estatística da produção científica. Este periódico foi lançado em 1978 como: “a new medium to stimulate the development of scientometrics, the quantitative study of science. According to one of the editors, it would be “a journal for the publication of meaningful and valuable contributions to this new field of science” (Wouters, 1999b, p. 181).

No sítio web da publicação é indicado que a “emphasis is placed on investigations in which the development and mechanism of science are studied by means of (statistical) mathematical methods”. Fizemos uma pesquisa com recurso à truncatura “bibliometr*” que permitiu uma recuperação mais ampla de artigos, tendo sido localizados cerca de 3.000 artigos internacionais sobre bibliometria, muitos dos quais com uma abordagem restrita ou temática.

Pesquisámos, ainda, no Journal of the American Society for Information Science and

Technology (JASIS) e no Research Policy que segundo Bar-llan (2008) e (Wilson, 1999)

são, juntamente com o Scientometrics, os periódicos com mais artigos publicados relativamente à questão da bibliometria.

São várias as abordagens dos estudos bibliométricos encontradas aquando da pesquisa realizada para o presente trabalho de investigação, desde a história da bibliometria e evolução da bibliometria (Godin, 2006; Wouters, 1999a),passando por estudos sobre as várias leis bibliométricas (Egghe, 2000; Egghe, 2003, 2004; Egghe, 2005a, 2005b; Hood & Wilson, 2001; Wilson, 1999), já anteriormente enunciadas; estudos de análises de citações, indicadores bibliométricos, produção científica, entre muitas outras.

Relativamente ao uso da análise de citações podemos destacar o artigo de Bremholm (2004) onde é descrito o estudo bibliométrico por ele realizado para estudar a revista

90

Proceedings of the Oklahoma Academy of Science. Este estudo baseou-se quase por

completo na análise de citações que segundo o autor é o indicador bibliométrico com maior aplicação.

Também utilizando as técnicas da análise de citações, Quental & Lourenço (2012) elaboraram um estudo bibliométrico no qual seguiram cinco etapas a partir das quais reuniram o conjunto de artigos em análise, analisaram a produção científica e a evolução da disciplina, fizeram uma compilação inicial da base de dados de referências, identificaram as publicações mais influentes e, por fim, identificaram os autores mais influentes.

Ainda com o uso das técnicas de análise de citações destaca-se o estudo Onyancha & Maluleka (2008) que destaca oito tópicos:

• O crescimento das publicações,

• A distribuição dos registos pelo tipo de documento, • O número de referências por ano,

• A média das referências por artigo por ano, • Artigos com o maior número de referências, • Língua de publicação dos artigos citados,

• Relação entre o tamanho dos artigos e o número de referências • Tipo de fontes mais consultadas pelos autores do SAJLIS4.

Localizaram-se também estudos de género, com particular destaque para a evolução ou diferenças no papel das mulheres no desenvolvimento da ciência. Garg e Kumar (2014) fazem uma análise cientométrica da produção científica indiana na área das ciências da vida com destaque para a produção das mulheres, concluindo que esta está a aumentar nos últimos anos.

Também Kretschmer e Kretschmer (2013) analisam a discriminação de que as mulheres são alvo ao nível da progressão na carreira. No seu artigo apresentam e discutem quatro mitos:

91

1. Os homens são mais produtivos do que as mulheres, com base em indicadores bibliométricos.

2. Os homens superam as mulheres na matemática e nas ciências

3. Os homens são mais bem-sucedidos em ciência e tecnologia do que as mulheres, com base em avaliações pelos pares.

4. Os homens são melhor apresentados na web.

Os autores concluem que as desigualdades de género se mantêm e são predominantes na ciência, apesar das muitas iniciativas para tentar erradicá-las.

Lewison e Markusova (2011) também analisam a evolução da produção científica das investigadoras russas indexada na WoS nos anos de 1985, 1995 e 2005. Também neste estudo se verifica que as mulheres ainda ficam atrás dos homens em todos os domínios científicos em termos de produção, embora a diferença seja menor nas ciências da vida.

Existem também vários estudos sobre a produção científica por área do conhecimento e/ou temáticos, ou seja, análises bibliométricas da evolução da produção científica de determinadas áreas científicas, verificando-se uma predominância dos mesmos na área das ciências da saúde (Cao, Zhou, & Wang, 2013; Donato, & Oliveira, 2009; Inigo, Palma, Iriarte, & Urrestarazu, 2013; Kazakis, Diamantidis, Fragidis, & Lazarides, 2014). Como afirma Bar-Ilan (2008, p. 17): “It seems that the medical community has great interest in bibliometric evaluations”.

A bibliometria é aplicada nas várias áreas do conhecimento, como a biotecnologia (Bajwa & Yaldram, 2013), a física (Matthews, 2013), a matemática (Behrens & Luksch, 2011), o direito (Shapiro & Pearse, 2012), entre outras.

Há também vários estudos nos quais se compara a produção científica entre vários países como o Brasil e a Coreia do Sul (Fink, Kwon, Rho, & So, 2014), a China e a Índia (Manisha & Mahesh, 2014), alguns países africanos (Mêgnigbêto, 2013), entre outros. Estudos da produção científica de um continente, no caso particular dedicámos mais atenção à Europa. Bengoetxea & Buela-Casal (2013) abordam a questão da Comissão Europeia estar envolvida na implementação e desenvolvimento de uma nova

92

metodologia para a criação de um ranking de classificação das instituições de ensino superior. Delanghe, Sloan, & Muldur (2011) analisam a importância que os indicadores bibliométricos desempenham na implementação do conceito de Espaço Europeu da Investigação (EEI), uma vez que a concretização deste é o principal objetivo da política de investigação da EU. Já Wolszczak-Derlacz e Parteka A. (2011) têm como objetivo analisar a eficiência e determinantes num conjunto de instituições de ensino superior (IES) de vários países europeus.

No nosso caso demos especial atenção aos estudos com caráter nacional a partir dos quais se estuda a produção científica de um determinado país, pelo que analisámos alguns estudos relativos à produção científica e análise bibliográfica de alguns países individualmente. Podemos, assim, referir Wang et al.,(2013b) que analisam através de métodos bibliométricos a colaboração internacional da produção científica da China, não só ao nível dos países de maior colaboração, mas também principais áreas científicas, instituições e principais investigadores. Para a África do Sul podemos referir Kahn (2011) e também Inglesi-Lotz e Pouris (2011).Destaque-se o Schotish Government (2009) que analisa a produção científica da Escócia em comparação com o Reino Unido; Smith, Ward, & House (2011) que escreveram um artigo sobre o novo modelo de avaliação da produção científica desenvolvido pelo United Kingdom's Funding Councils e, relativamente ao Reino Unido pode ainda citar-se Hewitt-Dundas (2012). No caso da