Os procedimentos utilizados para recuperação de dados e elaboração de indicadores bibliométricos e altmétricos a fim de se avaliar o impacto do acesso aberto em periódicos da área da Ciência da Informação foram divididos em quatro fases, conforme ilustra o fluxograma apresentado pela Figura 15.
84
Figura 15. Fluxograma das fases do procedimento metodológico utilizado na pesquisa
Fonte: Elaborado pelo autor
Fase 1 – Referência Teórico
A necessidade de construção de um referencial teórico visa aprofundar os conhecimentos e conceitos relevantes à elaboração de indicadores em ciência e tecnologia, em especial àqueles fundamentados na Bibliometria e Altmetria. Buscou-se realizar uma pesquisa bibliográfica que abordasse a temática da construção da comunicação dentro da comunidade científica, destacando-se a inserção do acesso aberto e dos sistemas de avaliação de periódicos nesse modelo. Esta é uma fase de suma importância para o desenvolvimento da pesquisa, pois permite o embasamento requerido para a análise dos resultados encontrados.
Fase 2 - Seleção dos periódicos a serem analisados na pesquisa
Para a seleção dos periódicos a serem estudados, optou-se pela utilização da lista fornecida pelo Journal Citation Reports (JCR), publicado pela Thomson Reuters, edição Social
Science, de 2014, na categoria Information Science & Library Science. Essa escolha foi
85 vinculada a Web of Science (WoS). A pesquisa no JCR obteve retorno de 85 resultados, apresentados no Apêndice A.
Uma caracterização acerca das políticas editoriais para disponibilização de artigos em acesso aberto foi realizada para todas as revistas encontradas. Assim, foram coletadas informações no sistema SHERPA/RoMEO, da University of Nottingham, que analisa e classifica as revistas científicas de acordo com os graus de permissibilidade de suas políticas de acesso aberto (JENKINS et al., 2007). De acordo com o site da instituição (SHERPA/RoMEO, 2016), o sistema de cores RoMEO é estabelecido do seguinte modo:
Amarelo: podem ser arquivadas as versões pre-print (antes da revisão dos pares); Azul: podem ser arquivadas as versões post-print (texto após a revisão dos pares)
ou a versão final do editor;
Verde: podem ser arquivadas as versões pre-print e post-print ou final do editor (em PDF);
Branco: nenhuma forma de arquivamento é permitida.
Desta maneira, cada periódico recebe uma classificação dentre as categorias de cores, de acordo com as políticas editoriais para arquivamento. Jenkins et al. (2007) ressaltam que no sistema de categorização do SHERPA/RoMEO, tanto a versão do autor (texto após revisão dos pares, mas sem a formatação final da revista), quanto a versão do editor (cópia da versão publicada na revista, no template do periódico e geralmente no formato PDF), tem a mesma categorização de post-print. Ou seja, ambas as versões têm igual efeito para definição de uma cor para a editora. Os autores exemplificam essa situação ao citar os casos nos quais é permitida apenas a versão final do editor, mas não o post-print com a versão do autor. Isto pode ocorrer quando as editoras preferem que o documento arquivado pelo autor tenha uma apresentação profissional, com o layout próprio da revista (SHERPA/ROMEO, 2016). Logo, o critério para a classificação de um documento independe de sua aparência. Além disso, em todas as possibilidades de autoarquivamento, qualquer que seja a versão, o documento deve sempre conter o trabalho completo do autor. Assim, não são passíveis de serem classificadas dentre as cores propostas pelo sistema SHERPA/RoMEO, as editoras que permitem apenas o depósito de partes da pesquisa, uma vez que tais situações não são consideradas como assentimento para o autoarquivamento e, portanto, não se qualificam como sendo de acesso aberto.
86 As informações relativas às políticas de acesso aberto também foram verificadas no
Directory of Open Access Journals (DOAJ), consagrado diretório que indexa os periódicos que
disponibilizam artigos em acesso aberto. Além disso, para os casos nos quais não haviam dados disponíveis, a coleta dos dados foi realizada através de consulta ao site de cada revista. Dessa maneira, em uma categorização geral, as revistas foram divididas em três grupos: de Acesso Aberto (16 periódicos), de Acesso Fechado (7 periódicos) e do tipo Híbrido (62 periódicos).
Uma segunda tipificação foi realizada através do sistema WebQualis9, a fim de se verificar se o periódico já foi avaliado pela Comissão de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e, em caso positivo, qual seu estrato dentro das Áreas de Avaliação Interdisciplinar e de Ciências Sociais Aplicadas I, considerando a classificação “Qualis 2013”. O Qualis foi uma das formas criadas pela CAPES para auxiliar na avaliação da produção científica dos programas de pós-graduação no Brasil. Assim, a Coordenação mensura a qualidade dos periódicos, nacionais e internacionais, em que foram veiculados os artigos produzidos pelo corpo docente e discente do curso de mestrado e/ou doutorado em análise e realiza a pontuação com base em critérios como fator de impacto, indexação em bases de dados reconhecidas, periodicidade e dentre outros. Desse modo, a partir dessa ponderação, as revistas científicas são classificadas em estratos de níveis decrescentes (A1, A2, B1, B2, B3, B4, B5, C), com qualificação diferenciada por área de avaliação (CAPES, 2016). Salienta-se que, dos 85 periódicos pesquisados, apenas 18 apresentavam alguma avaliação no WebQualis, ou na área Interdisciplinar, ou na área de Ciências Sociais Aplicadas I. Destes, somente sete possuíam classificação em ambas as áreas.
Tendo em vista que não foram encontrados meios para se automatizar a coleta dos dados altmétricos e, por esse motivo, essas informações ficaram sujeitos à verificação manual, constatou-se a necessidade de se estabelecer filtros que permitissem a seleção de um número viável de publicações para a realização deste estudo. Conforme discutem Harnad e Brody (2004), a avaliação da hipótese de vantagem de citações do acesso aberto deve ser feita através da comparação do número de citações de artigos disponíveis em acesso aberto, com aqueles em acesso restrito, pertencentes à mesma revista. Dessa forma, a investigação em periódicos híbridos permite anular efeitos particulares que a comparação entre diferentes revistas poderia vir a ter. Nesse sentido, o primeiro recorte estabelecido foi através da seleção dos 62 periódicos classificados como híbridos. Além disso, foram tomadas apenas as revistas que apresentaram
9 A pesquisa foi realizada em julho de 2015. Atualmente a plataforma é denominada Qualis CAPES - Plataforma
87 classificação estratificada dentro das Áreas de Avaliação Ciências Sociais Aplicadas I e Interdisciplinar. A Figura 16 ilustra a delimitação implementada.
Figura 16. Filtros utilizados para seleção dos periódicos a serem analisados
Fonte: Elaborado pelo autor
Após a aplicação dos filtros, a amostra restringiu-se a três periódicos, conforme expõe a Tabela 3.
Tabela 3. Periódicos selecionados após aplicação dos filtros
Fonte: Elaborado pelo autor
Como é possível observar pela Tabela 3, os periódicos de maior fator de impacto são o
Journal of the American Society for Information Science and Technology e o Scientometrics.
Além disso, para ambas as revistas, o número total de artigos e o total de artigos em acesso aberto são semelhantes e, portanto, passíveis de comparação. Por outro lado, o periódico El
Profesional de la Información traz uma característica importante para a análise, pois, após o
período de embargo de três anos, a revista garante o acesso aberto aos textos completos de todos
Periódico ISSN Fator de
Impacto Qualis - Interdisciplinar Qualis - Ciencias Sociais Aplicadas I Total Artigos JOURNAL OF THE AMERICAN SOCIETY FOR
INFORMATION SCIENCE AND TECHNOLOGY 1532-2882 1.846 A2 A1 1269
EL PROFESIONAL DE LA INFORMACION 1386-6710 0.356 B1 A1 584
88 os artigos nela publicados. Assim, através dessa política de arquivamento é possível verificar a existência de possíveis alterações no número de citações ao longo do tempo e, desse modo, contribuir para a avaliação do impacto do acesso aberto. Destarte, considera-se que através desses três periódicos, analisados em conjunto, é possível inferir sobre a existência amostral de OACA para a área da Ciência da Informação, além de permitir a criação de indicadores altmétricos, para a posterior análise de correlação entre as duas métricas. Por fim, com o objetivo de complementar a análise altmétrica e comparar com os resultados obtidos para um periódico nacional, decidiu-se ampliar a amostra da pesquisa e também fazer a coleta de dados para a revista Transinformação, editada pela Pontifícia Universidade Católica de Campinas. Como a Web of Science, em sua coleção Principal, faz apenas a indexação dos periódicos brasileiros Transformação e Informação & Sociedade – Estudos, da área da Ciência da Informação e Biblioteconomia, optou-se por aquele que apresentava o maior valor para o fator de impacto. No caso, o fator de impacto da Transinformação, no momento da coleta, era de 0.095, ao passo que o da Informação & Sociedade – Estudos era 0.082.
Fase 3 – Coleta e tabulação dos metadados referentes aos artigos dos periódicos
selecionados
A coleta dos metadados dos artigos foi realizada através da base de dados bibliográfica Web of Science, na qual estão indexados todos os periódicos selecionados para a pesquisa. Foi estabelecido um recorte temporal, de janeiro de 2007 a dezembro de 2014. A escolha desse período deve-se à necessidade de tempo para que uma citação realizada possa ser devidamente indexada e, posteriormente, computada pela base de dados. A mineração dos artigos foi feita na Principal Coleção do Web of Science, utilizando-se a Pesquisa Avançada e colocando na expressão de busca o ISSN de cada periódico: 1532-2882 (Journal of the American Society for
Information Science and Technology), 0138-9130 (Scientometrics), 1386-6710 (El Profesional de la Información) e 0103-3786 (Transinformação). Além disso, foram selecionados apenas o
tipo de documento “Artigos”. Uma vez completada a pesquisa, os registros de todos os resultados encontrados eram salvos em arquivos de texto, no formato texto pleno (.txt), dentro dos quais eram gravados o Registro Completo e as Referências citadas, conforme mostra a Figura 17.
89
Figura 17. Exemplo da coleta de dados na Web of Science
Fonte: Elaborado pelo autor
Esses arquivos de texto, por sua vez, foram importados no software Vantage Point e criou-se um projeto com os seguintes campos: Ano da publicação, Autores (nome completo), Fonte, Idioma, Instituições, Instituições (e País), Número de citações recebidas (até a data da coleta), Número de referências citadas, País, Palavras-chaves do autor, Periódicos das referências citadas, Referência citadas e Título. A Figura 18 ilustra o resultado obtido. Salienta- se que a necessidade de tratamento dos dados referentes aos países, levou à criação de um novo campo (País com EUA), no qual todos os registros pertencentes aos Estados Unidos foram agregados sob uma única denominação.
Figura 18. Exemplo do registro dos dados coletados no programa Vantage Point
90 Ressalta-se que, apesar da disponibilidade de outras informações poderem ser extraídas e analisadas pelo software, julgou-se que os campos selecionados cobririam todas as variáveis relevantes para a análise. Além desses dados, a WoS oferece ainda a possibilidade de se criar um relatório de citações (Citation Report), cujas informações podem ser salvas em um arquivo do MS Excel. O interessante desse documento é que, além do total de citações, são fornecidas variáveis complementares, como a data da publicação, o número do volume e da edição, as páginas inicial e final do artigo, o DOI e, mais importante, a quantidade de citações recebidas por ano.
Destacam-se alguns desafios encontrados durante a coleta de dados. Primeiramente, a Web of Science possui apenas metadados indexados dos artigos da Transinformação publicados após o ano de 2008. Como a pesquisa abrange também o ano de 2007, foi necessário acrescentar na planilha dos resultados, os dados referenciais coletados manualmente para cada um dos artigos do ano faltante. Além disso, o periódico JASIST foi descontinuado no ano de 2013 e seu nome foi alterado para Journal of the Association for Information Science and
Technology, com substituição do ISSN para 2330-1643. Por esse motivo, para esta revista,
considerou-se apenas os dados referentes ao intervalo de 2007 até 2013.
Ademais, a WoS não indica se um artigo está disponibilizado em acesso aberto nos periódicos híbridos, e como que não existe uma ferramenta que permita a automatização desse processo, foi necessário acessar o site de cada revista e verificar individualmente, dentro do período estabelecido, quais publicações estavam disponíveis em acesso aberto. Para fins de coleta dos dados, tanto as denominações “open access”, quanto “free access”, foram consideradas como sendo de acesso aberto, já que em ambos os casos, os artigos haviam sido disponibilizados em seu texto completo e sem nenhuma barreira a sua visualização.
Outrossim, conforme ressaltado por Antelman (2004), fez-se necessário verificar a disponibilidade dos artigos pela via verde, ou seja, buscar na web o depósito desses artigos em repositórios digitais, sites pessoais dos autores ou em outras fontes nas quais fosse possível encontrar o texto completo dessas publicações sem barreiras. Com esse propósito, os títulos de cada um dos artigos que não estavam em acesso aberto nos sites dos periódicos, foram pesquisados no site de busca Google Acadêmico. Caso fossem encontrados disponíveis em acesso aberto, essa informação era registrada e anotava-se também em qual tipo de site o artigo se encontrava. Tendo em vista o apontamento de Willinsky (2006), de que um modo alternativo à criação e manutenção de repositórios pelas instituições, é através da disponibilização de páginas pessoais (homepages) para os pesquisadores, dentro do site da própria universidade ou
91 centro de pesquisa, tanto os repositórios institucionais, como as homepages foram considerados como pertencentes à nomenclatura “Site Institucional”.
Considerando a baixa inserção na comunidade científica internacional dos artigos escritos nos idiomas português ou espanhol, também foram coletadas informações sobre o número de citações recebidas pelas publicações no Google Acadêmico. O propósito dessa busca foi averiguar a possível influência que o acesso aberto pode ter em relação a fontes alternativas, que não estão indexadas na Web of Science.
Outro desafio da pesquisa esteve relacionado à obtenção dos dados altmétricos. Como não foi encontrado um método automatizado e gratuito de conseguir essas informações, e visto que ainda não existe na literatura um consenso sobre qual o melhor indicador a se utilizar, optou-se por trabalhar com dados das plataformas Altmetric.com e Mendeley. Dessa forma, espera-se contribuir para os estudos da área, ao aferir se algum dos indicadores retrata melhor o impacto dos artigos em acesso aberto, dentro do contexto da web social, para as revistas científicas analisadas. Nesse sentido, para cada artigo foi aplicado individualmente o Altmetric
Bookmarklet, aplicativo gratuito disponibilizado pelo site Altmetric.com, que agrega diversas
fontes de conteúdo sobre as menções dessas pesquisas na web, através da busca pelo DOI de cada documento. Salienta-se que para a Transinformação foi necessária fazer a coleta desses dados através das métricas disponibilizadas pela página do SciELO, haja vista que o periódico somente passou a fornecer a identificação do DOI a partir do ano de 2014.
Alternativamente aos dados fornecidos pela Altmetric.com, também foram verificados o número de leitores (readers), que fizeram o download das referências dos artigos, através das informações disponibilizadas pelo site do gerenciador Mendeley. Essa ferramenta foi escolhida, pois, além de permitir a verificação da difusão do conhecimento entre a comunidade científica, essas métricas estão disponibilizadas para todos os artigos nele salvos. Salienta-se, entretanto, que foram observadas algumas eventualidades. Por exemplo, os artigos dos periódicos El
Profesional de la Información e Transinformação estão predominantemente nas línguas
espanhola e portuguesa. Logo, as buscas tiveram que ser realizadas com os títulos dos artigos tanto no idioma inglês, quanto na língua nativa das revistas. Além disso, verificou-se que uma mesma publicação pode ter mais de uma entrada na plataforma. Essa situação ocorre por pequenos detalhes, como utilizar o nome completo dos autores ou apenas a abreviatura. O mesmo acontece em relação aos nomes dos periódicos. Foi constatado ainda que diferenças nos títulos dos artigos, tais como o uso de letras maiúsculas ou apenas de minúsculas, também acabaram gerando duplicidade de entradas. Por fim, houve casos em que, embora as pesquisas
92 fossem realizadas em parceria, apenas um dos autores tinha sido citado. Exemplos de algumas dessas situações são mostrados na Figura 19.
Figura 19. Exemplo da duplicidade de registros no Mendeley
Fonte: Elaborado pelo autor
Como é possível observar na Figura 19, embora refiram-se ao mesmo artigo, diferentes entradas para o nome dos autores e dos periódicos resultaram em cinco registros no Mendeley. Por esses motivos, foi necessário somar o total de readers em todas as entradas, uma vez que era verificado que se tratava do mesmo artigo. Em alguns casos, o próprio sistema indicava a
93 existência de artigos com títulos iguais. Optou-se por essa solução, pois, ainda que dividido entre vários registros, o número de leitores de uma publicação não pode ser mensurado como sendo apenas daquele observado na primeira entrada.
As variáveis coletadas durante a pesquisa são apresentadas na Tabela 4, pelo qual indicam-se a que essas informações estão relacionadas, qual a fonte utilizada para coleta dos dados, qual o modo utilizado para recuperação desses dados e em qual período foi realizada a coleta.
Tabela 4. Caracterização das variáveis utilizadas na pesquisa
Fonte: Elaborado pelo autor
De posse de todos os dados, a tabulação dessas informações foi feita através da construção de planilhas do MS Excel. Para cada periódico analisado foi criada uma planilha separada, na qual cada linha corresponde a um artigo. Nas colunas, as variáveis coletadas foram alocadas da seguinte forma: (A) Título; (B) Parceria; (C) Autores; (D) Título da fonte; (E) Data
Variável Relacionado a Fonte Modo Período da Coleta
Título Título da fonte Data de publicação Ano da publicação Volume Edição Página inicial Página final DOI Idioma Palavras-Chave Referências Citadas
Título original Site do Periódico Manual 09 nov. 2015 - 15 nov. 2015
Autores Instituições Países
Parceria Verificação do autor Manual 09 nov. 2015 - 15 nov. 2015
Total de citações WoS Média de citações WoS por ano Citações na WoS por ano
Citações Google Acadêmico Google Acadêmico Manual 02 mar. 2016 - 25 mar. 2016
Acesso Aberto pela revista Site do Periódico 26 jul. 2015
Acesso Aberto pelo Google Google
Local depósito Acesso Aberto Versão do Print
Altmetric Score Fontes Altmetric Score
Readers Mendeley Mendeley 18 jan. 2016 - 29 jan. 2016
Site do Periódico
Artigo Web of Science Automático 22 out. 2015
Autor Web of Science Automático 22 out. 2015
Acesso Aberto
Altmetria Citações
02 mar. 2016 - 25 mar. 2016 Website contendo a publicação
04 jan. 2016 - 15 jan. 2016 22 out. 2015 Manual Manual Automático Web of Science
94 da publicação; (F) Ano da publicação; (G) Volume; (H) Edição; (I) Página inicial; (J) Página final; (K) DOI; (L) Total de citações; (M) Média por ano; (N) Citações ano 2007; (O) Citações ano 2008; (P) citações ano 2009; (Q) Citações ano 2010; (R) Citações ano 2011; (S) Citações ano 2012; (T) Citações ano 2013; (U) Citações ano 2014; (V) Citações ano 2015; (W) Acesso Aberto pela revista; (X) Altmetric Score; (Y) Fontes Altmetric Score; (Z) Readers Mendeley; (AA) Citações Google Acadêmico; (AB) Acesso Aberto Google (via verde); (AC) Local Depósito Acesso Aberto; e (AD) Versão Print. Salienta-se que para os periódicos El Profesional
de la Información e Transinformação, mais uma coluna foi criada, na qual foram indicados os
Títulos Originais de cada artigo. Salienta-se que as variáveis Idioma, Instituições, Países, Palavras-chave e Referências Citadas não foram tabuladas junto com as demais, porque seus dados foram extraídos do software Vantage Point em conjunto para os periódicos e, a partir dessas informações agregadas, os indicadores foram construídos.
Fase 4 - Elaboração de indicadores bibliométricos e altmétricos
Após a exportação dos metadados dos artigos encontrados e construção das planilhas eletrônicas com a compilação dessas informações, foram, primeiramente, elaborados indicadores bibliométricos do tipo atividade, a fim de se caracterizar os artigos publicados em cada periódico. Entre os indicadores elaborados, citam-se a frequência anual de artigos por periódico, o número de publicações por países e autores, a taxa média de crescimento anual da quantidade de artigos. Além disso, também foram criados índices de produtividade, com o ranqueamento de instituições e países. Salienta-se que existiu a necessidade de se realizar uma normalização manual dos nomes destas instituições e países, a fim de se evitar considerações errôneas no momento da construção dos indicadores. Ademais, foram estabelecidas as redes de colaboração entre os pesquisadores, com o auxílio do programa Gephi, e realizou-se um