Apontamentos sobre a coleta de dados em estudos bibliométricos e cientométricos
Carlos Roberto Massao Hayashi Professor Adjunto da Universidade Federal de São Carlos
Resumo
Com base na experiência adquirida na condução de diversas pesquisas bibliométricas e cientométricas esse texto apresenta um conjunto de reflexões que pode auxiliar no desenvolvimento de trabalhos com esse enfoque metodológico. Inicialmente são apresentadas algumas considerações de ordem teórica sobre a Bibliometria e a construção de indicadores bibliométrico. Em seguida são focalizadas as competências e habilidades necessárias para realização de análises bibliométricas, e apresentadas as ferramentas automatizadas mais utilizadas, além de detalhar as diversas etapas da coleta de dados bibliométricos.
Palavras-chave: Bibliometria; Cientometria; Epistemologia.
Abstract
Based on experience in conducting several researches bibliometric and scientometric this paper presents a set of reflections that can assist in developing works with this methodological approach. Initially we present some theoretical considerations on Bibliometrics and the construction of bibliometric indicators. Then are focused skills and abilities needed to perform bibliometric analyzes and presents the most commonly used automated tools, in addition to detailing the various stages of bibliometric data collection.
Keywords: Bibliometrics; Scientometric; Epistemology.
1. Introdução
m diversos trabalhos realizados1 no grupo de pesquisa
“Conhecimento Científico e Produção Cientifica em Educação”, nos quais a análise bibliométrica foi adotada como abordagem metodológica, foi possível observar que se a coleta de dados for bem executada haverá menos inconsistências na transposição de dados para os diferentes softwares e ferramentas de análise bibliométrica, bem como redundará em economia e tempo na modelagem dos dados. Antes de comentarmos os diversos aspectos envolvidos na coleta de dados em estudos bibliométricos é necessário realizar uma breve reflexão sobre as aplicações da análise bibliométrica, tendo em vista que os diversos tipos de aplicação dessa metodologia, entre as quais podem ser citadas:
E
Mapeamento da literatura de uma área especifica de conhecimento.
Modelagem matemática de aspectos dinâmicos da literatura científica.
Identificação de áreas de excelência, associações temáticas, interdisciplinaridade, redes de colaboração científica, temas emergentes e lacunas na produção do conhecimento científico.
Produção de indicadores bibliométricos.
Como toda metodologia, a análise bibliométrica ela tem limitações, tal como apontam Hayashi et al (2007a, p.5):
[...] tempo, custo, erro na coleta de dados, publicações e práticas de citação variadas que tornam difíceis as comparações; propensão às autocitações pelos cientistas e grupos de pesquisa; suposição de que qualidade e quantidade estão ligadas às citações.
1 Hayashi; Hayashi; Silva (2006); Hayashi et al. (2007ª); Hayashi; Hayashi; Silva (2007);
Hayashi et al. (2007b); Hayashi; Ferreira Jr. (2007); Hayashi; Ferreira Jr. (2008); Pizzani et al. (2008); Hayashi; Hayashi; Martinez (2008); Hayashi, M. C. P. I. et al. (2008);
Hayashi; Rothberg; Hayashi (2009); Bello; Hayashi (2009); Hayashi; Ferreira Jr. (2010);
Silva; Hayashi; Hayashi (2010); Sacardo; Hayashi (2011); Silva; Bittar; Hayashi (2011);
Silva; Hayashi (2011); Hayashi; Rigolin; Sacardo (2012); Hayashi (2012); Hayashi et al.
(2012); Silva; Hayashi (2012).
Além disso, dado o caráter quantitativo dos indicadores produzidos pela análise bibliométrica, que não permitem análises mais aprofundadas em relação ao conteúdo dos dados coletados, e após várias discussões teóricas no grupo de pesquisa “Conhecimento científico e produção científica sobre Educação” sobre os limites da Bibliometria passamos a adotar o conceito de neo-bibliometria (Silva; Hayashi, 2011; Silva; Hayashi; Hayashi, 2011;
Silva; Hayashi, 2012), tal como exposto por Silva e Hayashi (2011).
Enquanto a bibliometria preocupava-se com a produção e a produtividade, a neo-bibliometria, através dos seus indicadores, permite chegar até as abordagens teóricas dos pesquisadores, o que ultrapassa, e muito, os números. Teorias, métodos e amostras de populações agora são objetos de estudo também da neo-bibliometria. Mais do que isso, trata-se de caracterizar, em profundidade, os caminhos percorridos pelos pesquisadores, em termos de opção teórica. O termo neo-bibliometria traz intrinsecamente o prefixo de origem grega neo - que significa novo, recém, renovadamente.
Então, entende-se que neo-bibliometria pode ser interpretada como nova
“roupagem” da bibliometria, ou seja, um enriquecimento de análises dos dados obtidos com a aplicação da bibliometria. Em outras palavras, o aprofundamento dessas análises diz respeito à combinação de outros métodos ao estudo bibliométrico para uma contribuição efetiva no delineamento teórico e metodológico de um campo (Silva; Hayashi 2011, p.74).
Além da neo-bibliometria, que pode ampliar o escopo das análises bibliométricas, destacamos também a análise epistemológica da produção científica, nos moldes propostos por Sánchez Gamboa (2008). Os trabalhos de Sacardo; Hayashi (2011); Sacardo (2012) e Coelho; Hayashi (2011) já fazem uso dessa combinação de metodologias.
2. Construção de indicadores bibliométricos
No contexto da Bibliometria os indicadores podem ser definidos como os
“parâmetros utilizados no processo de avaliação de qualquer atividade científica” (Hayashi; Hayashi; Martinez, 2008, p. 138). A análise
bibliométrica permite a construção de indicadores para tanto, é necessário definir os campos de informação do formulário da base de dados.
Como referem Silva; Hayashi; Hayashi (2011),
O reconhecimento de que a atividade científica pode ser recuperada, estudada e avaliada a partir de sua literatura sustenta a base teórica para a aplicação de métodos que visam à construção de indicadores de produção e desempenho científico. Por meio da bibliometria e da cientometria é possível construir indicadores destinados a avaliar a produção científica de indivíduos, áreas de conhecimento e países. Reunidos sob a égide de estudos métricos da informação, tais indicadores tem sido largamente empregados na avaliação de pesquisadores e áreas de conhecimento (Silva; Hayashi;
Hayashi, 2011, p. 111).
Para construção de indicadores bibliométricos a partir de dados coletados em banco de teses e dissertações, entre os campos de informação mais usuais para registro das informações estão os seguintes: autor, orientador, gênero, título do trabalho, nível (M/D), PPG, IES, região, linha de pesquisa, fomento, palavras-chave, resumo.
A partir desses campos, entre outros são os seguintes os tipos de indicadores que podem ser criados:
Autoria e co-autoria (orientadores) dos trabalhos Temporalidade dos trabalhos
Vinculação institucional Área de conhecimento Incidência das temáticas
Literatura de referencia (núcleo principal e núcleo secundário)
O cruzamento desses indicadores permite uma ampliação das análises bibliométricas. Isso significa que é possível cruzar, por exemplo: temáticas x ano; vinculação institucional x área de conhecimento.
3. Competências e habilidades para realizar análises bibliométricas Ao utilizarmos a metodologia da Análise Bibliométrica devemos pensá-la tanto do ponto de vista qualitativo e quantitativo. Na metodologia da
Análise Bibliométrica tanto os dados quantitativos e qualitativos são importantes, e como princípio deve-se descartar uma hierarquia entre eles.
Assim, antes de realizar a análise bibliométrica, algumas questões, do ponto de vista teórico e metodológico devem estar bem claras, como se expõe a seguir.
Do ponto de vista qualitativo a partir do referencial teórico, quais serão os dados a serem coletados? Que dados irão proporcionar uma análise mais aprofundada e enriquecedora? Como serão analisados?
Do ponto de vista quantitativo quais os campos de informação serão definidos para a coleta de dados? Todos os campos de informação serão coletados ou apenas uma parcela?
Essas são questões que nos levam a definir claramente os critérios que devem embasar a coleta de dados. Em vista disso reforçamos a importância de uma coleta de dados bem feita, que não acarrete “desvios” na análise dos dados sob a ótica do referencial teórico utilizado.
No entanto, antes de respondermos essas questões é necessário retomar alguns aspectos relacionados à competência para a realização de análises bibliométricas.
Em artigo de Hayashi et al (2006) sobre as habilidades e competências necessárias para a utilização da metodologia da Análise Bibliométrica são apresentadas as seguintes etapas:
recorrer ao referencial teórico para elaborar categorias de análise;
estabelecer relacionamentos entre os dados obtidos;
construir indicadores dos resultados obtidos;
elaborar trabalhos científicos (artigos, livros, comunicações etc.) para divulgação e disseminação dos resultados;
submeter os resultados à crítica externa.
O conhecimento do referencial teórico é fundamental para a elaboração das categorias de análise, o que irá permitir os relacionamentos entre os dados a serem coletados.
A partir da coleta é possível construir indicadores que representem o universo e/ou amostra coletada.
Os resultados irão permitir a elaboração de trabalhos científicos, divulgando e disseminando a metodologia e as análises efetuadas.
Entendemos, também, que antes dos dados serem divulgados devem ser submetidos à crítica externa, no caso, pareceristas que emitam um laudo sobre o trabalho realizado.
Posteriormente, Silva; Hayashi; Hayashi (2011), acrescentaram outro conjunto de habilidades e competências necessárias para a realização de análises bibliométricas. Esses autores comentam que a realização da análise bibliométrica envolve o conhecimento de variáveis dependentes e independentes, conforme explicitado no Quadro 1, a seguir.
Quadro 1 – Variáveis envolvidas na análise bibliométrica Variáveis dependentes Variáveis independentes Fatores que estão fora do controle
do pesquisador, tais como:
inconsistências das bases de dados – estrutura, atualização e incoerências no registro dos dados -; recursos disponíveis nos diversos softwares específicos para a aplicação da bibliometria e falta de informações importantes em documentos.
Conhecimentos e experiências do pesquisador ou profissional sobre os
fundamentos teóricos da
Bibliometria e do campo de estudo em que esta será aplicada e precisam ser controladas, isto é, este controle é possível por meio de procedimentos bem delineados. Dependerão exclusivamente do próprio pesquisador, o que exige interesse e conhecimento prévio para o desenvolvimento de estudos bibliométricos.
Fonte: Adaptado de Silva; Hayashi; Hayashi (2001, p. 124)
Além disso, esses autores apresentaram um conjunto de requisitos que constituem as “competências informacionais” para a realização de análises bibliométricas, conforme representado na Figura 1, a seguir.
Figura 1 - Competências informacionais para realizar análises bibliométricas
Fonte: Silva; Hayashi; Hayashi (2011, p. 125).
Como exemplo de coleta de dados bibliométricos realizadas citamos as dissertações de Hayashi (2004) sobre a base de dados Francis® e de Silva (2004) sobre a produção científica dos docentes do Programa de Pós- Graduação em Educação Especial da UFSCar.
Esses autores utilizaram como abordagem metodológica a Bibliometria e as competências e habilidades listadas na Figura 1, foram essenciais para o desenvolvimento da pesquisa.
Na Figura 2, pode-se observar esquematicamente o desenvolvimento de ambos os trabalhos.
Figura 2 - Esquema da organização dos estudos de Hayashi (2004) e Silva (2004)
A seguir apresentamos ferramentas automatizas para a coleta de dados visando a posterior análise bibliométrica.
4. Ferramentas informatizadas que auxiliam a análise bibliométrica O avanço das tecnologias da informação e a disponibilização de bancos de dados eletrônicos de informação científica foram acompanhados pelo desenvolvimento de ferramentas informatizadas – softwares livres e proprietários, isto é, pagos - que permitem a realização de análise bibliométricas e análise de redes de colaboração científica, e que permitem a construção de indicadores e de mapas de relacionamento entre autores, instituições e outras variáveis que sejam do interesse das pesquisas. O Quadro 2 oferece uma síntese dessas ferramentas.
Quadro 2 – Ferramentas informatizadas
Software Recursos
Bibexcel (gratuito)
Auxilia o usuário na análise de dados bibliográficos ou qualquer dado de natureza textual formatado de uma maneira similar. Gera arquivos de dados que podem ser importados pelo Excel ou qualquer programa que utiliza dados tabelados para posterior processamento.
Citespace (gratuito)
Aplicativo para visualização e análise das tendências e padrões na literatura científica. Permite a visualização do progressivo domínio do conhecimento. Possui funcionalidades como a identificação de temas, links entre as citações no mundo das publicações, termos dos artigos citados, padrões geoespaciais de colaboração e áreas de colaboração internacional.
Leydesdorff
Software Software para análise de mapeamento de periódicos.
Publish or Perish (gratuito)
Recupera e analisa citações acadêmicas por meio do Google Scholar e produz uma variedade de dados estatísticos que podem ser visualizados na tela, colados em outros formulários ou salvos em diferentes formas de saída para análise posterior.
Sci2Tool (gratuito)
Science of Science (Sci2) é uma ferramenta modular projetada especificamente para o estudo da ciência. Ela suporta análises temporais, geospaciais, de tópicos e de rede para as bases de dados escolares nos níveis micro (individual), meso (local) e macro (global).
Fonte: http://www.escritacientifica.sc.usp.br/gerenciadores-bibliometricos/
Além dessas ferramentas automatizadas que auxiliam a análise bibliométrica ainda podem ser citados o software VantagePoint® e o ScriptLattes.
O VantagePoint® é um software que faz análise de dados textuais extraídos de bases bibliográficas. Além disso, por meio de cruzamento de dados permite a geração de indicadores bibliométricos, e possui recursos que facilitam a transposição dos dados sem gerar retrabalho, se esses foram coletados por meio de planilhas elaboradas com o software Excel. É indicado especialmente para os casos em que o volume de dados a serem processados é muito alto. Caso contrário, a análise bibliométrica pode ser realizada com planilhas Excel, ou então por meio de softwares livres, como por exemplo, o Bibexcel.
Por sua vez, o ScriptLattes criado por Mena-Chalco e Cesar Jr. (2009) é uma ferramenta de coleta de currículos da Plataforma Lattes (http://scriptlattes.sourceforge.net/).
O ScriptLattes é um script GNU-GPL desenvolvido para a extração e compilação automática de: (1) produções bibliográficas, (2) produções técnicas, (3) produções artísticas, (4) orientações, (5) projetos de pesquisa, (6) prêmios e títulos, (7) grafo de colaborações, e (8) mapa de geolocalização de um conjunto de pesquisadores.
O potencial do ScriptLattes na coleta de dados da produção científica é imenso, pois simplifica e diminui o tempo para a coleta e a organização dos dados para análise, além de colaborar na “checagem“ dos autores e coautores de uma determinada produção científica.
A seguir apresentamos as etapas metodológicas que evolvem a coleta de dados visando a posterior análise bibliométrica.
5. A coleta de dados na análise bibliométrica
Tendo em vista o projeto temático “Produção do conhecimento em Educação Física: impacto do sistema de pós-graduação das regiões Sul e Sudeste na formação de mestres e doutores que atuam nas Instituições de Ensino Superior da região Nordeste”2 coordenado pelo Prof. Dr. Silvio Sánchez Gamboa, e do qual a equipe da UFSCar e USP/Ribeirão Preto fazem parte e respondem pelas análises bibliométricas e cientométrica, selecionamos como exemplo a coleta de dados em pesquisas bibliométricas aquelas que elegeram como fonte de dados teses e dissertações. Assim, as seguintes etapas são necessárias:
a) escolha da base de dados – a base de dados selecionada é o Banco de Teses da CAPES. Esse banco de dados foi escolhido, pois se constitui em fonte de pesquisa abrangente e é um instrumento de divulgação do conhecimento científico relevante, conforme argumentam Vieira e Maciel (2007). Além disso, o Banco de Teses da CAPES fornece resumos sobre teses e dissertações defendidas junto a programas de pós-graduação do país a partir de 1987 e permite a pesquisa por autor, título e assunto. O acesso
2 O Projeto EPISTEFNORDESTE conta com recursos da FAPESP (Proc. 12/50019-7).
pode ser feito pelo Portal de Periódicos Capes3. Todavia, como esse banco de dados oferece apenas acesso aos resumos, foram buscados os textos integrais dos trabalhos identificados como pertinentes ao tema tratado na Biblioteca Brasileira de Teses e Dissertações do Instituto Brasileiro de Informação Cientifica e Tecnológica (BDTD/Ibict)4, no Portal Domínio Público5 e nas bibliotecas das instituições de ensino superior nas quais os referidos trabalhos foram defendidos, seja por meio de acesso online ou mediante a consulta in loco.
b) elaboração de um protocolo de coleta de dados baseado nas características principais dos indicadores de produção científica que serão produzidos. Neste aspecto o formulário de coleta de dados pode ser desdobrado em dois, contendo a “matriz bibliométrica”, que reunirá entre outros, os seguintes dados oriundos das teses e dissertações: autoria;
orientação; formação profissional; nível da formação acadêmica; área de conhecimento; inserção em grupos de pesquisa; IES de titulação; e a “matriz epistemológica”, que contém dados sobre as dimensões lógicas e histórico- sociais das pesquisas realizadas, conforme explicitado por Silva; Gamboa (2011).
c) seleção das teses e dissertações fixando como termos de busca relativos ao campo a ser investigado. No caso específico do projeto EPISTEFNORDESTE as diferentes bases de dados acessadas exigiram consulta mediante os recursos oferecidos em cada uma delas. Ou seja, a coleta foi realizada mediante busca através de “assunto”, ou “autor”, de acordo com as necessidades da pesquisa;
d) leitura dos trabalhos selecionados para certificar se atendem aos critérios de inclusão na pesquisa – essa etapa é importantíssima, pois permite descartar trabalhos que não são adequados ao escopo da pesquisa, bem como a eliminação de resultados duplicados.
3 Disponível em: <http://capesdw.capes.gov.br/capesdw/>.
4 Disponível em: <http://bdtd.ibict.br/>.
e) criação de uma base de dados em uma planilha Excel para inserção dos trabalhos selecionados – nessa etapa é importante definir todos os campos da “matriz bibliométrica”.
f) modelagem dos dados – visa a eliminação de inconsistências dos dados coletados, tais como duplicidade, grafias erradas de nomes e instituições; eliminação de campos em branco.
g) transporte de dados da planilha Excel para o software de análise bibliométrica6;
h) análise e interpretação dos resultados à luz análise bibliométrica e das teorias que fundamentam a pesquisa, sendo que no projeto em questão o referencial teórico advém do campo da Educação e da Educação Física.
6. Considerações finais
Ao finalizar esse texto, que apresenta as principais etapas da coleta de dados desenvolvida em estudos com abordagem bibliométrica e as ferramentas utilizadas, esperamos ter contribuído para a realização de pesquisas que utilizam a Bibliometria como opção metodológica.
7. Referências
BELLO, S. F.; HAYASHI, M. C. P. I. Educação Especial e Fonoaudiologia:
análise bibliométrica de dissertações e teses do Programa de Pós-graduação em Educação Especial/UFSCar. In: Marquezine, Maria Cristina; Manzini, Eduardo J.; Tanaka, Eliza D. O.; Busto, Rosangela M. (Org.). Tópicos de metodologia de pesquisa para educação especial. Londrina: ABPEE, 2009, p. 25-34.
COELHO, M.; HAYASHI, M. C. P. I. Estudo epistemológico e bibliométrico da produção científica da área de Fundamentos da Educação no
PPGE/UFSCar. P. 497-509. I Congresso Latinoamericano de Filosofia da Educação, Campinas, 2011. Anais..., p. 497-509, 2011.
SÁNCHEZ GAMBOA, S. Pesquisa em Educação: métodos e epistemologias. 2a.
ed. Chapecó, SC: Argos, 2008. 193p
HAYASHI, C. R. M. Presença temática da educação na base de dados Francis®: uma abordagem bibliométrica. 175f. 2004. Dissertação (Mestrado em Educação) – Universidade Federal de São Carlos.
6 No projeto EPISTEFNORDESTE utilizamos o software VantagePoint®.
HAYASHI, C. R. M.; FERREIRA JR., A. A comunidade científica em Educação: uma abordagem crítica. Série-Estudos (UCDB), v. 23, p. 11-27, 2007.
HAYASHI, C. R. M.; FERREIRA JR., A. Aspectos teórico-metodológicos da abordagem bibliométrica em grupos de pesquisa. In: Wanda Aparecida Machado Hoffmann; Ariadne Chloe Mary Furnival. (Org.). Olhar: Ciência, Tecnologia e Sociedade. São Carlos - SP: Ed. Pedro e João Editores / CECH- UFSCar, 2008, p. 89-100.
HAYASHI, C. R. M.; FERREIRA JR., A. O campo da história da educação no Brasil: um estudo baseado nos grupos de pesquisa. Avaliação (UNICAMP), v.
15, p. 167-184, 2010.
HAYASHI, M. C. P. I.; RIGOLIN, C. C. D.; HAYASHI, C. R. M.
Transgênicos e sociedade na agenda das pesquisas acadêmicas brasileiras.
Política & Sociedade (Impresso), v. 11, p. 99-134, 2012.
HAYASHI, M. C. P. I.; ROTHBERG, D.; HAYASHI, C. R. M. Scientific knowledge and digital democracy in Brazil: how to assess public health policy debate with applied Scientometrics. Scientometrics (Online), v. online, p. 1-9, 2009.
HAYASHI, M. C. P. I. et al. A obra do Padre Antonio Vieira na agenda das pesquisas acadêmicas no Brasil. ETD: Educação Temática Digital, v. 14, p. 96-120, 2012.
HAYASHI, M. C. P. I.; HAYASHI, C. R. M.; MARTINEZ, C. M. S. Estudos sobre jovens e juventudes: diferentes percursos refletidos na produção
científica brasileira. Educação, Sociedade & Culturas, p. 131-154, 2008.
HAYASHI, M. C. P. I.; HAYASHI, C. R. M.; SILVA, M. R. da. Competências em Ciência, Tecnologia e Inovação: Um estudo exploratório no Portal
Inovação. Informação & Informação, v. 11, p. 1-21, 2006.
HAYASHI, M. C. P. I.; HAYASHI, C. R. M.; SILVA, M. R. da. Panorama da educação jesuítica no Brasil colonial: síntese do conhecimento em teses e dissertações. Em Aberto, v. 21, p. 137-172, 2007.
HAYASHI, M. C. P. I. et al. História da educação brasileira: a produção científica na biblioteca eletrônica Scielo. Educação e Sociedade, v. 29, p. 181-211, 2008.
HAYASHI, M. C. P. I. et al. Indicadores da participação feminina em Ciência e Tecnologia. Transinformação, v. 19, p. 169-187, 2007b.
HAYASHI, M. C. P. I. et al. Um estudo bibliométrico sobre a educação jesuítica no Brasil colonial. Biblios (Lima), v. 8, p. 1-18, 2007a.
MENA-CHALCO, J. P.; Cesar-Jr., R. M. ScriptLattes: An open-source knowledge extraction system from the Lattes platform. Journal of the Brazilian Computer Society, v.15, n.4, p.31-39, 2009.
PIZZANI, L. et al. Um estudo bibliométrico da produção científica: a interface entre a educação especial e a fonoaudiologia nas bases de dados da Biblioteca Virtual em Saúde (BVS). Distúrbios da Comunicação, v. 20, p. 205-218, 2008.
SACARDO, M. S. Estudo bibliométrico e epistemológico da produção científica em Educação Física na Região Centro-Oeste do Brasil. 2012. Tese (Doutorado em Programa de Pós Graduação Em Educação) - Universidade Federal de São Carlos.
SACARDO, M. S.; Hayashi, M. C. P. I. Balanço bibliométrico da produção científica em Educação Física e Educação Especial oriunda de teses e dissertações. RBPG. Revista Brasileira de Pós-Graduação, v. 8, p. 111-135, 2011.
SILVA, M. R. da; BITTAR, M.; HAYASHI, M. C. P. I. Produção científica em dois periódicos da área de educação. Avaliação (UNICAMP), v. 16, p. 655-674, 2011.
SILVA, M. R. da; HAYASHI, C. R. M.; HAYASHI, M. C. P. I. Análise bibliométrica e cientométrica: desafios aos especialistas que atuam no campo.
InCID: Revista de Ciência da Informação e Documentação, v. 2, p. 110-129, 2011.
SILVA, M. R. da; HAYASHI, M. C. P. I. Neobibliometria no contexto do neodocumentalismo. In: Giulia Crippa; Solange Puntel Mostafa (Orgs.). Ciência da informação e documentação. Campinas: Alínea, 2011, p. 71-84.
SILVA, M. R. da; HAYASHI, M. C. P. I. O que Bourdieu tem a dizer à Bibliometria? In: Segundo, J. E. S.; Silva, M. R. da; Mostafa, S. P. (Orgs). Os pensadores e a Ciência da Informação. 1.ed. Rio de Janeiro: E-Papers, 2012, p. 9-24.
SILVA, M. R. da. Análise bibliométrica da produção científica docente do Programa de Pós-Graduação em Educação Especial da UFSCar: 1998-2003. 168f. 2004.
Dissertação (Mestrado em Educação Especial) – Universidade Federal de São Carlos.
SILVA, R. H.; GAMBOA, S. S. Análise epistemológica da pesquisa em Educação Especial: a construção do instrumental de análise. Atos de Pesquisa em Educação, v.6, n.2, p. 373-402, maio/ago. 2011.
VIEIRA, R. de A.; MACIEL, L. S. B. Fonte investigadora em Educação:
registros do banco de teses da CAPES. Educação e Pesquisa, São Paulo, v.33, n.2, p. 353-367, maio/ago.2007.
