A geração da produção científica de um país está intimamente ligada à produção científica das universidades, principalmente as federais, pois um dos critérios de avaliação utilizado pelos órgãos competentes, com o objetivo de manter ou não determinado curso, em alguma universidade, é a sua produção acadêmica, o nível de comprometimento com a ciência e seu desenvolvimento, dentro de uma área específica do conhecimento.
No caso do Brasil, as avaliações ocorrem através da Capes, CNPq e MEC, que avaliam a produção das universidades e, em especial, dos cursos de pós-graduação. Neste contexto, são inúmeras as ações demandadas para a avaliação dos periódicos científicos, considerados como veículos da produção científica, conforme apresentado por Peters e Ceci (apud RODRIGUES; LIMA; GARCIA, 1998, p. 152), com relação ao “papel do pesquisador – escritor da ciência, potencial avaliador/avaliado de seus pares e orientador de seus alunos, quer na graduação, quer na pós-graduação – e o da própria universidade, vista como oficina e laboratório do trabalho de criação”.
Assim, são inúmeras as tarefas típicas da produção intelectual, tanto de criação como de orientação, que demandam atenção redobrada do pesquisador/produtor, quanto à qualidade do conteúdo e a apresentação formal, oficial da produção vinculada ao formato de apresentação, que é respaldado pelas normas, aceitas internacionalmente (RODRIGUES; LIMA; GARCIA, 1998).
Assim, dentro da área de Ciência e Tecnologia, onde a produção científica do país é administrada, são inúmeras as ações, os estudos, as propostas, em sua maioria respaldadas pelas normas em vigor. Muitos dos estudos encontrados voltam-se à questão de avaliação do conteúdo o que, a princípio, não faz parte dos objetivos desta pesquisa. Outros, embora abordem as questões de apresentação textual, não apresentam e/ou exemplificam os instrumentos de coleta de dados, ficando difícil a sua avaliação.
Desta maneira, fazendo uso da apresentação de Ferreira (2001), relativa a um levantamento histórico das avaliações mais relevantes, destacam-se:
a) 1960 – surgem na literatura estudos sobre avaliação de periódicos científicos e técnicos que demonstram a necessidade de se definir parâmetros mensuráveis que possam refletir a qualidade da informação científica.
b) 1964 – a UNESCO cria modelo de mensuração para avaliação de revistas latino-americanas, classificando os periódicos em categorias: deficiente a excelente.
c) 1968 – Arends, baseada no modelo da UNESCO, estabelece critérios para mensuração de revistas: regularidade da publicação, durabilidade, periodicidade, aceitação de colaboradores de outras instituições, indexação, etc. d) 1982 – Braga et al., apresenta novo modelo de avaliação: considera aspectos de forma dos periódicos dentro de parâmetros mensuráveis. Estabelece critérios de avaliação baseados em variáveis e condições para que o periódico obtenha uma pontuação.
e) 1985 – Yahn, apresenta avaliação de periódicos na área de agricultura utilizando modelo de Braga (1982) com modificações e sugere que seja feita avaliação conjunta de mérito e forma.
f) 1986 – Martins, avalia 224 títulos da área de Ciência e Tecnologia com formulário próprio para verificar itens referentes à normalização baseada nas normas da ABNT.
g) 1988 – Krzyzanowski et al., apresenta avaliação de mérito das revistas, realizada pelos pares mediante parâmetros predefinidos, sendo a classificação em três níveis de relevância: prioritária, importante, importância relativa. h) 1991 – Krzyzanowski et al., elabora refinamento da lista classificatória obtida
anteriormente, utilizando os mesmos parâmetros do estudo anterior.
i) 1995 – Castro e Ferreira realizam uma avaliação de periódicos latino- americanos da base de dados LILACS, utilizando o modelo de Braga (1982), com adaptações. Avaliação de forma de 311 periódicos, sendo a classificação de desempenho: muito bom, bom, mediano e fraco.
j) 1997 – BIREME realiza avaliação de periódicos para estabelecimento de critérios para seleção e entrada na base de dados SCIELO, usando o modelo de
Braga (1982) com modificações e ampliação de variáveis; dá muita ênfase à avaliação das instruções aos autores e referências bibliográficas.
k) 1998 – Krzyzanowski e Ferreira realizam uma avaliação conjunta de mérito (conteúdo) e de desempenho (forma).
l) 2000 – Yamamoto et al. apresentam uma avaliação de periódicos científicos em psicologia, baseada em modelo proposto por Krzyzanowski e Ferreira com modificações e hierarquização dos periódicos em A, B ou C, classificação dos periódicos em âmbitos: local (periódicos de âmbito restrito de circulação) e nacional (com circulação maior).
Ferreira (2001), comenta as dificuldades na padronização dos periódicos e do árduo trabalho que é a questão da avaliação, considerando a falta de padronização e normalização, comprovado pelo histórico apresentado acima, quando de sua análise em cada uma das referências citadas. Afirma, este autor, que se trata de um trabalho a ser feito por áreas do conhecimento, ou seja, por partes, atendendo a uma padronização adotada de forma global, no caso, a norma em vigor, complementados por incrementos necessários na evolução dos recursos disponíveis, neste caso, os recursos tecnológicos [acréscimo nosso], conforme o modelo proposto no Anexo C.
Baseando-se no formulário de Ferreira (2001) (Anexo C) e, em especial, o de Yahn (1985), que realizou uma pesquisa onde identificou parâmetros tanto qualitativos, quanto quantitativos para avaliação de periódicos científicos na área da agricultura, dando ênfase ao periódico como um todo, destacando os elementos bibliográficos, por meio do qual elaborou um formulário, dando especial atenção às questões de normalização (Anexo D), o qual foi utilizado como base para o desenvolvimento dessa pesquisa.
Ferreira (2001) apresenta a metodologia SciELO, como uma “solução a ser analisada e possivelmente adotada pelas instituições oficiais no Brasil”, como padrão a ser assumido por todos os periódicos científicos. Dessa forma, descreve-se, a seguir, esta metodologia.