Análise Crítica dos Artigos apresentados no referencial teórico

Nesta etapa conclui-se a revisão sistêmica do constructo teórico, por meio da análise do referencial teórico e das ferramentas identifica- das com o objetivo de justificar a escolha do instrumento de intervenção empregado nesta pesquisa. No referencial teórico, as ferramentas identi- ficadas foram analisadas de forma comparativa, destacando-se as vanta- gens e desvantagens dessas em relação à Metodologia Multicritério de Apoio a Decisão – MCDA-C. Diante do apresentado essa seção apresen- ta análise do teórico à luz dos seguintes aspectos: i) Eixo teórico referen- te à avaliação de artigos; ii) eixo teórico referente à avaliação de perió- dicos científicos; iii) definição de avaliação de desempenho; iv) limita- ção da amostra dos artigos pesquisados.

Primeiramente, quanto ao eixo teórico referente à avaliação de ar- tigos científicos adotado neste trabalho destaca-se a importância do processo avaliação Por Pares e Fator de Impacto. Neste, constatou-se que o processo avaliação Por Pares está arraigado ao processo editorial. Esse enraizamento é percebido no momento em que o editor recebe o artigo, deletando qualquer evidência relacionada ao autor/ou procedên- cia do artigo para encaminhar aos pares (processo de avaliação as ce- gas). Os pares são os avaliadores especialistas no assunto do artigo submetido. Como o próprio nome já diz (pares) no mínimo dois avalia- dores que neste ato representam a comunidade científica. Como ferra- menta de avaliação da publicação científica, percebe-se que é um ins- trumento bastante utilizado, devido à validação realizada por, no míni- mo, dois avaliadores, o que denota a cientificidade ao artigo aprovado. Alguns autores preocupados com a cientificidade e qualidade do artigo

submetido criticam a avaliação Por Pares como instrumento de avalia- ção pela falta de um instrumento que quantifique a percepção dos en- volvidos no processo de avaliação de forma transparente. Já o fator de impacto é bastante utilizado pela comunidade científica, mas constata-se no portfólio estudado que em termos objetivos, algumas vozes evidenci- am o problema desse tipo de avaliação, conforme apontado tais como auto-citações e citações de publicações inadequadas Berghmans, Meert, Mascaux, Paesmans, Lafitte, Sculier, Walter G, Bloch S, Hunt G, Fi- sher K. (2003) apud Szklo (2006). Os autores do presente artigo acredi- tam que o fator de impacto pode ser considerado pelo editor como um dos critérios na avaliação de qualidade da publicação científica. Acredi- tam, ainda, que a avaliação Por Pares é um processo consolidado na comunidade científica como instrumento para seleção de artigos à publi- cação. Entretanto, argumentam que a metodologia de avaliação de arti- gos utilizada sofre limitações no que concerne a subsídios pontuais para o processo de tomada de decisão dos pareceristas e do editor. Diante disso, ressalta-se a importância deste trabalho, que objetiva propor um instrumento de avaliação de periódicos consistente e transparente que subsidie a escolha do portfólio final de publicação, segundo a ótica do editor-chefe.

Quanto ao eixo teórico, avaliação de periódicos científicos, per- cebe-se que a preocupação com a publicação científica está sendo deba- tida pela comunidade científica. Através dos tempos, foi visível a evolu- ção do processo de avaliação e os métodos quantitativos que vem sendo utilizado desde 1955. Percebe-se que a qualidade da publicação cientí- fica não está ligada somente aos artigos publicados, mas sim ao conjun- to da obra (veículo e artigo). Algumas das ferramentas utilizadas para medir o desempenho de artigos científicos (conteúdo) também são apli- cados aos periódicos científicos, tais como fator de impacto e avaliação Por Pares. Avaliação Por Pares é utilizada no processo editorial e o fator de impacto do periódico está relacionado à adesão do periódico/artigo pela comunidade científica. Verificou-se nos artigos estudados que o conhecimento sobre avaliação de periódicos está em aperfeiçoamento por meio de pesquisas, porém percebemos que ainda há muito a desen- volver, uma vez que o processo de avaliação é recursivo e evolutivo de acordo com o contexto avaliado e a percepção dos envolvidos no pro- cesso. Diante disso defende-se que, na avaliação de periódicos, seja empregado um instrumento que encapsule a interação dos envolvidos no processo com o contexto avaliado a fim de gerar melhorias para aperfei- çoamento de gestão.

Um tópico desta pesquisa que chamou a atenção é a definição de avaliação de desempenho dos artigos estudados no referencial teórico. Na amostra pesquisada, os autores (ver no quadro 1) não explicitam diretamente uma definição para avaliação de desempenho de periódicos científicos. Expõem, no entanto, um conjunto de preocupações que a mesma deveria contemplar: Finalidade, fundamentação científica, iden- tificação dos critérios, entre outras. Tendo em vista o alinhamento das preocupações encontradas com a definição proposta pelo LABMCDA a mesma será adotada:

Avaliação de desempenho é o processo de gestão utilizado para construir, fixar e disseminar conhecimentos por meio da identificação, organização, mensuração e integração dos as- pectos, de um determinado contexto, julgados relevantes para medir e gerenciar o desempenho dos objetivos estratégicos da organização (ENSSLIN e ENSSLIN.S, 2009).

A definição adotada neste trabalho vem ao encontro do mesmo no que tange à construção de um processo para avaliação de periódicos científicos que visa construir, fixar e disseminar conhecimento em rela- ção ao contexto estudado.

A limitação da amostra dos artigos pesquisados está na seleção dos mesmos. Foram selecionados para essa pesquisa artigos de periódi- cos internacionais, disponibilizados gratuitamente em textos completos na base de dados da Capes. Salienta-se que todas as análises realizadas neste estão limitadas à amostra de resultado das pesquisas bibliométricas realizadas. Destaca-se que os artigos estudados foram analisados sob a ótica da avaliação de desempenho construtivista.

3 METODOLOGIA

Neste capítulo, será abordada a metodologia de pesquisa segrega- da em três seções, sendo elas: 3.1 Enquadramento metodológico; 3.2 Procedimento para revisão da literatura; 3.3 Procedimento para a cons- trução do modelo.