Elementos complementares: periodicidade e procedimentos

Os editores de Psicologia consultados opinaram sobre qual deveria ser a periodicidade deste processo. Conforme a Tabela 4, as respostas sugerem que não há consenso entre os pesquisados, apesar da predominância da opinião de que a avaliação deve ser anual ou bianual.

Tabela 4

Periodicidade para avaliação de periódicos de Psicologia, segundo os editores

Periodicidade da avaliação N %

Anual 15 39

Bianual 12 33

Continuada (a cada fascículo) 03 08

Anual ou bianual 02 06

Trienal 01 03

A cada cinco anos 01 03

Resposta inadequada 03 08

TOTAL 38 100

Por solicitação da CAPES, as avaliações devem ocorrer anualmente, a fim de atualizar os dados e acompanhar a classificação dos programas de pós-graduação, que acontecem a cada ano e uma atualização ao final de três anos. Essa medida evita que revistas que façam alterações para atender aos parâmetros da avaliação sejam reconhecidas de imediato, sem a necessidade de esperar longos períodos para eventualmente mudar de categoria na classificação.

Uma sugestão dada é que as revistas fossem avaliadas durante encontros anuais de editores de Psicologia e que ao final de três anos, 100 revistas da área (em média) tivessem passado por uma avaliação qualitativa, em que seriam apreciados sua história, seu desenvolvimento, suas tendências e sua comunidade-alvo. Ou seja, a idéia é que

haja um monitoramento que seja mais próximo da realidade e evolução desses títulos, podendo compreender realmente o seu funcionamento.

É fato que seria mais educativo e apresentaria resultados mais justos se tal procedimento fosse posto em prática, com participação de grande número de editores. Entretanto, a viabilidade de um empreendimento dessa natureza, frente à exigüidade do tempo e as distâncias entre os participantes, é questionável.

A avaliação continuada, realizada a cada fascículo publicado das revistas se apresenta como uma alternativa conveniente, uma vez que possibilita que os ajustes feitos pelas revistas sejam considerados com presteza. Segundo um dos editores, “poderia ser estudado um processo de fluxo contínuo para editores que desejassem a inclusão de novos periódicos ou uma reavaliação, após um determinado número de edições” (Ed46). A avaliação em fluxo contínuo também se aplica às novas revistas, que não ficariam sem conceito até acontecer uma nova avaliação.

Já uma avaliação a cada três anos, ou a cada cinco anos, como mencionado por alguns editores, permitiria a observação da revista por um período de tempo maior, o que poderia gerar um retrato mais fiel das publicações.

Os bibliotecários e membros da Comissão de Avaliação não se posicionaram em relação a esse aspecto da avaliação.

Outro ponto questionado aos editores foi sobre os procedimentos que seriam mais adequados para a realização de uma avaliação de periódicos de Psicologia. A diversidade das respostas levou ao agrupamento nas categorias apresentadas na Tabela 5.

Tabela 5

Procedimentos adequados para uma avaliação de periódicos de Psicologia, segundo os editores

Procedimentos mais adequados N %

Aspectos operacionais 12 32

Ética da avaliação 07 18

Procedimentos atuais 06 16

Contatos/divulgação 05 13

Reconhecimento dos avaliadores 04 11

Não respondeu/ Resposta prejudicada 07 18

Total de respondentes 38 *

* Múltiplas respostas admitidas.

Os aspectos operacionais referem-se às etapas que deveriam ser seguidas na avaliação. Os procedimentos apontados pelos editores foram a necessidade de avaliação dupla, o exame detalhado dos fascículos de cada periódico a ser avaliado, a análise do conteúdo da revista, a emissão de um parecer avaliativo e a possibilidade de recursos aos resultados apresentados.

Também foi destacado que uma Comissão de Avaliação não deveria fazer uso de estudos estatísticos: “após a definição de quais critérios compõem uma boa revista, elas devem ser classificadas sem a utilização de curva normal ou qualquer outro procedimento matemático, que inflacione as produções e, conseqüentemente, as tornem superficiais” (Ed22). Já o uso de indicadores fornecidos por órgãos desvinculados dos periódicos em avaliação foi estimulado, como SciELO e ISI.

Essas ações citadas em muito se assemelham aos procedimentos atualmente adotados pela Comissão CAPES/ANPEPP, também mencionados pelos editores: auto- avaliação por parte dos editores, avaliação dupla dos últimos exemplares de cada

periódico, análise dos recursos solicitados pelas revistas e divulgação ampla dos resultados.

A categoria intitulada Ética da avaliação agrupou as respostas que se referiam à atitude que a comissão deve ter em relação às revistas avaliadas. A opinião é que haja respeito às condições e características de cada periódico, ou seja, à sua política editorial, à história e ao desenvolvimento da revista e às dificuldades encontradas. Essa sugestão seria de difícil implementação, dada a complexidade para executar uma avaliação que seja simultaneamente comum para mais de 90 revistas e que resguarde características particulares dessa mesma quantidade de títulos.

Ademais, foi bastante recorrente a idéia de que é necessário conceder prazos para que os periódicos se adeqüem aos parâmetros colocados pelas avaliações. Quanto a isso, atualmente os títulos dispõem de um intervalo (em geral, de um ano) entre duas avaliações para apresentar seus avanços e principais mudanças.

A composição da equipe de avaliadores julgados competentes para desempenhar tal avaliação foi citada como importante etapa deste trabalho. Desta vez, foi destacada a importância de contar com profissionais especializados, no caso, bibliotecários, para a realização da etapa técnica-normativa da avaliação. Além de apontarem os editores científicos e especialistas por sub-área da Psicologia como partícipes fundamentais desse processo, os pesquisados ressaltaram a necessidade de levar em conta a opinião dos autores e leitores.

Cinco editores ainda apontaram que é preciso maior interação entre eles e a Comissão de Avaliação. Esta comunicação precisa acontecer não só para divulgação dos resultados, mas que seria importante promover debates sobre os critérios e os rankings obtidos, sob a forma de fórum permanente e encontros de editores, como afirma um dos respondentes: “procedimentos mais democráticos e participativos deviam

ser encorajados e discutidos com a comunidade em encontros nacionais de editores científicos da Psicologia” (Ed34).

Nesse sentido, os pesquisadores responsáveis pelas avaliações da Psicologia (membros da Comissão de Avaliação) apontaram importantes estratégias para empreender esse processo. Uma primeira sugestão é que a lista de títulos a serem classificados seja composta a partir da indicação dos editores que se interessam por tal resultado. De acordo com Com4: “Não é a CAPES ou a Comissão (quem vai dizer que vai ser avaliado). Também pediria para as revistas dizerem se queriam ser avaliadas em seu conteúdo, para a gente não ir avaliando qualquer uma. Faria o que a Educação está fazendo: escreve e a revista que diz se quer ser avaliada ou não”.

Esse posicionamento entra em desacordo com o objetivo da base Qualis. Se por um lado é justo que sejam avaliados apenas os periódicos que queiram participar do processo, por outro isso poderia excluir títulos que publicam a produção científica dos docentes de pós-graduação, o que acarretaria uma parcela dessa produção sem indicação de qualidade. Ao mesmo tempo, é importante lembrar que um dos interessados diretos nos rankings emitidos pela CAPES são os próprios editores, que passam a ter um parâmetro para suas publicações e podem atrair bons autores e leitores.

Outro ponto que foi citado por seis dos sete membros da Comissão consultados foi a consulta aos pares como um procedimento de avaliação essencial: “A idéia de estender a consulta a outros opinadores relevantes, que já é adotada por outras áreas de conhecimento, é interessante como alternativa para captar elementos da experiência dos consultados no trato com os periódicos (como pareceristas e como autores avaliados)” (Com7). Devido a extensão e profundidade da questão, será discutida em mais detalhes no capítulo seguinte.

Uma sugestão para a realização da avaliação diz respeito ao tipo de material a ser analisado. Um primeiro ponto refere-se à necessária diferenciação entre periódico científico e outros, como os de divulgação. E corroborando o que foi apontado por alguns editores, também foi levantada a necessidade de propor alternativas para lidar com os periódicos especializados e aqueles multidisciplinares.

Quanto a isso, a BVS-Psi apresenta essa distinção e disponibiliza os periódicos de acordo com esse critério, entre técnico-científicos e de divulgação, o que poderia auxiliar a Comissão. Já para distinguir os títulos temáticos e os generalistas, ou que abrangem várias áreas do conhecimento, seria necessário mapear os critérios que caracterizam de forma diferente esses periódicos.

Por fim, também foi indicado por um dos membros da Comissão de Avaliação que seria interessante se os pontos de corte pudessem ser estabelecidos de forma conjugada com os demais critérios de pontuação. Entende-se com isso que a idéia é que o limite entre uma revista conceituada como A, B ou C não seja apenas quantitativo, mas que condicione a um número mínimo de pontos em certos itens da avaliação.

Uma vez discutidos os posicionamentos de editores, bibliotecários e pesquisadores avaliadores a respeito da avaliação Qualis em seus aspectos mais centrais e outros complementares, será empreendida uma análise mais detalhada sobre o instrumento e os critérios de avaliação adotados pela Psicologia (capítulo 6) e os efeitos e as principais mudanças percebidas no quadro editorial a partir dessas avaliações CAPES/ANPEPP (capítulo 7).