1
AVALIAÇÃO DA RELEVÂNCIA CLÍNICA DE EVIDÊNCIAS
DISTRIBUÍDAS ELETRONICAMENTE
Ivan Luiz Marques Ricarte1, Maria Cristiane Barbosa Galvão2, Roland Grad3 e Pierre Pluye3 1
Departamento de Engenharia de Computação e Automação Industrial, Universidade Estadual de Campinas, Campinas, Brasil
2
Departamento de Medicina Social, Universidade de São Paulo, Ribeirão Preto, Brasil 3
Department of Family Medicine, McGill University, Montreal, Canadá
Resumo: O crescente volume de informação científica amplia a demanda por instrumentos adequados para
selecionar e disseminar aos profissionais da saúde informação com relevância clínica. O presente trabalho apresenta o Índice de Relevância Clínica da Informação (CRII), uma medida que captura o potencial da aplicação, em pacientes, da informação presente em síntese de evidência. Esta medida, derivada da análise estatística de avaliações de sínteses de evidências distribuídas por correio eletrônico a médicos de família canadenses, é distinta de outras medidas reconhecidas, como o número de citações, e mostra-se adequada para capturar aspectos do processo de translação do conhecimento.
Palavras-chave: Disseminação da Informação; Prática Clínica Baseada em Evidências; Indicadores de Ciência,
Tecnologia e Inovação.
Abstract: The increasing volume of scientific information imposes new demands on adequate tools to select and
to disseminate clinically relevant information to health professionals. This paper presents the Clinical Relevance of Information Index (CRII), a measure to capture the potential of applying information within evidence syntheses to patients. This measure, derived from statistical analysis of assessments of evidence syntheses distributed by e-mail to Canadian family physicians, is not similar to other known measures, such as citation counting, and it is adequate to capture particular aspects associated with the knowledge translation process.
Keywords: Information Dissemination; Evidence-Based Practice; Evaluations Studies as Topic.
Introdução
Cerca de um milhão de artigos científicos são publicados e indexados anualmente, apenas na área de saúde e medicina. O crescimento constante no volume de publicações nessas áreas pode ser observado pelo levantamento, feito pelos autores, do número de novos artigos indexados em PubMed,1 como mostrado na Figura 1 para os últimos 25 anos. Tal contexto amplia a necessidade e a importância de se ter instrumentos para selecionar e disseminar informação que seja relevante para os profissionais da saúde que atuam na prática clínica.
2
A informação tem relevância clínica quando ela apoia qualquer aspecto da prática clínica. Por prática clínica deve-se entender toda assistência provida por profissionais da saúde a pacientes para melhorar sua condição de saúde ou resiliência; para prevenir a ocorrência ou o agravamento de uma doença; para evitar a administração de tratamentos, procedimentos diagnósticos, intervenções preventivas e referências desnecessárias ou inapropriadas; para reduzir as preocupações de um paciente sobre tratamentos, procedimentos ou intervenções; e para aumentar o conhecimento do paciente ou de membros de sua família.
Pelo volume de informação publicado anualmente, profissionais da saúde que atuam na prática clínica não têm condições de se manter atualizados por meio da leitura das fontes primárias de informação. Um estudo realizado em 2004 avaliou que seriam necessárias mais de 21 horas de leitura por dia para que um profissional de uma única especialidade, atenção primária, pudesse se manter atualizado com publicações de sua área.2 Por esse motivo, investe-se na elaboração e disseminação de sínteses de estudos voltados para esses profissionais, como ilustrado pelo recente lançamento do portal Saúde Baseada em Evidência3 pelo Ministério da Saúde.
No entanto, como identificar qual informação disponibilizada nessas bases de sínteses de evidências tem relevância clínica? Tal identificação é importante para profissionais da saúde e para editores médicos. Os primeiros poderão refinar a seleção de sínteses a estudar se souberem o que colegas da mesma área de atuação já identificaram como relevante ou não. Editores médicos, ao analisar qual informação os profissionais da saúde consideraram relevante ou não para sua atuação, poderão aperfeiçoar estratégias para a seleção de estudos a serem sintetizados e disseminados.
Uma medida usual para refletir o impacto de trabalhos acadêmicos é o número de citações recebidas pelo artigo publicado. Citações têm sido utilizadas como uma medida para avaliar ciência e tecnologia,4 pesquisadores,5,6 universidades7,8 e revistas científicas,9 sendo amplamente aceitas como uma metáfora para excelência em pesquisa.10 No entanto, nenhum trabalho até o momento avaliou se citações têm uma relação direta com a relevância clínica da informação.
Este trabalho apresenta uma medida para a relevância clínica da informação que é disponibilizada eletronicamente a profissionais da saúde como sínteses de estudos publicados na literatura científica, e compara essa medida com o número de citações recebidas pelo artigo publicado. Denominada Índice da Relevância Clínica da Informação (CRII, do inglês Clinical Relevance of Information Index), essa medida foi desenvolvida pelos autores no contexto de um programa de educação médica continuada voltado a médicos de família no Canadá, e pode ser facilmente adaptada a outros contextos.
Métodos
O processo de produção, de síntese, de disseminação e de avaliação da relevância de evidência em saúde está representado na Figura 2. Evidências são derivadas de estudos realizados por pesquisadores em universidades, indústrias e centros de pesquisa. Os resultados desses estudos são publicados em revistas científicas e indexados em bases de dados bibliográficas, como PubMed.1 Editores médicos avaliam essas publicações e, para os estudos que eles avaliam que possam ter relevância clínica, produzem sínteses de evidências. Associações profissionais da área da saúde assumem o papel de disseminador de evidências, disponibilizando essas sínteses para seus afiliados. Esses profissionais da saúde, por sua vez, analisam o impacto da informação contida na síntese disseminada e submetem essa avaliação de volta à associação profissional.
3
Figura 2 Da produção à avaliação da relevância de evidências em saúde
No presente estudo, a associação que assumiu o papel de disseminador de sínteses de evidência foi a Associação Médica Canadense (CMA). Como parte do programa de educação médica continuada MAINPRO (Maintenance of Proficiency) do Colégio de Médicos de Família do Canadá (CFPC),11 a CMA repassa diariamente a seus associados, por correio eletrônico, uma síntese de evidência produzida por um provedor de informação da área da saúde.
O profissional da saúde (no caso, médico de família), pela atividade de ler e refletir sobre a aplicação da evidência em sua prática clínica, tem direito a créditos que são utilizados para renovar sua afiliação ao CFPC. Para receber esses créditos, ele deve responder a um questionário online para cada evidência que tenha analisado. O questionário respondido pelo profissional é o Information Assessment Method12 (IAM), que captura aspectos relacionados ao impacto cognitivo da informação disseminada para o profissional e à aplicação da informação pelo profissional para pelo menos um de seus pacientes.
Neste estudo foram analisados os dados coletados pelo IAM durante um projeto piloto realizado em 2008, com a participação de 41 médicos de família (24 homens e 17 mulheres, com idades entre 28 e 70 anos) atuando na prática clínica em nove províncias canadenses. Nesse piloto foram disseminadas 194 sínteses de evidências ao longo de 49 semanas. A estrutura visual e textual de cada síntese foi mantida ao longo do piloto, com os seguintes elementos: título, data de publicação da síntese, questão clínica, mensagem principal, nível de evidência do estudo, desenho do estudo, fonte de financiamento, alocação e ambiente, sinopse e referência para o estudo original.
Para o desenvolvimento do CRII, foi considerada a resposta dada pelos profissionais a uma questão do IAM sobre a potencial aplicação da informação contida na síntese. Para a questão “Esta informação é relevante para pelo menos um de seus pacientes?”, a resposta deve ser uma das alternativas: “totalmente relevante”, “parcialmente relevante” ou “não relevante”.
O valor do CRII para cada síntese de evidência é calculado pela proporção de respostas “totalmente relevante” (T), “parcialmente relevante” (P) e “não relevante” (N) que foram atribuídas pelos profissionais. Especificamente, CRII é calculado como a média harmônica entre a proporção de indicações positivas e a proporção de indicações negativas de relevância, resultando na expressão:
4
O resultado desta expressão tem o valor mínimo de 0, quando a síntese de evidência não recebe nenhuma indicação “totalmente relevante”, e o valor máximo de 1, que será o resultado da expressão quando todas as indicações recebidas pela síntese forem “totalmente relevante”.
O valor do CRII foi calculado pela aplicação dessa expressão ao conjunto de avaliações atribuídas a cada uma das 194 sínteses disseminadas aos participantes do estudo. Para comparar o CRII com uma medida usualmente reconhecida como associada ao impacto de estudos científicos, foi realizado um levantamento junto à base de dados Scopus13 para obter o número de citações recebidas pelo artigo que deu origem a cada uma dessas sínteses. Para uniformizar a comparação, foi considerado nesse levantamento o número de citações recebidas no período de dois anos após a publicação do artigo. Finalmente, foi avaliada a correlação entre o CRII de cada síntese e número de citações do artigo correspondente.
Resultados
Os 41 participantes do projeto piloto submeteram, para as 194 sínteses de evidência disseminadas eletronicamente, 4574 respostas ao questionário IAM ao longo de 2008.
A Figura 3 apresenta o valor do CRII calculado para cada uma das sínteses de evidência. Nesta figura, o eixo horizontal representa cada uma das sínteses na ordem cronológica em que as mensagens de correio eletrônico foram distribuídas, estando a primeira síntese distribuída (em janeiro de 2008) mais à esquerda e a última (em dezembro) mais à direita. O eixo vertical representa o valor do CRII. É possível observar nesse gráfico que o valor nulo de CRII foi atribuído a 13 sínteses, que não receberam de nenhum dos participantes do projeto piloto nem ao menos uma indicação de que a informação seria totalmente relevante para pelo menos um de seus pacientes. No outro extremo, uma síntese disseminada em maio recebeu 26 indicações de que a informação era totalmente relevante para pelo menos um dos pacientes do profissional, além de 2 indicações de que a informação seria parcialmente relevante, contra apenas 1 indicação de que a informação não foi relevante para nenhum paciente do profissional, resultando no maior valor de CRII atribuído a uma síntese ao longo deste estudo (0,93).
Figura 3 Valor do CRII para cada síntese de evidência distribuída
É também possível observar nesse gráfico que o tempo não influenciou o julgamento dos profissionais em relação à relevância clínica da informação. Efetivamente, não há correlação entre a data da distribuição da síntese por correio eletrônico e o valor do CRII atribuído a ela.
A Figura 4 apresenta a comparação entre o valor do CRII para a síntese de evidência (eixo horizontal) e o número de citações recebidas pelo artigo correspondente nos dois anos após sua publicação (eixo vertical). O artigo que recebeu o maior número de citações (462) teve um valor de CRII alto (0,894) para sua correspondente síntese. No entanto, essa não é uma tendência geral, pois a síntese à qual foi atribuído o maior índice de relevância clínica (0,930) não teve seu artigo correspondente citado nenhuma vez nos dois anos seguintes à publicação.
C
R
II
5
Há também um artigo que recebeu 143 citações nesse período e cuja síntese não foi considerada clinicamente relevante pelos participantes do projeto piloto (CRII = 0).
Este resultado evidencia que essas duas grandezas estão fracamente relacionadas (fator de correlação 0,24) e que o CRII é uma medida que captura aspectos diferentes daqueles que são capturados pelo número de citações.
Figura 4 Relação entre valor de CRII e número de citações
Discussão
A fraca correlação entre CRII de uma síntese de evidência e o número de citações recebido pelo correspondente artigo científico mostra que o índice aqui proposto captura aspectos não contemplados naquela medida. Como CRII expressa o uso ou potencial de uso de informação sobre evidência para pacientes dos profissionais da saúde, ele é uma medida adequada para capturar a efetividade da translação do conhecimento, ou seja, do processo de transferência do conhecimento gerado em pesquisas, publicado em artigos científicos, para a prática clínica. O número de citações, ao contrário, é uma medida restrita ao contexto acadêmico.
Os resultados deste projeto piloto já estão sendo aplicados em larga escala. Desde março de 2012, a CMA apresenta em seu portal de evidências, para cada síntese de evidência que foi disseminada e avaliada, o valor do CRII segundo a percepção de seus associados.
Deve-se observar que CRII captura relevância situacional, ou seja, a relevância de um objeto de informação para uma determinada população em um contexto específico. No caso do projeto piloto e do portal da CMA, essa população é composta por médicos que atuam na atenção primária. Médicos de outra especialidade e outros profissionais da saúde poderiam atribuir valor de CRII diferente ao mesmo objeto de informação.
Considerações Finais
Os avanços na tecnologia de informação e de comunicação possibilitam iniciativas voltadas para a translação do conhecimento, das quais a disseminação de sínteses de evidências por correio eletrônico, relatada neste estudo, é um exemplo. No entanto, não há medidas que avaliem a efetividade dessas iniciativas e de investimentos similares nesse sentido. A medida apresentada neste trabalho, o CRII, supre essa lacuna.
O processo metodológico e tecnológico para a coleta de dados que permite obter CRII foi validado no contexto da atenção primária canadense. No entanto, é facilmente reproduzível para outros contextos nos quais haja esforços voltados para a disseminação do conhecimento,
6
bem como existam o compromisso e o reconhecimento da importância da educação profissional continuada, como pode ser percebido no contexto brasileiro pelas iniciativas do Ministério da Saúde para capacitação profissional na atenção básica e pelo lançamento do portal de evidências.
Agradecimentos
Os autores agradecem o suporte da Fundação de Amparo à Pesquisa do Estado de São Paulo – FAPESP (Processos 2010/11866-0 e 2010/11992-6) e à Faculty of Medicine da McGill University, na qual este trabalho foi desenvolvido.
Referências
[1] United States of America. National Library of Medicine. PubMed. 2012 [citado 2012 jun 14]. Disponível em http://pubmed.gov/.
[2] Alper BS, Hand J a, Elliott SG, Kinkade S, Hauan MJ, Onion DK, et al. How much effort is needed to keep up with the literature relevant for primary care? Journal of the Medical Library Association : JMLA. 2004 Oct; 92(4):429–37.
[3] Brasil. Ministério da Saúde. Secretaria de Gestão do Trabalho e da Educação na Saúde. Portal Saúde baseada em evidência. 2012 Mai [citado 2012 jun 14]. Disponível em http://periodicos.saude.gov.br/.
[4] Garfield E, Welljams-Dorof A. Citation data: their use as quantitative indicators for science and technology evaluation and policy-making. Science & Public Policy 1992, 19(5), 321–327.
[5] Garfield E. How to use citation analysis for faculty evaluation and when is it relevant? - Part 1. Essays of an Information Scientist 1983, 6(44), 5-13.
[6] Garfield E. How to use citation analysis for faculty evaluations, and when is it relevant? Part 2. Essays of an Information Scientist 1983, 6(45), 5-14.
[7] Leydesdorff L, Shin JC. How to evaluate universities in terms of their relative citation impacts: Fractional counting of citations and the normalization of differences among disciplines. Journal of the American Society for Information Science and Technology 2011, 62(6), 1146-1155.
[8] Liu NC, Cheng Y. The academic ranking of world universities. Higher Education in Europe 2005, 30(2), 127-136.
[9] Garfield E. The history and meaning of the journal impact factor. Journal of the American Medical Association 2006, 295(1), 90-93.
[10] Garfield E. The diverse roles of citation indexes in scientific research. Revista de Investigación Clínica 1998, 50, 497–504.
[11] College of Family Physicians of Canada. Introduction to MAINPRO. 2012 [citado 2012 jun 14]. Disponível em http://www.cfpc.ca/mainpro/.
[12] Pluye P, Grad RM, Johnson-Lafleur J, Bambrick T, Burnand B, Mercer J, et al. Evaluation of Email Alerts in Practice: Part 2 – Validation of the Information Assessment Method (IAM). Journal of Evaluation in Clinical Practice. 2010; 16(6):1236–43.
[13] Elsevier. SciVerse Scopus. 2012 [citado 2012 jun 14]. Disponível em http://www.scopus.com/.
Contato
Ivan Luiz Marques Ricarte DCA-FEEC-UNICAMP
Av. Albert Einstein, 400 13083-852 Campinas, SP Telefone: (19) 3521-3771 E-mail: ricarte@fee.unicamp.br
