Artigo MBE-Medicina baseada em evidências

(1)

12/07/13 Moreira JR Editora

www.moreirajr.com.br/revistas.asp?id_materia=3051&fase=imprime 1/9

Medicina baseada em evidências

Practice that is evidence based

Otávio Berwanger Hélio Penna Guimarães Médicos coordenadores e investigadores de Estudos Clínicos da Divisão de Pesquisa do Instituto Dante Pazzanese de Cardiologia (São Paulo - SP). Álvaro Avezum Diretor da Divisão de Pesquisa do Instituto Dante Pazzanese de Cardiologia (São Paulo - SP). Endereço para correspondência: Dr. Otávio Berwanger - Divisão de Pesquisa - Instituto Dante Pazzanese de Cardiologia - Av Dr. Dante Pazzanese, 500 - 13º andar - Ibirapuera - CEP 04012-909 - São Paulo - SP - E-mail: otavioberwanger@ yahoo.com.br Recebido para publicação em 06/2005. Aprovado em 07/2005

Uniterm os: prática m édica, evidência. Unterm s: m edical practice, evidence.

Numeração de páginas na revista impressa: 120 à 126

"The bigger and more important the health problem, the more important the hard evidence" (David Sackett, 1997)

"Knowledge is the enemy of disease" (Muir Gray, 2003)

O que é medicina baseada em evidências (MBE)?

Medicina baseada em evidências (MBE), termo cunhado e primeiramente utilizado na Escola de Medicina da Universidade McMaster, pelo dr. Gordon Guyatt, Canadá, na década de 1980, para

denominar uma estratégia de aprendizado clínico, pode ser definida como o uso consciente, explícito e criterioso das melhores evidências científicas disponíveis na literatura médica para tomar decisões em relação ao manejo dos pacientes(1,2). Podemos considerá-la também o processo sistemático de selecionar, analisar e aplicar resultados válidos de publicações científicas como base para decisões clínicas(3). O que se considera como "evidências" são estudos clínicos publicados em diferentes periódicos ou bancos de dados eletrônicos, sob forma de artigos originais, resumos estruturados de artigos originais, revisões sistemáticas, Health Technology Assessments (avaliações de tecnologia em saúde) e diretrizes (Guidelines). Apesar de os conceitos clínico-epidemiológicos já serem conhecidos há bastante tempo, foi nas duas últimas décadas que grupos de especialistas no tema de MBE vêm desenvolvendo uma série de métodos, cursos, publicações, bancos de dados eletrônicos e "websites" que permitem, cada vez mais, a aplicação destas idéias na prática clínica diária. Tal esforço se traduz por uma prática da medicina mais eficaz e efetiva e, conseqüentemente, mais científica, o que resulta em melhores proventos para pacientes, médicos e profissionais da saúde(4).

O que a MBE não é?

Nos últimos anos, alguns mitos e falsas interpretações vêm sendo publicados sobre MBE, de forma que alguns esclarecimentos são pertinentes a esta revisão(5). Nesse sentido, é fundamental o conceito de que MBE não é um método que apresente respostas fáceis e automatizadas do tipo "livro de receitas"; ao contrário, requer abordagem que necessariamente integre avaliação crítica de

evidências clínico-epidemiológicas, experiência clínica e preferências do paciente para a tomada de decisão. A evidência clínico-epidemiológica não tem por objetivo substituir, mas sim agregar valor à

(2)

12/07/13_{decisão. A evidência clínico-epidemiológica não tem por objetivo substituir, mas sim agregar valor à}Moreira JR Editora

experiência clínica individual. Esta integração permite diminuir a incerteza em relação à tomada de decisão clínica. Adicionalmente, não é incomum que se pense erroneamente que a MBE possa ser utilizada por fontes pagadoras de serviços médicos, com fins gerenciais, visando a cortar custos em saúde e limitar a autonomia do médico. Dessa forma, é necessário esclarecer que a prática da MBE, por meio de aplicação do resultado de métodos de pesquisa denominados análises econômicas (a exemplo de estudos de custo-efetividade), identifica e aplica as intervenções mais eficientes, visando maximizar a qualidade e quantidade de vida para pacientes individuais. Finalmente, é oportuno

enfatizar que o termo "evidência", traduzido literalmente de "evidence", longe de significar o que é evidente per se, significa algo conceituamente demonstrado, isto é, conota prova cientificamente conseguida por metodologia apropriada, como se verá a seguir.

Em que a MBE difere da prática cardiológica "tradicional"?

Segundo paradigma antigo, tradicional, observações não sistemáticas oriundas basicamente da experiência clínica individual e do conhecimento detalhado de mecanismos de doenças derivado de matérias como bioquímica, anatomia e fisiologia, entre outras, seriam suficientes para predizer o curso da doença e selecionar tratamentos adequados. Contudo, os resultados de pesquisas clínicas

sugerem fortemente que esse tipo de prática seja essencialmente limitado e inadequado. A prática baseada apenas em experiência individual e na opinião de especialistas tende a se tornar intensa e rapidamente desatualizada, conforme demonstrado em série de estudos. Além disso, é bem

documentado na literatura médica que existe diferença fundamental entre o que se espera que funcione e o que realmente funciona na prática. Um clássico exemplo é o ensaio clínico randomizado CAST I(6), o qual testou a hipótese de que a supressão de batimentos ectópicos ventriculares após um infarto agudo do miocárdio reduziria a incidência de morte súbita, uma vez que a presença de arritmia ventricular é capaz de predizer, de forma independente, desfechos mórbidos

cardiovasculares. O que se observou, entretanto, foi que, apesar da supressão de episódios de arritmia ventricular, houve um aumento da mortalidade no grupo de pacientes randomizados para receber ecainida e flecainida (dois medicamentos eficazes para reduzir os batimentos ectópicos ventriculares), em relação ao grupo-controle que recebeu placebo. A grande lição desse estudo (e de outros que se seguiram, em vários campos) é que, para a tomada de decisão, necessitamos de algo a mais do que a experiência clínica e do raciocínio mecanístico, caso contrário corre-se o risco de tomar condutas que acarretem mais prejuízos do que benefício.

O que são níveis de evidência e graus de recomendação e qual a sua importância? Evidentemente a qualidade e a confiabilidade da informação gerada por um ensaio clínico

randomizado, multicêntrico e envolvendo grande número de pacientes é diferente daquela proveniente de relatos de caso clínico isolado ou de pesquisas com animais de laboratório. Desse modo,

dependendo do delineamento de pesquisa, da qualidade metodológica e da relevância clínica dos desfechos avaliados, podemos gerar diferentes níveis de evidências, o que se reflete na tomada de decisões médicas com diferentes graus deconfiabilidade. Até o momento, diversas classificações de níveis de evidências com qualidade e complexidade variáveis estão disponíveis, não havendo consenso na literatura sobre o tema. Na tentativa de superar esse impasse o grupo colaborativo GRADE

(www.gradeworkinggroup.org) desenvolveu uma classificação de níveis de evidência mais completa e de mais fácil aplicação do que as disponíveis atualmente.

O ensaio clínico randomizado (ECR), já aludido acima, tem delineamento apropriado para gerar

evidências usualmente requeridas para decisões sobre terapêutica. Vale lembrar, contudo, que a MBE, não se restringe a esse tipo de estudo, pois, dependendo do enfoque epidemiológico, o ECR pode ser até inviável eticamente (p. ex.: para abordagem de fatores de risco). Assim para cada um dos

diferentes enfoques (preventivo, diagnóstico, etiológico, terapêutico, prognóstico etc.) existe um delineamento mais adequado ou "ideal".

· Diagnóstico ® Estudo de predição clínica; estudo transversal.

· Etiologia/ fatores de risco ® Estudo de coorte, estudo casos-controle. · Estratificação de risco ® Estudo de coorte, estudo casos-controle. · Tratamento ® Ensaio clínico randomizado.

· Prognóstico ® Estudo de coorte.

· Custo ® Estudo de custo-efetividade; estudo de custo-utilidade.

Nós últimos anos, dois outros tipos de estudos, até certo ponto complementares, vem sendo desenvolvidos: a revisão sistemática e a metanálise. A revisão sistemática consiste em analisar-se conjuntamente, em um único estudo, o resultado de vários outros com metodologia semelhante, a fim

(3)

conjuntamente, em um único estudo, o resultado de vários outros com metodologia semelhante, a fim de responder a uma questão clínica específica (p. ex.: uma revisão sistemática de ensaios clínicos randomizados que testaram o uso de trombolíticos em pacientes com infarto agudo do miocárdio). Dessa forma a revisão sistemática pode ser considerada como sendo um "estudo de estudos". Quando são aplicados métodos estatísticos específicos e os resultados dos estudos incluídos são congregados sob forma de resultado único (ou total) as revisões sistemáticas propiciam a obtenção da metanálise. Assim a metanálise é parte opcional (complementar) da revisão sistemática. É fundamental não confundir as revisões sistemáticas com as revisões narrativas, que são os tradicionais artigos de revisão publicados por especialistas e que em muito se assemelham a capítulos de livros.

Por que é importante diferenciar desfechos clinicamente relevantes de desfechos substitutos?

É fundamental que se conheça o conceito de desfechos clínico-epidemiológicos relevantes, isso é, aqueles que realmente afetam de forma significativa os pacientes, médicos e administradores de saúde: mortalidade, incidência de eventos mórbidos graves e custo, entre outros. Além desses, existem os chamados desfechos substitutos (constituindo eventos intermediários em relação aos relevantes) como variáveis bioquímicas e laboratoriais. Assim, quando se estuda a hipertensão arterial sistêmica, desfechos relevantes são o óbito, o infarto não fatal e o acidente vascular encefálico, enquanto o desfecho substituto pode ser a redução de pressão arterial ou do nível de creatinina sérica. Os desfechos substitutos são importantes apenas inicialmente, para gerar hipóteses que conduzam à realização de pesquisas subseqüentes com os desfechos clinicamente relevantes. Desta forma, o principal objetivo em tratar condições clínicas, como dislipidemias ou insuficiência cardíaca, é diminuir mortalidade total e mortalidade cardiovascular (desfechos relevantes), sendo que a melhora de parâmetros laboratoriais (redução do nível de colesterol plasmático ou aumento da fração de ejeção do ventrículo esquerdo) constitui apenas desfechos substitutos. São os efeitos do tratamento sobre desfechos clinicamente relevantes que devem ser utilizados para guiar a tomada de decisão clínica.

Vantagens do paradigma atual

As vantagens da CBE podem ser vistas sob a perspectiva do médico individualmente, das equipes médicas e do paciente(5). Em relação ao médico, ela propicia atualização permanente, aprendizado, conhecimento de métodos de pesquisa e, conseqüentemente, dos problemas dos pacientes de forma científica, oportunidades de formar grupos de pesquisa e clubes de revisão, além de permitir que estudantes participem de forma mais ativa das decisões médicas. Já, do ponto de vista do paciente, o emprego da MBE promove o uso de intervenções com benefício comprovado e a aplicação mais efetiva e racional dos recursos, além de permitir que suas dúvidas sejam esclarecidas de forma mais segura e objetiva.

Como praticar MBE?

Ao prestarmos atendimento a um paciente, freqüentemente surgem dúvidas sobre o diagnóstico (incluindo anamnese e exame físico), a estratificação de risco e o prognóstico, o tratamento e sobre o custo de intervenções. É justamente nesse momento, a partir da identificação de um problema clínico concreto, que se inicia a prática da MBE, ou seja, esta deve iniciar e finalizar sua abordagem, voltando-se para a solução do problema clínico reapresentado pelo paciente. Assim, após se

identificar uma dúvida ou um problema clínico a partir do atendimento de um paciente, o Evidence Based Medicine Working Group(2) propõe uma série de etapas a serem cumpridas pelo médico, conforme demonstra o esquema abaixo:

1. Formular uma questão clínica em quatro partes (PICO); 2. Delinear e buscar evidências em diferentes bancos de dados; 3. Avaliar criticamente a evidência;

(4)

3. Avaliar criticamente a evidência;

4. Usar a evidência (caso a mesma seja válida e seus resultados relevantes e aplicáveis a pacientes com as características daquele em pauta) para a tomada de decisão clínica.

Etapa 1: Identificar o problema e formular a questão clínica em quatro (ou cinco) partes A questão clínica em quatro partes representa o passo mais importante de todos, pois é a partir dela que se pode delimitar com clareza qual exatamente a dúvida clínica que desejamos responder(7). Tal fato tem implicação direta no planejamento de uma busca na literatura que seja mais específica. As quatro partes da questão são: o tipo de paciente, o fator em estudo (ou intervenção que pode ser um tratamento, um teste diagnóstico, um fator prognóstico, o custo de um procedimento etc.), o controle, os desfechos de interesse e o tipo de enfoque (terapêutico, diagnóstico, prognóstico, custo ou etiológico). Dessa forma esse tipo de questão é denominada "PICO" (paciente, intervenção,

controle, objetivo), conforme exemplificado na Tabela 1.

Dessa forma a questão clínica que queremos responder é: "Em pacientes de alto risco cardiovascular, o uso de estatinas quando comparado a placebo reduz a mortalidade total e eventos cardiovasculares graves?"

A formulação de questões no formato PICO não se restringe a dúvidas sobre tratamento, de forma que existem diferentes enfoques. Por exemplo:

1) Aspectos clínicos: como interpretar informações obtidas com anamnese e exame físico; Exemplo: Em pacientes idosos, quão acurada é a detecção de sopro sistólico ejetivo para se diagnosticar estenose valvar aórtica?

2) Etiologia: como identificar causas e fatores de risco para doenças; Exemplo: Em pacientes adultos assitomáticos, níveis de proteína C reativa elevados, aumentam o risco de diabetes no futuro?

3) Testes diagnósticos: como selecionar e interpretar testes diagnósticos, visando confirmar ou excluir um diagnóstico, considerando sua precisão, acurácia, aceitação, custos e segurança; Exemplo: Em pacientes com suspeita de apendicite aguda pulmonar, quão acurada é a tomografia computadorizada para diagnosticá-la?

4) Prognóstico: como delinear o provável curso clínico do paciente e estimar a probabilidade de complicações da doença; Exemplo: Em pacientes com AVC, a presença de sintomas depressivos aumenta o risco (piora o prognóstico) de outro evento cardiovascular maior no futuro?

Etapa 2: Buscar as evidências na literatura

Uma vez formulada a questão clínica, devemos buscar na literatura artigos que tenham estudado especificamente os componentes dessa questão e que, preferentemente, tenham delineamento de acordo com o nosso enfoque clínico-epidemiológico.

É a partir da questão no formato PICO que iniciamos a busca por evidências. Dessa forma, a partir dos componentes da questão no formato PICO, podemos delinear a busca por evidências da literatura combinando os diferentes termos de nossa pergunta PICO. Assim, queremos encontrar artigos que ao mesmo tempo incluam o tipo de paciente, o tipo de intervenção, o tipo de comparação e o tipo de objetivo contido em nossa questão básica.

Para facilitar a busca de evidências é necessário lançar mão dos chamados "bolean operators", dos quais os mais utilizados são o "OR" e "AND". Quando combinamos dois termos com "OR", obteremos artigos que contenham um ou outro termo. Quando combinamos dois termos com "AND", obteremos artigos que contenham os dois termos ao mesmo tempo. Dessa forma, partir dos componentes da questão no formato PICO, podemos delinear a busca por evidências da literatura, de forma que a estrutura geral da estratégia de busca seria:

Termos que descrevem o tipo de paciente "AND", termos que descrevem o tipo de intervenção "AND", termos que descrevem o objetivo

O princípio básico é que termos de mesmo domínio (por exemplo termos que descrevem o tipo de paciente) devem ser combinados pelo operador "OR" e termos de domínios diferentes devem ser combinados pelo operador "AND", conforme demonstra o esquema abaixo:

Paciente (sinônimo 1 OR sinônimo 2 OR sinônimo 3...) AND Intervenção (sinônimo 1 OR sinônimo 2 OR sinônimo 3...) AND Controle (sinônimo 1 OR sinônimo 2 OR sinônimo 3...) AND Objetivo (sinônimo 1 OR sinônimo 2 OR sinônimo 3...) AND

No caso do uso de estatinas em pacientes de alto risco teríamos: (high cardiovascular risk ) AND (statins OR HMG-CoA reductase inhibitors) AND (placebo) AND (mortality OR cardiovascular mortality) Atualmente existem diversas fontes de evidência (bancos de dados) que podem ser consultadas. Para

(5)

Atualmente existem diversas fontes de evidência (bancos de dados) que podem ser consultadas. Para cada uma dessas fontes de evidências existem formas de se proceder as buscas na literatura, as quais fogem dos objetivos desse capítulo. A Tabela 2 fornece o endereço eletrônico de alguns "sites" que podem ser facilmente acessados para a busca de evidências. Para a busca de evidências na prática clínica diária, a forma mais rápida e eficaz de encontrar evidências é consultar os chamados bancos de dados pré-filtrados(8). Esses bancos de dados são chamados de pré-filtrados por

apresentarem a evidência já " digerida", ou seja, avaliada criticamente quanto a aspectos de qualidade metodológica e com resultados resumidos sob a forma de parâmetros

clínicos-epidemiológicos de impacto (p. ex.: o número de pacientes a tratar para se evitar um desfecho clinicamente relevante - NNT - as razões de verossimilhança - likelihood ratios - e de

custo-efetividade). Além disso, diferentemente de bancos de dados como o PubMed/MEDLINE e o EMBASE, realizar busca em bancos pré-filtrados não requer habilidades avançadas, de forma que, em poucos segundos, o médico é capaz de encontrar evidências relevantes. Exemplos de bancos de dados pré-filtrados são o ACP Journal Club, o Clinical Evidence e o Evidence-Based On Call, cujos endereços eletrônicos podem ser encontrados na Tabela 2.

Etapa 3: Analisando criticamente as evidências

A leitura crítica de artigos é aspecto fundamental para o cardiologista que deseje praticar medicina baseada em evidências científicas. Isso porque, com a grande quantidade de informação gerada e disponibilizada continuamente nos dias correntes, é preciso identificar as evidências que realmente possuem qualidade suficiente para embasarem as decisões médicas. De forma análoga à anamnese de um paciente, a análise crítica de um artigo deve obedecer a seqüência lógica que permita a detecção de possíveis erros sistemáticos (viéses) ou outras limitações que possam comprometer os resultados de um estudo. Para esse fim, estão disponíveis diversas fichas (checklists) para análise e críticas de artigos desenvolvidas por grupos que trabalham com MBE e com epidemiologia clínica. Revisão

sistemática recente demonstrou que mais de 30 checklists estão disponíveis para avaliação crítica de artigos (www.ahrq.gov/clinic/epcsums/strengthsum.htm). Não existem comparações empíricas

demonstrando claramente qual o melhor checklist de todos. De qualquer modo, um dos mais citados e certamente mais completos é aquele proposto pelo User´s Guides to the Medical Literature do

Evidence-based Medicine Working Group, que pode ser acessado no site do Centre for Health Evidence (www.cche.net/usersguides/main.asp). Geralmente, essas fichas de leitura compreendem três questões-chave:

1. O estudo possui validade interna?

Outra maneira de formular e compreender esta questão seria a seguinte: estes resultados

representam uma estimativa sem erros sistemáticos do efeito do tratamento ou apresentam alguma influência de forma sistemática conduzindo a uma falsa conclusão?

Com base nos conceitos dos User´s Guides to the Medical Literature, nos Quadros 1 a 7 propomos uma ficha de avaliação crítica para a análise de artigos com diferentes enfoques

clínico-epidemiológicos.

2. Os resultados são importantes?

Caso os resultados sejam válidos e o estudo provavelmente conduza a avaliação apropriada do efeito do tratamento, da acurácia de um teste diagnóstico, da magnitude e da relevância clínica de um fator de risco ou da custo-efetividade de uma intervenção sem erros sistemáticos, então os resultados têm valor para serem examinados. Esta segunda questão considera a dimensão e a precisão do efeito do tratamento. A melhor estimativa deste efeito depende dos resultados do estudo per se e a precisão da estimativa será superior em estudos com maior número de pacientes.

(6)

A fim de decidirmos se os resultados são valiosos e relevantes, é preciso conhecer os parâmetros clínico-epidemiológicos mais importantes de cada delineamento, conforme demonstrado na Tabela 3. Os cálculos e a interpretação de cada um desses parâmetros podem ser encontrados em maiores detalhes consultando-se literatura específica(9).

3. Os resultados auxiliam no manejo de meus pacientes?

Esta questão apresenta dois itens: a) os resultados são aplicáveis aos seus pacientes? Por exemplo, você deveria hesitar em instituir e incorporar um tratamento ou um teste diagnóstico na prática clínica se seus pacientes não são similares àqueles do estudo, ou se os benefícios demonstrados não forem suficientemente importantes para os seus pacientes; contudo existe a questão denominada "extrapolação consciente", ou seja, se o meu paciente é semelhante, mas não exatamente igual àqueles incluídos no estudo, existe algum motivo muito importante pelo qual não se esperaria que ele obtivesse o mesmo benefício observado no estudo? Evidentemente a resposta para essa questão deve aliar a evidência com o julgamento clínico e, principalmente, com as preferências do paciente; se os resultados são aplicáveis, qual é o impacto do tratamento? O impacto depende dos benefícios e riscos (efeitos adversos e tóxicos) da intervenção em estudo e das conseqüências de deixar de tratar ou de realizar o teste nos pacientes.

(7)

Etapa 4: Aplicar as evidências na prática

De nada valeria identificar a questão clínica, buscar adequadamente a evidência e avaliá-la

criticamente, se as implicações desta última não forem seguidas na prática(10-13). Dessa forma, uma vez identificada a evidência que possui validade interna, cujos resultados são importantes do ponto de vista clínico e estatístico e que é aplacável, torna-se imperativo colocá-la em prática, buscando obter desfechos favoráveis para os nossos pacientes. Aqui vale a frase: "evidências que não são aplicadas, não têm nenhum valor".

(8)

A CBE é possível na prática clínica diária?

Extensa série de estudos observacionais demonstra que a MBE pode ser aplicada para a resolução de problemas clínicos na prática diária. Estudo de Ellis, Sackett e col., por exemplo, demonstrou que, em um serviço de Clínica Médica, 82% das decisões tomadas foram baseadas em evidências, sendo 53% destas provenientes de ensaios clínicos randomizados. O resultado mais importante desse estudo foi a verificação de que a maioria dessas evidências puderam ser localizadas em poucos segundos,

utilizando estratégias de buscas simples em bancos de dados como o Best Evidence (o qual engloba os periódicos ACP Journal Club e Evidence-Based Medicine Journal - www.acpjc.org). Vários estudos de metodologia semelhante foram realizados em outras áreas como cirurgia, pediatria, psiquiatria e atenção primária, sendo que uma coletânea de todos esses estudos pode ser encontrada no site Percentage of Practice that is Evidence Based (www.shef.ac.uk/scharr/ir/percent.html).

Considerações finais

Desse modo, entende-se que estamos vivendo fase singular na história da medicina, uma vez que a análise crítica da literatura médica vem somar-se à experiência clínica individual e às preferências do paciente, no sentido de se instituir condutas médicas que tragam mais benefícios do que prejuízos, além de promover o uso mais racional dos recursos médicos. A utilização das melhores evidências científicas disponíveis pode não garantir o acerto em todos os casos, mas, indubitavelmente, diminui de forma importante a margem de erro. É fundamental, ainda, que se tenha em mente que não há respostas para tudo, devendo reconhecer-se que, dentro desse novo paradigma, lidamos diariamente com a incerteza, a qual fornece, justamente, o estímulo a pesquisa e a geração de novos

conhecimentos médicos.

Bibliografia

1. Sackett DL, Rosenberg W, Gray JAM, Haynes RB, Richardson WS Evidence-based medicine: what it is and what it isn't. BMJ 1996; 312:71-2.

2. Evidence-Based Medicine Working Group. Evidence-based medicine: a new approach to teaching the practice medicine. JAMA 1992; 268:2420-5.

3. Rosenberg W, Donald A. Evidence based medicine: an approach to clinical problem-solving. BMJ 1995; 310:1122-5.

4. Avezum A - Cardiologia baseada em evidências e avaliação crítica da literatura cardiológica: princípios de epidemiologia clínica aplicados à Cardiologia. Rev.Soc.Cardiol. Estado de São Paulo 1996; 3:241-59.

5. Berwanger O, Avezum A, Cavalcante AB. Cardiologia baseada em evidências: alguns esclarecimentos são necessários! Arq Bras Cardiol 2004; 83;357-9.

6. The CAST Investigators. Mortality and morbidity in patients receiving ecainide, flecainide, or placebo. The Cardiac Arrhythmia Supression Trial (CAST). N Engl J Med 1991; 324: 781-8.

7. Richardson WS, Wilson MC, Nishikawa J, Hayward RSA. The well-built clinical question: a key to evidence-based decisions. ACP Journal Club. 1995; 123:A12.

8. Haynes RB, Glasziou P, Straus S. Advances in evidence-based information resources for clinical practice. ACP Journal Club 2000; 132: A11.

9. Sackett DL, Straus SE, Richardson WS, Rosenberg W, Haynes RB. Evidence-based medicine: how to pratice and teach. EBM. St Louis: Elsevier Health Sciences; 2001: 181-193.

10. Haynes RB, Sackett DL, Gray JAM et al. Transfering evidence from research into practice: 2. Getting the evidence straight. Evidence-Based Medicine 1997; 2:4-6.

(9)

11. Yusuf, Kitching AD. From journal to bedside: application of clinical trial results to individual patients. Evidence-Based Cardiovascular Medicine 1997;1:29-31.

12. McKibbon KA. Using best evidence in clinical practice. ACP Journal Club 1998; 128:A-13. Haynes RB. Evidence-based medicine in practice. ACP Journal Club. 2002 ;136:A11.