Rev. Bras. Anestesiol. vol.64 número4

(1)

REVISTA

BRASILEIRA

DE

ANESTESIOLOGIA

Publicación Oficial de la Sociedade Brasileira de Anestesiologia

www.sba.com.br

ARTÍCULO

CIENTÍFICO

Evaluación

del

club

de

la

revista

de

anestesiología

por

medio

de

cambios

semánticos

Joaquim

Edson

Vieira

a,b,∗

,

Marcelo

Luís

Abramides

Torres

a

,

Regina

Albanese

Pose

b

y

José

Otávio

Costa

Auler

Junior

a

a_Departamento_de_Cirugía,_Facultad_de_Medicina,_Universidad_de_São_Paulo,_São_Paulo,_SP,_Brazil

b_Centro_de_Desarrollo_de_Educación_Médica_Profesor_Eduardo_Marcondes,_Facultad_de_Medicina,_Universidad_de_São_Paulo,

SãoPaulo,SP,Brasil

Recibidoel9deseptiembrede2013;aceptadoel20denoviembrede2013 DisponibleenInternetel3dejuniode2014

PALABRASCLAVE

Educación; Médico; Pregrado; Anestesiología; Autoevaluación; Evaluacióndel programa; Evaluación educacional;

Periódicoscomotema

Resumen

Justificaciónyobjetivos:Elabordajeinteractivodeunclubderevistahasidodescritoenla literaturadeense˜nanzamédica.Elobjetivodeestainvestigaciónespresentarunaevaluación delclubderevistacomounaherramientaparadiscutirlacuestióndelalecturacríticaentre losresidentes.

Métodos: Esteestudiorelataeldesempe˜nodelosmédicosresidentesdeanestesiologíadel Hos-pitaldasClínicasdelaFacultaddeMedicinadelaUniversidaddeSãoPaulo.Todoslosmédicos residentesfueroninvitadosarespondera5preguntasderivadasdeartículosdiscutidos.Lahoja derespuesta consistíaen unadeclaraciónafirmativacon unaescala deltipoLikert («estoy

totalmenteendesacuerdo»,«endesacuerdo»,«noestoyseguro»,«estoydeacuerdo»,«estoy

totalmentedeacuerdo»),cadadeclaraciónrelacionadaconunodelosartículosescogidos.Los

resultados seevaluaronpormediodelanálisisdelosítems:índicede dificultadypoderde discriminación.

Resultados: Losresidentescompletaron173evaluacionesenlosmesesdediciembrede2011 (n=51),juliode 2012(n=66)y diciembrede2012(n=56).Elprimertestincluyótodoslos títuloscondeclaracióndirectayelsegundoyeltercerotuvierontítulosmezclados.Separar

«estoytotalmentedeacuerdo»de«estoydeacuerdo»aumentólosíndicesdedificultadpero

nomejoróelpoderdediscriminación.

Conclusiones:Elusodeunaevaluacióndelclubderevistacondeclaracionesdirectaseinversas y conelusode unaescalade 5puntospara «estoy deacuerdo»,mostró elaumentode la

dificultaddelítemydelpoderdediscriminación.Esopuedereflejarelniveldeimplicaciónen lalecturaoenladiscusióndurantelasreunionesdelclub.

∗_Autor_para_{correspondencia.}

Correoelectrónico:[email protected](J.E.Vieira).

(2)

KEYWORDS

Education; Medical; Graduate; Anesthesiology; Self-assessment; Programevaluation; Educational

measurement; Periodicalsastopic

AnesthesiologyJournalclubassessmentbymeansofsemanticchanges

Abstract

Backgroundandobjectives: Theinteractiveapproachofajournalclubhasbeendescribedin themedicaleducationliterature.Theaimofthisinvestigationistopresentanassessmentof journalclubasatooltoaddressthequestionwhetherresidentsreadmoreandcritically.

Methods:thisstudyreportstheperformanceofmedicalresidentsinanesthesiologyfromthe ClinicsHospital---UniversityofSãoPauloMedicalSchool.Allmedicalresidentswereinvitedto answerfivequestionsderivedfromdiscussedpapers.Theanswersheetconsistedofan affir-mativestatementwithaLikerttypescale(totallydisagree---disagree---notsure---agree---totally agree),eachrelatedtooneofthechosenarticles.Theresultswereevaluatedbymeansofitem analysis--- difficultyindexanddiscriminationpower.

Results:ResidentsfilledonehundredandseventythreeevaluationsinthemonthsofDecember 2011(n=51),July2012(n=66)andDecember2012(n=56).Thefirstexampresentedallitems withstraightstatement,secondandthirdexamspresentedmixeditems.Separating‘‘totally agree’’from‘‘agree’’increasedthedifficultyindices,butdidnotimprovethediscrimination power.

Conclusions: Theuseofajournalclubassessmentwithstraightandinvertedstatementsand bymeansoffivepointsscaleforagreementhasbeenshowntoincreaseitsitemdifficultyand discriminationpower.Thismayreflectinvolvementeitherwiththereadingorthediscussion duringthejournalmeeting.

Introducción

Elabordaje interactivodeunclub derevista(CR)ha sido descrito en la literatura de educación médica. Como se ha mencionadoanteriormente, el principal objetivode la mayoríadelosclubesesense˜narhabilidadesparauna eva-luación crítica de la lectura. Además, las características inicialestodavíafuncionanafavordelaaltaasistenciadelos participantes: presenciaobligatoria, disponibilidadde ali-mentosylaimportanciadadaporeldirectordelprograma1_. Además, laconcesión decréditospor asistencia seasoció conelaumentodelaparticipación2_._Existen_relatos_de_que el CR esunpotente motivador del comportamientode la lectura críticaentre losequipos médicos institucionales3_, yenverdad,esunmedioparadesarrollaruncurrículo en epidemiologia,bioestadísticaydise˜noexperimental4_.

LosCRsonparteintegrantedelaeducaciónenlasanidad, residenciamédicaengeneralydelaformaciónencirugía general,ademásdeserunrecursoeducacionalque puede ayudarunprogramaderesidenciaaatenderlosrequisitos básicosdecompetencia5,6_._Una_encuesta_de_la_Asociación_de DirectoresdeProgramasenCirugíamostróqueunCRtípico se reúneuna vez al mes ydiscute 3-6 artículos. Es inte-resantenotar,sinembargo,quepocosprogramasrelataron quehacíanalgunaevaluaciónsistemáticaoformal7_._No obs-tante,aquellosquelarealizanusanevaluacionesobjetivas conexámenespretestypostest8_,_mediciones_de_la satisfac-ciónconelCRmedianteunalistadeverificaciónparala revi-sióndelartículo9_y_el_uso_de_pruebas_de_evaluación_crítica. Últimamente,elusodeInternetnosuperaelmodelode CRconmoderaciónpresencialpararesidentesdecirugía10_. Considerando el éxito del CR, parece lógico usar listas de verificación, explicitar los objetivos del aprendizaje y proporcionarunaestructurayunprocesodereuniónformal, nomuydiferente delas característicasdestacadas previa-mente por Alguire1,11_. _También _debemos _destacar _que _un

CRdebetenerpresentelosproblemasactuales,del verda-deropacientedemayorinterésparaelgrupo12_,_y_también proporcionarexperienciascomo el usodel software

Criti-calAppraisalTool(herramientadeevaluacióncrítica[CAT])

para ayudar a los residentes a agilizar sus presentacio-nes, dejando la mayor parte del tiempo del CR para las discusiones13_.

Considerandoque laliteraturamédicacontinúa expan-diéndose y que los médicos necesitan mantenerse actua-lizados con la cantidad de información disponible, el CR suministra un lugar donde los expertos analizan abierta-mente la literatura con los residentes, al mismo tiempo queofreceunambienteenelcualseense˜naaevaluarlos métodoscientíficosdeunaformacrítica14_.

Elobjetivodeestainvestigaciónespresentaruna evalua-cióndelCRcomounaherramientaparaabordarlacuestión desilosresidentesleenmásydeformacrítica,ademásde lapresentacióndelCR.

Métodos

Esteestudiorelataeldesempe˜nodelosmédicosresidentes deanestesiología delHospital das Clínicasde laFacultad deMedicinadelaUniversidaddeSãoPaulo(HCFMUSP),São Paulo,Brasil,durante3evaluacionesdelasactividadesdel CR,dediciembrede2011adiciembrede2012.Esas evalua-cionesformanpartedelsistemadeevaluaciónformalpara obtenerelcertificadoprofesionaldeanestesiologíadel Pro-gramadeResidenciadelHCFMUSP. Elestudio formaparte deunproyectopermanentequeinvestigalacalidaddevida delosmédicosresidentesdelHCFMUSPyquefueaprobado por el Comité de Ética de la Facultad de Medicina de la UniversidaddeSãoPaulo(protocolo9017).

(3)

losvarios institutos del HCFMUSP, que incluyeel Instituto delCorazón, HospitalInfantil,InstitutodeCirugía Ortopé-dica,InstitutodelCáncer,HospitalUniversitario(atención obstétricanormal)eInstitutoCentralqueabarcalas espe-cialidadesmédicas,comocirugíaplástica,cirugíavascular, cirugíatorácica,cirugíadecabezaycuello,urología, gine-cología y obstetricia (patología), neurocirugía, cirugía de oído,narizygarganta,oftalmologíaycirugíadeurgencia. Ese complejo de instituciones realiza 30.000 cirugías por a˜no.Ademásdelasactividadesencentrosquirúrgicos, los residentes estánde guardia diariamente en la Unidad de RecuperaciónPostanestesia.Recibeninformacionesteóricas conbaseen2actividadessemanalesregulares:conferencias yreunionesrotativas-complicaciones,tratamientointensivo ydiscusióndeartículospublicados(CR).

ElCRcomprendeunencuentromensual,paraelcuallos residentes previamente preparan y presentan un artículo deláreadeanestesiología recientementepublicado, esco-gidoporuninstructordeanestesiología(JEV).Laformade elegirunartículotuvocomofundamento2decisiones:una nuevadirectriz ounproblemarelacionadocon lapráctica de la anestesia. La mayoría de los trabajos abordó una investigaciónoriginalyunoo2artículosencadasemestre abordaron directrices. Un segundo colega residente es el responsabledecriticarydedestacarlospuntosclavedela investigaciónpresentada.

Despuésde5 reunionesformales ydepor lomenos10 artículospresentados,todoslosmédicosresidentesfueron invitados a responder 5 preguntas derivadas de algunos de losartículos leídos y discutidos. La hojade respuesta consistió en una declaración afirmativa con una escala del tipo Likert («estoy totalmente en desacuerdo», «no estoydeacuerdo»,«noestoyseguro»,«estoydeacuerdo», «estoy totalmente de acuerdo»), para cada declaración relacionadacon unode losartículoselegidos. El ítemfue establecidocomounarespuestadirecta(paraconcordancia) oinversa(paradiscordancia).

Losresultadosfueronevaluadosmedianteunanálisisde losítemsparaobtenerelíndicededificultadyelpoderde discriminaciónde cada ítem/pregunta.Ese análisispuede decirsielítemfuemuyfácilomuydifícilylobienque dis-criminabaentrelaspuntuacionesaltasybajasdeltest.En resumen,paraladificultaddelítem,seleccionaruntercio delosexámenesconlaspuntuacionesmásaltasyelmismo númeroconlaspuntuacionesmásbajas.Sumarelnúmerode esosexámenesysumardenuevoelnúmeroentreesos exá-menesqueseleccionólarespuestacorrectaparacadaítem. Dividirlasumadelasrespuestascorrectasentreeltotalde esosexámenesconpuntuacionesaltasybajasproporcionará ladificultaddelítem.Cuantomenorseaelporcentaje,más difícilseráelítem.Ladiscriminacióndelítemeselresultado delarestadelnúmeroderespuestascorrectasenelgrupo demenorpuntuacióndelnúmeroderespuestascorrectasen elgrupodemayorpuntuación.

Esteresultadosedivideentrelamediadelosquetienen unterciodelosexámenesconlaspuntuacionesmásaltasy elmismonúmeroconlaspuntuacionesmásbajas15_.

Resultados

Losresidentesrellenaron173evaluacionesenlosmesesde diciembrede2011(n=51),juliode2012(n=66)ydiciembre

de 2012 (n=56), cuando recibieron las evaluaciones fina-les del semestre. El primer examen (diciembre de 2011) presentótodoslosítemscondeclaracionesdirectas.El con-siderarseparadamente«estoytotalmentedeacuerdo»hizo que los índices de discriminación y dificultad mejorasen (solamenteunoseconvirtióenunítemconmenosnivelde discriminación:elítem4)(tabla1).

El segundo examen (julio de 2012) fue presentado en 3 formas:todoslos ítemscon declaracionesdirectas para serelegidas,los2primerosítemscondeclaraciones direc-tas y2 ítemsfinales máscon declaraciones inversas,y la tercera formacon los2primeros ítemscon declaraciones inversas y2 ítemsfinales máscondeclaracionesdirectas. La presentación de esos ítems mezclados resultó en un índicededificultadmayor,aunquehayadisminuidoelpoder dediscriminación, aunquesealigeramente.Laseparación de «estoy totalmente deacuerdo» de«estoyde acuerdo» aumentólosíndicesdedificultad,peronomejoróelpoder dediscriminaciónentodaslaspreguntas(tabla2).Eltercer examen(diciembrede2012)sepresentóen2formas:todos losítemscondeclaracionesdirectas otodoslosítems con declaracionesinversas.Esapresentacióntrajocomo resul-tado un mayor índice de dificultad y un mejor poder de discriminación. La separación de «estoy totalmente de acuerdo»de«estoydeacuerdo»aumentólosíndicesde difi-cultad,peronomejoróelpoderdediscriminaciónentodas laspreguntas(tabla3).

Discusión

ElusodeunaevaluacióndelCRcondeclaracionesdirectas einversaspormediodeunaescalade5puntosparala con-cordanciamostróelaumentodeladificultaddelítemyel poderdediscriminación.Esopuedereflejarlaimplicación tantoenlalecturacomoenladiscusióndurantelareunión delclub.

LosCRhandesempe˜nadounrolactivoenlaeducación médica hace más de un siglo, y según Linzer deben ser incorporados enel currículodelaense˜nanzamédica16_._La organización de esas reuniones adoptó las características destacadasanteriormentecomoasociadasalaalta frecuen-ciaylongevidaddelosclubes:presenciaobligatoriaymenos funcionariosdelainstitución,aunquenohayahabido dispo-nibilidaddealimentos17_.

(4)

Tabla1 Elprimerexamenpresentóítems/preguntascondeclaracionesdirectas

Índices «Estoydeacuerdo»+«estoytotalmentedeacuerdo» «Estoytotalmenteendesacuerdo»

Discriminación Dificultad Discriminación Dificultad Roquillyetal.,sobrehidrocortisona

despuésdetraumatismo(JAMA. 2011;305:1201-9)

−0,24 0,82 0,12 0,06

Fast-ASACommitteeonStandards andPracticeParameters

(Anesthesiology.2011;114:495-511)

0,35 0,65 0,71 0,35

Ingrandeetal.,sobrepesocorporaly propofol(AnesthAnalg.

2011;113:57-62)

0,29 0,79 0,82 0,41

Kahokehretal.,sobreropivacaína intraperitoneal(AnnSurg. 2011;254:28-38)

0,65 0,44 0,24 0,12

Saaletal.,sobresatisfacciónconla anestesia(BrJAnaesth.

2011;107:703-9)

0,24 0,65 0,29 0,15

Índice de dificultad: cuanto menor es el porcentaje, más difícil es el ítem;Índice de discriminación:promedios mayores,mejor discriminación.

Tabla2 Elsegundoexamenutilizatodoslosítemsdirectos,los2primerosítemsdirectosademásde2finalesinversos,ylos2 primerosítemsinversosademásde2finalesdirectos

Índices «Estoydeacuerdo»+«estoytotalmentedeacuerdo» «Estoytotalmentedeacuerdo»

Discriminación Dificultad Discriminación Dificultad Gaszynskietal.,sobreTOFcon

sugamadex(BrJAnaesth. 2012;108:236)

0,50 0,63 0,88 0,44

Moonetal.,sobreelefecto antieméticodelondansetrón(BrJ Anaesth.2012;108:417-22)

0,50 0,50 0,50 0,25

Stumpneretal.,sobredesflurano inducidopostacondicionamiento (BrJAnaesth.2012;108:594-601)

0,75 0,63 0,63 0,31

Nakasujietal.,sobrehipotensiónen laanestesiaespinalenpacientes mayoresde80a˜nos(JClinAnesth. 2012;24:201-6)

0,63 0,69 0,50 0,25

Radkeetal.,sobrerespiración espontáneaduranteanestesia general(Anesthesiology.2012;116: 1227-34)

0,38 0,44 0,13 0,06

Índice de dificultad: cuanto menor es el porcentaje, más difícil es el ítem;Índice de discriminación:promedios mayores,mejor discriminación.

Estossoninstantáneosdeundeterminadomomentodeun peque˜nosubconjuntodememoria,apartirdelcuallos eva-luadoresintentanhacerprevisionessobretodoelconjunto deconocimientos que unestudiante o residentepresentó enelmomentodehacerelexamen.Elexpedienteenesa investigacióndecitarelcontenidoprincipaldeuna litera-turapublicadayeventualmente,revertirsusconclusiones, aunqueinstigue ala memoria,pasa porla atencióncomo laprincipalvariableglobalatravésdelacuallosfactores motivacionalesinfluyenenelaprendizajesustancial19_.

Los exámenestambiénfueronformuladoscontodoslos ítemspresentandodeclaracionesdirectasoinversassinusar

losítemsformuladosnegativamente.Eseabordajefunciona enlamedidaenquelaraízpermanececomo unítem for-mulado directamente y las opciones de respuesta siguen siendolasmismasperoenunordendiferente.Esaestrategia puede proteger contra la condescendencia de los médi-cosresidentes ycomportamientos definidos derespuesta, loque significa estar deacuerdo/no estar de acuerdo sin razonar20_._Los_resultados_computados

(5)

Tabla3 Eltercerexamenpresentótodoslosítems/preguntascondeclaracionesdirectasocondeclaracionesinversas Índices «Estoydeacuerdo»+«estoytotalmentedeacuerdo» «Estoytotalmentedeacuerdo»

Discriminación Dificultad Discriminación Dificultad Angstetal.,sobreelalfentaniloyla

herencia(Anesthesiology. 2012;117:22)

0,56 0,50 0,33 0,17

VanGuliketal.,sobreel

remifentaniloeneldolorcrónico (BrJAnaesth.2012;109:616)

−0,11 0,72 0,67 0,33

Aldenkorttetal.,sobrePEEPy obesidad(BrJAnaesth. 2012;109:493)

0,22 0,67 0,56 0,28

Jacobetal.,sobremetabolismo cerebral(Anesthesiology. 2012;117:1062)

0,67 0,67 0,56 0,28

Walkeretal.,sobreraquianestesia enrecién-nacidos(AnesthAnalg. 2012;115)

0,67 0,67 0,33 0,17

Índice de dificultad: cuanto menor es el porcentaje,más difícil es el ítem; Índice de Discriminación: promedios mayores, mejor discriminación.

deconcordancia,lasestrategiasdelectura,participaciónen ladiscusión,oambas,puedenserdiferenciadassolamente viendolapresentacióndelCR.Aquellosmásactivos enel CRpuedenestar listosparaelegir el gradomásaltodela escaladeLikert, encontrasteconaquellosque optanpor sermenosparticipativos.

Enresumen,esteestudiopropusoevaluarlassesionesdel CR,citandoelartículooriginal,formuladodirectamenteo enunordendiferente,pormediodelaescalade concordan-ciadeLikert.Esteabordajeaumentóladificultaddelítem ylosíndicesdediscriminación.

Conflicto

de

intereses

Losautoresdeclarannotenerningúnconflictodeintereses.

Bibliografía

1.AlguirePC.Areviewofjournalclubsinpostgraduatemedical education.JGenInternMed.1998;13:347---53.

2.Hinkson CR, Kaur N, Sipes MW, et al. Impact of offering continuing respiratory care education credit hours on staff participation ina respiratorycarejournal club.RespirCare. 2011;56:303---5.

3.Linzer M, Brown JT, Frazier LM, et al. Impact of a medi-cal journal club on house-staff reading habits, knowledge, andcriticalappraisalskills.Arandomizedcontroltrial.JAMA. 1988;260:2537---41.

4.LetterieGS,MorgensternLS.Thejournalclubteachingcritical evaluationofclinicalliteratureinanevidence-based environ-ment.JReprodMed.2000;45:299---304.

5.HarrisJ,KearleyK,HeneghanC,etal.Arejournalclubs effec-tiveinsupportingevidence-baseddecisionmaking?Asystematic review.BEMEGuideNo.16.MedTeach.2011;33:9---23. 6.ShiffletteV,MitchellC,MangramA,etal.Currentapproaches

tojournalclubbygeneralsurgeryprogramswithinthe South-westernsurgicalcongress.JSurgEduc.2012;69:162---6.

7.Crank-PattonA,FisherJB,ToedterLJ.Theroleofthejournal clubinsurgicalresidencyprograms:asurveyofAPDSprogram directors.CurrSurg.2001;58:101---4.

8.KellyAM,CroninP.Settingup,maintainingandevaluatingan evidencebasedradiologyjournalclub:theUniversityof Michi-ganexperience.AcadRadiol.2010;17:1073---8.

9.BursteinJL,HollanderJE,BarlasD.Enhancingthevalueof jour-nalclub:useofastructuredreviewinstrument.AmJEmerg Med.1996;14:561---3.

10.McLeodRS,MacRaeHM,McKenzieME,etal.,EvidenceBased ReviewsinSurgerySteeringCommittee.Amoderatedjournal clubismoreeffectivethananInternetjournalclubinteaching critical appraisalskills: resultsof a multicenter randomized controlledtrial.JAmCollSurg.2010;211:769---76.

11.Lee AG,Boldt HC, Golnik KC, et al. Usingthe JournalClub to teach and assess competence in practice-based learning andimprovement:aliteraturereviewandrecommendationfor implementation.SurvOphthalmol.2005;50:542---8.

12.MisraUK,KalitaJ,NairPP.Traditionaljournalclub:acontinuing problem.JAssocPhysiciansIndia.2007;55:343---6.

13.HartzellJD,VeerappanGR,PosleyK,etal.Residentrunjournal club:amodelbasedontheadultlearningtheory.MedTeach. 2009;31:e156---61.

14.Valentini RP, Daniels SR. The journal club. Postgrad Med J. 1997;73:81---5.

15.Gronlund NE. Constructing achievement tests prentice-hall. NewJersey:EnglewoodCliffs;1968.

16.LinzerM.Thejournalclubmedicaleducation:overonehundred yearsofunrecordedhistory.PostgradMedJ.1987;63:475---8. 17.SidorovJ.Howareinternalmedicineresidencyjournalclubs

organizedand whatmakesthemsuccessful?ArchInternMed. 1995;155:1193---7.

18.DirschlDR,Tornetta3rdP,BhandariM.Designing,conducting, andevaluatingjournalclubsinorthopaedicsurgery.ClinOrthop RelatRes.2003;413:146---57.

19.Ausubel DP. The acquisition and retention of knowledge: a cognitiveview.Dordrecht,TheNetherlands:KluwerAcademic Publishers;2000.