Formação de recursos humanos em epidemiologia
e avaliação dos programas de saúde
Training human re so urce s in e p id e mio lo g y
and he alth se rvice s e valuatio n
1 Departam en to de Ep id em iologia e M étod os Qu an titativos em Saú d e, Escola N acion al d e Saú d e Pú blica, Fu n d ação Osw ald o Cru z . Ru a Leop old o Bu lh ões 1480, Rio d e Jan eiro, RJ 21041-210, Brasil.
Zu lm ira M aria d e Araú jo Hartz 1
Lu iz An ton io Bastos Cam ach o 1
Abst ract Th e top ics an d bibliograp h y p ertain in g to Ep id em iology an d Health Services Evalu a-tion are d iscu ssed in th e ligh t of ou r exp erien ce w ith grad u ate cou rses at th e Braz ilian Naa-tion al Sch ool of Pu blic Health (EN SP), Osw ald o Cru z Fou n d ation (FIOCRUZ). Th e au th ors believe th at th e essen tial elem en t of evalu ation is th e assessm en t of in terven tion s, an d th at th e evalu ator’s role is to an alyz e h ealth care as a p rotective (or risk ) factor am on g oth er h ealth d eterm in an ts. Ep id em iology h as been con sid ered n otew orth y d u e to its ability to in tegrate h ealth services/p ro-gram s evalu ation as its research su bject. In ou r cou rses on th is su bject, th e m ain ep id em iological stu d y d esign s ap p lied to h ealth services research are p resen ted in on e section , follow ed by a d is-cu ssion a b ou t a cis-cu ra cy a n d relia b ilit y of m ea su res a n d cla ssifica t ion s. A t h ird sect ion of t h e cou rse com p rises th eoretical an d p ractical assu m p tion s of evalu ation m od els, an d th e fou rth sec-tion d evelop s th e n osec-tion of th e qu ality of h ealth care qu ality assessm en t (m eta-evalu asec-tion ). Th e p ivotal issu e in th e organ iz ation of th e cou rse is th e ex p an sion of research from th e acad em y to h ealth services, im p lyin g ack n ow ledgem en t of th e m u tu al ben efit th is p artn ersh ip can brin g abou t.
Key words Health Services Evalu ation ; Teach in g Evalu ation ; Health M an p ow er; Ep id em iolo-gy; Health Services
Resumo O artigo d iscu te os con teú d os e a bibliografia d a área tem ática Ep id em iologia e Ava-liação d e Program as d e Saú d e, tom an d o p or base a exp eriên cia d os cu rsos d e p ós-grad u ação d a Escola N acion al d e Saú d e Pú blica, Fu n d ação Osw ald o Cru z . Para os au t ores, a av aliação t em com o elem en to essen cial o ju lgam en to d e v alor d e u m a in terven ção, e o avaliad or é visto com o u m p rofission al qu e an alisa a qu alid ad e d a assistên cia com o u m fator d e p roteção/risco in seri-d o en tre os seri-d eterm in an tes seri-d e saú seri-d e. En tre as seri-d iscip lin as in clu íseri-d as n a form ação seri-d o av aliaseri-d or, a ep id em iologia se d estaca p ela cap acid ad e d e in tegrar a avaliação d e p rogram as/serviços com o seu objeto d e in vestigação. Nos cu rsos, os p rin cip ais tip os d e estu d o ep id em iológico n a avaliação d e p rogram as são ap resen tad os em u m m ód u lo in icial, qu e é segu id o d e u m a d iscu ssão sobre a valid ad e/con fiabilid ad e d e m ed id as e classificações em qu e costu m am se ap oiar as avaliações. Um terceiro m ód u lo d iscu te os p ressu p ostos teóricos e p ráticos n a escolh a d os m od elos d e av a-liação, en qu an to o qu arto trabalh a a id éia d e “qu alid ad e d a avaliação d a qu alid ad e”d as ações p rogra m á t ica s, ou m et a - a v a lia çã o. A orga n iz a çã o d est e cu rso t em com o eix o a ex p a n sã o d a ap ren d iz agem d a acad em ia aos serviços e recon h ece o ben efício m ú tu o d essa p arceria.
Int rodução
A in clu são d e u m a área tem ática em Ep id em io-lo gia e Ava lia çã o d o s Pro gra m a s d e Sa ú d e n a Pó s-Gra d u a çã o Stricto Sen su d a ENSP/ FIO-CRUZ, a partir de 1993, colocou-n os o desafio d e con stru ir u m esp aço d e form ação qu e fom en te a p esq u isa n a á rea e, sim u lta n ea m en te, p ossa d a r resp o sta s a o s q u e b u sca m n a Ava lia çã o u m a p ossib ilid ad e d e reorien tação p ara a m e-lh o ria d a q u a lid a d e d o s p ro gra m a s n o s q u a is estão in serid os em fu n ção técn ico-geren cial.
A fu n d am en tação d e seu s con teú d os e a b i-b lio gra fia m ín im a u tiliza d a n o s cu rso s/ d isci-p lin as realizad os até o m om en to são a b ase d a d iscu ssã o q u e a q u i será a p resen ta d a , n u m a ten ta tiva d e esta b elecer m o s u m a tro ca d e id éias com ou tros colegas d ocen tesp esq u isa -d ores qu e tam b ém estejam en volvi-d os com es-ta p ro b lem á tica . A ela b o ra çã o d este texto se in sp irou n a série p u blicada p ela Abrasco (1984) so b re co n teú d o s p ro gra m á tico s p a ra a Med icin a Preven tiva e Social. Esp eram os estar con -trib u in d o n este m esm o sen tid o, con sid eran d o, p ela n ossa exp eriên cia de p articip ação e con ta-tos em d iferen tes gru p os d e trab alh o ligad os às Un iversid ad es e ou tras in stitu ições, q u e esta é ain d a u m a área in cip ien te n o en sin o d a Ep id e-m iologia. Este p rob lee-m a certae-m en te n ão é ex-clu sivo d a área d e avaliação, p ois u m a d iscu s-sã o a cerca d a s estru tu ra s d o s cu rso s e d a s a b o rd a gen s d id á tico -p ed a gó gica s é n o r m a l-m en te n egligen ciad a n o esp aço acad êl-m ico.
O p rim eiro esclarecim en to qu e certam en te p recisa m o s fa zer é so b re co m o en ten d em o s
Avaliação/Avaliador dos Program as de Saú de.
Ap esa r d e recon h ecer q u e existem in ú m e-ras d efin ições d e Avaliação,su a essen cialid ad e se lo ca liza n o ju lga m en to d e va lo r d e u m a in -ter ven çã o. O en fo q u e n o Pro gra m a d e Sa ú d e u ltrap assa os lim ites d a p restação d os serviços, co m o resp o sta s d irigid a s a o s p ro b lem a s d e saú d e in d ivid u ais, sem , n o en tan to, exclu í-los, colocan d o-os n a p ersp ectiva d as in terven ções co letiva s q u e in tera gem n o p ro cesso sa ú d ed o en ça e exigem u m a a b o red a gem m icro / m a -cro con textu al d os p rofission ais com ela en vol-vid os. Se as Políticas d e Saú d e estão relacion a-d a s à m elh o ria a-d o statu sd e sa ú d e d a p o p u la çã o, a s a çõ es p ro gra m á tica s co n stitu em o su -p o rte o -p era cio n a l n o q u a l ela s -p o d em ter su a efetivid ad e an alisad a.
A com p reen são d o alu n o d e p ós-grad u ação q u e se h ab ilita com o Avaliad oré a d e u m p ro-fission al qu e an alisa a qu alid ad e d a assistên cia com o u m fator de p roteção/ risco in serido en tre os d eterm in an tes d a saú d e. Este en foqu e exige igu alm en te qu e am p liem os os ob jetivos da
for-m ação acad êfor-m ica, trad icion alfor-m en te for-m ais vol-tada p ara a con stru ção do u su ário crítico e rele-va n te co la b o ra d o r d e p u b lica çõ es cien tífica s, p a ra co n tem p la r su a d u a lid a d e d e p esq u isa-d or-ator com p rom etiisa-d o eticam en te com a p rá-tica q u e con stitu i ob jeto d e su a a va lia çã o. As-sim , p rivilegia m o s a a b o rd a gem p ro fissio n a l (p rofession al sch ool m od el) n a organ ização d e n ossos cu rsos, tam b ém d efen d id a p or Fitzp a-trick (1994), e que se in sp ira em trabalhos da dé-cad a d e 70, q u e vêem a p ós-grad u ação com o o esp aço d e con stru ção d o p ap el d o p rofission al em u m a sociedade. Não é su ficien te a aqu isição d e con h ecim en tos, m as o d esen volvim en to d e com p etên cias qu e in clu em atitu des, valores, in -teresses e n orm as da p rofissão qu e se qu er p ra-ticar. Em u m a p esq u isa m en cion ad a p or Mer-ten s (1994), som en te 23% d os alu n os d e p ós-gradu ação em avaliação n os Estados Un idos es-ta va m fo rm a lm en te vin cu la d o s à Aca d em ia . Em n ossa exp eriên cia d e en sin o, a m aioria d os a lu n o s ta m b ém n ã o está liga d a a in stitu içõ es d e p esqu isa, e sim aos serviços d e saú d e, o qu e reforça a im p ortân cia d a p rofission alização.
As com p etên cias d evem ser d e caráter con -ceitu al, m as tam b ém técn ico-ad m in istrativas e com un icativas (in terpessoais). A questão é iden -tificar os con teúdos que poderiam facilitar o de-sen volvim en to destas com p etên cias (kn ow ledge an d skills).
O q u e já tin h a sid o ob ser vad o p or San d ers (ap u dFitzp atrick, 1994) con tin u a sen d o p ertin eertin te: o qu e p arece faltar ertin os cu rsos é u m a êertin -fase n o d esen volvim en to d e h ab ilid ad es p ráticas e d e ju lgam en to. É im p ortan te q u e os alu -n os atu em em gru p o, co-n stru i-n d o i-n d icad ores e n orm as sob re situ ações p ráticas sem elh an tes à su a vid a p rofision al: a valoração, m ais d o qu e a m etod ologia, d everia con stitu ir a essên cia d a avaliação d e p rogram as.
-n icação, Filosofia (p articu larm e-n te a evolu ção d e p arad igm as e a ética n o ju lgam en to d e valo-res). A Ciên cia Política e a Econ om ia torn am -se sobretu do fu n dam en tais n os casos de avaliação d os p rogram as govern am en tais. A Epidem iologia aparece em destaqu e com o a disciplin a con -sid erad a ú n ica em su a esp ecificid ad e p ara o cam p o d a Avaliação.
Esta cap acidade “n atu ral” da ep idem iologia p ara in tegrar a avaliação de p rogram as/ serviços com o seu ob jeto d e in vestigação é tam b ém en -fatizada p or au tores com o Don abedian (1985) e Silver (1990), q u e, in clu sive, d estacam o p ap el p ion eiro d o ep id em iologista Pau l Lem b cke n a avaliação d os serviços m éd ico-h osp italares.
Em b ora a Ep id em iologia forn eça satisfato -riam en te a base qu an titativa p ara os estu dos de Sa ú d e Co letiva , vim o s q u e, n este p ro cesso d e form ação, ela é a con d ição n ecessária m as n ão su ficien te, e n ã o se p o d e p r ivilegia r so m en te desen h os de estu dos, con trole de viéses e técn i-cas estatístii-cas. Esta ob servação d e Weir (1992) é b em ilu stra tiva : “in term s o f tea ch in g, a l-th ou gh l-th e p u rp ose is d ifferen t, h eall-th service research can b e p resen ted as yet an oth er facet or u se of th e ep id em iological m eth od (...) Sel-d o m will a h ea lth ser vice resea rch stu Sel-d y b e b a sed so lely o n a sin gle d iscip lin e o r scien ce (...) th e com b in ation of ep id em iological or sta-tistical tech n iqu es or com p on en ts of organ iza-tio n a l th eo r y o r b eh a vio u ra l scien ce th a t a re em p loyed d ep en d s o n th e in ten d ed o u tco m e of th e p articu lar stu d y”.
Um a ou tra qu estão é a p redom in ân cia, qu a-se exclu siva, n os d ep artam en tos d e Ep id em io-lo gia , d o s estu d o s etio ló gico s p a ra a d eterm i-n ação d e d oei-n ças, com o ressalta Bru ce (1991): “th e fo cu s o f ep id em io lo gy in m o st a ca d em ic d ep a rtm en ts is o n ca u sa tio n ra th er th a n in Hea lth Ser vice Resea rch a n d in p a rticu la r to th e n eed for an evalu ation of services”.
Um a con statação p reocu p an te, q u e já tive-m o s a o p o rtu n id a d e d e d iscu tir p revia tive-m en te n as reu n iões p rom ovidas p ela Com issão Nacion al d e Ep id em iologia d a Ab rasco, é q u e, q u aNacion -d o a Ava lia çã o é co n tem p la -d a n o s cu rso s -d e Ep id em io lo gia , ela n o r m a lm en te se restrin ge às An álises d e Im p acto. Sen d o assim , om item -se os p rob lem as m etod ológicos e op eracion ais im p licad os n a m on itoração d os serviços e an á-lise d os efeitos in term ed iários, p ara con h ecer o grau d e im p lan tação d estas in terven ções, con -d ição in -d isp en sável p ara a vali-d a-d e -d o p róp rio ju lgam en to sob re o Im p acto ob servad o (Moh r, 1992). Tu rcotte (1983), ao en cerrar u m en con -tro con sid erad o en tre os m arcos con ceitu ais d a rela çã o d a Ep id em io lo gia co m o s Ser viço s n o Can ad á, relem b ra q u e, se h á u n an im id ad e
so-b re o fato d e a Avaliação ser a p rin cip al con tri-b u içã o d a Ep id em io lo gia p a ra a fo rm u la çã o e o p era cio n a liza çã o d a s p o lítica s d e sa ú d e, é p reo cu p a n te q u e, n a fa se d e im p lem en ta çã o d o s p ro gra m a s, “ep id em io lo gists a n d o th er scien tists p la y a rela tively sm a ll ro le”. Du a s á rea s sã o p a rticu la rm en te en fa tiza d a s p a ra a con trib u içã o d a ep id em iologia n esta fa se q u e n ós ch am arem os d e an álise d a im p lan tação ou im p lem en tação d os p rogram as d e saú d e: 1) Organ ização do Sistem a de In form ação, qu e p erm itirá avaliar a efetividade do p rogram a p os-teriorm en te.
2) Desen h ar e p articip ar de p rojetos-p iloto ex-p erim en ta is o u estu d o s d e ca so ex-p a ra o rien ta r as d ecisões d os geren tes d e p rogram as.
Tod as estas con sid erações serviram d e eixo p ara o con teúdo p rogram ático do curso que d is-cu tirem os a segu ir.
Est rut ura do Curso
Nosso cu rso foi organ izad o sob a form a d e d is-cip lin a d o Mestra d o e Do u to ra d o em Sa ú d e Pú b lica , m a s a d m itin d o a lu n o s q u e a ten d em aos p ré-requ isitos corresp on d en tes às d iscip li-n a s “Co li-n ceito s d e Ba se em Ep id em io lo gia” e “Bioestatística”. In icialm en te oferecem os u m a m od alid ad e trad icion al com q u atro créd itos, e n este ú ltim o sem estre sob a form a d e sem in á-rio d e leitu ras (d ois créd itos). Estam os tam b ém exp erim en ta n d o u m a estr u tu ra m o d u la r em p rojeto in tegrad o com o Dep artam en to d e Plan ejam ePlan to d a ENSP e com o Mestrad o em Saú -d e Matern o-In fan til (IMIP-PE). Não p reten -d e-m os ap resen tar aq u i as (in )con ven iên cias d es-ta s d iferen tes m o d a lid a d es, o q u e n o s p a rece b a sta n te p reco ce, m a s co m en ta r a tem á tica e su p orte b ib liográfico d o q u e p od eríam os ch a-m ar d e “estru tu ra a-m ín ia-m a d e cap acitação”, qu e tem os p rocu rad o m an ter n as d iversas m od ali-d aali-d es e q u e ali-d iviali-d erem os, p ara efeito ali-d iali-d ático, em qu atro m ód u los:
Validade dos desenhos epidemiológicos na pesquisa avaliat iva
O m ó d u lo se in icia co m u m a b reve d iscu ssã o sob re o con ceito d e Program a (Den is & Ch am -p a gn e, 1990) o u Açã o Pro gra m á tica (Men d es-Gon çalves et al., 1990), e classificação d as Pes-qu isas em Saú d e, u tilizan d o-se o esPes-qu em a p ro-p osto ro-p or Con ta n d rioro-p ou los et a l. (1994), q u e p erm ite co n ceitu a r a Pesq u isa Ava lia tiva n a p ersp ectiva d e u m a associação cau sal.
Validade e confiabilidade de medidas
In icialm en te p rocu ra-se con ceitu ar a con fiab i-lid ad e e a vai-lid ad e d as m ed id as relacion ad as à q u alid ad e d a estru tu ra e d o p rocesso d e aten d im en to, b em com o seu s efeitos n a saú d e p o -p u lacion al, b asean d o-se n a d iscu ssão d os tex-tos d e Bren n an et al. (1989), Cam ach o (1994) e Carm in es & Zeller (1979).
Aqu i trab alh a-se a n oção d e qu e a avaliação se ap óia em m ed id as e classificações qu e resu l-tam d e p rocessos im p erfeitos d e m en su ração. Dessa fo rm a , to d o p ro cesso d e m en su ra çã o p od eria ser visto com o u m a ten tativa d e ap ro-xim ação d o valor real d e u m atrib u to, cu jos valores ob servad os trazem n ecessariam en te em -b u tid os d esvios qu e resu ltam d as im p erfeições d o s m éto d o s. A d iscu ssã o d a n a tu reza d o s er-ro s (sistem á tico e a lea tó r io ) n o p er-ro cesso d e m en su ra çã o p erm ite in tro d u zir o s co n ceito s d e valid ad e e con fiab ilid ad e d e m ed id as, b em co m o a s estra tégia s p a ra m in im iza r o s erro s corresp on d en tes. Métod os d e m ed id a d e b aixa cap acid ad e d e rep licar resu ltad os sem elh an tes, q u a n d o a p lica d o s em situ a çõ es sem elh a n tes (b aixa con fiab ilid ad e), p rovocam a aten u ação d e correlações en tre variávies, p erd a d e p od er esta tístico e b a ixa a cu rá cia (o u va lid a d e). A id éia d e q u e a co n fia b ilid a d e é u m a co n d içã o n ecessária, m as n ão su ficien te, p ara a valid ad e é d esen volvid a em con ju n to com os con ceitos d e valid ad e d e con teú d o, d e critério e d e con s-tru çã o. Esp era -se q u e o s m éto d o s (e seu s resp ectivo s in stru m en to s) d e m ed id a co n tem -p lem tod as as d im en sões d o fen ôm en o ou atrib u to q u e se q u er m ed ir (va lid a d e d e co n teú -d o), q u e as m e-d i-d as con cor-d em com critérios d efin id o s p o r o u tro s m éto d o s to m a d o s co m o referên cia (va lid a d e d e critério ) e q u e exista u m a teo ria esta b elecid a q u e p erm ita co rrela -cion ar o con ceito q u e está sen d o m ed id o com a m ed id a em p írica gera d a p elo p ro cesso d e m en su ração (valid ad e d e con stru ção). Esta ú l-tim a é p a rticu la rm en te releva n te p a ra a esco-lh a e con stru ção d e in d icad ores d e efetivid ad e e avaliação d e qu alid ad e, p ara os qu ais referên -cias p ara valid ad e d e critério n ão estão d isp o-n íveis. O p ro cesso d e va lid a çã o, o-n estes ca so s, equ ivale ao teste da teoria qu e dá su p orte ao in -d ica-d or.
Um exem p lo d e con stru çã o a p resen ta d o é o d a q u alid ad e d o aten d im en to m éd ico p ara a q u a l n ã o existe cr itério ú n ico d e referên cia . Nesse caso, os elem en tos d a aten ção m éd ica ti-d os com o essen ciais p ara garan tir os m elh ores resu ltad os p ossíveis com p orão o in stru m en to d e avaliação d e q u alid ad e q u e ser virá d e b ase p ara o ju lgam en to sob re a q u alid ad e. Se o in s-as in terven ções d o p rogram a cau saram d
eter-m in ad o(s) efeito(s). Para estab elecer a relação cau sal in vocam -se algu n s d os critérios p rop os-tos p or Hill (1965), a sab er: existên cia d e asso-ciação estatística en tre efeito e p ossível cau sa, p reced ên cia d a su p o sta ca u sa so b re o efeito, elim in a çã o d e exp lica çõ es a ltern a tiva s p a ra a associação, rep licação d os ach ad os em ou tros estu d o s e p la u sib ilid a d e cien tífica d o s a ch a -d o s. A i-d éia -d e “a m ea ça à va li-d a -d e in tern a e à va lid a d e extern a”, co n fo rm e a p resen ta d a p o r Cam p b ell & Stan ley (1963), é u tilizad a p ara d is-cu tir o co n tro le d e co n fu n d im en to, d e viéses, d o acaso; a regressão estatística e ou tras exp li-cações altern ativas p ara resu ltad os d e estu d os. Os lim ites e p ossib ilid ad es d os p rin cip ais tip os d e d esen h o s d e estu d o, d esd e o exp erim en to (en sa io clín ico a lea to r iza d o ) a té o estu d o d e casos, p ara p rod u zir evid ên cia, d an d o su p orte à h ip ótese d e cau salid ad e, são d iscu tid os atra-vés d a a p resen ta çã o d e tra b a lh o s p u b lica d o s em q u e o m étod o ep id em iológico foi u sad o n a avaliação d e p rogram as. O en foqu e é p red om i-n a i-n tem ei-n te m eto d o ló gico e ep id em io ló gico, sem p erd er d e vista as p articu larid ad es d a efe-tivid a d e d e p ro gra m a s d e sa ú d e co m o o b jeto d o estu d o / a va lia çã o. Po r exem p lo, o s ch a m a -d o s estu -d o s eco ló gico s q u e têm gru p o s co m o u n id ad es d e an álise, e qu e são geralm en te con -sid erad os em ep id em iologia ap en as p ara gerar h ip ó teses, ga n h a m n ova d im en sã o q u a n d o o q u e se q u er é ju sta m en te a va lia r efeitos sob re gru p o s q u e n ã o sã o b em rep resen ta d o s p ela sim p les agregação d e efeitos in d ivid u ais.
Morgen stern (1982) lem b ra qu e, freqü en te-m en te, in terven ções ete-m p op u lações in volvete-m ações coletivas (u so d e cin to d e segu ran ça, p or exem p lo), cu ja avaliação n ão é d irigid a à eficácia d a in ter ven çã o, q u e já d eve ter sid o d e -m on strad a q u an d o d a i-m p le-m en tação d o p rogra m a . Qu a n d o se tra ta d e a va lia r a efetivid a -d e, a cap aci-d a-d e -d e im p lem en tar a in terven ção é q u e está em fo co. Mesm o q u a n d o a s in ter-ven ções são d irigid as a in d ivíd u os, p od e ocor-rer q u e o im p a cto d a in terven çã o n a co m u n i-d ai-d e com o u m toi-d o in clu a efeitos in i-d iretos so-b re in d ivíd u o s q u e n ã o receso-b era m eles m es-m os a in terven ção. Por exees-m p lo, a red u ção n a o co rrên cia d e p ro b lem a s resp ira tó rio s resu l-tan te d e ações d e com b ate ao tab agism o d eve refletir tam b ém o b en efício d a m ed id a p ara os fu m an tes p assivos.
lise d e im p la n ta çã o se d istin gu e d a s a b o rd a -gen s descritivas p orqu e p erm ite estabelecer co-m o a variação n o grau d e ico-m p lan tação (avalia-ção d a estru tu ra e p rocesso) atu a sob re os efei-tos d a in terven ção e com o in teragem as variá-veis con textu ais, o qu e am p lia su a valid ad e ex-tern a.
No q u e co n cern e m a is esp ecifica m en te à s ab ord agen s m u ltid iscip lin ares ou d itas “trian -gu la res”, reco m en d a m o s o s texto s d e Ha ll & Do rn a n (1988), Gu b a & Lin co ln (1989), Sm ith (1989), An ker (1993), Yin (1994) e Lu ep ker et al. (1994) .
M et a-avaliação, inst it ucionalização e profissionalização dos avaliadores
É ch ega d o ta m b ém o m o m en to d e d iscu tir o q u e p o d ería m o s ch a m a r “q u a lid a d e d e u m a avaliação d a q u alid ad e d as ações p rogram áti-cas” ou m eta-avaliação. A id éia é in trod u zir si-m u lta n ea si-m en te a n o çã o d e so cia liza çã o d a p ro fissã o, à m ed id a em q u e sã o a p resen ta d o s os Stan dards for Program Evalu ationd as Asso-ciações Can ad en se e Am erican a p ara Avaliação d e Program as. A d iscu ssão d o texto d e Wh orten (1994) é fu n d am en tal, fazen d o u m h istórico d a origem d estas associações a p artir d a n ecessi-d a ecessi-d e ecessi-d e a va liçã o ecessi-d o s p ro gra m a s ecessi-d e in vesti-m en tos p ú b licos, p articu larvesti-m en te d estin ad os à s p op u la ções p ob res, e d o ca rá ter p lu rid isci-p lin ar d e seu s m em b ros.
Nossa p reocu p ação n ão é d e caráter corp o-rativista, m as a ten tativa d e q u e os estu d an tes n ã o só co n h eça m a litera tu ra d a á rea , co m o tam b ém p ossam com p reen d er a con stru ção d a esp ecia lid a d e em su a s p ró p ria s b a ses o rga n i-zacion ais.
O texto d e McQu een (1992) en fo ca , co m m u ita p ro p ried a d e, a s p o lítica s d e In stitu cio -n alização d a Avaliação -n as orga-n izações fed e-rais, tom an d o com o exem p lo o caso d o Can a-d á, ao p asso qu e o texto a-d e Scriven (1995) trata d a s d iferen tes m o d a lid a d es d e in serçã o in sti-tu cion al em seu s asp ectos fin an ceiros e éticos. Ap roveitam os p ara realçar a im p ortân cia d esta ética d e p a r ticip a çã o e q u estio n a m en to, n ã o co m o u m co n h ecim en to lega l e sistem á tico, m as qu e leva o p rofission al a se p reocu p ar com a n atu reza e im p licação d o qu e ele faz en qu an to a to r in serid o em u m estu d o co m im p lica -çõ es so b re o d esen vo lvim en to co m u n itá r io, através d o acesso a b en s e serviços d e qu alid a-d e.
A in clu são d o texto d e Holm es et al. (1993) n a ú ltim a au la n os p arece u m a esp écie d e sín -tese d as d iretrizes teórico-p ráticas d etalh ad as an teriorm en te.
tru m en to m ed e realm en te a q u alid ad e, ou se-ja, se é correto in ferir m elh or qu alid ad e n os caso s em q u e o in stru m en to in d ica m elh o r d e -sem p en h o, esp era-se q u e estes casos tam b ém ap resen tem d esfech os m ais favoráveis. Ou se-ja, esp erse u m a correlação en tre a m ortalid a-d e in tra-h osp italar, a taxa a-d e in fecção h osp ita-lar, o tem p o d e p erm an ên cia etc., com o escore d e q u alid ad e gerad o p elo in stru m en to d e ava-liação d e qu alid ad e.
Neste m ó d u lo to r n a -se p a rticu la rm en te im p ortan te a realização d e exercícios, sim u lan -d o-se técn icas -d e con sen so p ara elab oração -d e in stru m en tos d e m ed id a, d efin in d o-se in d ica-d ores e p aica-d rões, p ara as q u estões ou ob jetivos esp ecíficos, q u e favoreçam u m a m aior valid a-d e a-d e co n stru çã o e a-d e co n teú a-d o a-d a s m ea-d ia-d a s efetu a d a s. O texto d e Clem en h a gen & Ch a m -p agn e (1986), orien tan d o n a escolh a d os focos d a a va lia çã o, e o ca p ítu lo d e m o n ito ra çã o d e Ro ssi & Freem a n (1993) sã o excelen tes gu ia s p a ra o tra b a lh o. Já u tiliza m o s ta m b ém o Ma -n u al d e acred itação h osp italar d a OPAS (1992) e ou tros estu d os sob re con d ições traçad oras e even tos-sen tin ela (Kessn er, 1992; Hartz, 1995). Para u m a revisão su m ária d as técn icas d e con -sen so su gerim os Fávaro & Ferris (1991).
Pressupost os t eórico-prát icos na escolha dos modelos de avaliação
á-se in tro d u zir à Ava lia çã o d e Pro gra m a s. Tive-m o s co Tive-m o eixo d e n o ssa o rga n iza çã o d e cu r-so/ d iscip lin a a p reocu p ação d e q u e a ap ren d i-zagem n ão p od e se lim itar ao âm b ito u n iversitá rio o u a ca d êm ico, p o is a s q u a lifica çõ es d e -vem sem p re cu m p rir a fu n ção d e in stru m en ta-lizar o estu d an te n a su a relação com o trab alh o em socied ad e, m esm o q u e isto im p liq u e assu m ir o risco d e in vestiga çõ es co m p lexa s, a m -p lian d o a u tilização d os a-p ortes d e ou tras d is-cip lin as ao lid ar com d ad os n em sem p re fáceis d e serem d im en sion ad os p or atrib u tos qu an ti-tativos ou “ob jetivos”.
Em b ora a p esqu isa avaliativa receb a con tri-b u ição d e d iferen tes d iscip lin as, o p aralelism o existen te n a s reflexõ es ep istem o ló gica s o u a b o rd a gen s m eto d o ló gica s se esp elh a m ta m -b ém n as lin h as d e in vestigações, sem p erm itir u m a ap reciação d e p rogram a em su a com p le-xid a d e, a cen tu a n d o d ivisõ es a serem m in im i-zad as n o p rocesso d e avaliação en tre as con tri-b u ições d a p esq u isa tri-b iom éd ica e organ izacion al, a ateizacion ção iizacion d ivid u al e coletiva, as d im eizacion -sões m acro/ m icro teóricas da m odelagem e, so-b retu d o, en tre a acad em ia e os serviços.
Hierarq u izar a com p lexid ad e d a in vestigaçã o en tre ser viço e a ca d em ia é tã o in ú til/ im -p rod u tivo qu an to ign orar su as d iferen ças e es-p ecificid a d es. Aes-p esa r d e reco n h ecerm o s q u e u m n ível d e sep a ra çã o en tre ser viço e a ca d e -m ia é in evitável, e -m es-m o d esejável, u -m esfor-ço p erm a n en te d eve ser em p reen d id o p a ra a elab oração/ execu ção d e p rojetos colab orativos e in terd iscip lin ares q u e p rop iciem a op ortu n i-d a i-d e i-d e p esq u isa em ser viço s n o a m b ien te a ca d êm ico, a ssegu ra n d o a va lid a d e a lm eja d a e, ao m esm o tem p o, d an d o aos ep id em iologis-tas a exp eriên cia d a p rática d os sistem as e ser-viços d e saú d e d os n íveis local e region al.
Se a fo rm a çã o n ã o p ro p icia r su b síd io s d e in tegração, as “eq u ip es” jam ais terão a In disci-p lin arid ad e, q u e d eve caracterizar u m p rojeto d e avaliação com o en foq u e d a “trian gu lação”, ou seja, o em p rego d e m ú ltip las teorias, m éto-d os e p roceéto-d im en tos éto-d e coleta e an álise éto-d e éto-d a-d o s p a ra o estu a-d o a a-d eq u a a-d o a-d o p ro b lem a . O term o “in d iscip lin arid ad e” traz u m n ovo sign i-fica d o p a ra a “(in ter/ tra n s)d iscip lin a r id a d e”, n a q u al cad a d iscip lin a isolad a ain d a con tin u a com a “su a p róp ria cegu eira e su a p róp ria arro-gâ n cia”, ten ta n d o d efin ir fro n teira s (Mo rin , 1990)
O tra b a lh o fin a l d o cu rso p revê a ela b o ra çã o d e u m p ro jeto d e p esq u isa a ser a co m p a -n h ad o p elos d oce-n tes, ou , p elo m e-n os, u m p la-n o d e avaliação la-n o caso d os cu rsos m ais cu rtos e/ ou com d ificu ld ad e d e orien tação. Con sid eran d o q u e ain d a estam os con clu in d o a segu n d a exp eriên cia, n ão tem os elem en tos su ficien -tes p ara ju lgar os resu ltad os d este p rocesso d e form ação, m as esp eram os, n o fu tu ro, p od er or-ga n iza r a lgu n s reen co n tro s d e egresso s q u e n os p erm itam ap reciar os resu ltad os d e n osso trab alh o e tê-los com o p arceiros d e n ovas p ro-p ostas d e en sin o-ro-p esqu isa.
Conclusão
Na o rigem d este p ro jeto d e fo rm a çã o está o com p rom isso d e seu s d ocen tes em ten tar com -p a rtilh a r o a -p ren d iza d o d e su a s ex-p eriên cia s, co m o estu d a n tes d e Do u to ra d o q u e fo ra m , p reo cu p a d o s co m a co n str u çã o d e m o d elo s q u e via b iliza ssem a resp osta à s su a s q u estões d e p esqu isa, voltad as p ara a m elh oria d a qu ali-d aali-d e ali-d a assistên cia.
O p ro p ó sito d este p ro jeto fo i d e ta m b ém qu erer estar con trib u in d o (e sen sib ilizan d o ou tros colegas a fazerem o m esm o) com a resolu -tivid a d e d a p ro b lem á tica n a cio n a l d esta ca d a n o Pla n o Direto r d a Ep id em io lo gia (Ab ra sco, 1995): “In su ficiên cia d e estu d os ep id em iológi-cos q u e p erm ita m a va lia r a n ecessid a d e, a d e-q u a çã o e efetivid a d e d o s ser viço s p resta d o s”. Algu m a s estra tégia s su gerid a s n o d o cu m en to d evem ser vista s co m o o b jetivo s/ a m b içõ es a serem a ssu m id a s p o r estes e o u tro s p ro jeto s p ara qu alificação d e avaliad ores:
• Estim ar o grau d e im p lan tação d os p rogra-m a s e correla cion á -los corogra-m os in d ica d ores d e im p acto.
• Disp o n ib iliza r e va lid a r in fo rm a çõ es d o s asp ectos q u an titativos e q u alitativos d a assis-tên cia p restad a.
• Co n sid era r o m o n ito ra m en to d o s p ro ces-sos com o etap a im p rescin d ível à avaliação d os p rogram as d e saú d e.
• Bu scar form as d e su p erar a d esarticu lação en tre os d iferen tes n íveis d e aten ção.
• Fom en tar as p esq u isas relativas à resolu ti-vid ad e d os serviços.
Referências
ABRASCO (Associação Brasileira d e Saú d e Coletiva), 1984. En sin o da Saú de Pú blica, Medicin a Preven -tiva e Social n o Brasil. Rio d e Jan eiro: Ab rasco. ABRASCO (Associação Brasileira d e Saú d e Coletiva),
1995. Plan o Diretor de Epidem iologia. Versão pre-lim in ar. Rio d e Jan eiro: Ab rasco. (m im eo.) ANKER, M.; GUIDOTTI, R. J.; ORZESZYNA, S.;
SA-PIRIE, S. A. & THURIAUX, M. C., 1993. Rap id eval-u ation m eth od s (REM) of h ealth services p erfor-m an ce: erfor-m eth od ological ob ser vation s. Bu lletin of th e World Health Organ ization, 71:15-21. BRENNAN, T. A.; LOCALIO, R. J. & LAIRD, N. L., 1989.
Reliab ility an d valid ity of ju d gem en ts con cern in g ad verse even ts su ffered by h osp italized p atien ts.
Medical Care, 27:1148-1158.
BRUCE, N. G., 1991. Ep id em iology an d th e n ew p u b -lic h ealth : im p -lication s for train in g. Social Scien ce an d Medicin e, 32:103-106.
BUCKNER, J. C., 1991. Pathways in to hom elessn ess: an ep id em iological an alysis. New Direction s for Pro-gram Evalu ation ,52:17-30.
CAMACH O, L. A. B., 1994. Assessm en t of th e Valid ity an d Reliability of Gen eric Screen in g for Hosp ital Qu ality Assessm en t. Te se d e Do u to ra d o, Ba lti-m ore: Sch ool of Hygien e an d Pu b lic Health , Joh n s Hop kin s Un iversity.
CAMPBELL, D. T. & STANLEY, J. C., 1963. Exp erim en -tal an d Qu asi-Experim en -tal Design s for Research. Ch icago: Ran d McNally.
CARMINES, E. G. & ZELLER, R. A., 1979. Reliability an d Validity Assessm en t. Beverly Hills: Sage Pu b li-cation s.
CLEMENHAGEN, C. & CHAMPAGNE, F., 1986. Qu ality a ssu ra n ce a s p a rt of p rogra m eva lu a tion : gu id e-lin es fo r m a n a gers a n d ce-lin ica l d ep a rtm en ta l h eads. Jou rn al of Qu ality Assu ran ce, 12:383-387. CONTANDRIOPOULOS, A. P.; CH AMPAGNE, F.;
DE-NIS, J. L. & PINEAULT, R., 1992. L’Évalu ation dan s le Dom ain e d e la San té: Con cep ts et M éth od es. Mon tréal: Un iversité d e Mon tréal.
CONTANDRIOPOULOS, A.P.; CHAMPAGNE, F.; POTVIN, L.; DENIS, J. L. & BOYLE, P., 1994. Saber Preparar u m a Pesqu isa. São Pau lo: Hu citec/ Rio d e Jan eiro: Abrasco.
DENIS, J. L. & CHAMPAGNE F., 1990. L’an alyse de l’im -p lan tation : m od èles et m éth od es.Revu e Can ad i-en n e d’Évalu ation de Program m e, 5:47-67. DONABEDIAN, A., 1985. Th e ep id em iology of qu ality.
In qu iry,22:282-292.
FÁVARO, P. & FERRIS, L. E., 1991. Program evalu ation with lim ited fiscal an d h u m an resou rces. In : Eval-u ation Meth od s SoEval-u rcebook(A. J. Love, ed .), p p. 4-25, Ottawa: Can ad ian Evalu ation Society. FINK, A. 1993. Evalu ation Fu n d am en tals. Ne wb u r y
Park: Sage Pu b lication s.
FITZPATRICK, J. L., 1994. Altern a tive m od els for th e stru ctu rin g o f p ro fe ssio n a l p re p a ra tio n p ro -gra m s. Th e Prep aration of Profession al Evalu -ators, 62:41-50.
GUBA, E. G. & LINCOLN, Y. S., 1989. Fou rth Gen era-tion Evalu aera-tion. Newbu ry Park: Sage Pu blication s.
HALL, J. & DORNAN, M. C., 1988. Wh a t p a tien ts like ab ou t th eir m ed ical care an d h ow often th ey are a sked : a m eta a n a lysis of th e sa tisfa ction litera -tu re. Social Scien ce an d Medicin e, 27:935-939. HARTZ, Z. M. A., 1993. Évalu ation du Program m e de
San té In fan tile dan s u n e Région du Nord-Est du Brésil. Tese de Ph .D, Mon tréal: Facu lté de Médeci-n e, UMédeci-n iversité de MoMédeci-n tréal.
H ARTZ, Z. M. A, 1995. Vigilâ n cia ep id em io ló gica d a m o rta lid a d e in fa n til. Co n trib u içã o à p la n ifica -ção dos p rogram as de saú de da crian ça. Pediatria Atu al, 8:31-34.
HARTZ, Z. M. A. Uso d e traçad ores p ara avaliação d e q u alid ad e d a assistên cia à crian ça: O con trole d a doen ça diarréica e das in fecções resp iratórias agu-das em dois cen tros de saú de. Revista do In stitu to Matern o-In fan til de Pern am bu co(n o p relo). HILL, A. B., 1965. Th e en viron m en t an d d isease:
asso-ciation or cau sation ? Proceedin gs of th e Royal So-ciety of Medicin e, 58:295-300.
HOLMES, D.; TERESI, J. & ORY, M., 1993. Seren d ip ity a n d p se u d o scie n ce. Evalu ation an d th e Health Profession s, 16:363-378.
KESSNER, D. M.; CAROLYN, E. K & SINGER, J., 1992. Evalu ación d e la calid ad d e la salu d p or el m éto-d o éto-d e los p rocesos trazaéto-d ores. In : In vestigacion es sobre Servicios de Salu d(K. L. Wh ite, ed .), p p. 555-563, Wa sh in gto n D. C.: Orga n iza ció n Pa n a m eri-can a d e la Salu d .
LUEPKER, R. V.; MURRAY, D. M.; JACOBS, D. R.; MIT-TELMARK, M. B.; BRACH T, N.; CARLAE, R.; GROW, R.; ELMER, P.; FINNEGAN, J.; FOLSOM, A. R.; GRIMM, R.; HANNAN, P. J.; JEFFREY, R.; LAN-DO, H.; McGOVERN, P.; MULLIS, R.; PERRY, C. L.; PECH ACEK, T.; PIRIE, P.; SPRAFKA, M.; WEIS-BROD, R. & BLACKBURN, H ., 1994. Co m m u n ity ed u cation for card iovascu lar d isease p reven tion : risk factor ch an ges in th e Min n esota h eart h ealth p ro gra m . Am erican Jou rn al of Pu blic Health, 84:1383-1393.
McQUEEN, C., 1992. Program evalu ation in th e Can a-d ia n Fe a-d e ra l Gove rn m e n t. In : Action Orien ted Evalu ation in Organ ization s(J. Hu d son , J. Mayn e & R. Th om lison , ed s.), p p. 28-47, Toron to: Wall & Em erson .
MENDES-GONÇALVES, R. B. M. G.; SCHRAIBER, L. B. & NEMES, M. I. N., 1990. Seis teses so b re a a çã o p rogram ática em saú de. In : Program ação em Saú -de Hoje (L. B. Sch raib er, ed .), p p. 37-63, São Pau lo: Hu citec.
MERCER, S. L. & GOEL, V., 1994. Program evaluation in th e ab sen ce of goals: a com p reh en sive ap p roach to th e evalu ation of a p op u lation -b ased b reast can cer screen in g p rogram .Can ad ian Jou rn al of Program Evalu ation, 9:97-112.
MERTENS, D. M., 1994. Tra in in g eva lu a to rs: u n iq u e skills an d kn owled ge. New Direction s for Program Evalu ation, 62:17-27.
MORGENSTERN, H., 1982. Uses of ecologic an alysis in e p id e m io lo gic re se a rch . Am erican Jou rn al of Pu blic Health, 72:1336-1344.
MORIN, E., 1990. Com m u n ication et Com p lexité. In -trod u ction à la Pen sée Com p lexe. Paris: ESF Ed i-teu r.
OLESKE, D. M., 1995. Ep id em iology an d th e Delivery of Health Care Services. New York: Plen u m Press. ROSSI, P. H. & FREEMAN, H. E., 1993. Program m on
i-torin g for evalu ation an d m an agem en t. In : Eval-u ation : A System atic Approach(P. H. Rossi & H. E. Fre e m a n , e d s.), p p. 163-213, Be ve rly Hills: Sa ge Pu b lication s.
SCRIVEN, M., 1995. Eva lu a tio n co n su ltin g. Evalu a-tion Practice, 16:47-57.
SILVER, G. A., 1990. Pau l An th on y Lem b cke: a p ion eer in m ed ica l ca re eva lu a tio n . Am erican Jou rn al of Pu blic Health, 80:342-348.
SMITH, G. S., 1989. Develop m en t of rap id ep id em io-logic assessm en t m eth od s to evalu ate h ealth sta-tu s an d d elivery of h ealth services. In tern ation al Jou rn al of Epidem iology, 18(su p p l.):2-15.
TURCOTTE, F., 1983. Th e u se s o f e p id e m io lo gy in h ealth services p olicy: a d iscu ssion . In : In vestiga-cion es sobre Servicios d e Salu d (K. L. Wh ite, ed .), p p. 555-563, Wash in gton D. C.: Organ ización Pa-n am ericaPa-n a d e la Salu d .
WEIR, R. D., 1992. Ep id em iology in h ealth services re-search . In : Teach in g Ep id em iology. ( J. Olsen & D. Trich op ou los, ed s), New York: Oxford Un iversity Press.
WH ORTEN, B. R., 1994. Is e va lu a tio n a m a tu re p ro fession th a t wa rra n ts th e p rep a ra tion of eva lu a -tion p rofession als? In : Th e Prep aration of Profes-sion al Evalu ators: Issu es, Persp ectives an d Pro-gram s( J. W. Alrsch u ld & M. En gle, ed s.), p p. 3-15, San Fran cisco: Jossey-Bass Pu b lish ers.
YIN, R. K., 1993. Ca se stu d y d e sign s fo r e va lu a tin g h igh -risk yo u th p ro gra m s: th e p ro gra m d icta tes th e d e sign . In :Ap p lication s of Case Stu d y Re-search(R. K. Yin , ed .), p p. 77-93, Newb u r y Pa rk: Sage Pu b lication s.
