Avaliação dos Programas de Saúde: A Eficiência em Questão.

Av al i ação dos Pr o g r am as d e Saú d e:

A Ef iciência em Qu est ão

Zulmira M. de Araújo Hartz2 Gerard de Pouvourville3

Resumo: Considerando a importância estratégica dos Programas de Saúde para as desejáveis mudanças preconizadas pelas reformas sanitárias em diferentes países, apresenta-se uma revisão da recente bibliografia acerca desta temática do ponto de vista da pesquisa avaliativa. Inicialmente, defende-se a pertinência da questão, na perspectiva do Sistema Único de Saúde (SUS), seguido de algumas pontuações metodológicas. A partir daí, discutem-se vantagens e limitações de algumas modalidades de estudos de eficiência. Os problemas mais comuns para medir os custo e a eficácia são ressaltados e uma abordagem interdisciplinar envolvendo a Epidemiologia e a Economia é recomendada para minimizar ou prevenir vieses. Sugere-se, então, uma classificação de prioridades para estudos de custo-efetividade no Brasil, ilustrando-a com alguns exemplos. Finalmente, salientam-se os problemas políticos implicados no uso e abuso dos resultados de uma avaliação dos Programas de Saúde.

Palavras- chave: Avaliação dos Programas de Saúde; Eficiência dos Sistemas de Saúde; Análise custo-efetividade; Pesquisa avaliativa.

A bstract: Health program's efficiency is very important for changes suggested by Health Systems reforms. In the present paper w e make a review o f recent literature on this subject, from the point of view o f evaluative research. We discuss some methodological considerations: co ncepts and co ncerns about the validity o f measures and research designs. The advantages and constraints o f four types o f efficiency studies are discussed: costs minimizing, cost-benefit analysis, cost-efficacy/ effectiveness analysis, and cost-utility analysis. Problems most commonly found in measuring costs and effects are addressed, and an interdisciplinary approach o f Epidemiology and Economics is recommended for minimizing or preventing biases. In the third part, a set for classifying priorities in cost-effectiveness studies in Brazil is suggested, adding some practical examples. Finally, a warning is made about political problems involved in the (mis)use o f evaluation results.

K ey w o rd s: Health Programs evaluation; Efficiency in the Health Systems, Cost-effectiveness analysis; Evaluative research.

==1 Trab al h o p arc ialm e n te f in an c iad o p o r b o lsa d e d e p ó s - d o u to rad o d o C N Pq c o n f e ri d a a Z M A H ==2 Pro f e sso ra d o D e p artam e n to d e Ep i d e m i o l o g i a d a Esc o la N ac io nal d e Saú d e Pú b lic a/ Fio c ru z .

I n t ro d u ç ã o

Discutir so bre avaliação de eficiência, no mo mento de implementação d o Sistema Úni-co de Saúde (SUS), o briga-no s a justificar a

esco lha d o tema e a p ro ced er a algumas p recisõ es co nceituais. Nos últimos ano s, na lite-ratura científica nacio nal, a questão da

ava-liação d o s pro gramas e serviços de saúde vem send o abo rdada p o r diversos autores

(Silver,

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

Nemes, 1995; Camacho et al., 1996; Stenzel, 1996), mas a análise d o s custo s e d o s efeito s

não tem sido co ntemplad a no âmbito d o s referidos estudo s. Esta lacuna na pro d ução de co nhecimento , que implica a inclusão das técnicas d e análise d e custeio , é igualmente percebida p elo s eco no mistas d e saúde (Ugá,

1994). Co mo explicar tal pro blema: falta d e

pertinência da questão no co ntexto brasilei-ro ou dificuldades meto d o ló gicas que reduzi-riam o interesse d o s p esquisad o res neste campo?

O presente trabalho tem co mo o bjetivo tentar respo nd er a essa dupla ind agação , ex-plo rando algumas pistas na bibliografia que vem d and o supo rte às no ssas experiências

pesso ais na área d e avaliação epid emio ló gica e eco nô mica das intervençõ es d e saúde, construindo uma reflexão co mum, co erente

co m sua natureza interdisciplinar. A função do instrumental da Epidemiologia e da Eco -nomia é sintetizada p o r Lily Moto (1995) - a

Epidemiologia permite apreend er melho r o peso da d o ença para a coletividade e sua gravidade para o s indivíduos em termo s d e freqüência; o s critérios eco nô mico s v ão além da eficácia experimental, buscand o o máxi-mo de rend imento para a saúde nas estraté-gias empregad as.

Esta reflexão abrangerá as mo dalidades de estudo que visam uma avaliação d e

efi-ciência, a medida d o s indicado res epidemio ló gico s e d o s custo s que lhes são asso cia-dos, bem co mo as vantagens e as

dificulda-des dificulda-deste tipo d e investigação . É p reciso

esclarecer que, ao focalizarmos as ações programáticas em saúde, não estamos nos re-ferindo a um modelo de organização vertical das intervenções, mas sim nos posicionando no espaço das práticas que superam as tradi-cionais dicotomias do preventivo/ curativo, in-dividual/ coletivo, condição indispensável aos princípios de integralidade e hierarquização da atenção preconizada pela reforma sanitária.

A avaliação de programas permite incor-porar as d imensõ es da garantia de qualidade do s serviço s na perspectiva das bases po pu-lacionais às quais se dirige (Clemenhagen & Champagne, 1986), em uma integração

sani-tária na qual a utilização d o s mo d elo s da clínica e da saúde pública não são antagôni-co s mas circunstanciais (So uza Campo s, apud

Stenz el, 19 9 6 ) . Em su m a, tal p ro c e sso

avaliativo p o d e abranger as açõ es do s dife-rentes serviço s público s ou privados, que o marco legal define co m o d e relevância públi-ca (Brasil, 1996), e que d evem ter seus o

bje-tivos e práticas articulados d e mo d o co erente co m as diretrizes políticas d o SUS. O progra-ma se torna, em últiprogra-ma instância, um suporte o peracio nal para a análise das políticas pú-blicas (Hartz & Camacho , 1996).

Pe rt i n ê n ci a n a Pe rs p e ct i v a

d o SUS

Para Smith (1992), a p reo cup ação co m a

eficiência tem o rigem na d écad a d e 60 co m o

a ação da iniciativa privada ou para favore-cer a eqüidade pelo caráter redistributivo da alocação diferencial de alguns recursos entre indivíduos ou regiões.

Sem que seja necessário recorrer exaus-tivamente à literatura internacional so bre o tema, a pertinência do d esenvo lvimento des-ta área no s parece inerente à qualquer Siste-ma Nacio nal d e Saúd e fund amentad o na solidariedade entre sad io s e d o entes, rico s e p o bres, cujo financiamento tem c o m o base o reco lhimento d e imp o sto s ao teso u-ro p úblico . É então legítimo e d esejáv el p ro mo v er a eficiência das práticas p úbli-cas que resultam d esta so lid aried ad e, em que o estabelecim ento d e p rio rid ad es se imp õ e para o s serv iço s e bens a serem d isp o nibilizad o s (Po uv o urv ille, 1995b ).

Nos países em d esenvo lvimento , o s es-tudo eco nô mico s, ainda que incipientes e raramente co mparativo s quanto às alternati-vas programáticas, têm o mérito de

introdu-zir o problema de

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

(1997) d efend e a análise da eficiência co mo uma dimensão ética indispensável, cuja o mis-são tem sido tradicio nalmente dissimulada, o po nd o -se teoria de justiça e teoria eco nô mi-ca co m o pro pó sito de não enfrentar a rea-lidade desafiadora do s parco s recurso s. O autor relata, co m o exemp lo , a ad o ção de um "paco te mínimo " ou "assistência limitada" nos países que, d ispo nd o apenas de US$12,00 por habitante para as d espesas de saúde, se vêem obrigados a " se contentar em fornecer apenas diagnósticos, conselhos e alívio da dor" para um grande número de pro blemas de saúde. Esta restrição é imposta para que se possa propiciar - à totalidade da po pulação atenpulação ao prénatal e parto, quimio -terapia da tuberculo se, assistência médica à criança d o ente e co ntro le de d o enças sexual-mente transmissíveis, entre outros serviço s. Um outro argumento indispensável, ao justi-ficar uma avaliação de eficiência nos países em desenvo lvimento , é o de que este pro

ces-so de racionalização não pode ser confundi-do com racionamento de despesas; devenconfundi-do sim ser entendido como um forte argumento contra o subfinanciamento de algumas ações, com base na importância de seus efeitos.

No caso da Reforma Sanitária brasileira, Stenzel (1996), realizand o uma ap reciação sumária de sua Lei Orgânica, detecta que quase metad e d o s inciso s, nas atribuiçõ es diretivas d o SUS (art. 15 a 18), se relacionam à avaliação técnico -financeira, fato que deve impulsionar o d esenvo lvimento deste campo da pesquisa avaliativa no Brasil. Além disso, o texto legal explicita a necessid ad e de utili-zação da Epidemiologia para o estabelecimen-to de prioridades, a o rientação programática e a alo cação de recurso s. A busca de mo d o s de financiamento diversificado de apo io aos

programas, em co erência co m o perfil epidemio ló gico , reco mend a o apo rte da avaliação eco nô mica quanto à d ecisão do s que serão

favo recido s. A análise d o s indicado res epidemio ló gico s, asso ciad o s ao s efeito s esperado s das intervençõ es naquele co ntexto , evitaria

que fo sse superestimada a necessid ad e de recursos para algumas áreas em detrimento de outras co m maior número de fatores de risco e, eventualmente, co m serviço s de saú-de mais eficazes (Hauet, 1996). A lém saú-de per-tinente, a eficiência po d e assim contribuir para a maior eqüid ad e e credibilidade do sistema, d evend o ser vista co m o uma aliada na luta dos que estão emp enhad o s em " credenciar o setor saúde a recuperar o apoio da opinião pública na reivindicação por mais verbas. Esse

apoio é indispensável, até porque é desse bolso que saem os recursos públicos" (Silva Jr., 1995:7).

Pre ca u çõ e s n a Pe s q u i s a A v al i ati v a

um julgamento

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

com o objetivo de ajudar na tomada de deci-sões (Contandriopoulos et al., 1997). A ava-liação da eficiência se faz geralmente com a ajuda dos estudos de minimização dos cus-tos, custo/benefício, custo/eficácia ou custo/uti-lidade (Drummond & Stoddart, 1985). Exami-naremos, a seguir, os seus princípios, indis-pensáveis para a continuidade de nossa re-flexão.

Os estudo s de minimização dos custos

são reco mend ad o s quand o o s resultados de morbi-mortalidade ou de qualidade de vida esperado s são exatamente o s mesmo s a par-tir de iniciativas distintas. Co mo exemp lo , po d e-se citar a esco lha entre diferentes estra-tégias que to mam po r base o custo po r unidade de serviço pro duzido ou paciente co -berto .

Os estudos custo-benefício visam a co m-parar as vantagens de investir o s benefício s em açõ es de saúde, d evend o , portanto, ser traduzidos em valores mo netário s (Watso n, 1997). Tais pesquisas têm co ntribuído para melhorar a qualidade do s investimentos pú-blicos em geral e têm co mo um do s marco s de referência a co nstrução do metrô

londri-no . Co o k

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

universalização para qualquer programa go -vernamental, mas cabe o bservar que eles po d em dar o rigem a sérias d isco rd âncias, co mo na co mp aração de duas avaliaçõ es de

um mesmo programa co m uma razão benefício -custo variando de 1,1 a 6,7, divergindo co nsid eravelmente so bre o valor da

interven-ção (Corbeil & McQueen, 1991).

No âmbito da saúd e, estes estud o s têm sido bastante utilizad o s para estimar b ene-fício s eco nô m ico s resultantes da prevenção de doenças co m a introdução de vacinas, co mo no caso da recente discussão acerca da pre-venção da gripe (Helliwell & Drummond, 1988). Por outro lado, eles têm-se mo strado limita-dos quand o se trata de maximizar ganho s eco nô mico s, estimando -se o valor da vida

como capital humano ou potencial de produ-ção. É o que Evans (1984) denomina Eskimo economics: em caso de rarefação de recursos que ameace a sobrevivência da comunidade, a população idosa deve ser sacrificada se-guindo-se a de crianças e mulheres e depois os homens, os mais fortes seriam deixados por último porque teriam mais chance de conseguir alimento. Nesse caso, seria carica-tural mas não ilógico que um programa de eutanásia - não só para os pacientes termi-nais, mas para todos os improdutivos, inclu-sive aposentados - representasse o de me-lhor custo-benefício do ponto de vista da saúde pública. Nossa sociedade não adota esta cultura de sobrevivência, e, como lem-bra o autor, é emblemático que nos salva-vidas esteja escrito "Women and children

first".

Os estudos custo-eficácia estabelecem também uma relação entre o s custos das açõ es de saúde e seus benefício s. Entretanto, apre-sentam maio r flexibilid ad e, p o is, embo ra exigindo a quantificação do s indicadores de resultado em termo s d e estad o de saúde ou so brevida, d ispensam a co nversão mo netá-ria. Tais pesquisas vinham send o o bjeto de críticas po r privilegiarem o uso de indicado-res clínico s do estad o de saúde, tidos co mo o bjetivo s, sem levar em co nta resultados sub-jetivos (Pouvourville, 1995b). Em resposta a essas críticas, têm surgido instrumentos que permitiriam medir a qualidade (o u não ) de vida (QA LY - Quality Adjusted Life Years) de-co rrentes das intervençõ es de saúde discrimi-nad as p elas d iferentes p ato lo g ias. Desse mo d o , o bter-se-ia um indicado r tradicional, co m o o custo po r ano de vida ganho , po nd e-rado pela qualidade da so brevida, send o esta última representada pelas d imensõ es de au-to no mia e/ ou bem-estar físico referidas em inquéritos esp ecífico s.

Além disso, não eliminam o viés sistemático que d esfavo rece as pesso as idosas co m esp eranças d e vida mais curtas e meno r auto no

-mia (Po uvo urville,

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

p ermanece quand o se privilegia o número de ano s d e vida perdido s em relação ao número de ó bito s p o r patologia (Pineault & Go ulet,

19 9 6 ). D e q u alq u e r m o d o , o c o n c e i to

subjacente p red o minante é o d e ó bito s evitáveis, c o m o no estud o d iv ulg ad o p ela A merican Public Health A sso ciatio n (A PHA )

em 1994, em q ue se questio nam algumas

estratégias d e p rev enção d o câncer estima-das a U$ 750,000.00 po r ó bito evitado, em méd ia.

No caso das açõ es programáticas, d

eve-mos estender o co nceito de eficácia e falar d e

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

efetividade ou eficácia epidemiological a in-fluência da implantação da intervenção técni-ca co nsiderada so bre o co njunto da po pula-ção a risco, medida pelo total de caso s cura-dos ou evitacura-dos, o que d ep end e não apenas da co m p etência p ro fissio nal mas d e sua aceitabilidade e acessibilidade na p o p ulação -alvo (Brunet-Jailly, 1989). A análise custo-efetividade, incorporada pela técnica Basic Assessment Schema for Interventions Costs and

Consequences methodology (BA SICC), testada e reco mend ad a pelo s CDC - Centers for Disease Control - , no s parece a mais

ade-quada, inco rpo rand o o s princípios da medi-cina baseada em evidências científicas para p ro g ram as d e saúd e p ública (Go rski & Teutsch, 1995; Haddix et al., 1996; Teutsch,

1997). Tal tipo de análise é desejável quand o

se necessita (Haddix & Shaffer 1996): (1)

prover um supo rte empírico para estratégias p rev iamente subfinanciad as; ( 2) co mp arar alternativas d e interv enção co m o bjetiv o s idênticos; (3) esco lher o melho r méto d o de intervenção para uma p o p ulação específica; e (4) identificar práticas que não devem ser

mantidas.

Os estudos custo-utilidade se situam no quadro teó rico d e uma "eco no mia d o bem-estar", mas sabe-se que em saúde a

raciona-lidade de escolha do usuário, apoiada na lógica do "mercado perfeito", não funciona. Recorre-se então aos métodos de explicitação da preferência dos indivíduos, tomando a otimização da alocação de recursos como proxi

da maximização do bem-estar. Independente-mente de uma definição precisa de utilidade, tem-se a "qualidade de vida" como conceito subjacente para revelar as preferências entre as probabilidades de viver mais ou de viver melhor, qualquer que seja a técnica utilizada.

A análise custo-utilidade p o d e também ser definida co mo aquela em que o s resulta-dos são mediresulta-dos em termos de seu valor social (Jenicek, 1995). As dificuldades aumentam no

mo mento de tentar construir uma função coletiva de utilidade, seja na perspectiva de tentar atingir unanimidade, usand o a média das preferências individuais, seja na de ga-rantir eqüid ad e, quand o se parte da percep-ção de uma amostra co nsid erad a co mo repre-sentativa da p o p ulação (usuários e excluí-d o s). Os inúmero s méto excluí-d o s excluí-d e agregação sugeridos co nstituem po r si só um indicativo da ausência de resposta unívo ca (Lily Moto,

1995), o que talvez o brigue a limitar tais

pretensõ es, passand o -se a utilizá-la apenas co m o uma abo rd agem participativa em pro -cesso d ecisó rio , apó s uma análise prévia de custo efetividade co m resultados similares ou conflitivos (A guilar & A nder-Egg, 1994).

Per-manece a questão d e representatividade do s "esco lhid o s", nesta passagem d o julgamento individual à o rd em co letiv a d as p referências em q ue o maio r mérito resid e na to -mad a d e p rec auç õ es para uma maio r visi-bilid ad e d este p ro c esso .

M e d i n d o C u s to s e C o n s e q ü ê n ci as

evento , em sua inserção espacial e tempo ral (Pouvourville, 1995a). À espacialidade d o

e-vento analisado, se asso cia a no ção de

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

propria-mente ditos, co mo o pagamento do s atos méd ico s no p o nto de vista d o seguro -saúd e, e os indiretos, d eco rrentes das perdas de pro -dução em d eco rrência da d o ença e suas se-qüelas. O perío d o co berto pela análise reme-te à no ção de custos variáveis e fixos, d epen-d enepen-d o epen-da relação que existe entre a utiliza-ção de um d ad o v o lume d e recurso s d e custeio e bens d uráveis co m relação às uni-d auni-d es uni-d e serv iço p ro uni-d uziuni-d as. O custo mar-ginal rep resenta o mo ntante ag reg ad o ao custo to tal para p ro d ução d e unid ad es su-p lementares, d ad o bastante útil quand o se p retend e amp liar a p o p ulação -alv o d e um p ro g rama.

A agregação do s custos assistenciais so b a forma de indicado res sintéticos tais co mo o custo total e o custo méd io exige diferentes técnicas estatísticas ou de co ntabilidade ana-lítica, detalhadas em Lily Moto (1995), que escapam do s o bjetivo s deste trabalho, To d a-via vale salientar que as medidas efetuadas são sempre passíveis de co ntestação , já que os co mp o nentes d e uma planilha ,de custo s estão diretamente co nd icio nad o s pelo po nto de vista d o (s) o bservad o r(es) em pauta o que, em matéria de saúde, abrange pelo meno s quatro p o nto s d e v ista: a so c ied ad e, o financiador, o prestador e o beneficiário . No modelo BASICC apenas o s custos diretos (fixo s e variáveis) são co ntabilizado s, mas ad o -ta-se uma perspectiva dita "so cietal" em que o s p o n to s d e v ista d e f in an c iad o re s/ prestadores e usuários d evem ser co nsidera-dos (Gorsky et ai, 1996).

A mensuração das conseqüências ou efei-tos também precisa ser discutida, pois a aná-lise da eficiência repo usa so bre a no ção de que o programa funcio na ad equad amente e que seus efeitos vêm send o alcançado s. Co mo afirma Evans (1984), se não funciona não deve ter nenhum valor eco nô mico . O pro blema,

bem sinalizado po r Cutler (1996), é que 80-90% do s tratamento s não foram avaliados po r ensaio s clínico s ad equad o , apesar d o reco -nhecid o avanço para o d esenvo lvimento de um a m e d ic in a b ase ad a em e v id ê nc ias (Co chrane, 1972; Williams, 1997), send o ainda mais raros o s ensaio s de base po pulacio -nal, p articularmente em no ssa realid ad e (A BRA SCO, 1995; Camacho et ai, 1996). Uma das justificativas para o pro blema estaria re-lacionada às divergências entre uma Epide-miologia d e natureza acad êmica e as necessi-dades de investigação médica em saúde pú-blica que, segund o Unger e Dujardin (1992), exigem uma adaptação dos métodos epidemio-lógicos. Os modelos experimentais ou quase-experimentais e as no vas abo rd agens co mo os estudos de caso-controle (Selby-1994) se mostram muitas vezes inad equad o s dada a interdependência d e variáveis, a impossibili-dade de se estabelecerem grupo s-co ntro le ou de se dispor de base de dado s prévia à ins-talação dessas intervençõ es (Breart & Bo uyer, 1991).

No caso específico da efetividade dos programas, Brunet-Jailly ( 1989) levanta a po ssibilidade de se apro ximar a medida da eficácia epid emio ló gica ao pro duto da eficá-cia clínica, quand o assim referida na literatu-ra, po r sua co bertura co m relação à po pula-ção -alvo . A creditando -se na viabilidade do ajustamento de riscos - entre as po pulaçõ es do ensaio clínico e a que está send o o bser-vada - seria indispensável co nsiderar a ade-quação ou qualidade técnica do s serviços que estão send o avaliados (Iezzo nni, 1994). O pro blema, no caso d o Brasil, é que as açõ es programáticas raramente foram avaliadas em sua implantação , não se co nhecend o , mini-mamente, em uma analogia ao s pro to co lo s de tratamento d o s ensaio s terapêutico s, o nível de integralidade (quantitativo e qualita-tivo) da intervenção recebid a pelo s usuários (A BRA SCO, 1995). Nestas circunstâncias ve-mo s co ve-mo pro misso ra a revalorização dos

estratégias de uma pesquisa avaliativa nos

moldes da análise de implantação (Denis &

Champagne, 1990; Hartz, 1993) e integrando

o modelo BA SICC (Hartz & Pouvourville,

1997). A análise de implantação se baseia na

medida da correlação existente entre os efei­

tos observados e o grau de adequação da

estrutura e funcionamento do programa, à qual

poderia ser agregada a análise de custos

(Figura 1), adaptando-se às etapas operacio­

nais de BASICC, subentendidas na Figura 1

(A →l-3; B→4-5):

• completa descrição do programa (ob­

jetivos, população-alv o; ev idência científica das conseqüências esperadas; restrições/ faci­ lidades contextuais; recursos requeridos; dis­ positivos de monitoramento);

• tempo previsto para os resultados após a implantação;

• custo da interv enção por unidade de tratamento dispensado;

• proporção do problema evitado pelo programa;

• custo por unidade de problema evita­ do.

A análise de implantação conta ainda com a vantagem de incluir os determinantes do contexto organizacional. C orbeil (1994) che­ ga a afirmar que a análise custo-efetividade constitui ev idência de que a melhor estrutura organizacional foi selecionada, sem lacunas (gaps) ou superposições (overlaps). Os estu­ dos de caso, que não se apóiam na aborda­ gem experimental, mas sim na modelagem desenvolvida para descrev er e medir as va­ riáveis constituintes do objeto em estudo, são fortemente recomendados para a análise de implantação dos programas. A credibilidade

de sua ev idência científica e a reprodutibilidade do modelo (validade externa) se cons­ troem por múltiplas linhas de concordância

ou coerência dos resultados obtidos (D enis & C hampagne, 1990; C ontandriopoulos et al., 1997).

Na análise dos efeitos é importante con­ siderar não somente os usuários mas tam­ bém toda a população-alv o e, ev entualmen­ te, outras populações não visadas diretamen­ te pela interv enção (externalidade dos resul­ tados). É recomendado também incluir os efeitos não desejáv eis ou inesperados (Brèart & Bouyer, 1991), pois um programa pode causar prejuízo a outras atividades ou impe­ dir que novas necessidades de interv enção sejam detectadas ou consideradas de forma prioritária. A especificidade de determinados problemas, como as doenças infecciosas, tem de ser tratada de forma diferenciada, já que o custo por caso evitado pode aumentar com sua efetividade em reduzir as taxas de inci­ dência, sem que o risco seja completamente eliminado (Jenicek, 1995). Outra dificuldade levantada por este autor seria a medida dos efeitos das ações educativ as, de prev enção e de promoção da saúde, que continuam sen­

do consideradas "um pesadelo" para os epidemiologistas. Entretanto, o trabalho de Byers et al. (1995) - ou outras experiências como

as dos CDC - indicam uma boa efetividade de interv enções desta natureza que deveriam ser prioriz adas no âmbito das políticas (inter)setoriais.

C abe sublinhar que os custos e os v alo­

res utilizados para as variáveis clínico-epidemiológicas (coeficentes demográficos, preva­ lência, falsos positivos etc.) constituem apro­

viéses podem ser insuficientes (Iezzonni,

1994; Stinnett,

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

a maioria, sugere-se a

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

subs-tituição de diferentes valores probabilísticos que possam alterar substancialmente as con-clusões. O clássico exemplo de Griffiths (1981) nos leva a constatar como a variação de es-timativas da taxa de prevalência do câncer de seio pode alterar o julgamento sobre a rela-ção custo-efetividade referente à triagem das populações a risco. Os limites máximo e mínimo dos intervalos de confiança para os valores estimados na avaliação (Joyce et al.,

1988) poderiam servir para este tipo de aná-lise.

A crescentamo s ainda três o bserv açõ es referentes a este tó pico . A primeira co ncerne à afirmação d e que a medida da efetividade de uma estratégia interessa ao eco no mista apenas co m o medida quantificada d o s resul-tados de saúde expresso s em unidades físi-cas - vida ganha, físi-caso s evitados de d o enças - mas fugiria à sua co mp etência (Lily Moto,

1995). Co nsiderando que a abo rd agem clínico-epidemiológica não é isenta de pro blemas

e que a análise de custo s mantém co m ela vínculos estreitos, a busca d e uma relação d e causalidade não deve ser dissociada d e suas finalidades, o que significaria, na nossa o

pinião, assumir sempre que possível a interdisciplinaridade d o pro jeto d e avaliação em to -das as etapas, co mo mecanismo facilitador

dos impasses da pesquisa. Williams (1997)

reforça no sso p o nto d e vista, ao afirmar que o custo d eve sempre ser co nsid erad o siste-m atic asiste-m ente ao lo ng o d as siste-m ed id as da efetividade, uma vez que representam ganho s de saúde que p o d em ter sido negad o s a outros, send o melho r tratá-los co njuntamente em um mesmo co ntexto analítico d e d ecisão

(decison analytic framework).

A segunda é uma advertência so bre a "magia d o s número s" (Poitvin, 1995) que

permitem sumarizar uma grande quantidade de dados, mas, po r outro lado, têm sua

sig-nificação restrita a algumas dimensões do objeto. Além disso, a sofisticação dos méto-dos estatísticos sempre estará aquém do con-junto de necessidades da Economia ou da Epidemiologia na abordagem das questões de saúde (Contandriopoulos, 1995). Perrin

(1994) se preocupa com uma certa tendência

dos avaliadores de acentuar os aspectos fa-cilmente mensuráveis, encorajando-se, assim, uma acumulação de estatísticas "aceitáveis" que podem falsear a qualidade do serviço. O autor cita Deming, considerado o pai da "qua-lidade total" orientada por controles estatísti-cos, que afirma não se poder aquilatar o êxito apenas com números, tendo em vista que muitos fatores importantes não são quantificáveis. O próprio Conselho Científico de Avaliação da França (CSE, 1996)

recomen-da que, sempre que possível, se procerecomen-da à "triangulação" de dados quantitativos e qua-litativos sobre o mesmo problema e unidade de análise.4

A terceira seria a importância de se ter em mente que nenhum d esenho ou instru-mento de medida assegura a validade de um estud o . Dev e-se co nsid erar, co m o melho r caminho , aquele que pro po rcio na informa-çõ es relevantes so bre o s efeito s d o progra-ma, co m o grau d e rigor requerido para a tomada d e d ecisõ es em um dado co ntexto (Mayne, 1992).

Pa rc i m ô n i a a o A v al i ar

Com a reestruturação d o s serviços públi-co s, o Brasil apresenta um públi-co ntexto em que a avaliação po d e ser extremamente útil (Perrin,

1994), co nfigurand o áreas que po deríamo s

m esm o d eno minar "exp erim ento natural", devido à implantação diversificada d o pro-cesso de descentralização e conseqüente

reor-==4 O s te x to s d e Yin ( 1 9 9 4 ) e C h e n ( 1 9 9 7 ) s ão b

ganização dos serviços de saúde. No en-tanto, a pesquisa não é uma atividade de rotina, como é o caso de avaliações restri-tas ao monitoramento de programas (Rossi & Freeman, 1993), e por isso tem de ter seus interesses criteriosamente definidos, como em um raciocínio auto-aplicativo de custo-eficácia.

Evans (1984) argumenta que em relação à pesquisa, a prioridade não eqüivale

neces-sariamente a um

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

realização de uma pesquisa contribuir para a so lução de um pro blema, cuja importância justifique este esfo rço . Co nfro ntando -se co m uma d emand a de pesquisa, a parcimô nia é um requisito ético d o avaliador, que optará certamente por uma avaliação preliminar da factibilidade e das co nseqüências do pro jeto , cujas co nclusõ es muitas vezes já respo nd em a algumas das questõ es do s interessados ou comanditários (CSE, 1996). Ela é particular-mente reco mend ad a em programas de maior co mplexid ad e, co m uma multitude de efeitos

que precisam ser limitados e parcimoniosamente o rganizado s, permitindo a pesquisa de seus diversos co mp o nentes ou subpro gramas

(Mohr, 1992:39).

A parcimônia tem de estar também pre-sente em função da temática, jamais exausti-va, dos programas que po d em ser priorizados co m relação a uma análise de eficiência. Em regra, indagar-se-ia primeiramente so bre o custo asso ciad o ao "beneficio alcançável que não foi alcançad o " na coletividade (Lombrail, 1995). Nessa perspectiva, o s estudos prelimi-nares po deriam talvez caracterizar o que d e-no minaríamo s "eficiência presumida" das di-ferentes intervençõ es e/ ou co ntexto s: o custo

per capita de co bertura em relação aos dife-renciais o bserv ad o s de mo rbi-mo rtalid ad e, quando co mparad o s a um valor méd io ou padrão, serviria para orientar a seleção do pro blema e a extensão apropriada da análi-se, p rev enind o -se sub/ super amo strag em p o p ulacio nal.

Nos países co m tradição reco nhecid a na institucionalização da avaliação de programas, co m o o s Estados Unidos e o Canadá, um co njunto de critérios foi elabo rad o de mo d o a definir prioridades de investigação . Desta-caremo s, a seguir, sem hierarquizá-los, alguns critérios de elegibilidade prioritária para fi-nanciamento de pro jeto s, que po deriam ser adaptados na perspectiva d o SUS, e que co ns-tam do Guia dos Serviços Humanos da Saúde (HHS Guidelines), da Divisão de A valiação de Programas d o General Accounting Office

(GA O, 1993):

• as questõ es formuladas só p o d em ser respo ndidas po r uma pesquisa científica;

• d evem ser de interesse local, mas co e-rentes co m as prioridades nacio nais;

• d evem ter valor de d emo nstração que po ssa implicar a reestruturação o rganizacio -nal de outros locais o u regiõ es;

• d evem d esenvo lver mo d elo s de avali-ação para programas bem específico s, incluin-do subsídio s à elabo ração de manuais ou guias meto d o ló gicas;

• devem servir para implantar e validar sistemas de info rmaçõ es.

Para exemplificar, co meçaríamo s lembran-do intervençõ es já co nsagradas pelo seu gran-de po tencial custo -efetividagran-de, co m o é o caso da atenção materno-infantil em saúde, e que necessitam ser implementadas, particularmen-te em seu co mp o nenparticularmen-te de aparticularmen-tenção perinatal (Leal, 1996). Nesse camp o , a literatura sugere pistas de investigação interessantes co mo a análise de Jo y ce et al. (1988), relacio nand o o perfil ep id emio ló g ico d o s nascimento s de

ris-co. Tais resultados diferem da avaliação (

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

baseado em uma meta-análise da literatura, julgou a reanimação em sala de parto a estra-tégia mais vantajosa (Chapalain, 1978). Outra linha a ser explorada é a relação custo-efetividade da reanimação infantil em função da transferência pré ou pós-natal (Naiditch & Weill, 1996). O programa dos agentes comu-nitários, mencionado por Silva (1995) como de grande importância na redução dos óbitos infantis, talvez se beneficiasse a partir de uma análise desta natureza, pois seu custo anual de funcionamento variava de US$ 0.6 a 15.4 por habitante (Cf. Rosse & Plessas, 1984).

Alguns programas, co mo o de co ntro le da AIDS, que se caracterizam por múltiplos episódios agudos e pela importância d o cui-dado prévio para a evo lução do paciente, e que merecem d esenho s específico s (Schmid, 1995; Simpson, 1995), deveriam ser co ntem-plados por sua co mplexid ad e. Um outro ar-gumento a favor pro vém de recentes indica-çõ es das vantagens eco nô micas da terapia tríplice (Bardo n, 1997), infelizmente, não aces-sível à maioria dos países em desenvo lvimen-to (Montaigner, 1997).

Os programas de screening, em caso s de

câncer prevenível ou de outras d o enças crô -nicas co m abo rd agens similares, cuja conti-nuidade das intervençõ es constitui p reo cup a-ção permanente (Mercer & Go el, 1994), se beneficiariam d esse aperfeiço amento meto d o -ló gico , pro po rcio nand o um desejável acúmulo de experiências. A análise de custo s, asso -ciada ao s pro blemas de saúde causado s po r

acidentes e violência (Harlan et al., 1990),

po d e ser ela mesma o po nto de partida para a implantação experimental de novas inter-vençõ es em co nd içõ es mais favoráveis quan-to à estimativa de sua eficiência.

Resumindo, qualquer que seja o progra-ma esco lhid o , a direcionalidade da avaliação deveria ser dada pela reo rganização dos sis-temas locais privilegiada pelo SUS. A d

escen-tralização, fundamentada na regio nalização e hierarquização da rede de serviços, constitui um po nto de co incidência de reorientação dos sistemas nacio nais d e saúde, mesmo em países desenvo lvido s, exatamente po r seu p o -tencial em aumentar glo balmente a eficiên-cia. De fato, o estudo de Starfield (1995) demonstra que o s países que privilegiam a estratégia o rganizacio nal apo iada no s

cuida-dos primários {primary caré) - que não po de

ser confundida co m uma abo rd agem restrita à atenção simplificada para po bres - , e que garante a co ntinuidade e integralidade assis-tencial pela co o rd enação e articulação entre os diferentes níveis de atenção , têm melho r perfo rmance custo efetividade, além de esco -res mais elevado s de satisfação no s inquéri-tos po pulacio nais. Em o p o sição , a insuficiente co o rd enação e a falta de co nsenso técnico -o p e rac i -o n al n-o interi-o r d e uma red e interorganizacional reduz a eficácia das inter-v ençõ es co mo foi co nstatad o , na região Nor-deste, no caso da implantação insatisfatória d o programa materno-infantil co m a co nse-qüente manutenção de um grande número d e ó bito s evitáveis (Hartz, 1993). Um dos fatores agravantes d o p ro blema, analisado pela autora, era a mo dalidade d e transferên-cia d o s recurso s p o r p ro d utiv id ad e, sem mecanismo s de regulação da qualidade da assistência ou relação co m os objetivos de saúde co nsid erad o s prioritários, favo recendo antes a co nco rrência d o que a co o p eração entre a atenção primária e hospitalar.

Em face dessa pro blemática, co nhecer as vantagens de alternativas de financiamento global po r pro grama, incluindo mecanismo s d e inc entiv o à inte raç ão d o s d iv erso s prestad o res, co m o rede de info rmaçõ es e tarifas especiais, constitui hoje um desafio para os administradores do sistema e um campo fecundo de avaliação. Não se po de igualmente esquecer que apesar da reconhecida importân-cia de se co mbinar dado s ambulatoriais e

hospitalares na análise da performance dos

Billings

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

integra-do, que compatibilize as nomenclaturas médi-co-assistenciais hospitalar e ambulatorial, con-tinua sendo uma questão de pesquisa, tanto do po nto de vista epid emio ló gico co mo da análise eco nô mica (Pouvourville, 1996).

U s o e A b u s o d a A v al i ação

d e Ef i ci ê n ci a

Sustentand o a tese da p ertinência, e mesmo premência, de estudos so bre eficiên-cia dos programas de saúde no co ntexto bra-sileiro, é importante discutir mecanismo s de implementação desta área de pesquisa, pro -vavelmente co nd icio nad o s a seu po tencial de utilização . Parece-no s interessante refletir so bre algumas lições/ sugestões da experiên-cia internacional, em que estes estudos, ap e-sar d e c o n sid e rad o s insu f ic ientes, são prioritários na agenda política. Assim, o rela-tório do General Accounting Office dos Estados UniEstados (GA O, 1993), referente ao perío -do 1988-1992, co nclui que seu po tencial não tem sido satisfatório na capacid ad e de infor-mar ao C o n g re sso am e ri c an o so b re a efetividade dos investimentos no âmbito do s serviços público s de saúde, so bretud o , no que co ncerne à assistência méd ica. Uma das reco mend açõ es do GAO quanto a esta pro -blemática é recuperar a totalidade dos fun-dos que devem ser destinafun-dos à avaliação (dispositivo legal de 1970, que fixa em até 1% dos recursos anuais destinados aos servi-ços público s de saúd e). O GAO reco mend a também que se faça o brigato riamente a sínte-se de resultados dos estudos avaliativos, a ser co municad a ao Co ngresso . Nesse senti-do , o relatório senti-do Verificasenti-dor Geral d o Cana-dá, referente a 1993, sublinha que, apesar do sistema de avaliação ter-se institucionalizado desde 1985, so mente um quarto das d espe-sas go vernamentais haviam sido avaliadas para uma meta de 100% em cinco ano s (Ward

& Barrados, 1994). Definindo como priorida-de absoluta para os próximos anos a utiliza-ção destes estudos para a alocautiliza-ção de recur-sos, o que implica aumentar a acessibilidade do Parlamento a estas informações, o Verificador deixa clara sua posição: qualquer que seja a técnica utilizada para a avaliação, os resultados devem ser comunicados aos clientes de uma maneira compreensível. Tam-bém na França, a credibilidade e a compre-ensão da lógica de todo o processo de ava-liação na resposta às questões formuladas pelos interessados constituem fatores deter-minantes da utilização da pesquisa avaliativa (CSE, 1996)

Para co ncluir, resp o nd end o às ind agaçõ es iniciais, sem negligenciar o s p ro blemas meto -d o ló gico s e o p eracio nais asso cia-d o s ao s es-tudos da eficiência, reco nhecem o s que eles certamente pro blematizam a p ro d ução cientí-fica nessa área, mas, co m o d emo nstra a lite-ratura internacio nal, d ev em ser assumid o s co mo limitaçõ es que se superam na prática avaliativa. Os estud o s de custo -efetivid ad e, quand o criterio samente ind icad o s, p ro p o rcio -nam bases de cálculo s mais rigo ro sas so bre as co nseqüências das açõ es d e saúd e em termo s d o s recurso s utilizados, co nfirmand o ou relativizando (p re)co nceito s anterio res, e sinalizam, co m melho r d irecio nalid ad e, no -vas prio rid ad es d e p esquisa (Po uvo urville, 1996). Saber que semp re estaremo s no s co

n-fro ntand o co m o risco d e info rmaçõ es inco m-pletas e inad equad as e que a busca da efi-ciência é um p ro cesso co m p lexo e uma prá-tica co rajo sa (Sailly & Lebrun, 1996) não re-duz no ssa co nv icção so bre a pertinência d es-ses estud o s na p ersp ectiv a d e uma gestão d emo crática d o SUS, p ressup o nd o esco lhas participativas. Os instrumentais da Eco no mia e da Epid emio lo gia, ap esar de meto d o lo gica-mente imperfeito s e p o liticagica-mente limitados, certamente p o d em co ntribuir para resp o nd er a esta difícil mas inadiável questão ao se "cair n(a)o real": co m d eterminad o s recurso s pú-blico s, quais o s melho res pro gramas e servi-ço s de saúd e que se p o d em o ferecer para a p ro mo ção e a p ro teção da saúd e da po pula-ção brasileira?

R e f e rê n ci a s b i b l i o g ráf i cas

AGUILAR, M.J. & ANDER-EGG, E. (1994) -zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

Avalia-ção de Serviços e Programas Sociais. Petrópolis:

Editora Vozes.

ABRASCO (1995) - II Plano Diretor para o Desenvol-vimento da Epidemiologia no Brasil, 1995-1999.

Rio de Janeiro : ABRASCO.

APHA (American Public Health A ssociation) (1994) - New Study Raises Question: How Costly is Prevention? Nation's Health, edição de 7 de

agosto, p. 7.

BARDON A. (1997) - L'Éfficacité Économique des Trithérapies Demontrée. Impact Quotidien, edi-ção de 29 de janeiro, p. 5.

BERAUD, C. (1995) - Epidémiologie et Assurance-maladie. In: Séminaire Étude des Populations et Épidémiologie en Planification Sanitaire, mimeo. BILLINGS, J; ANDERSON, G.M. & NEWMAN, L.S.

( 1996) - Recent Find ings o n Prev entable Hospitalizations. Health Affairs 15(3):239-249. BREA RT, G & BOUYER, J. (1991) - Métho d es

Ép id ém io lo g iq u es en Év aluatio n. Révue

d' Épidemiologie et Santé Publique 39(sup.):5-14.

BYERS, T.; MULLIS, R.; ANDERSON, J. et al. (1995) - The Costs and Effects o f a Nutritional Education Pro gram Fo llo w ing W o rk-site Cho lestero l

Screening. American Journal of Public Health

85(5):650-655.

BRUNET-JAILLY, J. (1989) - L'Évaluation Économique des A ctions de Santé. In: Rougemont, A & Brunet-Jailly, J. (orgs.) - Planifier; Gerer, Évaluer

la Santé en Pays Tropicaux. Paris: Doin.

BRUNET-JAILLY, J. (1997) - L'Évaluation Économique des Programmes de Santé, Est-elle Éthique?

Ruptures 4(1):8-22.

CAMACHO, L.A.B; HARTZ, Z.M.A.; GOLDBAUM, M.; NOVAES, H.M.D. (orgs.) (1996) - Epidemiolo-gia e Avaliação de Serviços de Saúde.

Cader-nos de Saúde Pública 12(sup. 2.) .

CHAPALAIN, M.T. (1978) - Le Programme Perinatalité.

Cahiers Français de Santé et Économie 188:14-19.

CHEN, H-T. (1997) - Reco nciling Conflicts and Exp and ing O p tio ns in Po licy o r Pro gram Evaluation: the Contingency Perspective. Actes

du Co llo que Internatio nal L'Evaluation des Politiques Publiques. Paris: GAPP/ CNRS. CLEMENHAGEN, C. & CHAMPAGNE, F. (1986)

-Quality Assurance as Part o f Program Evaluation: G u id elines fo r M anag ers and Clinical Dep artmental H ead s. Journal of Quality

COCHRANE, A.L. (1972) -zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA Effectiveness and Efficiency.

Random Reflexion on Health Services. Londres:

The Nutfield Provincial Hospital Trust. CONTANDRIOPOULOS, A.-P. (1995) - Epidemiology

and Economics o f Health. Resumos do III Con-gresso Brasileiro de Epidemiologia, p. 411., Salvador, Bahia.

CONTA NDRIOPOULOS, A .-P.; CHAMPAGNE, F.; DENIS, J. L. & PINEAULT, R. (1997) - A Ava-liação na Área da Saúde: Conceitos e Métodos. In: Hartz, Z.M.A. (org.) - Avaliação em Saúde: Dos Modelos Conceituais à Prática na Análise

da Implantação de Programas. Rio de Janeiro :

Editora Fiocruz.

CORBEIL, R.C. (1992) - Evaluation Assessment: a Case Study o f Planning an Evaluation. In:

Hudson, J.; Mayne, J. & Thomlison, R. (orgs.) - Action Oriented Evaluation in Organizations

Canadian Practice. To ro nto : Wall & Emerson.

CORBEIL, R. C. & McQUEEN, C. (1991) - Improving

the Quality o f Evaluation. In: Love, A. J. (o rg.) - Evaluation Methods Sourcebook. Toronto: CES. CSE (Conseil Scientifique de l'Évaluation) (1996) - Petit Guide de l'Évaluation des Politiques

Publi-ques. Paris: La Documentation Française.

CUTLER, C.M. (1996) - Research Needs for Managed Care. Health Affairs 15(3):93-94.

DENIS, J.L. & CHAMPAGNE, F. (1990) - L' Analyse de l'Implantation: Modèles et Méthodes. La Revue Canadienne d'Évaluation de Programme

5:47-67.

DRUMMOND, M.F. & STODDART, G.L. (1985) -Principles o f Eco no mic Evaluation o f Health Programs. World Health Statistics Quarterly

38:355-367.

EVANS, R.G. (1984) - Evaluating Health Care Programs: Efficiency, Effectiveness and Cost. In: Strained Mercy. The Economics of Canadian Health Care.

Toronto: Butterworths.

GAO (General Accounting Office) (1993) - Public Health Service: Evaluation has not Realized its

Potential to Inform the Congress. Washington:

GAO/ PMED.

GORSKY, R.D. & TEUTSCH, S.M. (1995) - Assessing the Ef f ec tiv eness o f D isease and Injury Prevention Programs. MMWR 44(10):1-10.

GORSKI, R.D; HADDIX, A.C & SHAFFER, P.A (1996) - Cost o f an Intervention. In: Haddix, A.C. et al.

(orgs.) - Prevention Effectiveness. A Guide to Decision Analysis and Economic Evaluation.

Oxford: Oxford University Press.

GRIFFITHS, D.A. (1981) - Economic Evaluation o f Health Services. Co ncepts and Methodology A p p lied to Sc re e ning Pro g ram s. Révue

d'Épidémiologie et Santé Publique 29:85-101.

GROSSE, R.N & PLESSAS, D.J. (1984) - Cálculo del Costo de la Atención Primária de Salud. Foro

Mundial de Salud 5:261-266.

HA DDIX, A.C; TEUTSCH, S.M; SHAFER, P.A. & DUÑET, D.O (o rg s.) ( 1996) - Prevention Effectiveness. A Guide to Decision Analysis and

Economic Evaluation.. Oxford. Oxford University

Press.

HA DDIX, A.C. & SHAFER, P.A. (1996) - Cost-Effectiveness Analysis. In: Haddix, A.C. et al.

(orgs.) - Prevention Effectiveness. A Guide to Decision Analysis and Economic Evaluation.

Oxford: Oxford University Press.

HARLAN, L.C.; HARLAN, W.R. & PARSONS, P.E. (1990) - The Economic Impact o f Injuries: A Major Source o f Medical Costs. American Journal of

Public Health 80(4):453-460.

HARTZ, Z.M.A. 8c CAMACHO, L.A.B. (1996) - For-mação de Recursos Humanos em Epidemiolo-gia e Avaliação dos Programas de Saúde.

Ca-dernos de Saúde Pública 12(sup.2):13-20.

HARTZ, Z.M.A. & POUVOURVILLE, G de. (1997) -Construindo um Mo d elo para A valiação da Eficiência de A ções Programáticas: Enfocando a A tenção Perinatal. Relatório Final de Pesquisa apresentado ao CNPq, mimeo .

HAUET, E. (1996) - Les Problémmes Posés par la Mésure des Besoins en Santé des Populations. Notas do Seminário de Projetos do IMAGE/ ENSP, França, mimeo.

HELLIWELL, B.E. & DRUMMOND, M.F. (1988) - The Costs and Benefits o f Preventing Influenza in Ontario's Elderly. Canadian Journal of Public

Health 79:175-180.

IEZZONI, L.I. (1994) - Risk Adjustement for Measuring

Health. Michigan: Health Administration Press.

and Community Health Interventions. In:

Jeniceck, M. (org.) -zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA Epidemiology, the Logic of

Modern Medicine. Montreal: Epimed.

JOYCE, T.; CORMAN, H. & GROSSMAN, M. (1988) -A Cost-Effectiveness -Analysis o f Strategies to Reduce Infant Mortality. Medical Care 26(4):348-360

LEAL, M.C. (1996) - Mortalidade Neonatal no Estado do Rio de Janeiro de 1979 a 1993. Tese de Doutorado, Escola Nacional de Saúde Pública/ Fiocruz, Rio de Janeiro , mimeo.

LILY MOTO, J. (1995) - Evaluation Epidémiologique d es Pro g ram m es d e Santé. Év alu atio n Économique. In: Santé et Multidisciplinarité.

Choix et Décisions. Paris: Ed. Hermés.

LOMBRA IL, P. ( 1995) - Deux Co mp o sants de l'Évaluation des Soins à l'Hôpital: Continuité et A ccessibilité. Le Cas de l'Urgence Pediatrique à l'Hôpital Robert Debré. Tese de Doutorado, Université de Paris XI, Paris, mimeo.

MAYNE, J. (1992) - Research Designs for Measuring Program Outco mes. In Hudson, J.; Mayne, J. & Tho m liso n, R. (o rg s.) - Action Oriented Evaluation in Organizations Canadian Practice.

Toronto: Wall & Emerson, Inc.

MERCER, S.L. & GOEL, V. ( 1994) - Pro gram Ev aluatio n in the A b senc e o f G o als: A Comprehensive A pproach to the Evaluation-based Breast Screening Program. The Canadian

Jo u m al of Program Evaluation 9:97-112.

BRASIL. Ministério de Saúde (1996) - Do cumento Básico do Sistema de Informações de Saúde [D.O.U. 08/ 01].

MILLS, A. (1985) - Survey and Examples o f Economic Evaluation o f Health Programms in Developing Countries. World Health Statistics Quarterly

38:402-421.

MOHR, L. B.

zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

Evaluation. Beverly Hills: Sage Pub.

MONTAIGNER, L. (1997) - La Lutte Mondiale contre le SIDA: Un Grand Dessein pour l'Europe. Le

Monde, edição de 1º de fevereiro, p. 15.

NAIDITCH, M. & WEILL, C. (1996) - Transferts d'Enfants en France: Pourquoi les Pratiques Évoluent-elles si Lentement. Actes de la XXVI Jo urnées Nationales de la Societé Française de

Médecine Périnatale. Paris: Ed. Arnette Blackwell. NEMES, M.I.B. (1995) - A valiação do Trabalho

Programático na A tenção Primária à Saúde. Tese de Do uto rad o , Faculd ad e de Med icina da Universidade de São Paulo, São Paulo, mimeo. PALUMBO, D.J. (1994) - The Political Root of Misuse

o f Evaluation. New Directions for Program

Evaluations 64:15-231.

PERRIN, B. (1994) - L'Évaluation a-t-elle sa Place dans la Réinvention et la Restructuration des Services Publiques? Bulletin de Liaison de la

Societé Canadienne d'Évaluation 14(1):1-4.

PINEAUL,T. R. & GOULET, J. (1995) - Les Indicateurs de Santé: Les Utiliser mais ne pas en Abuser.

Ruptures 2(2):140-150.

POITVIN, L. (1995) - La Magie des Chiffres. Ruptures

2(2):136-138.

POUVOURVILLE, G. de (1995a) - L'Évaluation Économique en Santé. Principes-exemple de la Cholécystectomie Laparoscopique. Annales de

Chirurgie, 49(10):881-888.

POUVOURVILLE, G. de (1995b) - Pourquoi Maîtriser les D ép enses de Santé? In: Actualités en

Réanimation et Urgences. Paris: So cieté de

Réanimation de Langue Française/ Ed. Arnette POUVOURVILLE, G. de & MINVIELLE, E (1995)

-Co nnaissances Scientifiq ues et A ide à la Décision: La Diffusion des Innovations en Santé. In: Charue-Duboc, F. (org.) - Des Savoirs en

Action. Paris: L'Harmatan.

POUVOURVILLE, G. de ( 1996) - L'Evaluatio n Éco no mique des A ctions de Soins. Sciences

Sociales et Santé 14(4):65-72.

ROSSI, P.H. & FREEMAN, H.E. (1993) - Program Monitoring for Evaluation and Management. In: Rossi, P.H. & Freeman, H.E. (orgs.) - Evaluation:

A Systematic Approach. Beverly Hills: Sage

Publications.

SAILLY, J.C. & LEBRUN, T. (1992) - L'Évaluation Éco no mique des Stratégies Diagnostiques et Thérapeutiques. Reflets et Perspectives de la Vie

Économique. To me XXXI: 195-212.

SCHMID, G.P. (1995) - Understanding the Essentials of Economic Evaluation. Journal of Acquired Immune Deficiency Syndromes and Human

SELBY, J.V. (1994) - Case-Control Evaluations o f

Treatment and Program Efficacy.zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA Epidemiologic

Reviews 16: 90-101.

SIEGEL, P.Z.; MORIARTY, D.G.& ZACK, M.M. (1996) - A New Tool for Measuring and Monitoring Quality o f Life in the United Sates. Journal

d'Économie Médicale (n. hors série, o ct.).

SILVA Jr., J.B. (1995) - A Guerra das AIHs. Suple-mento nº 2 do D.O. de Pernambuco p.7. SILVA, M.L.V. & FORMIGLI, V.L.A. (1994) -

Avalia-ção em Saúde: Limites e Perspectivas.

Cader-nos de Saúde Pública 10(1):80-91.

SILVER, L. (1992) - A spectos Meto do ló gico s em Avaliação dos Serviços de Saúde. In: Gallo E.; Rivera, F.J.U. & Machado, M.H. (orgs.) - Plane-jamento Criativo: Novos Desafios em Políticas de

Saúde. Rio de Janeiro : Editora Relume-Dumará.

SIMEONI, M.C.; AUQUIER, P. & MOLINES, C. (1996) - Les Échelles de Qualité de Vie. Sont-elles Sous-tendue par une Formalisation Conceptuelle?

Journal d'Économie Médical (n. hors série, o ct.).

SIMPSON, K.N. (1995) - Design and Assessment o f Cost-Effectiveness Studies in AIDS Populations;

Journal of Acquired Immune Deficiency

Syndromes and Human Retrovirology 10(sup.

4):28-33.

SMITH, D.A. (1992) - Assessing Program Efficiency.

In Hudson, J.; Mayne, J. & Thomlison, R. (orgs.) - Action Oriented Evaluation in Organizations

in the Canadian Practice. Toronto: Wall &

Emer-son, Inc.

STARFIELD, B. (1995) - Health Systems Effects on Health Status Financing the Organization o f Services. American Journal of Public Health

85(10):350-351.

STEVENS, C.J. & DIAL, M.I. (1994) - What Constitutes Misuse? New Directions for Program Evaluations

64:1-13.

STENZEL, A.C.B. (1996) - A Temática da Avaliação

em Saúde Coletiva: Uma Bibliografia Comenta-da. Dissertação de Mestrado, UNICAMP, São Paulo, mimeo.

STINNET, A.A. (1996) - Adjusting for Bias in C/ E Ratio Estimates. Health Economics 5:470-472. TEUTSCH, S.M. ( 1997) - Public Health Fo cus:

Effectiveness o f Disease and Injury Prevention.

MMWR 46(4):73-74.

UGÁ, M.A.D. (1994) - Instrumentos de Avaliação

Econômica. Texto de apo io do curso de Epidemiologia e Avaliação de Programas, Ensp/ Fiocruz (mimeo ).

UNGER, J.P. & DUJARDIN, B. (1992) - Epidemiology's Contribution to Health Service Management and Planning in Developing Countries: A Missing Link. Bulletin of the World Health Organization

70(4):487-492.

VATE, M. (1995) - L'Évaluation ...en quelques Mots.

Journal d'Économie Médicate 13(3-4):189-194.

WARD, P. & BARRADOS, M. (1994) - Rapport du Bureau du Vérificateur Géneral. Points Saillants portant sur l'Evaluation de Programmes. Bulletin de Liaison de la Societé Cannadienne

d'Evaluation 14(1):6-7.

WATSON, K. (1997) - Cost-Benefit Analysis in the Nineties. The Canadian Journal of Program

Evaluation (Special Issue): Editorial.

WILLIAMS, A. (1997) - All Cost Effective Treatment Should Be Free... or How Archie Cochrane Changed my Life! Journal of Epidemiology and

Community Health 51:116-120.

YIN, R.K. (1993) - Case Study Designs for Evaluating High-risk Youth Programs: The Program Dictates the Design. In: Yin, R.K. (o rg.) - Applications of

Case Study Research. New bury Park: Sage

Publications.

YIN, R.K. (1994) - Discovering the Future o f the Case Study Method in Evaluation Research.