Avaliação dos Programas de Controle da
Ma-lária, Dengue, Tuberculose e Hanseníase na
Amazônia Legal: Uma Proposta de
Concep-ção Teórica e Metodológica Comum aos
Pro-cessos Endêmicos
Elizabeth Moreira dos Santosa
Zulmira Hartza/b
Sonia Natala
Paulo Sabrozac
Aristides Barbosad
Ana Roberta Pati Pascond
Summary This article discusses a general logical model for evaluation of programs aiming to control endemic processes. It synthesizes an experience of evaluating four endemic dise-ase programs in the Amazon area of Brazil, taking in account both, basic components of any program and their strategic di-mensions. The overall model was developed adapting the CDC Framework for Program Evaluation in Public Health and bro-ad recommendations regarding the use of Theory-drive-eva-luation –TDE. The authors, through this discussion, expect to contribute to institutionalize and built capacity on evaluation processes.
Resumo Este artigo discute um modelo lógico para avalia-ção de programas de processos endêmicos. Ele sintetiza a ex-periência de avaliação de quatro programas de controle de doenças endêmicas na Amazônia Legal brasileira. O modelo geral foi desenvolvido adaptando-se o Modelo de Avaliação em Saúde Pública do CDC inserido no contexto de avaliação como ferramenta de gestão mas orientada por uma clara con-cepção teórica metodológica. O modelo descrito, baseado nas propostas brasileiras de controle, desenha uma avaliação por componentes e famílias, combinada à avaliação em dimensões estratégicas. Os autores esperam assim contribuir para a capa-citação de recursos humanos em avaliação bem como institu-cionalizar os processos avaliativos nos programas de controle de processos endêmicos.
Introdução
O quadro epidemiológico na região amazônica revela indica-dores preocupantes. A região combina elevadas prevalências de problemas de saúde que, tanto por sua relevância epide-miológica, como por disponibilidade de tecnologias efi cazes para controle e por ter sido priorizada por diretrizes políticas nacionais já implantadas no Sistema Único de Saúde (SUS),
como incentivos do PAB (Piso de Atenção Básica), exigem ser problematizadas como objeto de pesquisa. Entre os problemas priorizados, e as inovações tecnológicas propostas para as res-pectivas ações de controle, se destaca a necessidade de avaliar a implantação ou implementação: a) do controle integrado da malária, b) da intensifi cação das ações de controle do dengue, c) da descentralização da poliquimioterapia para hanseníase e d) do fi nanciamento por caso curado de tuberculose, visando subsidiar a “Estruturação das Ações de Prevenção e Contro-le de Doenças na Amazônia Legal” (Edital 008/1999, BRASIL 1999).
Apesar de contar com diversos sistemas informatizados não é ainda possível monitorar e avaliar a qualidade dos programas e seus efeitos sobre os estados de saúde de forma oportuna e adequada à perspectiva da vigilância em saúde. O novo modo de enfocar as atividades de vigilância passa por transforma-ções em sua conceituação e prática confi gurando o campo da Vigilância em Saúde Pública, bem sistematizada por autores como Dab(1) (1993), Teutsch e Thacker(2) (1995), Levy(3) (1996), Moravia(4) (1996), Sherman e Mathias(5) (1996),Tha-cker(6) et al. (1996).
Sem eliminar as atividades tradicionais de competência da vigilância epidemiológica, o principal eixo passa a ser a to-mada de decisão, na perspectiva da promoção e da prote-ção à saúde, demandando uma abordagem ampliada capaz de integrar questões assistenciais e superar fragmentações disciplinares ou burocráticas no seu modo de operar. Os pa-íses em desenvolvimento, e o Brasil em particular, também têm contribuído para este debate institucional com alguns textos que refl etem as inquietações e proposições pertinen-tes(7)(8).
Análises recentes sobre a história do controle de endemias no país (Sabroza,1999; Barata 1995) têm enfatizado as recentes modifi cações observadas nos modelos de controle de doenças aplicados à sociedades de extrema hierarquização social como o Brasil. Segundo Sabroza, pode-se classifi car o conjunto das intervenções de erradicação e controle realizadas no país, con-siderando-se a sua racionalidade técnica e gerencial, em três modelos: o campanhista; o de extensão de cobertura através da integração das medidas de controle à rede de serviços; e o integrado, isto é, que retoma sob nova lógica a racionalidade campanhista integrando-a na “rotina anual” da rede de servi-ços. O caso exemplar desse modelo é o esforço de erradicação da poliomielite realizado no país na última década e que tem sido recentemente aplicado à hanseníase no que se refere à detecção de casos.
Dada a amplitude das questões e da região em pauta, o objeto do presente estudo foi, portanto, a identifi cação e análise de
a Pesquisadora LASER-Departamento de Endemias Samuel Pessoa/ENSP/FIOCRUZ. b Coordenadora Geral da pós-graduação FIOCRUZ.
experiências, de um lado, presumidamente bem-sucedidas e de, pelo menos, dois casos presumivelmente com problemas, representativos dos diferentes problemas com suas ações pro-gramáticas considerando-se os diferentes contextos organiza-cionais dos municípios / estados (gestão plena do sistema e da atenção básica), buscando interações e associações que favoreçam o controle das endemias, na perspectiva da vigilân-cia em saúde, prevista no edital que originou o estudo.
I. Objetivos geral e específi cos
Assim, o objetivo geral da avaliação foi efetuar uma análise de implementação das intervenções de controle da Tuberculose, Hanseníase, Malária e Dengue na Amazônia Legal, através do estudo de casos múltiplos, com níveis de análise imbricados(11)
baseados em um modelo teórico-lógico comum que contem-plasse, de forma coerente, cada uma dessas ações. Buscou-se avaliar o grau de implantação dos programas a partir das dimensões da integralidade e qualidade das intervenções de prevenção e controle, incluindo as subdimensões da estrutu-ra e dos processos paestrutu-ra cada endemia. Buscou-se assim: a) estimar e validar indicadores dos efeitos relacionados à mor-bimortalidade e satisfação dos usuários (dimensão específi ca relacionada aos resultados e ao impacto); b) caracterizar, no nível contextual, a autonomia técnico-gerencial, fi nanceira e política (dimensão “estratégica” das políticas e práticas de gestão); c) analisar a infl uência do contexto organizacional e de outros fatores externos (dimensão sistêmica do programa na relação com outras intervenções ou recursos) sobre o grau de implantação e os efeitos do programa.
A principal questão a ser respondida pelo estudo se referia a como e por que os efeitos variam entre os meios nos quais a intervenção é introduzida?
Os pressupostos teóricos fundamentais estão resumidos nas hipóteses gerais abaixo:
HgA: i = f (c) – O grau de autonomia do contexto organizacional (c) do SUS condiciona a implantação (i) dos Progra-mas de controle.
HgB: m = f (i) – O programa implantado em sua integralidade (i), com a qualidade desejada, reduz a morbi-mortalidade (m) da população-alvo.
Assim, o propósito é o de contribuir para a redefi nição de estra-tégias regionais mais efetivas e orientar processos permanentes de monitoramento integrado do perfi l epidemiológico e da qua-lidade da atenção a esses agravos. Neste texto, será discutido o modelo gerado pela abordagem que norteou a análise de cada uma das endemias. Os resultados de sua aplicação serão apre-sentados em textos específi cos e publicados oportunamente.
II. A concepção teórica e metodológica da avaliação No contexto deste estudo, como defi nido no Framework for Program Evaluation in Public Health(12)(13), entende-se por
pro-grama qualquer ação organizada em saúde com fi xação de metas ou benchmarkers, utilizados para julgamento de perfor-mance ou com propósitos comparativos. Ressalte-se que estes julgamentos não se referem exclusivamente a comparações de resultados ou de impacto, como freqüentemente se compre-endeu nas décadas de 80-90. Cada vez mais, as avaliações incluem aspectos explicativos dos sucessos ou problemas dos programas, iluminando as relações intermediárias entre inter-venção e efeito. Na avaliação desenvolvida nesta investigação o modelo proposto se voltou para uma avaliação holística e predominantemente formativa do programa, considerando-se que além de tomar a efetividade como horizonte, a ênfase foi a identifi cação das razões de sucesso e das difi culdades en-contradas (to improve versus to prove), privilegiando portanto uma avaliação de implantação(14).
Seguindo as recomendações de Dennis & Champagne(15),
nes-ta investigação buscou-se um desenho avaliativo oriennes-tado por um modelo teórico (Theory-drive-evaluation –TDE). Assim, a construção de um modelo lógico de avaliação para os com-ponentes específi cos de cada programa explicitou os aspectos teórico-metodológicos de análise, descrevendo-se como se esperava que o programa exercesse sua infl uência, uma ex-pectativa contextualizada mensurável e/ou qualifi cada de sua implantação, e uma estimativa também contextualizada dos possíveis efeitos de cada componente. Desta forma: a) agrega-se, como elemento descritivo, a identifi cação da racionalidade existente entre o desenho do programa e os efeitos esperados (modelo lógico do programa) e b) a concepção teórica meto-dológica subjacente às relações de intervenção e efeitos que podem – como em qualquer pesquisa avaliativa – ser referidas àquelas de uma rede sistêmica e complexa de causalidade, como sintetizado na Figura 1.
Observando-se a Figura 1 verifi cam-se, esquematicamente, qua-tro grandes dimensões a serem consideradas na avaliação, isto é, assumem-se efeitos como resultantes das relações entre o con-texto externo, o concon-texto organizacional, e o conjunto de ações técnicas do programa. De forma geral, a concepção sistêmica abrangendo as dimensões específi cas do contexto externo (CE), do contexto organizacional (CO), do grau de implantação (GI) e de desempenho (performance) do programa (D).
Entende-se como contexto externo os determinantes dos agra-vos em suas dimensões de vulnerabilidade social e individual; o perfi l epidemiológico contextualizado, a dimensão sistêmi-ca do programa na sua relação com outras intervenções ou recursos intersetoriais. Destaque-se que toda e qualquer fase do processo avaliativo tem implicações políticas que podem afetar como o programa é percebido, como as decisões são ou deixam de ser feitas, e como os resultados deste mesmo processo podem se cristalizar em normas. A compreensão dis-so resulta na necessidade de um diálogo permanente entre os avaliadores externos e o conjunto de executores do programa (avaliadores internos), uma vez que a interpretação da con-juntura, onde ele se insere, se torna mais precisa quando ela é analisada em múltiplas perspectivas.
No contexto organizacional estariam a política de saúde e as estratégias, que infl uenciariam no concreto o grau de im-plantação do programa. É nessa dimensão que se recupera a diversidade do processo recente de descentralização, que tem permitido aos municípios assumirem parcial ou totalmen-te as ações de controle das doenças endêmicas como partotalmen-te da Atenção Básica em Saúde (ABS). A contextualização des-ta problemática torna-se indispensável considerando-se os diferentes níveis de autonomia técnico-gerencial e fi nanceira alcançados pela gestão municipal/estadual regulamentada pela Norma Operacional Básica (NOB), o fi nanciamento de tecnologias e modalidades de intervenção comprovadamente efi cazes através do Piso de Atenção Básica (PAB), bem como os incentivos fundo a fundo. Menção específi ca deve ser feita à portaria 1399/99, uma vez que ela especifi ca os critérios norteadores dos programas de controle para o país.
Em relação ao programa pretende-se contemplar duas dimen-sões operacionais: o grau de implantação (categoria de agre-gação), em que a garantia de acesso a ações de qualidade é o esperado, e a análise de desempenho (também categoria de agregação) em que a efetividade e a satisfação do usuário são subdimensões. O grau de implantação de uma intervenção re-presenta aqui a variável dependente que será posta em relação com as características contextuais do meio de implantação. A medida do grau de implantação exige a construção de instru-mentos específi cos aos diversos componentes dos programas, cujos indicadores de estrutura e processo (previamente vali-dados com verifi cação das informações nas amostras de usu-ários) incorporem as diretrizes técnicas disponíveis articuladas às dimensões essenciais da atenção primária: acessibilidade, continuidade, integralidade e coordenação(17).
cos mais detalhados, que orientem a construção de escores ou medidas agregando o conjunto de critérios que as represen-tam, procedendo-se assim a uma análise articulada por “famí-lias” ou componentes.
III. Modelos lógicos aplicados ao controle de doenças endêmicas
A avaliação em cluster (família de modelos lógicos), desenvolvida a partir do fi m da década de 80 por instituições como a Fundação Kellogg, tem abordado a necessidade de avaliar programas que apesar de buscarem um objetivo comum são relativamente independentes em sua operacionalização e objetivos intermediários. Para os seus conceptualizadores(18)(19) (20)(21) este modelo pode ser considerado uma forma particular
da avaliação “múltiplo-site” e pressupõe a interação entre, pelo menos, dois conjuntos de atores, sejam eles: a equipe executora do projeto, incluindo o(s) avaliador(es) interno(s), preferencialmente organizados em redes, e os avaliadores externos, neste caso funcionado como meta-avaliadores. A avaliação por clusters (ou famílias) defi nidos através de possibilidades de agregação por afi nidades permitirá a reconstrução analítica dos indicadores de monitoramento e dos processos de supervisão ou avaliação externa.
O plano de avaliação, ou seja, o modelo lógico deve enfati-zar a comunicação entre os conjuntos de atores já identifi ca-dos no sentido de viabilizar a gerência estratégica, estimular a fl exibilidade de adequação e a agilidade de readequação das intervenções. Desta interação dinâmica, entre avaliadores internos e avaliadores externos, dependeria a institucionaliza-ção da avaliainstitucionaliza-ção, condiinstitucionaliza-ção imprescindível, no caso de modelos Figura 1 – Modelo lógico para avaliação de programa.
e constante. A avaliação por famílias pressupõe múltiplos pro-cessos e autonomia entre os componentes que podem, por exemplo, em situações específi cas, basear-se em estratégias de implantação diferentes, ou mesmo reconfi gurarem-se em ações estratégicas que mobilizem vários componentes simul-taneamente. Pode-se então presumir que, além do desenho (tipo de avaliação, técnicas de coleta e análise de dados) que responda à questão avaliativa, o Modelo Lógico da Avaliação deve incluir a arquitetura lógico-organizativa do programa (Modelo Lógico do Programa) em suas dimensões estruturais, estratégicas e sistêmicas.
Os programas de controle de processos endêmicos em sua institucionalização tendem a cristalizar-se em estruturas téc-nico-burocráticas em contraposição a estruturas funcionais correspondentes a intervenções estratégicas e conjunturais. Em outras palavras, do ponto de vista da descrição dos pro-gramas identifi cam-se, por um lado, componentes estruturais fi xos e, por outro, intervenções estratégicas resultantes de ações temporariamente conformadas que respondam tanto a situações epidemiológicas modifi cáveis como à cronologia e intencionalidade dos processos de gestão. Esta combinação contempla tanto a rotina de controle de situações endêmicas, objeto das ações dos componentes técnico-estruturais fi xos, como situações epidêmicas e de crises sanitárias, sendo estas últimas mais freqüentemente resultantes de ações inovadoras e particulares.
A combinação de ambas abordagens pelo Modelo Lógico da Avaliação (MLA) proposto busca superar as avaliações em que apenas as mudanças associadas aos componentes técnico e burocrático são consideradas, acrescentando-se a elas a rique-za e a complexidade das iniciativas estratégicas.
a) A avaliação por componentes
O Quadro 1 sumariza a proposta mais simples dos compo-nentes técnico-estruturais e das dimensões estratégicas de um programa de controle para doenças endêmicas. A experiên-cia brasileira recente, notadamente a relativa ao controle das DST/Aids, vem incorporando, à matriz tradicional, que envolve interrupção da transmissão e manejo de caso, uma terceira dimensão estratégica, isto é, a da promoção da qualidade de vida com ênfase na cidadania plena.
Uma das principais vantagens do modelo proposto em seus componentes verticais é facilitar a focalização dos componentes avaliados, a defi nição de seus respectivos indicadores (estrutu-ra, processo e resultados de curto e longo prazo) aumentando sua validade potencial de construção/conteúdo (Quadro 2). Observe-se que os objetivos de longo prazo determinados para cada componente não serão avaliados enquanto resultados do programa, mas em sua coerência com a avaliação da implan-tação, potencializados ou limitados pelos aspectos contextuais de cada componente. Todos eles serão verifi cados dentro das dimensões estruturais, processuais e de produto, através de indicadores ou critérios que complementam o modelo lógico de cada componente nas suas matrizes de medidas. Observe-se que os componentes matriciais implicam a existência de avaliadores por componente que constituirão a rede de ava-liadores internos do programa. A avaliação por componente, responsabilidade da rede de avaliadores internos, permite que o programa possa ser tratado em sua pluralidade, pelos super-visores ou avaliadores externos, e também na singularidade de seus componentes, particularmente através do monitoramento dos insumos, produtos e resultados.
Deve-se enfatizar que as competências desta rede de avalia-dores internos seriam estabelecidas mediante pactuação, se referindo a todas as dimensões possíveis do modelo, entretanto sua responsabilidade mínima se relaciona ao adequado grau de implantação. O acompanhamento dos objetivos de curto prazo, defi nidos como elementos do acesso (cobertura e oportunidade) e da qualidade, permite avaliar se a intervenção se implanta de maneira esperada, identifi ca problemas e possibilidades de adequação. É importante frisar que a avaliação por componente é o primeiro nível da avaliação de qualquer programa nacional, e não deve ser abordada apenas como um fi m em si mesmo. Os quadros 1 e 2 exemplifi cam como esses elementos passam a se constituir em categorias que agregarão “clusters” de análise. Observe-se ainda que a arquitetura matricial viabiliza combina-ções variadas em função de cenários estratégicos. Além disto, a inclusão na matriz de componentes inovadores (CI) atenua crí-ticas aplicadas aos modelos lógicos, uma vez que não permiti-riam a avaliação de aspectos inesperados ou contextualizados. b) A avaliação estratégica: células operacionais e ava-liação
O grande desafi o é, portanto, como articular a estrutura ver-tical, mais afi m aos componentes técnico-burocráticos, à in-tervenção estratégica que pode requerer interações destas células matriciais em várias direções na tarefa de desenhar possibilidades de ação. Nesse sentido, parecem interessantes duas soluções: a criação da rede de avaliadores
corresponden-Quadro 2 – Estrutura básica de avaliação por componente.
ciais das múltiplas atividades das dimensões de controle da transmissão, manejo de caso e promoção da qualidade de vida e que, per si, defi nam a necessidade de pesquisas avaliativas específi cas com a colaboração dos avaliadores externos. Estas células, com densidade de tecnologia, conhecimento e cus-tos pactuados, deverão, para cada meta prioritária, ser poncus-tos obrigatórios de passagem para redes de avaliação com níveis de agregação de densidades tecnológicas maiores, viabilizan-do numa perspectiva sistêmica a recomposição, a re-alocação de recursos humanos, científi cos e tecnológicos demandados. Deve-se estar, inclusive, atento à possibilidade de integração a redes internacionais, uma vez que o controle de situações endê-mico-epidêmicas na atualidade é também cada vez mais globa-lizado. As células operativas, ou espaços aplicativos de avalia-ção, não se reduzem a apenas um componente. Elas expressam, enquanto organização funcional, a avaliação de uma decisão estratégica, um conjunto de recursos e insumos, uma expecta-tiva de resultado e certamente ancora uma ou mais perguntas avaliativas. No modelo em discussão, produtos que contemplem as dimensões ecoepidemiológicas, assistenciais, de promoção da saúde e da qualidade de vida seriam previamente e social-mente pactuados. A criação das células operativas fundamenta particularmente avaliações de intervenções que envolvam parti-cipações multiinstitucionais e multissetoriais.
IV. Linhas programáticas gerais para o controle e ava-liação de processos endêmicos
uma rede de causalidade entre intervenção e efeito. A cons-trução desta rede, direcionada por processos comuns, que une mesmo os processos que se apresentam como aparentemente díspares, é o fundamento da idéia dos “clusters” na análise de implantação ou implementação de políticas e programas sociais em saúde. Do ponto de vista gerencial estes processos endêmicos podem ser sintetizados nas categorias/dimensões da implantação (acesso e qualidade) e do desempenho (efeti-vidade e satisfação).
A defi nição de cada uma, e a priorização de quais componentes serão considerados para a intervenção, e ou para a avaliação, é contextual, estratégica e programática. O controle da dengue é um caso exemplar que requer este tipo de estrutura lógica ava-liativa, uma vez que a doença para seu controle impõe a integra-ção de ações intersetoriais que, se não defi nidas em unidades operativas integradoras, refl etirá, em seu processo de avaliação, apenas aspectos parciais de processo e resultado (Quadro 3). Neste sentido, a vinculação do desenho deste estudo ao pro-posto pelo edital que privilegiou o manejo de caso, inserido na assistência básica, excluiu da análise aspectos importantes das
ações de controle. Em poucas palavras, o desenho induzido pelo edital pode ser aplicado numa progressão de adequação mais à tuberculose e à hanseníase e menos à malária e à dengue. Baseando-se na experiência brasileira e, particularmente, nes-sas “lições preliminares” na Amazônia Legal, achamos que já poderiam ser apontadas algumas linhas gerais de atuação e avaliação dos processos endêmicos (Quadro 4), pois nos parece evidente que as recomendações para o aprimoramento dos pro-gramas avaliados, ou de outras endemias, bem como dos focos de futuras avaliações, na perspectiva da gestão descentralizada, não deveriam prescindir de incorporar tal abordagem (22).
Referências bibliográfi cas
1. DAB, W. La décision en santé publique: surveillance épidémiologique, urgences e crises. Rennes: Ed. ENSP; 1993.
2. TEUTSCH SM, Thacker SB. Planifi cation de un sistema de vigilancia em salud pública. Boletin Epidemiológico da OPAS 1995; 16(1):1-7.
3. LEVY B. Editorial: Toward a Holistic Approach to Public Health Surveillance. American Journal of Public Health 1996; 86(5):624-625.
Diretrizes Programáticas Vigilância Epidemiológica e Ambiental Assistência Promoção à Saúde e Acesso a Insumos de Prevenção Controle Social e
Cidadania Gestão e Avaliação
Desenvolvimento e implantação de novas
tecnologias e/ou produtos
Implantar e validar Sistemas de Informação (SI)
Introduzir novas técnicas de diagnóstico, assistência, modalidades de atenção e modalidades terapêuticas Implantar núcleos de pesquisa integrada para avaliação de vacinas e insumos de prevenção Promover a im-plantação de novas metodologias de monitoramento e avaliação. Descentralização Técnica
Identifi car e implantar sistemas de monitoramento
nos três níveis de gestão.
Aprimorar a capacidade de diagnóstico, fomentar a capacidade de atenção integral, enfatizando aquelas
com impacto no controle da transmissão de doenças.
Implantar e implementar ações
e intervenções profi láticas para a população em geral e populações
específi cas.
Implantar e implemen-tar sítios de excelência em gestão e avaliação.
Descentralização Financeira e
Adminis-trativa
Prover a infra-estrutura técni-ca de manuseio, manutenção
e supervisão do SI.
Prover infra-estrutura técnica, gerencial e fi nan-ceira para a implantação, manutenção e supervisão das ações programáticas
Fortalecer as ações das organizações não-governamentais locais. Descentralização da Gestão e Avaliação
Viabilizar recursos fi nan-ceiros para implantação, manutenção, supervisão e
atualização de SI.
Promover a parti-cipação das ONG no controle das doenças endêmicas e epidemias Fortalecer programas locais. Implantar e implementar metodo-logia de acompanha-mento das contas
nacionais.
4. MORAVIA A. Annotation: From disease surveillance to the surveillance of Risk Factors. American Journal of Public Health 1996; 86(5):625-627. 5. SHERMAN GJ, MATHIAS RG. Surveillance Support for Population Health Decision Making. Canadian Journal of Public Health 1996; 87(4):221-222. 6. THACKER SB, STROUP DF, PARISH RG, ANDERSON HA. Surveillance in Environmental Public Health: Issues, Systems and Sources. American Journal of Public Health 1996; 86(5):633-635.
7. FRERICHS R. Epidemiologic Surveillance in Developing Countries. Ann Rev. Publ. Health1991; 12:257-280.
8. TEIXEIRA C. Vigilância em Saúde: o debate de uma alternativa. Boletim Rede IDA Brasil 1995; X (18): 6.
11. GAO/PEMD. United States General Accounting Offi ce/Program Evaluation and Epidemiology Division. Case Study Evaluations GAO/PEMD-91-10.1.9; 1990.
12. Centers for Disease Controls. Practical Evaluation of Public Health Programs Workbook – work book.htm at www.cdc.gov. 1998.
13. Centers for Disease Controls. Framework for Programa Evaluation in Public Health. MMWR,48 (RR-11). 1999.
14. KELLOGG FOUNDATION. Evaluation Handbook. 1998.
15. DENIS JL, CHAMPAGNE F. Análise da Implantação. In Hartz ZMA. Avaliação em Saúde: dos Modelos Conceituais à Prática na Análise da Implantação de Programas. Rio de Janeiro: Ed. Fiocruz; 1997.
16. HARTZ ZMA. Avaliação dos Programas de Saúde: perspectivas teórico-metodológicas e políticas institucionais. Ciência & Saúde Coletiva 1999; 4(2):341-354.
17. STARFIELD B. Primary Care: Balancing Health Needs, Services and Technologies. New York: Oxford University Press; 1998.
18. BARLEY Z. A. Cluster Evaluation: a method to strengthen evaluation in smaller programs with similar purposes. Evaluation Practice 1993; 14:141-146. 19. WORTHEN BR, MTSUMOTO A. Conceptual challenges confronting Cluster Evaluation. Paper presented at the annual meeting of the American Evaluation Association Boston: mimeo; 1994.
20. SANDERS, J. Conducting Multiple-Site Evaluation Studies. In: Program Evaluation: Alternative Approaches and Practical Guidelines.Worthen B.R, Sanders J., Fitzpatrick J.L. New York: Longman; 1997a. p.474-481.
21. SANDERS J. Cluster Evaluation. In: Evaluation for the 21st Century, Chelimsky
E, Shadish W. Thousand Oaks: Sage Publications; 1997b. p. 396-404. 22. SILVA LMV. Avaliação do Processo de Descentralização das Ações de Saúde. Ciência & Saúde Coletiva 1999; 4(2):331-339.
Avaliação do Programa de Controle da
Tuber-culose: Estudo de Casos na Amazônia Legal*
Sonia Natala
Maria Lúcia Pennaa
Elizabeth Moreira dos Santosa
Zulmira Hartzb
Paulo Sabrozaa
Manly Cruzc
Maria Aparecida Patrocloc
Summary Evaluation of the Tuberculosis Control Program (FCP), in the Amazonian region, during the year 2000. Throu-gh the study of multiple cases, the analysis of the programs implementation was accomplished, using the Logical Model of Evaluation and also the Rapid Evaluation Method (REM). The main objective of the study was to evaluate the strategy of fi nancial incentives for tuberculosis cured cases, according to what was established in the Law SE/SAS n.5 (11ay 27th 1999). At fi rst the Law n. 3739 (October 16th 1998) was crea-ted and in its fourth paragraph the value of one hundred reals was established for each supervised treatment that presented discharge due to cure. Later, in 1999, the Law n. 5 (May 27th), also mentioned in the fourth paragraph, defi nes The proce-dures created in the prior Law which are: 1)Specifi c care to discharge patients that received self-administrated treatment (consists in the clinic evaluation of the patients – with or wi-thout radiologic and eventually laboratory exams – , subject to self-administrated treatment, only by negative bacilloscopy in the beginning of the treatment – the value for each discharge by cure related to this type of treatment is of one hundred reals; and 2) Specifi c care to discharge patients that received supervised treatment (consists in laboratory and eventually in radiologic clinic evaluation of the patient, subject to supervi-sed treatment, only by positive bacilloscopy in the beginning of the treatment – the value for each discharge by cure related to this type of treatment is of one hundred and fi fty reals). In August 2002, the Law n. 1474 established that the patients should receive a value of fi fty reals at the moment of the diag-nosis and, later on, at the moment of discharge, he/she would receive other fi fty reals if the case of self-administrated treat-ment or two hundred reals in case of supervised treattreat-ment. The Law n. 230 (October 2002) regulates the payment of the procedure through the fi lling out of a protocol. These measures goal would´be the increase of the technical and political local support, which would facilitate the adequate development of the actions of control that would present better results mainly by the reduction of the abandonment of the treatment due to tuberculosis disease. Conclusion: The procedures request did not follow the recommended criterion in any of the analyzed
cases and there was no observance of the relationship betwe-en the type of administration and bacteriology. The integration between the organizational context and Primary Care was not verifi ed; and the fi nancial incentive for the cure of tuberculosis patients did neither go to the TCP nor to Primary Care and was not implemented as a strategy, and also the management of the program did not recommend or stimulate its utilization. It was observed a lack of fi nancial resources and of technical and managerial autonomy blocked the managements capability of acting adequately for a better result of the control.
Keywords Tuberculosis Control Program (TCP); Logic Mo-del of Evaluation and case study; Rapid Evaluation Method (REM).
Resumo Avaliação do Programa de Controle da Tuberculose, na Amazônia Legal, em 2000. Por intermédio de estudo de casos múltiplos, foi realizada a análise de implantação do pro-grama, utilizando-se o Modelo Lógico da Avaliação e o Método de Avaliação Rápida (REM). 0 objetivo principal do estudo foi avaliar a estratégia de incentivo fi nanceiro para casos curados de tuberculose, de acordo com o estabelecido na Portaria Con-junta SE/SAS n° 5 (27/05/1999). Em um primeiro momento foi criada a Portaria n° 3739 (16/10/1998), que, no artigo 4°, es-tipulou o valor de R$100,00 para cada tratamento supervisio-nado com alta por cura. Em 1999 a Portaria n° 5 (27/05/1999), no também, artigo quatro, defi ne os procedimentos criados na portaria anterior, como: a) atendimento específi co para alta ao paciente submetido ao tratamento auto-administrado: consis-te na avaliação clínica, com ou sem exame radiológico e even-tualmente laboratorial, do paciente submetido a tratamento auto-administrado que apresentou baciloscopia negativa no início. O valor, para cada alta curado, auto-administrado, é de R$100,00; e b) atendimento específi co para alta ao paciente submetido ao tratamento supervisionado: consiste na avalia-ção clínica, laboratorial e eventualmente radiológica do pa-ciente submetido a tratamento supervisionado que apresen-tou baciloscopia positiva no início do tratamento. 0 valor para cada alta curado, supervisionado, é de R$150,00. Em 08/2002, pela Portaria n° 1474, foi estipulado o valor de R$50,00 no momento do diagnóstico e complementação de R$50,00, na alta, se o tratamento foi auto-administrado e de R$ 200,00 se supervisionado. A Portaria nº 230, de 10/2002, regulamenta o pagamento do procedimento vinculando-o ao preenchimento de um protocolo. O pressuposto destas medidas seria o au-mento do apoio político e técnico local, facilitando o desenvol-vimento adequado das ações de controle; melhores resultados seriam alcançados, principalmente na redução do abandono do tratamento. Os resultados demonstraram que a solicitação do procedimento não obedeceu ao critério recomendado por nenhum dos CASOS analisados, não havendo observância da
* Texto extraído de Boletim de Pneumologia Sanitária. Rio de Janeiro, v.12, n.2, p.91-109, 2004.
a Departamento de Endemias Samuel Pessoa (DENSP), Escola Nacional de Saúde Pública (ENSP) – FIOCRUZ. b Universidade de Montreal.
relação entre o tipo de administração e a bacteriologia. A in-tegração entre o contexto organizacional e a Atenção Básica não foi verifi cada. O incentivo fi nanceiro por alta por cura não reverteu para o PCT nem para a Atenção Básica e não estava implantado como uma estratégia, e a gerência do programa não o recomendava ou estimulava a sua utilização. A falta de recursos fi nanceiros e de autonomia técnica e gerencial impe-diu as gerências de uma atuação adequada para um melhor resultado das ações de controle.
Palavras-chave Programa de Controle da Tuberculose; Mo-delo Lógico da Avaliação; estudo de caso; método de avalia-ção rápida.
INTRODUÇÃO
A tuberculose foi a principal causa de morte no século XIX e no início do século XX em várias partes do mundo. O decrés-cimo da tuberculose como problema de saúde pública ocorreu antes das principais descobertas científi cas na área. A redução do coefi ciente de mortalidade por tuberculose contribuiu de forma importante para aumento da esperança de vida em vá-rios países. Como exemplo, citamos a situação dos EUA, onde a diminuição da mortalidade por tuberculose contribuiu com 16,4% da queda global da mortalidade entre 1900 e 1973.1
Este decréscimo foi menos acelerado ou inexistente em países subdesenvolvidos, como o Brasil, onde a tuberculose permane-ce como relevante problema de saúde pública.2
O Brasil foi o precursor, no mundo, da utilização do esque-ma de tratamento de curta duração para tuberculose em um programa de saúde pública, se antecipando, em mais de uma década, de sua recomendação pela Organização Mundial da Saúde (OMS). Modifi cou-se não apenas o esquema terapêuti-co, mas um dos aspectos da estratégia de controle da tubercu-lose, integrando-a as ações básicas de saúde, com redução do tempo e simplifi cação do tratamento, o que facilitou o acesso aos meios diagnósticos e à terapia, viabilizando, assim, o au-mento da cobertura populacional do programa.
A estratégia adotada para evitar o desenvolvimento de resis-tência bacteriana às drogas foi o uso da rifampicina e da iso-niazida em uma apresentação combinada, sendo a medicação auto-administrada e distribuída gratuitamente aos pacientes, através da prescrição mensal, nas unidades de saúde. A partir de 1996, a OMS, recomenda a estratégia DOTS (Di-rectly Observed Treatment, Short-course) como a mais efi caz, e disponível, em nível mundial, para o controle da endemia de tuberculose. Esta estratégia tem cinco componentes-chave, a saber: a) comprometimento dos governos no suporte fi nan-ceiro das atividades de controle; b) detecção de casos pela microscopia de secreção entre pacientes sintomáticos que se apresentam aos serviços de saúde; c) regime de tratamento padronizado de seis a oito meses para, no mínimo, todos os
meses iniciais; d) suprimento regular de todos os medicamen-tos essenciais antituberculose; e) sistema padronizado de re-gistro e notifi cação que permita conclusões seguras sobre o resultado do tratamento para cada paciente e o programa de controle, de forma geral.
No tratamento da tuberculose, a supervisão da tomada de medicação pelos serviços de saúde é uma proposta tão antiga quanto a poliquimioterapia. Seu sentido sempre foi evitar a monoterapia e conseqüente desenvolvimento de resistência bacteriana. No Brasil, onde o programa de controle da tuber-culose (PCT), com distribuição gratuita de medicação, data da década de 60, tal estratégia tinha sido adotada apenas pela fundação SESP, em suas unidades próprias, onde os pacientes que não podiam comparecer diariamente à unidade de saúde, por residirem em zonas rurais longínquas, eram deixados sem tratamento.
Em decisão de 06/08/1998, o Conselho Nacional de Saúde, destacou a tuberculose como problema prioritário (Portaria n° 24, anexo 6). Foi lançado, então, o Plano Nacional de Combate à Tuberculose,3 cujas metas eram: a) implementar a
cobertu-ra do Progcobertu-rama em 100% dos municípios; b) em três anos, chegar a diagnosticar, pelo menos, 92% dos casos esperados; e c) tratar, com sucesso, no mínimo, 85% dos casos diagnos-ticados. Desta forma, o Plano produziria o impacto esperado, isto é – em nove anos reduzir a incidência em 50% e a morta-lidade em dois terços.
Naquele momento, foi proposta a implantação da estratégia do tratamento supervisionado, acatando-se a recomendação internacional da OMS, e instituído pela Secretaria de Assis-tência à Saúde, do Ministério da Saúde, através da Portaria nº 3739, de 16/10/1998, o pagamento de incentivo fi nanceiro (“bônus”) para cada caso de tuberculose curado pelos servi-ços de saúde. O artigo 4°, desse documento, estipulou o valor de R$100,00 para cada tratamento supervisionado com alta por cura. Em 1999, a Portaria n° 5, (27/05/1999), no artigo quatro, defi ne os procedimentos criados na portaria anterior (n° 3739): a) atendimento específi co para alta ao paciente submetido a tratamento auto-administrado: consiste na ava-liação clínica, com ou sem exame radiológico e eventualmente laboratorial, do paciente submetido a tratamento auto-admi-nistrado, que apresentou baciloscopia negativa no início do tratamento. O valor, para cada alta curado, auto-administra-do, é de R$100,00 (em 10/1998 1 US$ = R$0,84; 09/2002 1 US$ = R$3,35); e b) atendimento específi co para alta ao paciente submetido ao tratamento supervisionado: consiste na avaliação clínica, laboratorial e, eventualmente, radiológi-ca, do paciente submetido a tratamento supervisionado que apresentou baciloscopia positiva no início do tratamento. O valor para cada alta curado, supervisionado, é de R$150,00. Em 08/2002, pela Portaria n° 1474, foi estipulado o valor de R$50,00 no momento do diagnóstico e complementação de R$50,00 na alta, em caso de tratamento
auto-administra-lando-o ao preenchimento de um protocolo (em 20/02/2003 o valor de 1 US$ = R$3,61).
0 pressuposto do incentivo fi nanceiro é aumentar o apoio po-lítico e técnico local, facilitando o desenvolvimento adequado das ações de controle, que teriam melhores resultados, prin-cipalmente pela redução do abandono do tratamento. O nível federal passaria, assim, a exercer o controle de repasses fi nan-ceiros como expressão prioritária de seu papel na formulação da política nacional de saúde.
ANÁLISE DA IMPLANTAÇÃO
Este artigo é um mecanismo para divulgar a pesquisa de ava-liação do PCT que compõe o projeto “Avaava-liação dos Programas de Controle da Malária, Dengue, Tuberculose e Hanseníase na Amazônia Legal: estudo de casos municipais e estaduais”, se-lecionado por meio de edital no ano de 1999 e fi nanciado pelo Centro Nacional de Epidemiologia, atual Secretaria de Vigilância em Saúde, do Ministério da Saúde, no âmbito do projeto VIGISUS (008/1999). A análise de implantação teve como objetivos: a) caracterizar o nível de autonomia técnica, gerencial e fi nanceira do contexto organizacional; b) avaliar o grau de implantação dos programas a partir de estimadores
da integralidade e qualidade das intervenções de prevenção e controle; c) validar os indicadores de morbimortalidade obser-vados na região e d) analisar a infl uência do contexto organi-zacional sobre o grau de implantação do programa.
Objetivo geral da avaliação da implantação do pro-grama de controle da tuberculose
Avaliar a estratégia de incentivo fi nanceiro para casos de tu-berculose curados, por tratamento auto-administrado para formas pulmonares negativas e supervisionado para formas pulmonares positivas, de acordo com o estabelecido na Porta-ria Conjunta SE/SAS n° 5 (27/05/1999).
METODOLOGIA
A análise de implantação, através de estudo de casos múlti-plos, com níveis de análise imbricados, foi realizada utilizando-se o Modelo Lógico da Avaliação. O estudo de casos oferece a vantagem de uma observação intensiva e particularizada da implantação e do processo de controle das endemias.
Para a descrição do programa, construiu-se, primeiramente, o modelo lógico da intervenção do programa, com diversos
Figura 2 – Dimensões utilizadas para a construção do Modelo Lógico da Avaliação. DIMENSÕES
Contexto externo Contexto organizacional Implementação Efetividade
Condições sócio-econômicas Gestão estadual e municipal Integralidade e qualidade da Controle de danos e riscos
atenção
Informação da doença Autonomia técnico-gerencial Integralidade e qualidade do Satisfação dos usuários
apoio laboratorial
Complementaridade com outros Autonomia política e fi nanceira Integralidade da qualidade
níveis e dimensões consensuados com consultores e utilização do Manual de Normas do PCT. A Figura 1 apresenta a estru-tura básica de um modelo lógico de programa, defi nido no Framework for Program Evaluation in Public Health, proposto pelo Centers for Disease Control and Prevention (CDC),4 – com
um exemplo do programa da tuberculose, onde verifi camos os componentes Vigilância Epidemiológica (VE) e Apoio Laborato-rial (AL) dando o suporte para a AB. O modelo, também, inclui os componentes inovadores, que, neste estudo, foi o incentivo fi nanceiro. Neste modelo, os componentes são descritos de acordo com os objetivos e produtos da implantação, tomando as metas de curto prazo como foco essencial da experiência. Os objetivos de longo prazo, determinados no modelo teórico do programa, não serão avaliados enquanto resultados, mas em coerência com a avaliação dos processos, potencializados ou limitados pelos aspectos contextuais.
Após elaborar o Modelo Lógico do Programa, desenvolveu-se o Modelo Lógico da Avaliação, considerando as dimensões estratégicas do controle de endemias: controle da transmissão, manejo da doença, promoção da saúde.
De acordo com estas dimensões estratégicas foram incluídos, no Modelo Lógico da Avaliação, os componentes do PCT: a atenção básica, o apoio laboratorial e a vigilância epidemio-lógica. Para cada dimensão estratégica e componente foram considerados os contextos externo e organizacional, a implan-tação do programa e a efetividade.
A operacionalização da intervenção incentivo fi nanceiro, com o pressuposto de garantir a redução das taxas de abandono, conseqüentemente o aumento das taxas de cura, signifi cou a construção de várias dimensões a partir de descritores do plano de controle da gerência do programa, explicitando os componentes do programa e os processos implantados. No Modelo Lógico da Avaliação, a dimensão do contexto exter-no foi desenvolvida de acordo com os fatores que poderiam in-fl uenciar, positiva ou negativamente, no contexto organizacional e na efetividade do PCT, subdividida em quatro (Figura 2). Para sistematizar cada dimensão, foi defi nido um conjunto de indicadores que compõem a matriz do Modelo Lógico da
Avaliação, exemplifi cada na Figura 3. Foram adotados indi-cadores cuja concepção não foi a epidemiológica, mas a dos registros que poderiam evidenciar a existência das dimensões descritivas e de avaliação. O conjunto de indicadores nesta concepção, discutida por Last,5 afi rma que em estatística uma
variável indicador expressa somente um de dois possíveis va-lores: um indicando a presença e o outro a ausência de uma condição.
Posteriormente, o conjunto, constituído por critérios e indica-dores, foi ponderado em consenso interno pela equipe res-ponsável e os consultores, de modo a permitir a construção de escores de qualidade sumarizados, das diferentes dimensões (os escores máximos estão apresentados na última coluna da Figura 3, e na segunda da Tabela 3), constituindo-se a Matriz de julgamento ou Análise. Foi estabelecido como ponto de corte (escores) para defi nir as categorias de sucesso, sendo sucesso o CASO que atingisse 75% ou mais, da pontuação máxima; favorável o que obtivesse entre 40% e 70% e des-favorável o que não alcançasse 40% da pontuação máxima. Os níveis I, II e I V apresentaram uma totalização de 100 pontos e o nível III, de 300 pontos, redistribuídos, primeira-mente, nas dimensões e depois nos critérios e indicadores. A opção de 300 pontos para o nível III se deu pelo elevado número de subdimensões, para maior facilidade operacional, sem que isto implicasse uma hierarquização na importância dos níveis. Estes pontos de corte foram arbitrários, conside-rando que um programa para alcançar o objetivo de redução de casos necessitaria de, pelo menos, 70% das atividades implementadas, o que se repetiria para as demais dimensões analisadas.
Além do Método Modelo Lógico da Avaliação utilizou-se, tam-bém, o Método de Avaliação Rápida (REM), para orientar as diversas técnicas de coleta dos critérios e indicadores (Figura 3). O REM baseia-se na experiência acumulada através das atividades de avaliação de alguns programas e atividades da OMS, que a recomenda como uma ferramenta de avaliação, com o objetivo de aumentar a qualidade dos cuidados, a per-formance do programa e o envolvimento da comunidade. Este método não substitui outros métodos de coleta de informação epidemiológica, pelo contrário, complementa.6
Figura 3 – Dimensões, indicadores ou critérios e métodos de coleta dos dados.
MÉTODO DE COLETA
Níveis/Dimensões Critérios ou indicadores I II III IV V VI VII VIII Escore
I. Contexto externo 100
1. Condições Indicadores sociais + 20
sócio-econômicas
2. Informação da doença + + 30
3. Integração com outros % de equipes de PSF + + + 50
programas e/ou instituições com atividades do PCT
II. Contexto organizacional 100
1. Gestão Estadual e Municipal 50
Atividades da gerência Continuidade e coerência + + + + +
entre as atividades descritas/ previstas nas normas
2. Autonomia técnico-gerencial 25
Estratégias para manter o PCT Conhece a estratégia DOTs, + + + + + + +
utiliza esta estratégia.
3.Autonomia política e fi nanceira 25
(Compromisso político; prioridade)
Recursos das altas por cura Participa na gestão do recurso +
Prioridade Política Destina recurso para Tb + +
Compromisso político Participa da defi nição +
dos recursos
III. Implementação 300
1. Atenção básica de saúde 200
– Integralidade e qualidade
1. Cobertura do programa % UBS com atividades do PCT + + + 50
Acessibilidade + + +
2. Estrutura e recursos % de profi ssionais aptos para + 30
suspeição de diagnóstico
Se e como são feitos a + +
programação e armazenamento de drogas / se a validade da medicação está no prazo
3. Prevenção Quais condutas aos faltosos + 30
e/ou abandono
Faz agendamento de VD + + +
% de contatos examinados + +
4. Estratégias de controle % Tratamento supervisionado + + 30
e de auto-administrado
5. Integralidade Revisão dos prontuários, segun- + 60
da assistência do critérios preestabelecidos.
Aspectos, positivo e negativo, + +
relatado/usuários
Aspectos, positivo e negativo, +
relatado/profi ssionais
2. Integralidade e qualidade 50
do apoio laboratorial
Exames bacteriológicos Razão entre sintomáticos +
respiratórios examinados e consultantes de primeira vez nas UBS e equipes de PSF.
Figura 3 – Continuação
MÉTODO DE COLETA
Níveis/Dimensões Critérios ou indicadores I II III IV V VI VII VIII Escore
Razão entre baciloscopias +
de controle realizadas e pacientes com tuberculose
pulmonar positiva diagnosticada. Proporção de concordância + de resultados em supervisão de lâminas 3. Integralidade e qualidade 50 do Sistema de Informação
1. Sistema de Informação SINAN implantado + +
Fichas de notifi cação + +
preenchidas adequadamente,
faz análise e relatório
2. Concordância Taxa de concordância entre +
da informação SINAN/SIM e livro de registro
de casos do nível local.
IV. Efetividade 100
1. Controle dos danos e riscos
Desfecho (%) Resultado dos tratamentos + + + 80
supervisionado e
administrado
Número de contatos examinados + +
% de contatos positivos + +
Taxa de reingresso pós-cura e + +
pós-abandono
2. Satisfação dos usuários Entrevista com usuários + + 20
I. Análise do PCT
II. Entrevista com os Profi ssionais III. Obs
IV. Entrevista com Usuários
V. Avaliação de Prontuários e registros (UBS e Hospitais) VI. Análise : livro de registro de casos do nível local, SINAN e SIM VII. Entrevista Domiciliar com Casos de Abandono e Óbitos por Tuberculose VIII. IBGE / DATASUS sistema de informação (dados populacionais IBGE e Datasus)
SELEÇÃO DE AMOSTRA
Seleção dos casos estaduais e municipais
Inicialmente elaborou-se uma pré-seleção dos casos tendo como pré-requisitos o recebimento de incentivo fi nanceiro, por alta curado, em 2000 ou em 1999, e ter mais de 50.000 habi-tantes, o que permitiria estruturar uma coorte de, no mínimo, 25 doentes, considerando-se uma prevalência de 50/100.000 habitantes (Tabela 1).
Foi utilizada a técnica de grupo nominal, seguindo a especifi -cação do edital 008/1999, com seis técnicos (gestores e con-sultores) para uma classifi cação municipal hierarquizada. O edital especifi cava o levantamento de um grupo de experiên-cias consideradas representativas – “iniciativas bem-sucedidas” – na melhora de prevenção e controle das doenças na região. Estas experiências seriam de nível estadual (mínimo de duas experiências para cada doença) e municipal (mínimo de duas experiências para cada doença). A amostra fi nal incluiria, pelo menos, uma experiência, estadual ou municipal, de cada esta-do. Também especifi cava a necessidade de levantamento de um grupo de experiências de “fracassos ou sérias difi culdades” na implantação de iniciativas de melhoria na prevenção e controle (no mínimo uma experiência, estadual ou municipal, para cada doença), contrastando com as denominadas “bem-sucedidas”. A seleção das experiências “bem-sucedidas” e “com proble-mas”, a partir desta técnica de consenso, se baseou nas taxas epidemiológicas e operacionais disponíveis e na experiência dos participantes. Os casos municipais e estaduais foram se-lecionados entre os 26 municípios que atenderam aos pré-requisitos e especifi cação do edital da pesquisa*, com a se-leção fi nal de seis municípios. Na Tabela 2, estão os dados epidemiológicos e operacionais disponíveis, utilizados para a seleção, com a proporção de tratamentos auto-administrados e supervisionados, de acordo com a solicitação de pagamen-tos por procedimenpagamen-tos, em relação ao número de casos de tuberculose pulmonar positiva e negativa notifi cados7. Foram
selecionados como município “bem-sucedido” os CASOS 1, 2, 3 e 5 e “com problema” os CASOS 6 e 4.
Seleção das Unidades Básicas de Saúde
As Unidades Básicas de Saúde (UBS) foram selecionadas segun-do as combinações segun-dos critérios: localização, nível de complexi-dade, modalidade de atendimento e número de doentes matricu-lados para tratamento da tuberculose. Determinou-se um ponto de corte de, no mínimo, 30 doentes em tratamento, para permitir análise desagregada, por modalidade, quando pertinente. As combinações máximas seriam 20 UBS/município selecionado. Para as entrevistas, foram consideradas a função desempenha-da e a especialidesempenha-dade, como critério para a seleção dos profi
ssio-nais das UBS. Os pacientes foram divididos em duas categorias a saber: a) usuários – qualquer pessoa que estivesse na UBS, independente de sua fi nalidade, e b) doentes em tratamento para tuberculose naquela UBS. Foram instituídos os seguin-tes critérios, para a seleção aleatória dos prontuários: a) caso registrado no ano 2001; b) caso novo e de retratamento, por tipo de tratamento – auto-administrado ou supervisionado; c) presença de efeitos colaterais; d) doenças associadas; e) casos de abandono de tratamento e que evoluíram para o óbito. Coleta de dados
Os dados primários foram coletados utilizando-se instrumen-tos estruturados, aplicados por auxiliares de pesquisa, de nível superior, com a condição de não participarem do PCT. Estes auxiliares foram treinados, no momento em que os ins-trumentos de coleta de dados foram testados. Os auxiliares foram agrupados de acordo com as atividades: a) gerência do Programa Estadual; b) gerência do Programa Municipal; c) Vigilância Epidemiológica (SINAN e SIM); d) laboratório estadual e municipal; e) Atenção Básica. Utilizou-se a Matriz REM, para orientar as diversas técnicas de coleta de dados. Os dados secundários foram coletados do SINAN federal, estadu-al e municipestadu-al, do Sistema de Informação sobre Mortestadu-alidade (SIM) estadual e municipal e das informações do DATASUS – (utilização do incentivo fi nanceiro, no Sistema de Informa-ções Ambulatoriais do SUS, mortalidade, e dados municipais) – registros de casos do nível local, prontuários.
RESULTADOS
Os dados dos municípios analisados foram consolidados na Matriz de julgamento ou Análise, apresentados, resumidamen-te, na Tabela 3, com as mesmas dimensões que estruturaram o Modelo Lógico da Avaliação: contexto externo, organizacional, implementação e efetividade.
Análise imbricada – casos múltiplos
A intervenção a ser avaliada foi o “incentivo fi nanceiro por alta curado”, verifi cada através de diferentes fontes de infor-mação: a) registros do DATASUS e b) registros de prontuários, casos notifi cados no nível local e entrevista com profi ssionais e usuários.
A solicitação do procedimento por alta curado não obedeceu ao critério recomendado na Portaria SE/SAS nº 5 (27/05/1999), para nenhum CASO, não havendo observância da relação en-tre o tipo de administração e a bacteriologia. Verifi camos, na Tabela 4, que houve mudança entre 2000 e 2001, com incor-poração da solicitação do procedimento. (CASOS 3, 4 e 6). Apenas os CASOS 2 e 3 realizavam o tratamento supervisio-nado em suas UBS.
* O edital previa análise de experiências, de um lado, presumidamente bem-sucedidas e de, pelo menos, dois casos presumivelmente com problemas, representati vos dos diferentes problemas com suas ações programáticas considerando-se os diferentes contextos organizacionais dos municípios / estados (gestão plena do sistema e da atenção básica), buscando interações e associações que favoreçam o controle das endemias, na perspectiva da vigilância em saúde.
Tabela 1 – Total de municípios por estado, nº e proporção de municípios que receberam o incentivo por caso de tuberculose curado (bônus), pré-selecionado como “bem-sucedido”.
Estado Nº de municípios Nº de municípios que Nº de municípios com
por Unidade receberam o bônus mais de 50.000 hab que
Federada receberam o bônus - (%)
Acre 22 3 1 (4,5) Amapá 16 3 1 (6,3) Amazonas 62 3 1 (1,6) Maranhão 217 12 8 (3,7) Mato Grosso 126 66 4 (3,2) Pará 143 7 4 (2,8) Rondônia 52 11 4 (7,7) Roraima 15 5 1 (6,7) Tocantins 138 7 2 (1,4)
Tabela 2 – Municípios selecionados baseados na técnica de grupo nominal. Dados epidemiológicos e operacionais utilizados para a seleção.
Estado/CASO % municípios CASO que CASO que Taxa Cura de casos Sem
que solicitaram solicitou solicitou Incidência pulmonar informação
bônus* procedimento procedimento pulmonar positivo (%) (%)
alta curado alta curado positiva
A (%) S(%) Amapá 18,7 0 2 ... ... 100 CASO 1 11,1 1,6 41,8 38,9 45,2 Mato Grosso 44,4 67,1 114,0 47,1 43,8 45,6 CASO 2 32,9 59,0 37,5 43,0 46,0 Maranhão 5,5 365,0 0 47,8 62,5 9,7 CASO 3 149,3 124,8 29,6 38,0 45,1 Acre 13,6 ... ... ... 100,0 CASO 4 104,5 45,5 30,5 ... 100,0 Roraima 33,3 34,8 60,2 48,4 46,9 41,0 CASO 5 34,8 60,2 48,4 46,9 41,0 Amazonas 3,2 26,1 0 65,5 39,8 42,9 CASO 6 101,6 14,0 29,5 43,7 40,5
Taxa incidência pulmonar positiva/100.000 hab, 2000, Brasil = 22 e América Latina = 43,0.
* Proporção em relação ao número de casos notifi cados: sem confi rmação – tratamento auto-administrado (A), e casos positivos – supervisionado (S). % MUN com bônus = proporção de municípios dos estados que receberam o procedimento alta curado:
A = tratamento auto-administrado. S = tratamento supervisionado.
Tabela 3 – Matriz de julgamento ou análise: distribuição dos níveis e dimensões (%). Estudo de casos Amazônia Legal – 2001.
CASO 1 CASO 2 CASO 3 CASO 4 CASO 5 CASO 6
Tratamento supervisionado Não Sim Sim Não Não Não
Níveis/Dimensões Max pontuação % % % % % %
I.Contexto externo (100 pontos) 100,00 30,50 82,00 37,00 25,00 51,00 37,9 1. Condições sócio-econômicas 20,00 62,50 85,00 35,00 65,00 65,00 22,9 2. Informação da doença 30,00 33,33 66,67 66,67 16,67 33,33 0,00 3. Complementaridade com outros 50,00 16,00 90,00 20,00 14,00 56,00 30,00 programas e ações intersetoriais
II. Contexto organizacional (100 pontos) 100,00 9,00 78,00 43,00 28,00 58,50 64,50 1. Gestão Estadual e Municipal 50,00 6,00 100,00 72,00 26,00 77,00 100,00 2. Autonomia técnico-gerencial 20,00 10,00 35,00 25,00 10,00 100,00 62,50 3. Autonomia política e fi nanceira 30,00 13,33 70,00 6,67 30,00 0,00 6,67 3.1. Recursos das altas por cura 10,00 20,00 100,00 0,00 20,00 0,00 0,00 3.2. Prioridade política 10,00 20,00 100,00 20,00 50,00 0,00 20,00 3.3. Compromisso político 10,00 0,00 10,00 0,00 10,00 0,00 0,00
III. Implementação (300 pontos) 300,00 21,83 51,00 51,50 32,70 35,90 55,00 1. Integralidade e qualidade da atenção 50,00 45,00 74,00 44,00 25,00 59,40 24,00 1.1. Cobertura do programa 20,00 22,50 80,00 60,00 35,00 38,50 60,00 1.2. Farmácia/Drogas específi cas 20,00 90,00 75,00 50,00 10,00 100,00 0,00 1.3. Capacitação e reciclagem 10,00 0,00 60,00 0,00 35,00 20,00 0,00 2. Atenção básica de saúde 150,00 16,67 24,67 22,67 10,67 32,00 46,67 2.1. Estrutura & Recursos 30,00 16,67 20,00 13,33 43,33 66,67 6,67
2.2. Prevenção 30,00 30,00 53,33 66,67 0,00 23,33 66,67 2.3. Estratégias de controle 30,00 0,00 50,00 33,33 6,67 33,33 16,67 2.4. Integralidade da assistência 60,00 18,33 48,33 83,33 36,67 18,33 55,00 3. Integralidade e qualidade 50,00 26,00 56,00 60,00 66,00 20,00 40,00 do apoio laboratorial 4. Integralidade da qualidade 50,00 10,00 44,00 42,00 68,00 40,00 66,00 do sistema de informação 4.1. Sistema de informação 20,00 0,00 100,00 100,00 100,00 100,00 100,00 4.2. Vigilância epidemiológica 15,00 0,00 13,33 6,67 73,33 0,00 66,67 4.3. Validação das informações 15,00 33,33 0,00 0,00 20,00 0,00 20,00
IV. Efetividade (100 pontos) 100,00 13,00 32,00 35,50 14,00 17,00 50,00 1. Controle de danos e riscos 80,00 15,00 32,50 28,75 11,25 2,50 37,50 2. Satisfação dos usuários 20,00 5,00 30,00 12,00 25,00 75,00 100,00
Tabela 4 – Solicitação e aprovação dos procedimentos 0701106 – “atendimento alta paciente submetido a tratamento tu-berculose supervisionado (S) e 0701105 – ”atendimento alta paciente submetido a tratamento tutu-berculose auto-administrado (A), 2000 e 2001 e informação coletadas nas Unidades Básica de Saúde, 2001.
INFORMAÇÕES SAI/SUS INFORMAÇÕES SAI/SUS COLETA DE DADOS
NO ANO DE 2000 NO ANO DE 2001* 2001**
Casos Solicitado/ Solicitado para Solicitado/ Solicitado para Realizou
Aprovado o tipo de cura Aprovado o tipo de cura tratamento S
CASO 1 + S - CASO 2 + S e A + S e A + CASO 3 + A + S e A + CASO 4 + A + S e A CASO 5 + S e A + S e A CASO 6 - - + A
Fonte: * Ministério da Saúde – Sistema de Informações Ambulatoriais do SUS (SIA/SUS). ** Dados de registros de prontuários, livro de registro do nível local e entrevista.
Nenhuma gerência tinha conhecimento do fl uxo deste proce-dimento quanto à solicitação, ao encaminhamento e à forma de recebimento, como também não tinha o conhecimento do SIGAB, mesmo quando a gerência relatou participação na ges-tão e defi nição dos recursos, como no CASO 2. Destaca-se o CASO 3 que apresentou resultados de tratamento com dados estratifi cados por tipo de administração, mas, nem a gerência e nem as UBS tinham conhecimento destes recursos. O incen-tivo não foi solicitado em 2000, em 2001 foi solicitado aquém das altas por cura. O CASO 2 tinha apenas a informação da proporção dos pacientes com tratamento auto-administrado e supervisionado. Os outros CASOS não fi zeram tratamento supervisionado.
Nas Figuras 4 e 5, estão apresentadas as pontuações (esco-res) por cada dimensão, alcançadas pelos casos municipais. De acordo com a pontuação, apenas o CASO 2 pôde ser classifi -cado como sucesso no contexto externo e organizacional, nas outras dimensões, este caso obteve a classifi cação de favorá-vel para a implementação e desfavoráfavorá-vel para a efetividade. O município de CASO 5 obteve a classifi cação “favorável”, no contexto externo e organizacional e nas outras dimensões desfavorável. O CASO 6 obteve a classifi cação de favorável, apenas no contexto organizacional e nas demais dimensões desfavorável. O CASO 3 foi classifi cado como favorável ape-nas na dimensão implementação e ape-nas demais, desfavorável. Os CASOS 4 e 1 foram classifi cados como desfavoráveis em todas as dimensões.
O CASO 2 destacou-se no contexto externo e organizacional, alcançando 82% e 78%, respectivamente, da pontuação total desta dimensão. Os CASOS 1, 3, 4 e 6 obtiveram valores
mui-A implementação apresentou valores inferiores ao dos contex-tos externo e organizacional. O desempenho dos CASOS 2, 3 e 6 foi semelhante e os outros três casos foram desfavoráveis. Destaca-se a dimensão efetividade, onde todos os casos apresentaram um desempenho desfavorável, com exceção do CASO 6 que apresentou desempenho favorável.
Os melhores indicadores da condição sócio-econômica foram verifi cados no CASO 2 e as condições mais desfavoráveis no CASO 6. (Figura 6 e Tabela 3).
Os casos selecionados apresentam uma população urbana com alta taxa de alfabetização e baixa taxa da população assalariada, ou seja, população que trabalha com carteira assinada e com benefícios assegurados; também, as maiores taxas de densidade demográfi ca, comparadas com a média nacional, foram registradas nos CASOS 2 e 6 (Tabela 5). A proporção de domicílios com rede geral de esgoto foi baixa e apresentou valores menores que os dados nacionais, apenas o CASO 2 apresentou uma taxa de 51,8%, e a menor foi no CASO 3, com 5,7%. Entretanto, os municípios, em sua maio-ria, tinham uma baixa proporção de domicílios sem instalação sanitária, sendo o CASO 3 o que apresentou o maior valor (35,4%) (Tabela 5).
O percentual gasto pelo município, na área de saúde, variou de 11% a 71,5%. Apenas os CASOS 3 e 4 apresentaram valores superiores a 70%, a média foi de 35,3%. Apesar do CASO 4 ter signifi cativa participação de recursos fi nanceiros do muni-cípio aplicados na saúde, o gasto “per capita” (R$27,86) foi o menor entre os municípios; o CASO 3 foi o que apresentou o maior valor “per capita” (R$108,36). A despesa total de saú-de/receita total administrativa direta municipal, ano de 2000,
Tabela 5 – Caracterização sociodemográfi ca, sanitária e de saúde dos CASOS selecionados.
Indicadores CASO 1 CASO 2 CASO 3 CASO 4 CASO 5 CASO 6 Brasil
População aproximada1 283.308 483.346 91.823 253.059 200.568 1.405.835 174.632.932
% urbanização 95,5 98,6 77.76 89,4 98,3 99,4 87
(habitação em zona urbana)
Extensão territorial Km2 6.533 3.971 1.439 9.877 5.687 11.408 8.514.215
Densidade demográfi ca Hab./Km2 43,3 121,7 63,8 25,6 35,2 123,2 2,05
Gasto com saúde per capita 28,2 187,11 108,36 27,86 100,5 68,1 ...
em R$ (Reais)2
% de gastos tesouro municipal em saúde5 11,2 28,3 70 71,5 14,5 16,39 ...
Coefi ciente de mortalidade 25,2 21,6 63,5 46 29,8 38,4 21,3
infantil /1000 < 1 ano3
Proporção de CMI mal defi nidas3 10 11,4 42,9 24,2 3,2 20,8 11,5
População alfabetizada (%)1 84,5 94,4 73,4 87,1 92,2 94,2 88,3
População ocupada assalariada (%)1 13 23 3,9 21 12,3 15 47,6
Domicílio com rede geral de 7,9 51,8 5,7 36,1 14,6 32,2 44,4
esgoto ou pluvial (%)2
Domicílio sem instalação sanitária (%)2 4,9 1,5 35,4 8,8 3,6 4,4 9,6
Cobertura Pacs (%)4 62,5 0 34,5 0,7 11,3 19,3 15,9
Cobertura PSF (%)4 0 0 0 0 3 0 5,7
Gastos com continuidade 11,26 28 69 7,4 14,5 16,3 ...
administrativa5 (%)
1 Fonte: IBGE censo e estimativas. 2 Fonte: Datasus.
3 Fonte : SIM/Sinasc 1999 (Estimativa da mortalidade infantil por microrregiões e município em 1998). 4 Fonte : Siab 2000.
5 Fonte Siops (despesa total de saúde/receita total administrativa direta ano de 2000).
Figura 6 – Distribuição da pontuação alcançada (%), do contexto externo, dimensão e subdimensão, pelos casos sele-cionados.
Paradoxalmente, o CASO 3 foi o município que apresentou o maior coefi ciente de mortalidade infantil, sendo o menor veri-fi cado no CASO 2, seguido pelos CASOS 1 e 5. A proporção de óbitos por causa mal defi nida foi alta na região, com exceção do CASO 5 que a apresentou bastante baixa.
O nível da informação sobre a tuberculose foi avaliado apenas nos municípios, entre os usuários das UBS selecionadas (Ta-bela 3). Foi considerado ter informação adequada o usuário que informava que a doença era transmitida de pessoa para pessoa tinha tratamento e cura. Para os CASOS 2 e 3, os resul-tados foram melhores, pelo menos duas das informações eram conhecidas. Nos outros municípios, os usuários demonstraram total desconhecimento, evocando “morte”; “não tem cura”; “medo das pessoas se aproximarem”; “doença perigosa”; “medo”; “mal-estar”.
A complementaridade com outros programas e/ou instituições mostrou ser prática pouco freqüente, com exceção do CASO 2, que tinha uma participação formal e importante com uma Or-ganização Não-governamental (ONG), com o Programa Saúde da Família (PSF) e informal com a Universidade; o CASO 5 relatou ter relação formal com Hospital de Referência para casos de tuberculose e PSF, os outros municípios não tinham nenhuma integração, principalmente com o PSF e o Programa de Agentes Comunitários de Saúde (Pacs).
No contexto organizacional, o CASO 2, destacou-se como o de melhor desempenho. Os resultados menos favoráveis fo-ram os CASOS 1, 3 e 4. (Tabela 3 e Figura 7). Na gestão municipal, no CASO 1, verifi cou-se uma descontinuidade
ção do SINAN e da estrutura ser inadequada. No CASO 3, a gerência do PCT reconheceu as difi culdades como a baixa qualidade do SINAN, a alta rotatividade dos recursos huma-nos, a falta de treinamento e a integração inadequada com a coordenação estadual.
A gerência do programa, do CASO 2, demonstrou um bom conhecimento da estrutura e organização do programa, da situação da tuberculose da região sob sua responsabilidade, que apresentava boa estrutura e recursos adequados, apesar da coordenação ter apenas um técnico responsável. Havia, também, utilizado a complementaridade intersetorial com uni-versidades e outras instituições para apoio nos treinamentos. A autonomia técnica para defi nir estratégias para a preven-ção do abandono, melhorar a qualidade do atendimento com treinamentos, gerar orientação para condutas frente a para-lisações, à multidroga resistência (MDR) e ao tipo de admi-nistração do tratamento foi favorável no CASO 5, seguido do CASO 6. Nos outros municípios as gerências não tinham co-nhecimento e/ou estratégias para estas questões.
Somente o CASO 2 relatou a participação na gestão e na defi nição dos recursos fi nanceiros da secretaria de saúde. De modo geral, foi verifi cado o desconhecimento das gerências sobre o incentivo fi nanceiro, de acordo com o normalizado em Portaria, como a relação do resultado bacteriológico e o tipo de administração. As gerências que relataram o conhecimen-to deste incentivo não conheciam o fl uxo para a solicitação, o SIGAB, e não sabiam informar o destino destes recursos. Também, apenas neste CASO, houve recurso específi co para a
Figura 7 – Distribuição da pontuação alcançada (%) no contexto organizacional, dimensão e subdimensão, Gestão Municipal e Estadual, Autonomia Técnico-gerencial (ATG) e Autonomia Político-fi nanceira (APF), pelos casos selecionados.
