Monitoramento e Avaliação do Planejamento em Saúde

Secr et aria de Es tado da Saúde do Mar anhão - SE S /MA Secr et aria de Es tado da Saúde do Mar anhão - SE S /MA

Secretaria de Estado da Saúde do Maranhão - SES/MA

MÓDUL

O

3

Monitoramento

e Avaliação do

Planejamento

em Saúde

UNIDADE 1 - BASES DA AVALIAÇÃO DO

Secretaria de Estado da Saúde do Maranhão - SES/MA

GOVERNO DO ESTADO DO MARANHÃO

Governador Flávio Dino de Castro e Costa

SECRETARIA DE ESTADO DA SAÚDE DO MARANHÃO

Secretário Marcos Antônio Barbosa Pacheco

ASSESSORIA DE PLANEJAMENTO

Assessora Francisca Nogueira da Silva

SUPERVISÃO DE INFORMÁTICA

Secr et aria de Es tado da Saúde do Mar anhão - SE S /MA

Secretaria de Estado da Saúde do Maranhão - SES/MA

MÓDUL

O

3

Monitoramento

e Avaliação do

Planejamento

em Saúde

UNIDADE 1 - BASES DA AVALIAÇÃO DO

Secretaria de Estado da Saúde

As Bases da avaliação do planejamento em saúde/Judith Rafaelle Oliveira Pinho (Org.). - São Luís, 2015.

39f.: il.

1. Saúde pública. 2. Planejamento em saúde. 3. Sistema Único de Saúde. I. Título.

Secr et aria de Es tado da Saúde do Mar anhão - SE S /MA

APRESENTAÇÃO

O objetivo desta unidade é analisar o contexto de inserção das ações de avaliação no planejamento na saúde.

O que seria de um projeto sem a etapa de sua avaliação? Com cer-teza não teríamos ideia do alcance de metas e objetivos, da dimensão de sua mudança nem onde poderíamos fazer as intervenções necessárias para mudanças ou como os pontos positivos poderiam ser reproduzidos. Isso já nos dá uma noção de como incluir a avaliação no processo de pla-nejamento é importante e, por que não dizer, indispensável. O Relatório Anual de Gestão (RAG) pode ser um dos instrumentos usados para esse fim mais próximo de seu dia a dia de trabalho nos processos de monito-ramento e avaliação, no entanto ele tem uma característica de avaliação final e não do processo de planejamento, portanto vamos discutir um pouco mais sobre essas ações.

Secr et aria de Es tado da Saúde do Mar anhão - SE S /MA

SUMÁRIO

1 MONITORAMENTO E AVALIAÇÃO EM SAÚDE ... 9

1.1 Conceitos e contextualização histórica ... 9

2 AVALIAÇÃO NO CAMPO DA SAÚDE ... 11

2.1 Avaliação em saúde no Brasil ... 13

2.2 Métodos avaliativos ... 16

2.3 Classificação da avaliação ... 20

2.4 Elementos do processo avaliativo ... 22

2.5 Passos para realizar uma avaliação ... 25

2.6 Alguns modelos de avaliação ... 26

2.7 Interfaces do monitoramento e avaliação ... 30

3 EFICÁCIA, EFICIÊNCIA E EFETIVIDADE NO PLANEJAMENTO EM SAÚDE ... 32

9

1

UNIDADE

1 MONITORAMENTO E AVALIAÇÃO

EM SAÚDE

Avaliar é uma ação inerente ao ser humano desde a mais tenra idade, realizada cotidianamente através de seus sentidos, de seu intelecto e de suas subjetividades (FURTADO, 2012 ).

Quando falamos em avaliação logo nos vem à cabeça a ideia de julgamento, afinal, passamos anos na escola sendo avaliados de uma forma classificatória. Mas o profissional que está inserido na sistemática de promoção à saúde, é capaz de refletir sobre esse conceito comum da avaliação e compreender que a ela são atribuídas algumas vertentes, e, o mais importante de tudo, que utilidade essa avaliação terá e como poderá ser usada para a melhoria dos processos nos quais a saúde se insere.

1.1 Conceitos e contextualização histórica

Processo que visa verificar a aquisição de competências e habilidades em determinada área do conhecimento ou do campo laboral. Tem sempre em vista o processo de melhoria contínua (DICIO, 2015).

O que é monitoramento?

Observar em determinado período de tempo se as condições de um objeto/equipamento estão dentro dos padrões. Difere de rastreamento que acompanha a ida e vinda de um objeto ou equipamento. O monitoramento não acompanha sua ida e vinda, somente verifica sua condição se é aceitável ou não aos padrões que se espera dele (DICIO, 2015).

10

Enquanto campo do conhecimento a avaliação é jovem, no entanto, ela surgiu como uma atividade espontânea e não sistematizada no recrutamento de funcionários chineses há cerca de 4 mil anos, e somente na década de 1930 chegou ao ocidente (HARTZ, 2009).

A partir disso, surgem muitos estudiosos e muitos métodos sobre o assunto. Furtado (2012 ) traz um conceito sobre a avaliação após a leitura de muitos trabalhos: “É emitir um juízo de valor sobre determinada intervenção com critérios e referenciais explícitos, utilizando-se de decisão”.

Esse conceito já é mais próximo da prática da avaliação em saúde e deixa claro que o que se é avaliado precisa de parâmetros claros, embasados em referenciais consolidados, não pode, portanto, ser baseado nas preferências pessoais de quem avalia. E o produto desse processo deve ter utilidade, na área da saúde deverá ter a fi nalidade de auxiliar na tomada de decisões.

A avaliação poderá ser aplicada em diversos contextos (na educação, na saúde, em empresas) e de diversas formas, mas afi nal qual é a essência da avaliação?

Quadro 1- Essência da avaliação. Avaliação refere-se à ação humana

As ações devem estar estruturadas em um projeto e articuladas em um programa

A iniciativa em foco deverá estar endereçada às mudanças específi cas de uma situação problemática

Que as mudanças possam ser constatadas empiricamente

Fonte: FURTADO, J. P. Avaliação de programas e serviços. In: CAMPOS, G. W. et al.

11

Isso significa que independentemente do contexto em que você atue ou do método que você utilize, a avaliação sempre apresentará seus elementos essenciais.

2 AVALIAÇÃO NO CAMPO DA SAÚDE

Serapioni; Lopes; Silva (2013) consideram que na área da saúde, a avaliação inicia-se e é predominante nas abordagens utilizadas nos tratamentos, sendo influenciada pela medicina clínica, epidemiologia e estatística, testando a utilidade de diversas intervenções, particularmente direcionadas ao controle das doenças infecciosas e ao desenvolvimento dos primeiros sistemas de informação que orientassem as políticas sanitárias nos países desenvolvidos (Estados Unidos, Alemanha, Inglaterra, França, Grã-Bretanha, Suíça etc ) (HARTZ, 2009).

A partir da década de 1960 nos Estados Unidos, o processo de reforma da Great Society (programas sociais implementados para pôr fim na pobreza e injustiça racial no país) possibilitou a expansão dos processos de avaliação de serviços públicos, já que a expectativa de mudança que havia em torno desses serviços precisava ser constatada. Havia necessidade de se verificar a efetividade dos gastos financeiros, e nesse contexto os programas e políticas de saúde também passaram a ser avaliados (SERAPIONI; LOPES; SILVA, 2013).

Já em 1970 ocorre uma preocupação com aspectos metodológicos da avaliação, há incorporação da abordagem qualitativa que se torna o método preferencial para avaliar políticas e programas. Nos anos 80, a quantidade e os métodos de fazer avaliação e monitoramento se multiplicam, por causa da necessidade de controle de gastos pelos governos, incremento de responsabilidades aos gestores (accountability) e para obter informações sobre o impacto das novas tecnologias sanitárias (SERAPIONI; LOPES; SILVA, 2013).

12

Desde então a avaliação em saúde foi ganhando estudiosos e profissionais dedicados na sua prática, vamos conhecer as gerações históricas da avaliação:

Quadro 2 - Gerações da avaliação em saúde.

Características

1ª GERAçãO

Técnico que precisa saber construir e usar os instru-mentos para medir os fenômenos estudados.

2ª GERAçãO

Identificar e descrever os programas, compreender sua estrutura, forças e fragilidades para ver se é pos-sível atingir os resultados esperados e fazer as devidas recomendações para sua implementação.

3ª GERAçãO

Como competência fundamental do avaliador, a ins-titucionalização das práticas avaliativas e a emergên-cia das iniemergên-ciativas de profissionalização, como campo de conhecimento distinto, evidenciadas pelo número crescente das publicações específicas, a emergência das associações de avaliadores internacionais e dos padrões de qualidade.

4ª GERAçãO

Não excludente, dos referenciais anteriores, mas a ava-liação torna-se ela mesma inclusiva e participativa, um processo de negociação entre os atores envolvidos na intervenção em que o pesquisador-avaliador também se coloca como parte e não apenas juiz.

5ª GERAçãO

É a geração emancipadora, que combina característi-cas das anteriores, mas implica a vontade explícita de aumentar o poder dos participantes graças ao proces-so de avaliação.

Fonte: HARTZ, Z.M.A. Avaliação em saúde. Manguinhos, RJ: EPSJV, FIOCRUZ, 2009. Disponível em: http://www.epsjv.fiocruz.br/dicionario/verbetes/avasau.html.

13

Dentre os processos de avaliação dos quais você faz parte, seria possível identifi car qual das gerações acima apresenta características comuns a eles?

No Brasil, o interesse pela avaliação no âmbito da saúde ocorreu a partir de 1990, logo após o advento da Constituição de 1988 e implantação do SUS. Esse sistema aumentou a extensão e a importância econômica de serviços e programas na área da saúde (FURTADO, 2012).

Desde então, diversas iniciativas voltadas para avaliação em saúde vêm sendo desenvolvidas no país. Desde a realização de pesquisas acadêmicas, com vistas à avaliação de serviços de saúde, até a incorporação, pelo Ministério da Saúde, da necessidade de pesquisas avaliativas com vistas a subsidiar a elaboração de políticas e programas setoriais e a difusão de seus resultados (FELISBERTO, 2006).

2.1 Avaliação em saúde no Brasil

No ano 2000, um processo de organização interna do Ministério da Saúde resultou na criação da Coordenação de Acompanhamento e Avalia-ção da AtenAvalia-ção Básica (CAA/DAB) vinculada ao Departamento de Aten-ção Básica da Secretaria de Políticas de Saúde, que se constituiu a partir da Coordenação de Saúde da Comunidade, vinculada à então Secretaria de Assistência à Saúde. Inicialmente denominada de Coordenação de In-vestigação, a CAA/DAB nasceu com o propósito de formular e conduzir

14

os processos avaliativos relacionados a esse nível de atenção, compreen-dendo-se seu papel estratégico para o redirecionamento da organização do sistema de saúde no país (BRASIL, 2005).

Atualmente essa coordenação, assim como todo o Ministério da Saúde, tem priorizado a execução de ações de monitoramento e avalia-ção de processos e resultados e de iniciativas que reconheçam a qualida-de dos serviços qualida-de saúqualida-de ofertados à sociedaqualida-de brasileira, estimulando a ampliação do acesso com qualidade, nos diversos contextos existentes no país (PORTAL DA SAÚDE, 2012).

Essa coordenação sistematizou alguns pressupostos da avaliação em saúde:

Quadro 3 - Pressupostos da avaliação em saúde.

PRESSUPOSTOS

1

A avaliação em saúde é um processo crítico-reflexivo sobre práticas e processos desenvolvidos no âmbito dos serviços de saúde. É um processo contínuo e sis-temático cuja temporalidade é definida em função do âmbito em que ela se estabelece. A avaliação não é ex-clusivamente um procedimento de natureza técnica, embora essa dimensão esteja presente, devendo ser entendida como processo de negociação entre atores sociais. Deve constituir-se, portanto, em um processo de negociação e pactuação entre sujeitos que parti-lham corresponsabilidades.

2

O processo de avaliação é mediado por relações de po-der. Isso não deve ser ignorado por quem tem a respon-sabilidade de conduzi-lo, sendo fundamental reforçar a implementação de mecanismos que assegurem a par-ticipação democrática dos envolvidos.

15

3

A avaliação é uma função importante da gestão. Nes-se Nes-sentido, não é meramente atribuição de avaliadores externos, devendo fazer parte do conjunto de ativida-des ativida-desempenhadas pelos gestores do sistema e das equipes de saúde.

4

Tratando-se da avaliação em saúde e, em especial, da atenção básica, o que será avaliado é um objeto em movimento. As três esferas de governo são correspon-sáveis no que se refere à avaliação da atenção básica. Deve-se reforçar seu caráter formativo, pedagógico e reorientador das políticas e práticas, superando o tra-dicional enfoque punitivo e burocrático.

5

Deve-se ter o cuidado de, ao recortar o objeto, não re-duzi-lo, sob o risco de que o processo de avaliação não expresse toda a riqueza das diversidades regionais e lo-cais e os novos valores que vêm sendo incorporados ao SUS (PORTAL DA SAÚDE, 2012).

Além disso, a CAA também divulgou o entendimento do MS sobre os conceitos de avaliação e monitoramento:

AVALIAÇÃO

Considerando-se os pressupostos apresentados, a CAA/DAB en-tende, também, a avaliação enquanto um processo participativo de inter-pretação parcial de cenários pré-delimitados (ou construídos) - inserido numa realidade complexa, não linear, permeada por relações de poder e fundamentado em sistematizações formais de análise - que visa explicitar situações para orientar ações e intervenções críticas no contexto sócio -histórico (BRASIL, 2004).

16

MONITORAMENTO

Compreende-se monitoramento como parte do processo avalia-tivo, que envolve coleta, processamento e análise sistemática e periódica de informações e indicadores de saúde selecionados com o objetivo de observar se as atividades e ações estão sendo executadas conforme o planejado e estão tendo os resultados esperados (BRASIL, 2005).

Na saúde, esse monitoramento é realizado a partir de indicadores, que são “medidas-síntese” que contêm informação relevante sobre di-mensões do estado de saúde, bem como do desempenho do sistema de saúde ( SANTOS-FILHO, 2015).

IMPORTANTE!

Esses passos são importantes para que se atinja o que ocorre na 3ª geração da avaliação, a institucionalização das práticas avaliativas e a emergência das iniciativas de profi ssionalização.

Outras estratégias importantes foram adotadas pelo MS para que se caminhe em direção à institucionalização da avaliação, desde o Progra-ma Nacional de Avaliação dos Serviços de Saúde até sua estratégia Progra-mais recente, o Programa de Melhoria do Acesso e da Qualidade na Atenção Básica e suas vertentes.

2.2 Métodos avaliativos

Anteriormente, vimos que ações de planejamento estratégico em saúde dis-põem de um momento ava-liativo. Muitas dúvidas sur-gem no delineamento dessa etapa, na verdade há uma

17

grande disponibilidade de métodos e abordagens de diferentes autores, que muitas vezes tem a mesma fundamentação, só modifi cam sua apli-cabilidade.

Pode haver tantos métodos de avaliação quanto de avaliadores, e essa quantidade de classifi cações só vai acrescentar mais corredores ao labirinto da avaliação (FURTADO, 2012).

A Dra. Susana não se desliga do trabalho nem nos momentos de descontração. Ontem mesmo ela leu uma reportagem publicada na revista Radis na edição de janeiro de 20151_.

<?> Leia na edição completa da revista Radis/ENSP/FIOCRUZ em: http://www6.ensp. fi ocruz.br/radis/sites/default/fi les/radis_148_web.pdf

19

Susana fi ca bem intrigada com o relato da res-ponsável pelo projeto. Em sua entrevista, a responsá-vel pelo projeto, cita alguns pontos avaliativos sobre seu trabalho, mas sempre de ordem empírica. Será se isso pode ser realmente considerado avaliação? Susa-na resolve levar essa dúvida aos seus colegas de tra-balho.

No dia seguinte, Dra. Susana questiona os técnicos da equipe de planejamento sobre os métodos usados nas avaliações das propostas implementadas localmente. E a resposta é unânime: as avaliações consistem em comparar números, o antes e o depois. Diante disso, a Dra. Susana percebe claramente uma falha nesses processos, parece que a equipe se limita ao monitoramento das ações.

Susana faz a seguinte refl exão:

Considerando os conceitos de avaliação já conhecidos por ela, pode-se dizer que há um cunho avaliativo quanto ao projeto ao qual Susana teve acesso e ao trabalho de sua equipe. No entanto, não tão sistematizado, como poderemos, por exemplo, avaliar o impacto real na vida desses jovens participantes do projeto? É claro que só poderemos confi rmar se houve mudanças signifi cativas se disponibilizarmos de alguma metodologia que possa comparar o antes e o depois. Mas antes de começar a ação da avaliação, delineamentos precisarão ser traçados e precisaremos defi nir que tipo de avaliação será viável.

20

2.3 Classifi cação da avaliação

A primeira distinção básica sobre avaliação se refere ao seu caráter somativo, formativo, normativo e à pesquisa avaliativa.

Furtado (2012) nos traz um conceito de avaliação somativa como àquela destinada à tomada de decisões sobre determinado programa com base em uma visão global, é endereçada aos gestores e, nesse tipo de avaliação, as informações sobre custos e resultados são muito relevan-tes.

A avaliação formativa tem como objetivo o aperfeiçoamento de um programa ou projeto, diagnosticando suas fragilidades e vulnerabilidades. Nessa avaliação é necessária a integração de todos os atores envolvidos.

Contandriopoulos (2006), considerando que a avaliação consiste em aplicar um julgamento de valor a uma intervenção, propõe a seguinte classifi cação: avaliação normativa (mostra que o resultado da aplicação de critérios e normas) e pesquisa avaliativa (elaborado a partir de um proce-dimento científi co). Essa defi nição permite considerar a avaliação como intervenção formal, mobilizando recursos e atores em torno de uma fi nali-dade explícita, em outras palavras, como um sistema organizado de ação. Por outro lado, permite visualizar as ligações e diferenças entre três áreas distintas: pesquisa, avaliação e tomada de decisão.

21

Para Novaes (2000 ), a pesquisa avaliativa tem o objetivo de produ-zir conhecimento que servirá como fator orientador de decisões sempre que questões externas à pesquisa, tais como viabilidade, disponibilidade de tempo, de recursos e outras demandas, estejam presentes. As pesqui-sas são demandadas pelas instituições acadêmicas ou por organizações governamentais públicas. O distanciamento dos avaliadores, em relação ao objeto avaliado, é uma condição necessária ao seu desenvolvimento. Objetivam a implantação de um programa ou de um projeto assim como identificar os impactos obtidos pelas ações. O estabelecimento de nexos entre as ações e determinadas alterações da realidade orientam as ques-tões formuladas, buscando possíveis associações causais. A metodologia é basicamente quantitativa, mas há utilização de métodos qualitativos.

Avaliação para decisão

A avaliação para decisão tem objetivo de produzir respostas para perguntas estabelecidas por agentes que vivenciam de perto o objeto avaliado. O avaliador interno tem papel decisivo no desenrolar do proces-so, ainda que avaliadores externos façam parte da equipe que vai coorde-nar a avaliação. São utilizados métodos quantitativos e qualitativos, por meio de “estudos de caso”. Seus resultados são geralmente reconhe-cidos como melhor construídos, mais sistematizados e cujo valor final é medido por sua capacidade de se transformar em recomendações positi-vas, ou seja, aquelas capazes de contribuir para a solução dos problemas identificados.

Avaliação para gestão

A avaliação para gestão tem objetivo de produzir informação para aprimorar o objeto avaliado. Entretanto, faz-se necessária a presença de um avaliador interno e de avaliadores externos. O foco principal é caracte-rizar uma condição e traduzi-la em medidas que possam ser quantificadas e replicadas.

22

A escolha do tipo de avaliação a ser realizada vai depender do que se quer avaliar (objeto), qual objetivo dessa avaliação, quando se deve avaliar, quais critérios usar, quem são os atores envolvidos e qual desenho metodológico será utilizado. A seguir vamos estudar os elementos do processo avaliativo.

2.4 Elementos do processo avaliativo

Um objeto é aquilo que se pretende avaliar, um programa, um serviço, uma política, um tratamento.

Quando avaliar?

A avaliação pode ocorrer antes mesmo de uma ação iniciar, bem como durante ou depois. Isso permitirá dimensionar sua viabilidade, as necessidades de ajustes e seus impactos. Serapioni; Lopes; Silva (2013) traz a seguinte classificação:

Quadro 4 - Classificação conforme o momento de realização.

Ex-ante

Realizada na fase de planejamento

de ações.

Pretende antever os possíveis resultados e compará-los com intervenções alterna-tivas. É um bom momento para a equipe criar um fluxo de decisão, por exemplo.

In intinere

Realizada durante as intervenções.

Tem como objetivo analisar os primeiros resultados da intervenção proposta, ve-rificar se ocorreu situações imprevistas que possam exigir ajustes, correções, realocação de recursos ou redefinição de objetivos.

Ex-post

Realizada após a conclusão da intervenção.

Visa aferir o alcance dos objetivos estabe-lecidos. Permite ao gestor tomar decisões sobre a pertinência do serviço.

23

E como toda intervenção que é implantada, há alguns desfechos que são analisados e alvo do processo de avaliação: outputs (realizações), outcomes (resultados) e impacts (impactos). Esses conceitos podem ter sido os principais motivos da Dra. Susana ter ficado intrigada com a declaração sobre a avaliação do projeto, a qual foi publicada na reportagem que lemos anteriormente, pois, na área da saúde, os resultados são tão visados que às vezes esquecemos outros possíveis desfechos.

No caso em questão, o desfecho relativo ao output estaria relacionado, por exemplo, à quantidade de jovens que participaram do projeto. Se o objetivo fosse avaliar um desfecho do tipo outcome, poderíamos ter como foco a satisfação das famílias e dos moradores do bairro com relação ao projeto. E para avaliar os impacts, como a mudança do contexto social das famílias, levar-se-ia mais tempo.

Critérios de avaliação

São inúmeros os critérios que podem ser considerados quando se trata de avaliação. Vamos apresentar os mais utilizados na área da saúde.

Relevância ou pertinência

É fundamental na avaliação ex-ante, já que foca na es-tratégia escolhida. Esse critério viabilizará responder questões como: os problemas de saúde da minha loca-lidade são compatíveis com a minha rede assistencial? As atividades de promoção de saúde são integradas à realidade da comunidade?

Efetividade Permitirá avaliar o alcance dos objetivos da intervenção em termos de realizações, resultados e impactos. Eficiência Relaciona-se com os resultados obtidos e os recursos

investidos.

Acessibilidade

Possibilita medir a relação entre as necessidades de saú-de e os recursos existentes para satisfazê-las e a capaci-dade de um serviço em garantir cuidado de saúde.

24

Aceitabilidade

Quando se trata de saúde podemos falar em aceita-bilidade social e profi ssional, já que esse critério torna possível verifi car o grau e congruência entre os serviços de saúde prestados e a expectativa de usuários e pro-fi ssionais.

Humanização Possibilita aferir o nível de respeito à cultura e às neces-sidades individuais e coletivas dos usuários do serviço.

Qualidade

Representa uma ampla discussão. Amplamente difundi-da por Donabedian (1990), a avaliação difundi-da qualidifundi-dade em saúde se entrelaça em estrutura, processo e resultado. No processo de trabalho em saúde há diferentes atores, e vários autores apontam a importância da qualidade avaliada pelos usuários, a qualidade profi ssional e de gerenciamento.

Fonte: SERAPIONI, M.; LOPES, C. M. N.; SILVA, M. G. C. da. Avaliação em saúde. In: ROUQUAYRIOL, M. Z.; SILVA, M. G. C da. Epidemiologia e saúde. 7. ed. Rio de

Janeiro: Medbook, 2013.

As refl exões de Donabedian (1990) se desenvolveram a partir do cuidado médico ou do serviço prestado individualmente e de acordo com as perspectivas da garantia de qualidade. Os sete pilares da qualidade su-geridos por ele são:

25

PARA SABER MAIS!

Leia a publicação QUALIDADE EM SERVI-ÇOS PÚBLICOS DE SAÚDE: UMA AVALIAÇÃO DA ESTRATÉGIA SAÚDE DA FAMÍLIA.

Acesse: http://producaoonline.org.br/rpo/ article/viewFile/405/721

2.5 Passos para realizar uma avaliação

O Centers for Disease Control and Prevention (CDC) publicou os passos para realizar uma avaliação. Os passos estão ligados em conjunto e podem ser utilizados como um ponto de partida para adaptar uma avalia-ção em saúde pública em particular. Há uma hierarquia para o cumprimen-to de cada etapa - em geral, as etapas anteriores fornecem a base para a evolução posterior.

Incluindo aqueles envolvidos em operações do programa; aquelas servidas ou afetadas pelo programa; e usuários primários da avaliação. Incluindo aqueles envolvidos em operações do programa; aquelas servidas ou afetadas pelo programa; e usuários primários da avaliação.

26

2.6 Alguns modelos de avaliação

Não podemos negar que a escolha do método avaliativo está re-lacionada à formação do avaliador e pelo seu percurso profi ssional, mas também estamos conscientes de que cada método existente aplicar-se-á a um objeto, momento avaliativo ou critério a ser utilizado. Vamos apre-sentar alguns métodos bastante utilizados no campo da saúde.

Para avaliar as questões de maior preocupação para as partes interessadas durante a uti lização de tempo e recursos da forma mais efi ciente possível. Considere a fi nalidade, usuários, usos, perguntas, métodos e acordos.

Para fortalecer juízos de avaliação e as

recomendações que se seguem. Esses aspectos da coleta de provas afetam ti picamente percepções de credibilidade: indicadores, fontes, qualidade, quanti dade e logísti ca.

Ligando-as aos dados coletados e julgando os a parti r de valores acordados ou normas estabelecidas pelas partes interessadas. Deve-se fundamentar as conclusões com baDeve-se em evidências usando esses cinco elementos: normas, análise/síntese, interpretação, julgamento e recomendações.

Concepção, preparação, feedback, acompanhamento e divulgação de relatórios.

27

Alkin propôs a imagem de uma árvore para se compreender as principais vertentes da avaliação.

Figura 2 - Representação esquemática da árvore de Alkin.

Na imagem podemos perceber as estruturas que compõem o mo-delo de avaliação em questão que tem por objetivo maior garantir contro-le social de programas e serviços e tem uma forte ligação com as pesqui-sas da área social.

Furtado (2013) aponta algumas limitações nesse modelo, já que na prática há diversos atores em cada um desses galhos e raízes com poten-cialidades e limitações específi cas.

28

Triangulação de métodos

A triangulação de métodos é uma pesquisa avaliativa, muito usa-da para avaliar programas com vertente social, expressa uma dinâmica de investigação e de trabalho que integra análise de estruturas, processos e resultados, compreensão do programa em pauta, de relações envolvidas na implementação de ações e visão que os atores constroem sobre o ob-jeto em investigação (MINAYO; ASSIS; SOUZA, 2005).

Apresenta sete etapas:

SABER MAIS!

Leia: Avaliação por triangulação de métodos: abordagem de programas sociais. MINAYO, M.C.S.; ASSIS, S.G.; SOUZA, E.R. (Org.). Rio de Janeiro: Fio-cruz, 2005. 244 p.

29

Avaliação participativa - método Paideia

Proposto por Campos (2000), o método Paideia ou da Roda aju-da na articulação de bens e serviços com a produção de instituições, or-ganizações e dos sujeitos envolvidos com o processo, e em nosso caso específico o processo em questão é o fazer da saúde em todas as suas dimensões.

Sabemos que na 4ª geração dos métodos de avaliação ela torna in-clusiva e participativa, um processo de negociação entre os atores envol-vidos na intervenção em que o pesquisador-avaliador também se coloca como parte e não apenas juiz. E é disso que esse método trata.

Para superar limitações impostas por métodos baseados em ques-tionários estruturados, possibilitando a coleta de dados adicionais, o ava-liador deve manter grande adaptabilidade, flexibilidade e uma posição também compreensiva, além de capacidade para explorar respostas atí-picas ou idiossincráticas. Consequentemente, os métodos empregados para a realização de uma avaliação inclusiva poderão sofrer interferências para adaptarem-se ao contexto, o que definirá o próprio percurso da pes-quisa (FURTADO, 2001) .

O método preconiza a interação com a figura do apoiador institu-cional, que discutirá temas, métodos de análise e dados externos ao gru-po, chamadas de “ofertas”. Esse deverá permitir a reconstrução da práxis e da subjetividade dos sujeitos, devendo ser consideradas criticamente pelo coletivo (FURTADO, 2001)

Tais ofertas visam também e no mesmo sentido à revisão e à superação de eventuais posturas cristalizadas, provenientes de pontos cegos, reiterações ou da paralisação diante de temas con-siderados tabus, devendo ser incorporadas de modo crítico pelos integrantes do programa ou coletivo organizado para a produção (FURTADO, 2001).

30

2.7 Interfaces do monitoramento e avaliação

A avaliação como componente da gestão em saúde tem hoje um reconhecimento que se traduz na existência de múltiplas iniciativas vol-tadas para sua implementação nas diversas dimensões do Sistema Único de Saúde (SUS). Seu propósito fundamental é dar suporte aos processos decisórios no âmbito do SUS, possibilitando a identifi cação e compreen-são de problemas, a reorientação de ações e serviços desenvolvidos, além de avaliar a incorporação de novas práticas sanitárias na rotina dos profi s-sionais e mensurar o impacto das ações implementadas pelos serviços e programas sobre o estado de saúde da população. A institucionalização da avaliação constitui-se em um dos desafi os mais importantes para os sistemas de saúde na atualidade (BRASIL, 2005).

O acesso aos resultados do processo de monitoramento e ava-liação constitui poderoso instrumento de democratização da informação sobre objetivos, metas e resultados alcançados pelas instâncias de ges-tão e pelos espaços de controle social, favorecendo o empoderamento e a mobilização social (CARVALHO et al., 2012). Isso representa a impor-tância de manter atualizado e com informações fi dedignas os sistemas de informação em saúde.

O Decreto nº 7508/2011 e o Relatório Anual de Gestão reforçam ainda mais a caminhada rumo à institucionalização dos processos avaliativos no SUS. O primeiro no âmbito legal e o segundo em uma esfera mais prática.

O RAG estabelece uma correlação entre as metas, resultados ob-tidos e recursos utilizados, para sistematização e divulgação, fornecendo subsídios para a tomada de decisão e contribuindo para a visibilidade da gestão. Ele é o instrumento básico para o acompanhamento e avaliação dos sistemas de saúde, o RAG deve permitir igualmente a verifi cação da

31

aplicação dos recursos financeiros destinados ao SUS, subsidiando as ati-vidades dos órgãos de controle interno e externo (BRASIL, 2009).

Fica estabelecido que o Contrato Organizativo de Ação Pública da Saúde definirá as responsabilidades individuais e solidárias dos entes federativos com relação às ações e serviços de saúde, os indicadores e as metas de saúde, os critérios de avaliação de desempenho, os recursos financeiros que serão disponibilizados, a forma de controle e fiscalização da sua execução e demais elementos necessários à implementação inte-grada das ações e serviços de saúde (BRASIL, 2011).

O desempenho aferido a partir dos indicadores nacionais de ga-rantia de acesso servirá como parâmetro para avaliação do desempenho da prestação das ações e dos serviços definidos no Contrato Organizativo de Ação Pública de Saúde em todas as regiões de saúde, considerando-se as especificidades municipais, regionais e estaduais. Devendo também estabelecer estratégias que incorporem a avaliação do usuário das ações e dos serviços, como ferramenta de sua melhoria (BRASIL, 2011).

REFLITA COMIGO!

A avaliação enquanto processo institucionaliza-do nos processos de gestão em saúde ainda se restrin-ge, em muitas localidades, à construção dos RAG. Mas limitar esses processos avaliativos somente ao mo-mento ex-post não permitirá avaliar fatos importantes (como a viabilidade) até mesmo em planejamentos re-lativamente simples. Portanto, em seu município, como anda a institucionalização da avaliação? Há discussões sobre esse assunto? Já houve alguma deliberação?

32

Como componente indispensável do processo de planejamento, a avaliação, entre nós, é muito lembrada, pouco praticada e, quando realiza-da, não é muito divulgarealiza-da, sendo dificilmente utilizada para a tomada de decisões (SILVA; FORMIGLI, 1994).

Hoje temos disponível uma grande quantidade de informações re-gistradas nos sistemas de informação em saúde, por exemplo, que não são utilizadas para a análise da situação de saúde nem para a definição de prioridades, tampouco para a reorientação de práticas.

No entanto, com frequência nos deparamos com alguns documen-tos avaliativos sobre a efetividade de determinada ação. Vimos anterior-mente, que efetividade e eficiência são critérios de avaliação em saúde e estão relacionados a um setor de extrema importância, o financeiro.

Vamos iniciar definindo mais claramente esses conceitos:

Eficiência

Descrição: é a relação entre bens e serviços gerados por uma atividade e os custos dos insumos empregados, em um determinado preço de tempo.

Prática: fazer mais, gastando menos.

Eficácia

Descrição: é o grau de alcance das metas programadas em um determinado período de tempo, independentemente dos custos. Prática: fazer mais e melhor, gastando menos.

Efetividade

Descrição: é a relação entre os impactos reais observados na população e os impactos que seriam esperados decorrentes da ação institucional. Prática: fazer mais e melhor o que deve ser feito, gastando menos (MARTINO JÚNIOR, 2015).

3 EFICÁCIA, EFICIÊNCIA E EFETIVIDADE NO PLANEJAMENTO

EM SAÚDE

33

Vamos retornar à refl exão de nossa secretária de Saúde, Dra. Su-sana, que em acordo com o secretário adjunto de Saúde, José da Luz, to-mou a seguinte decisão:

Susana: minha equipe de trabalho precisa de formação específi ca para conseguir desenvolver melhor as questões de avaliação dos projetos e pro-gramas que estão sendo implantados no município. José da Luz: com certeza, Susana, esses

in-vestimentos em formação da equipe sempre são muito bem-vindos, mas que tal pensarmos na fi gu-ra de um apoiador institucional? Acredito que esse planejamento deva ser realizado de forma coparti-cipativa com os membros da equipe. Eles precisam reconhecer a necessidade de formação no campo da avaliação!

Veja que a decisão desses gestores tem um embasamento na ava-liação participativa. E isso, enquanto decisão institucional, deverá nortear as ações de planejamento das equipes e das ações desse município. Mas será que isso seria uma estratégia efetiva?

Bem, essa estratégia só será efetiva se for realmente necessária (os membros da equipe precisam reconhecer a importância), se for bem feita, se o processo de trabalho em questão realmente for modifi cado e se os custos fi nanceiros dispensados para essa ação não forem exacer-bados.

O ideal em todo processo de planejar uma avaliação é que se es-tabeleça indicadores. Eles podem ser de efi cácia, de efi ciência e de efe-tividade.

34

Um indicador é um instrumento de mensuração para o gerencia-mento, avaliação e planejamento das ações em saúde, possibilitando mu-danças efetivas nos processos e nos resultados, por meio do estabeleci-mento de metas e ações prioritárias que garantam a melhoria contínua e gradativa de uma situação ou agravo (BRASIL, 2015). Em sua prática, es-ses indicadores aparecem na programação anual de saúde. Mas eles de-vem ser pensados e incluídos também para avaliação dos processos e não somente para o fim das propostas planejadas.

Os conceitos de eficácia, eficiência e efetividade devem ser consi-derados para orientar a escolha dos indicadores. Em nosso exemplo es-pecífico, poderíamos dizer que um indicador de eficiência seria o número de membros capacitados da equipe, de efetividade número de relatórios avaliativos nas dimensões ex-ante, in intinere e ex-post apresentados à gestão e de efetividade redução de custos na contratação de membros externos para avaliação das ações de saúde, impacto na qualidade dos planos e programações de saúde local ou invenções mais rápidas aos pro-blemas de saúde locais.

Vamos resumir abaixo alguns dos principais componentes a serem considerados para construção de um indicador:

=

+

Finalizamos esta unidade com um questionamento. Após a apre-sentação de tantos conceitos e métodos de avaliação, qual o melhor mé-todo a ser utilizado?

Claramente que o melhor método é aquele que melhor se adequa à sua realidade. O que é importante é instituir a avaliação como um proces-so de crescimento e melhoria do trabalho (gestão ou assistencial) e não como um mero julgamento classificatório de melhor ou pior. Consideran-do também que o fazer da saúde é destinaConsideran-do ao usuário e não aos interes-ses pessoais de quem a gerencia.

BRASIL. Ministério da Saúde. FIOCRUZ. Indicadores em saúde. 2015.

Disponível em: http://www.anvisa.gov.br/servicosaude/avalia/curso_pro-ducao_aula2.pdf. Acesso em: 2 set. 2015.

_____._____. Secretaria de Atenção à Saúde. Planos Estaduais para o Fortalecimento das Ações de Monitoramento e Avaliação da Atenção Básica: diretrizes e orientações. 2004.

_____. _____. _____. Avaliação na Atenção Básica em Saúde: caminhos

da institucionalização. Brasília, DF: Ministério da Saúde, 2005. 36 p. Dis-ponível em: http://189.28.128.100/dab/docs/publicacoes/geral/avalia-cao_ab_portugues.pdf. Acesso em: 20 ago. 2015.

_____. _____. Secretaria-Executiva. Sistema de Planejamento do SUS:

uma construção coletiva: orientações gerais para elaboração de instru-mentos de planejamento: Programação Anual de Saúde e Relatório Anual de Gestão: estrutura e conteúdo. Brasília, DF: Ministério da Saúde, 2009. 32 p. (Série B. Textos Básicos de Saúde) (Série Cadernos de Planejamen-to; v. 6). Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/sis-tema_planejamento_sus_v6.pdf. Acesso em: 1 set. 2015.

_____. Presidência da República. Decreto nº 7.508, de 28 de junho de 2011. Regulamenta a Lei nº 8.080, de 19 de setembro de 1990, para dispor sobre a organização do Sistema Único de Saúde - SUS, o planeja-mento da saúde, a assistência à saúde e a articulação interfederativa, e dá outras providências. Diário Oficial [da] República Federativa do Bra-sil, 29 jun. 2011. Disponível em: http://www.planalto.gov.br/ccivil_03/_

ato2011-2014/2011/decreto/D7508.htm. Acesso em: 1 set. 2015.

37

constituição do sujeito, a produção de valor de uso e a democracia em instituições: o método da roda. São Paulo: Hucitec, 2000.

CARVALHO, A.L.B. et al. A gestão do SUS e as práticas de monitora-mento e avaliação: possibilidades e desafios para a construção de uma agenda estratégica. Ciênc. saúde coletiva, Rio de Janeiro, v. 17, n.

4, apr. 2012. Disponível em: http://www.scielo.br/scielo.php?script=s-ci_arttext&pid=S1413-81232012000400012&lng=en&nrm=iso. Acesso em: 22 fev. 2015.

CENTERS FOR DISEASE CONTROL AND PREVENTION. Framework for program evaluation in public health. MMWR, v. 48, n. RR-11,1999.

CONTANDRIOPOULOS, A. Avaliando a institucionalização da avalia-ção. Ciênc. saúde coletiva,  Rio de Janeiro,  v. 11, n. 3, sept.  2006 .

Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pi-d=S1413-81232006000300017&lng=en&nrm=iso. Acesso em: 20 fev.  2015.

DONABEDIAN, A. The seven pillars of quality. Archives of Pathology and Laboratory Medicine, Northfield, v. 114, p. 115-1118, nov. 1990.

FELISBERTO, E. Da Teoria à formulação de uma política na-cional de avaliação em saúde: reabrindo o debate.  Ciênc. saú-de coletiva, Rio Ciênc. saú-de Janeiro, v. 11, n. 3, set. 2006. Disponível

em:

http://www.scielo.br/scielo.php?script=sci_arttext&pi-d=S1413-81232006000300002&lng=en&nrm=iso. Acesso em: 20 ago. 2015.

FURTADO, J. P. Avaliação de programas e serviços. In: CAMPOS, G. W. et al. Tratado de saúde coletiva. 2. ed. São Paulo: Hucitec, 2012.

38

_____. Um método construtivista para uma avaliação em saú-de Ciênc. saúde coletiva, Rio de Janeiro, v. 6, n. 1,

2001. Dispo-nível em: http://www.scielo.br/scielo.php?script=sci_arttext&pi-d=S1413-81232001000100014&lng=en&nrm=iso. Acesso em: 22 fev. 2015.

HARTZ, Z.M.A. Avaliação em saúde. Manguinhos, RJ: EPSJV, FIOCRUZ,

2009. Disponível em: http://www.epsjv.fiocruz.br/dicionario/verbetes/ avasau.html. Acesso em: 1 set. 2015.

MARTINO JÚNIOR, Randolpho. Política pública de saúde e o princípio da máxima efetividade da norma constitucional. JusBrasil, 2015.

Disponí-vel em: http://martino-e-gomes-adv.jusbrasil.com.br/noticias/2425386/ politica-publica-de-saude-e-o-principio-da-maxima-efetividade-da-norma-constitucional. Acesso em: 1 set. 2015.

MINAYO, M.C.S.; ASSIS, S.G.; SOUZA, E.R. (Org.). Avaliação por trian-gulação de métodos: abordagem de programas sociais. Rio de Janeiro:

Fiocruz, 2005. 244p. 

NOVAES, H.M.D. Avaliação de programas, serviços e tecnologias em saú-de. Rev Saúde Pública, v. 34, n. 5, p. 547-59, 2000. Disponível em: http://

www.scielo.br/pdf/rsp/v34n5/3227.pdf. Acesso em: 1 set. 2015.

PORTAL DA SAÚDE. A Coordenação Geral de Acompanhamento e Ava-liação. Brasília, DF: DAB, 2012. Disponível em: http://dab.saude.gov.br/

portaldab/cgaa.php. Acesso em: 1 set. 2015.

RÁDIO E TV RECORD. Avaliar. 2015. Disponível em: <

http://www.dicio-narioinformal.com.br/avaliar/>. Acesso em: 1 set. 2015.

_____. Monitoramento. 2015. Disponível em:

39

SANTOS-FILHO, Serafim Barbosa. Monitoramento e avaliação na Po-lítica Nacional de Humanização na Atenção Básica e Hospitalar. 2015.

Disponível em: < http://bvsms.saude.gov.br/bvs/publicacoes/manual_ avaliacao_5.pdf>. Acesso em: 1 set. 2015.

SERAPIONI, M.; LOPES, C. M. N.; SILVA, M. G. C. da. Avaliação em saúde. In: ROUQUAYRIOL, M. Z.; SILVA, M. G. C da. Epidemiologia e saúde. 7. ed.

Rio de Janeiro: Medbook, 2013.

SILVA, L.M V.; FORMIGLI, V.L.A. Avaliação em saúde: limites e pers-pectivas. Cad. Saúde Pública, Rio de Janeiro, v.10, n.1,

mar.1994. Dis-ponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pi-d=S0102-311X1994000100009&lng=en&nrm=iso. Acesso em: 22 fev. 2015.