É possível encontrar na literatura inúmeras definições, tipos, classificações, métodos, atributos e termos sobre avaliação, bem como objetos de interesse avaliativo que refletem, de alguma forma, sua evolução conceitual, natureza social e histórica das ações e práticas sociais, fatores técnicos e organizacionais e escolhas e discordâncias de pesquisadores (125–130). Esta multiplicidade de aspectos denota, também, as diversas concepções advindas de diferentes áreas
60 do conhecimento, tendo a Economia como pioneira no desenvolvimento de métodos para avaliação das vantagens e custos de programas governamentais (127).
Esta parte da fundamentação teórica tem três objetivos que não devem ser encarados como definitivos. O primeiro, a título exemplificativo, é demonstrar que o resultado desta diversidade ampla e complexa no tema da “avaliação” é um problema a ser enfrentado por aqueles que buscam a realização de estudos com o rótulo de “avaliação”(128), bem como, ao que parece, vai ao encontro da seguinte afirmação: “cada avaliador constrói a sua (avaliação)”
(127). O segundo é introduzir o tema da avaliação de sistemas de vigilância de saúde pública como uma das abordagens específicas de avaliação em saúde muito utilizada por programas desenvolvidos pelo Ministério da Saúde do Brasil (55). O referencial teórico utilizado no terceiro objetivo é a concepção da avaliação da qualidade de dados que são registrados em sistemas de informações em saúde.
A definição proposta por Constandriopoulos (1997, p.31) menciona que avaliar consiste fundamentalmente em:
...fazer um julgamento de valor a respeito de uma intervenção ou sobre qualquer um de seus componentes, com o objetivo de ajudar na tomada de decisões. Este julgamento pode ser resultado da aplicação de critérios e de normas (avaliação normativa) ou se elaborar a partir de um procedimento científico (pesquisa avaliativa).
Areazza e Moraes (2010, p.2.629) ao se referirem à avaliação como um componente fundamental das práticas de saúde pública, a define, segundo as ideias de Patton sobre avaliação baseada no uso dos resultados, como:
...uma forma de valoração sistemática que se baseia no emprego de alternativas metodológicas que servem para identificar, obter e proporcionar a informação pertinente e julgar o mérito e o valor de algo de modo justificável, abordando as atividades, características e resultados das ações em saúde com o objetivo de subsidiar a tomada de decisão sobre programações pertinentes.
Qualquer que seja a diversidade de entendimento sobre avaliação, há convergência em ambas as definições referidas acima, em pelo menos dois importantes aspectos: i) julgamento de algo, ou seja, avaliar é emitir um juízo de valor sobre uma dada intervenção. Para Furtado
61 (2001, p.168) (129), isso significa que “mesmo que se lance mão de métodos quantitativos – pretensamente mais objetivos – os resultados da mensuração efetuada serão sempre julgados a partir de méritos e valores impossíveis de serem objetivados”; e ii) apoio à tomada de decisões – segundo Matida e Camacho (2004, p.43) (131), “a aplicabilidade do ato de avaliar integra o seu conceito. Supõe-se uma interlocução entre quem avalia e quem decide pela mudança ou continuidade da intervenção”.
Uma das classificações mais utilizadas na avaliação em saúde foi desenvolvida por Donabedian que retrata a tríade estrutura-processo-resultado aplicada à qualidade da assistência médica (128). Para o conceito de “qualidade”, o autor propõe vários atributos relacionados aos efeitos do cuidado clínico (eficácia, efetividade, impacto); aos custos (eficiência); à disponibilidade e repartição dos recursos (acessibilidade, equidade) e à percepção dos usuários sobre a assistência prestada (aceitabilidade) (131). Segundo ainda Donabedian, é possível que hajam mais dificuldades decorrentes da aplicação dessa classificação quando utilizada em outros tipos de avaliação que não no âmbito do cuidado clínico, para a qual foi desenhada (128).
Igualmente importante é uma outra classificação de avaliação que transpõe o âmbito clínico, denominada de avaliação de programas, a qual é conduzida por um conjunto de diretrizes (132) e está baseada na tríade mensuração-descrição-julgamento (129). O termo
“programa” é definido como qualquer conjunto de atividades organizado e apoiado por uma série de recursos, visando alcançar um resultado específico. Assim, qualquer ação e prática de saúde pública organizada pode ser vista como candidata para a avaliação de programa. Diante dessas considerações, a avaliação de programas pode ser conceituada como a coleta sistemática de informações sobre as atividades, características e resultados do programa, com vistas a fazer julgamentos sobre o mesmo, melhorar sua efetividade e/ ou orientar as decisões sobre o desenvolvimento de programas no futuro (132).
62 Há pelo menos dois principais desafios que têm suscitado debates na avaliação em saúde, em especial na avaliação de programas. O primeiro deles é que as ações e práticas de saúde não ocorrem no vácuo; ao contrário, elas são influenciadas por restrições do mundo real, como limites de recursos, tempo e contexto político, social e histórico, os quais não podem e nem devem ser descuidados na avaliação (125,132). O outro desafio é a dimensão subjetiva da avaliação que envolve um julgamento sobre certa intervenção, cujo juízo de valor está orientado por uma visão de mundo do sujeito da pesquisa (125) e, talvez, das escolhas do pesquisador.
Diferentes necessidades de avaliação requerem diversos desenhos de estudo, tipos de dados e estratégias de coleta de dados (126,127). Os dados podem ser coletados por métodos qualitativos, cujas fontes de dados podem ser revisões de documentos e entrevistas abertas – e métodos quantitativos que incluem também as análises estatísticas (126). É recomendável uma combinação (e por vezes triangulação) de métodos, múltiplas fontes de dados / entrevistados e dados coletados em vários pontos no tempo de forma a aumentar o rigor da avaliação e utilidade dos resultados. Dados provenientes de amostras (subgrupos) de participantes e de estimativas instantâneas, também, podem ser uma abordagem útil para uma pesquisa avaliativa (126).
Ademais, uma boa avaliação de programa pode (ou não) ser baseada em um modelo de pesquisa acadêmica (132).
Como referido anteriormente, quaisquer ações e práticas de saúde organizadas podem ser objeto de interesse avaliativo nas suas diversas dimensões, como em nível individual – qualidade do cuidado e relação profissional/paciente – e em níveis mais complexos de intervenção e de organização, a exemplo de políticas, programas, serviços, sistemas (128) ou tecnologias médicas. Esta última dimensão tem sido objeto de interesse na avaliação do tipo
“somativa”, que privilegia a análise dos efeitos das tecnologias médicas, por intermédio de métodos quantitativos, apoiados em um paradigma positivista, hipotético-dedutivo e voltado para a determinação de inferências causais (129).
63 McDavid e Hawthorn (2006, p.21) (133) mencionam que Michal Scriven (1967) introduziu a distinção entre as avaliações formativas e somativas, sendo que a primeira está associada, principalmente, com as análises da implementação do programa, com vistas a proporcionar aos atores interessados uma assessoria destinada à melhoria do mesmo. Esta distinção, com suas diferentes adaptações, tornou-se parte do vocabulário de qualquer avaliador (133).
Em relação à avaliação, cujo objeto de interesse avaliativo são sistemas, em especial, sistemas de vigilância, de acordo com Choi (2012, p. 11) (49), qualquer sistema de vigilância de saúde pública deve ser capaz de avaliar as ações (e práticas) de saúde pública, incluindo o sistema de vigilância em si, que é uma ação de saúde pública. Essa avaliação deve ocorrer periodicamente, com o propósito de garantir que o mesmo está cumprindo uma função de saúde pública útil e, também os seus objetivos (49), assim como, as deficiências detectadas possam ser objeto de correções. Algumas abordagens têm sido propostas e utilizadas para avaliação da qualidade dos dados e do desempenho, como um todo, dos sistemas de vigilância de saúde pública.
O desempenho do sistema de vigilância é avaliado, frequentemente, por uma composição de atributos, como flexibilidade, sensibilidade, aceitabilidade, oportunidade, qualidade dos dados, entre outros. Cada atributo é capaz de sintetizar e/ ou refletir e/ ou representar e/ ou dar maior significado a uma qualidade específica do sistema de vigilância, podendo ser mensurado por diferentes métodos (134). Nesta direção, uma das abordagens pioneira, bem-sucedida e desenhada exclusivamente para a avaliação de sistemas de vigilância de saúde pública foi proposta pelo CDC dos Estados Unidos. Nesta abordagem, o atributo qualidade dos dados significa a validade e completude dos dados (135).
A abordagem do CDC proposta para avaliação de sistemas de vigilância baseia-se na avaliação de dez atributos, visando assegurar que problemas de importância de saúde pública
64 sejam “vigiados” de maneira satisfatória (135). Esta abordagem tem sido muito utilizada para avaliação de sistemas de vigilância de doenças transmissíveis (136), muito embora, possa ser útil em avaliar outros agravos de relevância em saúde pública (135), a exemplo dos sistemas de farmacovigilância que se responsabilizam pelos EAMs. Salienta-se que dada a complexidade dos sistemas de vigilância de saúde pública é muito difícil a escolha de apenas um atributo para aprofundar o conhecimento sobre o seu desempenho (134).
O Quadro 2 traz a lista completa dos atributos incluídos na abordagem proposta pelo CDC, considerados de prioridade mais alta, assim como, a compilação de outros utilizados na avaliação de sistemas de vigilância de saúde pública (135–139). A depender de fatores epidemiológicos, socioeconômicos e de características do sistema avaliado, os sistemas de vigilância podem ser complexos, necessitando de vários atributos, métodos e ferramentas para avaliar seu desempenho (137).
Em uma revisão sistemática sobre avaliação de sistemas de vigilância de saúde pública que envolveu 92 artigos com dados primários, de um total de 99, apenas cinco não incluiu nenhum dos atributos de prioridade mais alta sugerido pela abordagem do CDC. Os autores concluem mencionando que ainda não há nenhuma abordagem padrão universalmente aceita para avaliar sistemas de vigilância, muito embora, aquela proposta pelo CDC tem sido a mais citada e adaptada para situações específicas na saúde pública – um processo que, muitas vezes, está longe de ser simples (136).
A abordagem da avaliação de sistemas de vigilância desenvolvida pelo CDC contempla, de alguma forma, diversos aspectos referidos anteriormente sobre o tema “avaliação”, assim como está baseada em uma diretriz composta por um conjunto de atributos, emprega a combinação ou não de métodos de coleta de dados, influenciada por restrições do mundo real, orienta a tomada de decisões e pode-se diz que utiliza a tríade mensuração-descrição-julgamento (129). Em relação a este último aspecto, a análise do conjunto de evidências
65 coletadas engloba, também, um julgamento técnico baseado no êxito de alcançar os objetivos do sistema de vigilância, bem como de seus atributos.
Quadro 2 – Atributos utilizados na avaliação do desempenho de sistemas de vigilância de saúde pública
Atributos
Autor (ano) Thacker et
al. (1988)
CDC (2001)
Drewe et al. (2012)
ECDC (2014)
Calba et al.
(2015)
Sensibilidade x x x x x
Oportunidade x x x x x
Qualidade dos dados x x x x
Custo x x x x
Representatividade x x x x x
Aceitabilidade/ Participação x x x x x
Flexibilidade x x x x x
Simplicidade x x x x x
Utilidade x x x x x
Valor preditivo positivo x x x x
Especificidade x x x x
Estabilidade x x x x
Portabilidade x x
Eficiência x x
Valor preditivo negativo x x
Coerência x
Consistência no tempo x
Eficácia/Efetividade x x
Factibilidade x
Interoperabilidade x
Razão de verossimilhança de
um teste positivo x
Relevância x
Segurança x
Completude x
Confiabilidade x
Comunicação x
Impacto x
Gerenciamento de dados x
Gerenciamento de laboratórios
x CDC - Centers for Disease Control and Prevention
ECDC - European Centre for Disease Prevention and Control Fonte: elaborado pelo autor
66 Algumas abordagens de avaliação em saúde têm focado, exclusivamente, na avaliação da qualidade de dados que, muitos deles, são produzidos por sistemas de vigilância de saúde pública e, em seguida, coletados e armazenados em sistemas de informação informatizados ou registrados em papel. Os dados de saúde pública de alta qualidade são pré-requisitos para melhor informação, melhor tomada de decisão e melhor saúde da população (130). Eles têm diversas funções na saúde pública. A título exemplificativo, os dados são utilizados para monitorar e avaliar a implementação, custo e resultados/ impacto dos sistemas de vigilância (130).
O Quadro 3 reúne exemplos de atributos utilizados para avaliação da qualidade dos dados que podem refletir diferenças em relação à cadeia da informação (ou dimensões da qualidade dos dados) – processo de coleta dos dados, dados, uso dos dados (130,140,141).
Chama atenção que, a um mesmo atributo, às vezes, são conferidos diferentes significados por distintos pesquisadores (130).
67 Quadro 3 – Exemplos de atributos utilizados para avaliação da qualidade dos dados
Autor
(ano) Atributos Dimensão da
qualidade dos dados
Lima et al.
(2009)
Acessibilidade, clareza metodológica, cobertura, completude, confiabilidade, consistência, não-duplicidade, oportunidade e validade.
Processo de coleta dos dados e dados
Chen et al.
(2014)
Completude, acurácia, oportunidade, validade, periodicidade, relevância, confiabilidade, confidencialidade ou segurança dos dados, consistência, facilidade de entendimento, integridade, comparabilidade, usabilidade, acessibilidade, transparência, representatividade, repetitividade, desagregado, objetividade, importância, reflete amostra real, gerenciamento de dados, uso de vocabulário padrão e legibilidade.
Processo de coleta dos dados, dados e uso dos
dados
Fonte: elaborado pelo autor
Esforços também devem ser direcionados para minimizar a diversidade terminológica que, também, é observada tanto na avaliação do desempenho de sistemas de vigilância de saúde pública como na qualidade de dados (130,136,137). Tal situação dificulta a comparabilidade dos estudos, assim como, cria confusões e incertezas nos métodos utilizados em cada tipo de avaliação (130).
Por fim, Tanaka e Melo (2001, p.34) reforçam que:
“Toda avaliação, com a sua consequente análise e julgamento de valor, revela, inclusive mediante os dados quantitativos, uma subjetividade que o avaliador assume como uma verdade. Assim, a conclusão do avaliador não deve tentar esconder o componente subjetivo inerente a esse processo”.