Seleção dos atributos e critérios da avaliação

Para a avaliação da implementação do Sistema de VQACH, foi elaborada uma matriz de julgamento, construída mediante a seleção de atributos e critérios e a definição dos parâmetros, permitindo estabelecer uma apreciação de valor para a intervenção em questão. No presente estudo de casos, procuramos garantir a validade interna mediante (i) a aproximação do modelo lógico com a realidade do Sistema de VQACH e (ii) a adequação entre o modelo teórico e o método de análise escolhido, o que foi observado na seleção dos atributos e critérios utilizados na avaliação.

Assim, a seleção dos possíveis atributos e critérios para a avaliação do Sistema de VQACH e para a análise dos determinantes do contexto foi realizada pela pesquisadora baseada no modelo lógico elaborado e seguindo a estrutura do Sistema de VQACH Colombiano, além da consulta a bibliografias de referência sobre programas de vigilância da qualidade da água como as publicações da OMS (ROJAS, 2002; BRASIL, 2006; WHO, 2011) e o programa brasileiro sobre VQACH (VIGIAGUA), publicado pela Coordenação Geral de Vigilância em Saúde Ambiental (CGVAM) do Ministério da Saúde do Brasil (BRASIL; 2005). Além disso, foram considerados os postulados de Donabedian (1991b) para a seleção dos atributos, que afirma que os atributos selecionados devem ser relevantes, válidos, estritos e eficientes para rastrear o problema; além da necessidade de existirem informações disponíveis com qualidade de registro e adaptabilidade para a avaliação.

65

Inicialmente, foi construída uma matriz geral com o objetivo de avaliar todo o Sistema de VQACH, sendo a mesma composta por 17 atributos e 115 critérios. Os atributos inicialmente definidos foram: universalidade (34_{), descentralização} (15), intersetorialidade (6), normatização (6), coordenação (7), técnico cientifico (3), rede laboratorial (8), cobertura (4), aceitabilidade (8), recursos humanos (11), recursos materiais e infraestrutura (4), monitoramento da qualidade da água (6), sistemas de informação (7), análises e investigação (9), atuação junto aos responsáveis pelas fontes de distribuição da água (7), educação e participação comunitárias (4), disponibilização de informações (7).

Para validar os atributos mencionados e seus respectivos critérios de avaliação foi realizada a técnica de consenso Delphi descrita por Donabedian (1991), que permite obter um consenso entre especialistas sobre a pertinência do uso dos atributos e critérios propostos para a avaliação. A metodologia Delphi contou com um grupo de especialistas formado por professores e pesquisadores que tinham como tema ou objeto de investigação água para consumo humano e suas interfaces, além de profissionais do serviço que trabalhavam na área de vigilância da qualidade da água no Brasil e na Colômbia. Como critério de seleção dos participantes, considerou-se a trajetória acadêmica e profissional na área e a vinculação com a gestão da vigilância da qualidade da água. Os especialistas foram indicados pela Coordenação Geral de Vigilância em Saúde Ambiental e pelos coordenadores da pesquisa. A lista de especialistas acabou conformada por 42 profissionais, incluindo universidades (Universidade Federal de Minas Gerais - UFMG, Universidade Federal da Bahia - UFBA, Universidade de Brasília – UNB ou Universidad del Valle na Colômbia), instituições e órgãos governamentais brasileiros (CGVAM/SVS/MS, Secretarias Estaduais de Saúde e Escola de Saúde Pública do Estado de Minas Gerais – ESP/MG) e a Organização Pan-Americana da Saúde, representação no Brasil.

Para cada participante selecionado, foi enviado um correio eletrônico, com uma carta de apresentação, solicitando a participação voluntária no estudo e explicando os objetivos do trabalho e as instruções sobre a metodologia. Anexado ao correio eletrônico, foi enviado o aplicativo para desenvolvimento da

66

metodologia Delphi. O aplicativo enviado continha os atributos e os critérios de avaliação do Sistema, tendo sido solicitado ao especialista avaliar a importância de cada critério e atributo na avaliação do grau de desempenho do Sistema de VQACH, outorgando aos mesmos uma nota de zero a dez, sendo que dez significava que o critério era da mais alta importância e zero significava que o critério deveria ser excluído. Além disso, os especialistas poderiam opinar e/ou fazer sugestões sobre a exclusão ou inclusão de atributos e/ou critérios na matriz de julgamento.

O contato se realizou em três ocasiões (19/outubro/2011;

16/dezembro/2011; 23/fevereiro/2012) procurando aumentar a participação dos especialistas. No total, foram recebidos oito (19,0%) aplicativos preenchidos completamente. Um questionário foi excluído por que as respostas não estavam de acordo com a avaliação solicitada, aparentemente, o especialista avaliou a matriz levando em consideração o programa de VQACH do Brasil, e não o Sistema de VQACH da Colômbia. Assim, a metodologia Delphi foi realizada com sete (16,7%) aplicativos preenchidos por especialistas vinculados às seguintes

instituições: UFMG, UFBA, ESP/MG,CGVAM/SVS/MS e Secretarias Estaduais

de Saúde de Pernambuco, Minas Gerais e Mato Grosso do Sul. As respostas dos especialistas foram sistematizadas e tratadas estatisticamente seguindo os parâmetros de consenso preconizados em Souza et al., (2005).

Nesse sentido, para a sistematização dos resultados, foi calculada a média e o desvio padrão das pontuações conferidas pelos especialistas, quanto mais alta a média maior o grau de importância do atributo/critério para a pesquisa avaliativa, sendo selecionados todos os atributos e critérios que mostraram valores médios acima de sete, os valores menores foram excluídos (SOUZA et al., 2005). O desvio padrão foi considerado como o grau de consenso entre os especialistas, consideramos como consenso alcançado, valores de desvio padrão menor que três; assim, critérios com desvio padrão maior que três foram excluídos (SOUZA et al., 2005).

Dentre os 115 critérios avaliados, apenas um resultou média menor que sete, sendo excluído. Dos restantes, doze critérios tiveram desvios padrões maiores que três, sendo recomendada sua exclusão. Contudo, dois deles não

67

foram excluídos por terem sido considerados importantes para avaliação do Sistema de VQACH nos atributos ‘descentralização’ e ‘educação e participação comunitárias’.

Adicionalmente, os especialistas também fizeram recomendações como: alteração da vinculação de critérios (2) a seus atributos originais; reformulação de critérios (2); exclusão de critérios (8) e inclusão de critérios (2) à matriz avaliativa. Com relação à primeira recomendação, dois critérios foram transferidos de seus atributos originais (de ‘Recursos materiais e de infraestrutura’ para ‘descentralização’); as recomendações de reformulação e exclusão de critérios também foram acatadas. A sugestão de inclusão de critérios na matriz avaliativa foi acatada uma vez que os critérios não foram pontuados. Assim, ao final da avaliação, 97 critérios (84,3%) obtiveram consenso entre os especialistas.

Inicialmente, a pesquisa previa uma avaliação geral do desempenho do Sistema de VQACH. Contudo, devido à falta de efetivação das ações nas localidades territoriais, optou-se por um estudo de avaliação da implementação do Sistema de VQACH nos territórios, estando mais de acordo com a realidade observada e as dificuldades existentes. Nesse sentido, o foco da análise deveria ser as unidades territoriais (estados e municípios) e, consequentemente, as ações de VQACH de suas atribuições. Para tanto, foram utilizados os atributos e critérios que obtiveram consenso através da metodologia Delphi e que permitissem avaliar a implementação das ações de VQACH nos territórios (estados e municípios). Assim, foram excluídos os critérios que se referiam à avaliação dos órgãos nacionais e suas respectivas atribuições. Foram, então, excluídos os critérios que avaliavam as ações realizadas pelo INS, SPSS, Ministérios de Salud y Protección social, Ministérios de Ambiente Vivienda y Desarrollo Territorial. Igualmente, não foram incluídos na avaliação os atributos ‘técnico científico’, ‘cobertura’ e ‘normatização’, e seus respectivos critérios, por serem inadequados para avaliar a implementação das ações nos territórios.

Ao final, a matriz avaliativa ficou composta por 14 atributos, sendo 11 atributos relativos à avaliação do grau de implementação do Sistema de VQACH e três atributos para a análise dos determinantes do contexto, correspondendo,

68

respectivamente, as segunda e terceira etapas da análise de implementação, conforme apresentado no Modelo Teórico .Os atributos para avaliação do Sistema de VQACH foram conformados por seis atributos do componentes de ‘estrutura’ (universalidade, intersetorialidade, sistemas de informação, rede laboratorial, recursos humanos e recursos materiais e infraestrutura), cinco atributos de ‘processo’ (monitoramento da qualidade da água, atuação junto aos responsáveis pelas fontes de distribuição da água, análises e investigação, educação e participação comunitárias, disponibilização de informações) (Figura 4 e Quadro 12 ).

Figura 4. Atributos para avaliação do Sistema de Vigilância da Qualidade da Água para Consumo Humano da Colômbia.

Estrutura

- Monitoramento da qualidade da água

- Atuação junto aos responsáveis pelas fontes de distribuição da água - Análises e investigação - Educação e participação comunitárias - Disponibilização de informações - Universalidade - Intersetorialidade - Sistemas de informação - Rede laboratorial - Recursos humanos - Recursos materiais e infraestrutura

Atributos para a avaliação do Sistema de VQACH

Atributos do Sistema

Processo

- Descentralização - Aceitabilidade - Coordenação

- Indicadores socioeconômicos administrativos e saúde

Atributos do Contexto

69

Foi considerado como atributos de contexto ‘descentralização’, ‘aceitabilidade’ e ‘coordenação’, seguindo o modelo de desenvolvimento organizacional proposto por Champagne e Denis (1997). No total, foram selecionados 62 critérios, 45 critérios para avaliação do grau de implementação e 17 critérios para os determinantes do contexto (Quadro 13 e 14).

Quadro 12. Resumo dos atributos e número de critérios correspondentes para avaliação do Sistema de Vigilância da Qualidade da água para consumo humano da Colômbia. MATRIZ FINAL NÚMERO DE CRITÉRIOS Iniciais Primeiro momento da seleção(1) Segundo momento da seleção(2) Finais

Excluídos Realocados Excluídos

Es trutu ra Universalidade 3 0 0 1 2 Intersetorialidade 6 1 0 2 3 Rede laboratorial 8 0 0 4 4 Sistemas de informação 7 0 0 1 6 Recursos humanos 11 4 0 1 6 Recursos materiais e infraestrutura 4 1 -1 0 2 Proc e s s o Monitoramento da qualidade da água 6 0 0 2 4 Análises e investigação 9 2 0 0 7

Atuação junto aos responsáveis pelas fontes de distribuição da água 7 1 0 2 4 Educação e participação comunitárias 4 0 0 4 Disponibilização de informações 7 3 0 1 3 Cont e x to Descentralização 15 2 +1 5 7 Coordenação 7 2 0 3 2 Aceitabilidade 8 0 0 0 8 Ex c lu íd o s (3 ) Cobertura 4 - - 4 - Técnico científico 3 - - 3 - Normatização 6 - - 6 - TOTAL 115 18 1 35 62

NOTA: (1) Refere-se à seleção de atributos e critérios realizada com a metodologia Delphi. (2) Refere-se à decisão de se realizar um estudo de avaliação da implementação do Sistema de VQACH nos territórios. (3) Atributos excluídos para avaliação por não serem adequados para avaliar a implementação do Sistema de VQACH nos territórios.

70

Quadro 13. Atributos e critérios escolhidos para a avaliação do Sistema de Vigilância Qualidade da Água para Consumo Humano da

Colômbia e seus valores de consenso. (Continua...)

COMPONENTE ATRIBUTOS CRITÉRIOS VALOR

DELPHI