O EA é compreendido como um conjunto de procedimentos que precedem a etapa de avaliação propriamente dita e apontam para sua utilidade e oportunidade, tornando-a mais consistente e com maior credibilidade (NATAL et. al., 2010). Contempla elementos essenciais, tais como a delimitação do programa por identificação de metas, objetivos e atividades; a revisão de documentos; a modelagem de recursos, atividades pretendidas, efeitos esperados e conexões causais presumidas; a obtenção de um entendimento preliminar de como o programa é implantado; o desenvolvimento de um modelo de programa avaliável; a identificação dos usuários da avaliação e envolvidos; e, o acordo quanto aos procedimentos da avaliação (THURSTON & RAMALIU, 2005 apud PANIZZI, 2015). Dentre os produtos esperados, portanto, está a completa descrição da intervenção em análise e a definição das questões principais para avaliação (THURSTON & RAMALIU, 2005).
Neste estudo, o EA foi desenvolvido através de uma abordagem qualitativa. A figura 2 apresenta o fluxograma de sua operacionalização.
Figura 2: Representação esquemática das etapas de delineamento do estudo de avaliabilidade dos NASF.
4.1.1 Elaboração e validação dos modelos teórico e lógico
Os modelos teórico e lógico foram desenvolvidos com base em normativas e na literatura especializada sobre o tema e, posteriormente, validados através de uma oficina de consenso desenvolvida por meio da técnica do Comitê Tradicional, que envolve a discussão aberta sobre um determinado tema entre especialistas. Tomando como critério o conhecimento e/ou a prática relacionada à Atenção Básica e/ou avaliação em saúde, foram convidados 15 especialistas ou informantes- chave para participar da oficina, contando-se efetivamente com a participação de 12 destes, representados por 04 profissionais de NASF e 02 profissionais de equipes de Saúde da Família de município localizado na Região de Saúde da Grande Florianópolis (todos com titulação em pós-graduação concluída ou em curso na área de Saúde da Família e/ou Saúde Coletiva), 02 profissionais da gestão em saúde do SUS e 04 especialistas em avaliação em saúde da Universidade Federal de Santa Catarina.
Anteriormente à oficina de consenso, os especialistas receberam convite para participar desta etapa da pesquisa por meio eletrônico, sendo solicitada análise prévia dos modelos inicialmente elaborados. Na oficina presencial, que teve duração total de 4 horas, foram apresentados
o modelo teórico e o modelo lógico de avaliação dos resultados do NASF a partir do trabalho integrado às equipes apoiadas, abrindo-se amplo debate entre os especialistas até que obtido consenso por acordo sobre a modelização da intervenção. Os informantes-chave propuseram mudanças relevantes nos modelos apresentados, como a necessidade de ressaltar a vinculação do NASF à AB e de deixar claros os resultados esperados do trabalho integrado às equipes apoiadas.
Segundo Hartz (1997), a maior vantagem dessa técnica é a possibilidade de troca de ideias e de confronto entre opiniões divergentes, originando um consenso nascido de um debate rico que tende a ser bastante sólido. Por outro lado, rebate a autora, o comitê tradicional tem a desvantagem de permitir a influência do argumento de autoridade ou de prevalecimento de opiniões mais pela ênfase na defesa da uma posição do que pela qualidade de seus argumentos.
Diferenças de valores ideológicos, culturais e éticos ou a existência de problemas de relacionamento interpessoal também podem ser fatores limitantes da técnica de consenso prevista e, assim como as questões anteriormente descritas, foram consideradas na seleção dos especialistas convidados e na condução das oficinas realizadas.
4.1.2 Elaboração e validação da matriz de avaliação e julgamento A matriz de indicadores foi definida a partir dos modelos teórico e lógico validados e tendo como base o referencial teórico e as normativas que tratam sobre o objeto dessa pesquisa. Sua validação foi realizada através da técnica mista denominada Conferência de Consenso, que procura conciliar a possibilidade da discussão aberta sobre os instrumentos elaborados e a preservação do anonimato dos participantes (SOUZA, SILVA & HARTZ, 2010).
Para isso, inicialmente, foi enviado um questionário eletrônico contendo a matriz previamente elaborada para especialistas selecionados a partir de seu conhecimento e/ou prática relacionada à Atenção Básica e/ou à avaliação em saúde, totalizando 12 informantes-chave. Nesta etapa, foi garantida representação similar à fase de consensuação dos modelos, ainda que alguns dos especialistas tenham sido modificados em função da impossibilidade de participação daqueles anteriormente convidados (HARTZ, 1997). Os especialistas responderam o questionário individualmente e indicaram, dentro de um prazo previamente estipulado, sua completa concordância, discordância parcial ou total discordância em relação aos elementos da matriz, indicando, quando pertinente, sugestões de alterações.
Após a consolidação dos dados da primeira etapa, os especialistas foram convidados para uma oficina de consenso presencial a fim de debater sobre as questões que não apresentaram total consenso na etapa anterior (HARTZ, 1997). Uma tabela com o consolidado das respostas obtidas foi discutida, possibilitando novamente que colocassem suas opiniões e sugestões em relação à matriz de indicadores. As contribuições dos especialistas foram significativas para esclarecer resultados esperados, redefinir indicadores inicialmente direcionados à avaliação de processo, qualificar medidas e perguntas para verificação dos indicadores e reestruturar a matriz de maneira a atender ao objetivo de avaliar resultados alcançados pelo NASF a partir do trabalho integrado às equipes apoiadas.
Na etapa seguinte, um questionário contendo a matriz com as alterações sugeridas nas etapas anteriores foi enviado, com nova manifestação dos informantes-chave em relação à concordância ou discordância (parcial ou total) em relação aos elementos apresentados. Diante do total consenso obtido, não houve necessidade de realizar tratamento estatístico das respostas a fim de selecionar indicadores e medidas com maior consenso para composição do instrumento final de pesquisa. A matriz de avaliação e julgamento pode ser visualizada nos Apêndices A e B.
A utilização dessa técnica objetiva essencialmente reduzir o tempo de duração do processo de consenso que poderia ser originado diante da utilização de outros tipos de técnicas frequentemente aplicadas nos estudos avaliativos (HARTZ, 1997). Além disso, reduz a possibilidade de ocorrência de argumentos de autoridade e de problemas de relacionamento interpessoal no consenso (por meio da etapa à distância), ao mesmo tempo em que, na etapa presencial, promove discussão e interação entre os componentes nas questões discordantes (HARTZ, 1997).