ESTUDO DE AVALIABILIDADE

O EA contemplou as etapas desenvolvidas antes da avaliação propriamente dita para facilitar o processo avaliativo e conferir credibilidade, apontando sua utilidade e oportunidade (NATAL et al., 2010). Além disso, permitiu a descrição da intervenção em análise e a definição de questões para avaliação a partir de alguns elementos: delimitação do programa por identificação de metas, objetivos e atividades; revisão de documentos; identificação de recursos disponíveis, atividades pretendidas, impactos esperados e conexões causais presumidas; entendimento preliminar de como o programa funciona; desenvolvimento de um modelo de avaliação; identificação dos usuários da avaliação e outros envolvidos; e, acordo quanto aos procedimentos da avaliação (THURSTON; POTVIN, 2003; THURSTON; RAMALIU, 2005).

A Teoria de Mudança (TM) orientou a proposta final de modelização, de forma a desenhar o encadeamento de ações que buscam o alcance dos resultados almejados para a intervenção, respeitando o contexto e buscando olhar para os atores envolvidos (VOGEL, 2012; YOUNG et al., 2014). O quadro final de análise foi construído a partir do modelo teórico-lógico e da matriz avaliativa.

O desenvolvimento do EA foi por meio de uma abordagem qualitativa, operacionalizado por meio das fases apresentadas na figura 2.

Figura 2. Etapas do processo de construção da modelização da utilização de

telessaúde para apoio assistencial na APS.

Fonte: As autoras (2018).

4.1.1 Levantamento e análise documental

O levantamento e a análise da bibliografia e de documentos foram realizados durante todo o período de construção da tese – agosto de 2014 a junho de 2018. Foi realizada a busca de documentos oficiais relacionados à telessaúde em sites institucionais e páginas de organizações – Ministério da Saúde, Organização Mundial da Saúde, Organização Pan-Americana da Saúde, órgãos regulamentadores de telessaúde no cenário nacional e internacional. A consulta a bases eletrônicas incluiu: PubMed da Medical Literature Analysis and Retrieval System Online (Medline); Literatura Latino-Americana em Ciências da Saúde (Lilacs), via Biblioteca Virtual de Saúde (BVS); Scientific Electronic Library Online (SciELO); Scopus; Web of Science; portal de teses e dissertações da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes); busca livre de literatura cinzenta.

Como termos de busca foram utilizados: telessaúde ou telemedicina, Atenção Primária à Saúde ou Atenção Básica à Saúde, apoio assistencial ou teleassistência, utilização ou uso, avaliação ou avaliação em saúde ou avaliação de programas e políticas de saúde, e os seus correspondentes em inglês e espanhol, bem como as variações propostas para os ternos no DeCS (Descritores em Ciências da Saúde) e no MeSH (Medical Subject Headings). Foram excluídas as publicações

7ª etapa: Proposta de mudança com a definição de envolvidos de acordo com a avaliação

6ª etapa: Adaptação do modelo teórico-lógico à Teoria de Mudança 5ª etapa: Consenso com especialistas (Conferência de Consenso)

4ª etapa: Construção da proposta de matriz avaliativa 3ª etapa: Consenso com especialistas (Conferência de Consenso)

2ª etapa: Elaboração da proposta preliminar de modelização 1ª etapa: Levantamento e análise documental

que tratavam de telessaúde para interação direta com pacientes, sendo realizada a leitura das publicações sobre apoio entre profissionais.

4.1.2 Proposição e validação dos modelos teórico e lógico

A partir do amplo estudo do referencial teórico selecionado, foram construídas as propostas iniciais de modelo teórico para Núcleos Telessaúde do Programa Nacional Telessaúde Brasil Redes e modelo teórico-lógico para uso de telessaúde para apoio assistencial na Atenção Primária à Saúde. Esses modelos foram amplamente discutidos durante a realização das disciplinas de Avaliação em Saúde cursadas durante o Doutorado no Programa de Pós-Graduação em Saúde da Universidade Federal de Santa Catarina.

Após a definição inicial da representação gráfica proposta pelos autores, foram então apresentados a um grupo de especialistas para análise e validação. Conferência de Consenso foi o método utilizado para a validação dos modelos teórico e teórico-lógico por consenso com especialistas (SOUZA; SILVA; HARTZ, 2005).

Para o modelo teórico de Núcleos do Programa Telessaúde, foram convidados 16 especialistas (um coordenador e dois ex-coordenadores do Telessaúde Brasil Redes; três ex-coordenadores do Núcleo Telessaúde Santa Catarina e 10 pesquisadores na área de telessaúde, educação permanente e avaliação em saúde), selecionados a partir de publicações nas áreas, experiência em pesquisa ou vinculação por trabalho com telessaúde no cenário nacional. Os especialistas tinham como opção validar a proposta concordando plenamente, parcialmente ou discordando. Nove especialistas retornaram, sendo que seis concordaram plenamente e três concordaram parcialmente com a proposta. As contribuições encaminhadas foram sugestões para ajuste de forma e representação dos componentes e teoria do programa.

Para o modelo teórico-lógico do uso de telessaúde para apoio assistencial foram convidados 18 especialistas (um coordenador e dois ex-coordenadores do Telessaúde Brasil Redes; três ex-coordenadores do Núcleo Telessaúde Santa Catarina e 12 pesquisadores na área de telessaúde, educação permanente e avaliação em saúde), utilizando-se os mesmos critérios de seleção. Houve retorno de dez especialistas, com unanimidade de aprovação, acompanhada de sugestões ou indicação de concordância plena. As sugestões indicaram o ajuste de conceitos e para que o modelo contemplasse apenas o apoio assistencial entre profissionais, já que no Brasil o Telessaúde Brasil Redes está orientado

nessa lógica e não há regulamentação de consulta à distância entre paciente e profissional.

A validação foi desenvolvida com a utilização do software Survey Monkey® (https://pt.surveymonkey.com) para envio da proposta teórica e organização gráfica dos produtos. Os modelos construídos pelos pesquisadores foram enviados para apreciação pelos especialistas. As sugestões foram acatadas quando consensuais e os modelos foram adaptados, seguindo as adequações sugeridas.

4.1.3 Validação da matriz avaliativa

A construção da proposta de matriz avaliativa foi realizada a partir do modelo teórico-lógico e da revisão de literatura. Foram definidas dimensões, subdimensões, indicadores e medidas para a elaboração da matriz avaliativa inicial.

Para a validação da matriz avaliativa por consenso com especialistas também foi utilizada a Conferência de Consenso. Foram convidados 14 especialistas (um ex-coordenador do Programa Nacional Telessaúde Brasil Redes, um ex-coordenador do Núcleo Telessaúde Santa Catarina e 12 pesquisadores na área de telessaúde e avaliação em saúde), provenientes de universidades e de núcleos de telessaúde do Telessaúde Brasil Redes, selecionados a partir de publicações relacionadas ao uso de telessaúde para apoio assistencial ou avaliação e experiência em pesquisa nas áreas.

O envio da matriz avaliativa para apreciação dos especialistas convidados foi por meio do software Survey Monkey® e nove retornaram com contribuições. Estas contribuições foram direcionadas à maior clareza da matriz para permitir identificar mudanças nas condutas dos profissionais que usam a telessaúde. Realizou-se a revisão e os ajustes da matriz para atender as indicações, sendo enviada a versão corrigida para aprovação final.

A matriz avaliativa (Apêndice A) orientou a construção dos roteiros para a coleta de evidências.

4.1.4 Proposição de modelo avaliativo orientado pela Teoria de Mudança

A partir do modelo teórico-lógico e da matriz avaliativa validados, realizou-se a construção do quadro lógico de análise orientado pela Teoria de Mudança (TM) (ALLEN et al., 2017; VOGEL, 2012; STEIN; VALTERS, 2012; YOUNG et al., 2014). O quadro foi proposto considerando a TM para orientar a representação gráfica das relações

lógicas entre as ações e os resultados esperados para a intervenção (CRAVO; SILVA, 2017).

O desenho do quadro lógico foi orientado pela proposta do Overseas Development Institut (ODI) para representar o encadeamento das ações desenvolvidas em busca dos resultados a partir dos atores envolvidos (YOUNG et al., 2014). A partir das dimensões propostas no modelo teórico-lógico de telessaúde para apoio assistencial na APS e da matriz avaliativa, foram identificados e respeitados o contexto relativo ao programa – interno e externo, os condicionantes do apoio assistencial, as atividades realizadas, os produtos e resultados esperados, e o impacto pretendido (VOGEL, 2012).

Após o desenho do quadro lógico para avaliar a telessaúde para apoio assistencial na APS foi desenvolvida uma proposta de mudança desejada para a intervenção a ser avaliada. Essa proposta foi orientada pelo Mapeamento de Resultados (YOUNG et al., 2014), propondo os resultados considerados essenciais, desejáveis e avançados (SOCIEDADE BRASILEIRA DE MEDICINA DE FAMÍLIA E COMUNIDADE, 2014) em relação aos atores envolvidos no processo de oferta e utilização da telessaúde para apoio assistencial na APS.