AVALIAÇÃO DA FIDELIDADE DE IMPLEMENTAÇÃO DE UM PROGRAMA PREVENTIVO EM SAÚDE MENTAL INFANTIL
BASEADO NA ESCOLA
Dissertação submetida ao Programa de Pós-Graduação em Psicologia da Universidade Federal de Santa Catarina como requisito parcial para a obtenção do título de Mestre em Psicologia. Orientadora: Professora Doutora Daniela Ribeiro Schneider
Florianópolis 2018
Ficha de identificação da obra elaborada pelo autor através do Programa de Geração Automática da Biblioteca Universitária
AVALIAÇÃO DA FIDELIDADE DE IMPLEMENTAÇÃO DE UM PROGRAMA PREVENTIVO EM SAÚDE MENTAL INFANTIL
BASEADO NA ESCOLA
Esta Dissertação/Tese foi julgada adequada para obtenção do Título de “Mestre em Psicologia” e aprovada em sua forma final pelo Programa
de Pós-Graduação em Psicologia da Universidade Federal de Santa Catarina.
Florianópolis, 10 de abril de 2018. ________________________
Prof. Carlos Henrique Sancineto da Silva Nunes, Dr. Coordenador do PPGP/UFSC
Banca Examinadora:
________________________ Prof.ª Daniela Ribeiro Schneider, Dr.ª
Orientadora (PPGP/UFSC) ________________________ Prof. Roberto Moraes Cruz, Dr. Examinador Interno (PPGP/UFSC)
________________________ Prof. Telmo Mota Ronzani, Dr. Examinador Externo (PPGP/UFJF)
________________________ Profª. Ana Lúcia Mandelli de Marsillac, Drª. Examinadora Interna Suplente (PPGP/UFSC)
________________________ Profª. Zila Van Der Meer Sanchez, Drª. Examinadora Externa Suplente (PPGSC/UNIFESP)
À Helena,
Por ensinar ao papai sobre o sentido do amor incondicional e da luta pela vida.
À Carla,
Por todo amor, apoio, companheirismo e cumplicidade.
À minha família que sempre me apoiou diante dos desafios da vida e desta formação. Em especial, à minha filha, Helena, e a minha esposa, Carla, por encherem os meus dias de amor, alento e alegria.
À Professora Daniela Ribeiro Schneider por acreditar em mim para desenvolver esta empreitada e por me inspirar a compreender os fenômenos de maneira mais crítica e coerente. Sou muito agradecido também por todas as suas disciplinas que pude acompanhar, as orientações que recebi e pela oportunidade de me inserir nas atividades do Psiclin, me confiando algumas atribuições, pelo meio das quais eu pude me desenvolver como pessoa e como pesquisador. Não poderia deixar de reconhecer e agradecer o seu acolhimento humano e a flexibilidade oferecida diante dos desafios particulares que passei durante o ano de 2017.
Ao Professor Roberto Moraes Cruz que me inspirou e me ensinou a compreender o antes obscuro universo da estatística e das análises quantitativas. Também sou muito grato pela oportunidade de participar de suas disciplinas e pelo privilégio de ter sido seu monitor. Meus agradecimentos também se estendem a forma como me apoiou de maneira tão humana diante de alguns percalços que tive.
A todos os professores do Programa de Pós-Graduação em Psicologia da UFSC, em especial para a Professora Lucienne Martins Borges, Professora Maria Aparecida Crepaldi, Professora Carmen Leontina Ojeda Ocampo Moré, Professora Andrea Barbará da Silva Bousfield, Professora Carolina Menezes e Professor Mauro Luis Vieira que por meio de disciplinas altamente qualificadas contribuíram com a minha formação ao longo do mestrado
À Professora Zila van der Meer Sanchez, que juntamente com a Professora Daniela, viabilizou a minha participação na pesquisa maior de avaliação dos programas preventivos, o que deu origem a esta dissertação. Sou grato também por todas as pertinentes contribuições direcionadas ao projeto desta pesquisa na banca de qualificação.
À Professora Tânia Maris Grigolo pelas valiosas contribuições feitas a este projeto na banca de qualificação.
À Professora Sheila Giardini Murta da Universidade de Brasília pelos valiosos ensinamentos e pelas contribuições oferecidas a este projeto por meio da disciplina ministrada na UFSC em 2017 sobre o ciclo da pesquisa em prevenção.
À toda equipe do Psiclin pela acolhida e pela parceria de trabalho. Em especial meus agradecimentos para o meu companheiro de mestrado Paulo Otávio com quem pude trocar muitas experiências e aprendizados. À todos(as) colegas de mestrado e doutorado da área de concentração de Saúde e Desenvolvimento Psicológico com os quais tive a oportunidade de conviver e aprender. Minha sincera gratidão por todos os bons momentos compartilhados nas disciplinas.
À toda equipe da UFSC e da UNIFESP envolvida na pesquisa de avaliação do Programa Elos, por contribuírem direta e indiretamente com a realização desta pesquisa.
A todos os formadores nacionais, multiplicadores locais e professores envolvidos no processo de implementação do Programa Elos. Primeiro pelo empenho em fazer parte da implementação deste programa que tende a oferecer condições de desenvolvimento mais dignas para as crianças e segundo pela disponibilidade de participação nesta pesquisa.
Ao Ministério da Saúde pela importante e valiosa iniciativa de implementar programas preventivos direcionados a potenciais vulnerabilidades que atentam contra o desenvolvimento saudável de crianças e adolescentes.
Ao Programa de Pós-Graduação em Psicologia da UFSC por oferecer uma formação de tão alta qualificação, com ótimos professores e excelentes disciplinas. Não poderia deixar de destacar e agradecer os esforços do PPGP em oferecer cursos, palestras e formações complementares com professores externos, por meio dos quais eu também pude aprender bastante. Agradeço também a equipe da Secretaria do Programa de Pós-Graduação por todo apoio e atendimento solícito durante todo o curso.
À CAPES que por meio da bolsa oferecida ao longo do mestrado me permitiu ter mais dedicação a esta pesquisa e assim qualificou minha formação.
O que se faz agora com as crianças é o que elas farão depois com a sociedade
(Dissertação de Mestrado). Programa de Pós-Graduação em Psicologia da Universidade Federal de Santa Catarina. Florianópolis.
RESUMO
Fidelidade na implementação de um programa é o compromisso de seguir políticas e procedimentos previstos, tendo em vista os resultados aferidos. A fidelidade é um construto que pode ajudar compreender os resultados e o processo de implementação do Programa Elos, que é implementado nas escolas brasileiras pelo Ministério da Saúde. O objetivo desta pesquisa foi avaliar a fidelidade de implementação do Programa Elos, em 2016, inserida em uma pesquisa maior denominada “Avaliação do processo de implantação de programas de prevenção ao uso de drogas para crianças e adolescentes em ambiente escolar”. O delineamento foi descritivo, com uso de procedimentos metodológicos mistos. . Participaram 40 professores, 16 coordenadores pedagógicos e 4 formadores nacionais responsáveis pela implementação do programa em 40 turmas de ensino fundamental em São Paulo. Os instrumentos utilizados na coleta de dados foram o Questionário de Fidelidade na Observação Elos, o Questionário de Fidelidade na Consolidação e na Criação, o Inventário da Percepção dos Professores acerca da Qualidade de Formação e Dosagem e o Inventário de autoeficácia de Woolfolk e Hoy. Entrevistas semiestruturadas e grupos focais foram realizadas com professores, multiplicadores e formadores. A análise dos dados quantitativos consistiu primeiro em estimar medidas de posição, de dispersão e frequências por meio de análise estatística descritiva. Procedimentos de análise estatística inferencial não paramétrica foram utilizados para correlacionar variáveis e comparar diferenças entre as posições médias de grupos. Quanto aos dados qualitativos o procedimento de análise consistiu na reordenação, síntese e validação dos dados do relatório geral, o que evidenciou alguns resultados que contribuíram para compreender a fidelidade de implementação do Programa Elos. Os resultados demonstraram que a média da fidelidade foi muito boa (87,07%), ainda que apenas 14,37% dos questionários de fidelidade foram preenchidos. Dentre os itens não cumpridos prevaleceram aspectos relacionados ao reconhecimento do cumprimento de acordos e à qualidade de implementação. Observou-se também que
os professores que implementaram o programa mais vezes por semana perceberam que o suporte recebido foi pior do que os professores que implementaram o programa menos vezes por semana (ρ = .59; p < 0,05). Além disso, professores que implementaram o programa até duas vezes por semana demonstraram maior fidelidade de implementação do que os professores que implementaram o programa três vezes ou mais (p = 0,037). Dentre os resultados qualitativos alguns relatos indicaram potenciais ameaças a componentes essenciais da fidelidade do programa, como atividades de reconhecimento e gestão coletiva. Quanto ao sistema de apoio ao professor, se observaram elogios, mas também se evidenciou a necessidade de aprimoramentos. Apesar de restrições à generalização, os resultados encontrados podem oferecer indicadores para o aprimoramento do processo de implementação frente às demandas de adaptação que viabilizam a sustentabilidade do Programa Elos como uma potencial política pública na interface entre a saúde e a educação.
Palavras-chave: Avaliação de Processo. Fidelidade. Programa Baseado
na Escola. Programa Elos.
Florianópolis, Brazil.
ABSTRACT
Fidelity is a construct that can help to understand the outcomes and the process implementation of the Elos Program, which is implemented in brazilian schools by the Ministry of Health. In order to evaluate the fidelity of implementation of the Elos Program in 2016, this research was inserted within a larger research called "Evaluation of the process of implantation of programs of prevention to the use of drugs for children and adolescents in school environment". Methodologically, this research is descriptive regarding the objectives, of survey regarding the technical procedures and of mixed methods in relation to the design. A total of 40 teachers, 16 pedagogical coordinators and 4 national trainers participated in the implementation of the program in 40 classes of primary education in São Paulo. The instruments used in the data collection were the Fidelity Questionnaire on Observation, Fidelity Questionnaire on Consolidation and Creation, the Teachers' Perception Inventory of Quality Training and Dosage, and the Woolfolk e Hoy Self-Efficacy Inventory. Semi-structured interviews and focus groups were used with teachers, national trainers and local coaches. The analysis of quantitative data consisted first of estimating measures of position, of dispersion and frequencies by means of descriptive statistical analysis. Nonparametric inferential statistical analysis procedures were used to correlate variables and to compare differences between the mean positions of groups. Regarding the qualitative data, the analysis procedure consisted in the reordering, synthesis and validation of the data of the general report, which evidenced some results that contributed to understand the fidelity of implementation of the Elos Program. The results showed that the average fidelity was good (87.07%), although only 14.37% of the fidelity questionnaires were filled out. Among the items not met, aspects related to the recognition of compliance with agreements and the quality of implementation prevailed. It was also observed that teachers who implemented the program more times per week realized that the support received was worse than the teachers who implemented the program less times per week (ρ = .59, p <0.05). In addition, teachers who implemented the
program until twice a week demonstrated greater implementation fidelity than teachers who implemented the program three times or more per week (p = 0.037). Among the qualitative results, some reports indicated potential threats to essential components of program fidelity, such as reinforcement and team management activities. Regarding the teacher support system, there was praise, but there was also a need for improvements. Despite constraints to generalizations, the implications of these results may provide indicators for improving the implementation process in the face of adaptive demands that make the Elos Program sustainable as a potential public policy in the interface between health and education.
Keywords: Process Evaluation. Fidelity. School-based Program. Elos
Figura 1. Modelo hipotético de relação entre as variáveis incluídas no
delineamento de pesquisa ... 28
Figura 2. Modelo do ciclo da ciência da prevenção proposto Sloboda, Glantz e Tarter (2012). ... 35
Figura 3. Etapas do desenvolvimento de intervenções a partir do modelo de Rohrbach (2014). ... 37
Figura 4. Modelo conceitual da fidelidade de implementação. ... 43
Figura 5. Fluxograma de caracterização do processo de seleção de artigos para a revisão sistemática. ... 47
Figura 6. Mapa conceitual de referências utilizadas para definir o construto fidelidade nos artigos pesquisados ... 53
Figura 7. Níveis de voz do Programa Elos. ... 63
Figura 8. Combinados de lugares do Programa Elos. ... 64
Figura 9. Modelo dimensional assumido para os itens do QFAD ... 88
Figura 10. Transposição da distribuição dos dados dos itens do QFAD para a escala de mensuração do instrumento ... 90
Figura 11. Caracterização das categorias qualitativas incluídas na pesquisa ... 103
Figura 12. Modelo hipotético transposto às evidências identificadas no estudo ... 128
Tabela 1. Descrição dos autores, anos, títulos dos artigos selecionados e das bases de dados incluídos na revisão sistemática ... 48 Tabela 2. Caracterização dos aspectos dos delineamentos metodológicos dos 45 estudos incluídos na revisão ... 51 Tabela 3. Comportamentos indesejados passíveis de marcação de pontos para a equipe que deixaria de receber os reforçadores na eventualidade de excederem o total permitido no modelo original Good Behavior Game. .... 61 Tabela 4. Distribuição da quantidade de dados coletados por instrumentos em relação aos participantes... 77 Tabela 5. Distribuição de frequência e percentual de preenchimento de instrumentos de mensuração de fidelidade na etapa de observação, consolidação e criação do Programa Elos, com escore médio, desvio padrão e percentual de fidelidade... 80 Tabela 6. Proporção de fidelidade na etapa de observação dos professores em cada item observado pelos multiplicadores locais ... 81 Tabela 7. Proporção de fidelidade de implementação dos professores em cada item observada pelos multiplicadores locais na etapa de consolidação do Programa Elos ... 82 Tabela 8. Escores e percentuais dos instrumentos de fidelidade na observação, fidelidade de implementação e do Indicador de Fidelidade Geral ... 85 Tabela 9. Matriz de correlações entre itens do QFAD ... 87 Tabela 10. Descrição da prevalência de respostas por categoria em relação aos itens do QFAD ... 89 Tabela 11. Distribuição da frequência e percentual de respostas sobre a dosagem de implementação do Programa Elos ... 92 Tabela 12. Distribuição da exposição semanal média (em minutos) pela quantidade de vezes que o Programa foi implementado por semana ... 92
Tabela 13. Caracterização dos escores dos professores em relação ao inventário de autoeficácia de Woolfolk e Hoy ... 93 Tabela 14. Matriz de correlações dos itens da escala de autoeficácia de Woolfolk e Hooy ... 94 Tabela 15. Matriz de correlações entre os indicadores de fidelidade, dosagem, formação, suporte e autoeficácia dos professores incluídos no estudo de caso ... 95 Tabela 16. Comparação entre as posições médias dos indicadores de fidelidade de implementação, autoeficácia, dosagem, formação e suporte em relação a grupos de professores com diferentes níveis de fidelidade na etapa de observação do Programa Elos definidos em função da média geral do IFG ... 98 Tabela 17. Comparação entre as posições médias dos indicadores de autoeficácia, dosagem, formação e suporte em relação a grupos de professores com diferentes níveis de fidelidade de implementação definidos pela média do IFG ... 99 Tabela 18. Comparação dos escores de fidelidade, formação, suporte e autoeficácia entre grupos de professores definidos em função da quantidade de implementação semanal ... 100 Tabela 19. Comparação dos escores de fidelidade, dosagem, suporte e autoeficácia entre grupos de professores com diferentes escores sobre a percepção da formação do Programa Elos ... 101 Tabela 20. Comparação dos escores de fidelidade, dosagem, formação, suporte entre grupos de professores com diferentes escores em relação a autoeficácia ... 102
BVS – Biblioteca Virtual em Saúde
CEBRID - Centro Brasileiro de Informações sobre Drogas Psicotrópicas GBG – Good Behavior Game
MINE - Mapeamento das Interações do(a) Educando(a) OMS - Organização Mundial da Saúde
PSICLIN - Núcleo de Pesquisas da Atenção Social
QFAD - Inventário da Percepção de Professores acerca da Qualidade da Formação, do Acompanhamento e da Dosagem
QFCC - Questionário de Fidelidade na Consolidação e Criação QFOE - Questionário de Fidelidade das Observações Elos RCT - Ensaio Randomizado Controlado
SciELO - Scientific Electronic Library Online SPSS - Statistical Package for Social Sciences
TCLE – Termo de Consentimento Livre e Esclarecido UFSC – Universidade Federal de Santa Catarina UNIFESP – Universidade Federal de São Paulo
1INTRODUÇÃO ... 25
2OBJETIVOS ... 31
2.1OBJETIVOGERAL ... 31
2.2 OBJETIVOSESPECÍFICOS ... 31
3REFERENCIALTEÓRICO ... 33
3.1 FUNDAMENTOSDAPREVENÇÃOEMSAÚDEMENTAL ... 33
3.2 CARACTERÍSTICASDAFIDELIDADEDEIMPLEMENTAÇÃO DEPROGRAMAS ... 40
3.3 ASPECTOS DA MENSURAÇÃO DA FIDELIDADE DE IMPLEMENTAÇÃODEINTERVENÇÕES ... 45
3.3.1CARACTERÍSTICAS DOS PROGRAMAS ... 47
3.3.2 CARACTERÍSTICAS DA MENSURAÇÃO DO CONSTRUTO DA FIDELIDADE ... 52
3.3.3 DISCUSSÃO. ... 55
3.3.4 CONCLUSÃO ... 57
3.4 AUTOEFICÁCIA ... 58
3.5 DO GOOD BEHAVIOR GAME AO PROGRAMA ELOS: CARACTERIZAÇÃO DE UM PROGRAMA PREVENTIVO EM SAÚDE MENTAL INFANTIL ADAPTADO AO CONTEXTO BRASILEIRO ... 59
4MÉTODO... 67
4.1CARACTERIZAÇÃO E DELINEAMENTO DE PESQUISA ... 67
4.2 CONTEXTODEPESQUISA ... 68
4.3 PROCEDIMENTOSÉTICOS ... 68
4.4 CARACTERIZAÇÃODOSPARTICIPANTES ... 69
4.5 INSTRUMENTOSETÉCNICASDECOLETADEDADOS... ... 69
4.5.1 QUESTIONÁRIO DE FIDELIDADE DE OBSERVAÇÃO ELOS (QFOE)... ... 70 4.5.2 QUESTIONÁRIO DE FIDELIDADE NA CONSOLIDAÇÃO E CRIAÇÃO.. ... 70 4.5.3 INVENTÁRIO DA PERCEPÇÃO DE PROFESSORES ACERCA DA QUALIDADE DA FORMAÇÃO, DO ACOMPANHAMENTO E DA DOSAGEM DO PROGRAMA ELOS... ... 71 4.5.4ESCALA DE AUTOEFICÁCIA DE WOOLFOLK E HOY ... 71 4.5.5ENTREVISTA COM PROFESSORES IMPLEMENTADORES ... 72 4.5.6 ENTREVISTA COM O MULTIPLICADORES LOCAIS ... 72 4.6 PROCEDIMENTOSDEANÁLISEDEDADOS ... 73 4.6.1 ANÁLISES QUANTITATIVAS ... 73 4.6.2 ANÁLISE QUALITATIVA ... 75 4.6.3 TRIANGULAÇÃO DE DADOS ... 76 5RESULTADOS ... 77 5.1 ANÁLISESQUANTITATIVASEXPLORATÓRIAS ... 80 5.1.1 FIDELIDADE DE IMPLEMENTAÇÃO ... 80 5.1.2 QUALIDADE DA FORMAÇÃO E DO ACOMPANHAMENTO ... 86 5.1.3 DOSAGEM... 91 5.1.4 ESCALA DE AUTO-EFICÁCIA DE WOOLFOLK E HOY ... 93 5.2 ESTUDOANALÍTICOCOMDADOSCOMPLETOS ... 95
5.3 ANÁLISE QUALITATIVA DO PROCESSO DE
IMPLEMENTAÇÃODOPROGRAMAELOS ... 102 5.3.1 FORMAÇÃO, SUPORTE E ACOMPANHAMENTO ... 103 5.3.2 IMPLEMENTAÇÃO ... 108 6DISCUSSÃO ... 115 7CONSIDERAÇÕESFINAIS ... 127
7.1 POSSÍVEIS CONCLUSÕES E IMPLICAÇÕES DOS
RESULTADOSDOESTUDO ... 127 7.2 LIMITAÇÕESDOESTUDO ... 129
APÊNDICE2 ... 153 APÊNDICE3 ... 155 APÊNDICE4 ... 157 ANEXO1. ... 160 ANEXO2 ...161 ANEXO3 ...163 ANEXO4.. ... 165
1 INTRODUÇÃO
Programas referem-se a intervenções, políticas, práticas ou diretrizes sustentadas em ações intencionais direcionadas a indivíduos, organizações ou comunidades (Rohrbach, 2014). Em específico, um programa de prevenção em saúde mental é uma intervenção intencionalmente designada para reduzir a ocorrência de problemas cognitivos, emocionais, comportamentais e relacionais futuros e promover a construção de competências relacionadas à saúde mental (Abreu, Barletta & Murta, 2015). Programas preventivos em saúde mental são criados com base em estudos epidemiológicos e etiológicos que permitem compreender a distribuição e as causas dos determinantes de saúde mental. Apesar de evidências epidemiológicas e etiológicas que levam ao desenvolvimento de programas preventivos, as suas possibilidades de êxito não são garantidas a priori, sendo necessárias avaliações processualmente conduzidas por estudos de eficácia, estudos
efetividade, estudos de difusão e estudos de adaptação cultural (Mrazek
& Haggerty, 1994). Esses estudos são pesquisas que por meio de um ciclo contínuo permitem avaliar e aprimorar intervenções baseadas em evidências em saúde.
Os estudos de eficácia são conduzidos por métodos de controle rigoroso das variáveis cujo objetivo consiste em avaliar as evidências de eficácia de um programa implementado em condições experimentais altamente controladas (Flay, Biglan, Boruch, Castro, Gottfredson, et al.,
2005). Esses estudos normalmente são realizados por meio de Ensaio Randomizado Controlado (Randomized Controlled Trials - RCT), que são métodos de pesquisa que apresentam alto nível de validade interna, permitindo assim aferir causalidade entre um programa e os seus resultados (Durlak & Dupre, 2008). Os estudos de efetividade objetivam avaliar os resultados de um programa em contextos mais diversos que permitam extrapolar evidências para outros contextos que não foram incluídos na pesquisa (Flay et al., 2005; Durlak & Dupre, 2008). Os
estudos de difusão intentam verificar a transportabilidade de um
programa de modo abrangente (Santos & Murta, 2015). Os estudos de
adaptação cultural visam adaptar programas a contextos diferentes de
onde foram desenvolvidos e submetidos a avaliações de eficácia e efetividade.
Assim, com uma proposta de pesquisas sequencialmente estruturadas os programas preventivos em saúde mental são submetidos a um processo contínuo denominado de ciclo da pesquisa em prevenção, o qual permite avaliar se um programa funciona, para quem o programa
funciona, quais são as mudanças necessárias para que funcione e quais são os limites da disseminação do programa e de seus resultados em outros contextos (Mrazek & Haggerty, 1994). Esse conjunto de pesquisas para avaliar os efeitos dos programas também é denominado de avaliação de resultados.
Além da avaliação de resultados, outro aspecto importante é saber como e por quê os programas funcionam ou deixam de funcionar (Linnan & Steckler, 2002; Melo, Rodrigues & Conceição, 2015). As pesquisas que buscam compreender como e por quê os programas funcionam ou deixam de funcionar fazem parte da avaliação de
processo a qual é constituída por estudos de implementação, que têm o
objetivo de avaliar a forma como o programa é conduzido durante o período dos estudos de eficácia e dos estudos de efetividade (Durlak & Dupre, 2008). Assim, por meio da avaliação de processo é possível investigar quais são condições de possibilidades nas quais um programa é ou deixa de ser eficaz e efetivo.
Durante a de avaliação de processo um aspecto importante é compreender como o programa foi implementado, quiçá se foi de fato implementado, pois é possível que o programa tenha sido realizado parcialmente e os resultados produzidos no público alvo ao qual se atribui a intervenção do programa, na verdade, sejam explicados pela simples passagem do tempo, ou por outra variável desconsiderada nos
estudos de eficácia, ou mesmo devido ao acaso. Nesse contexto, surge a
importância da fidelidade de implementação, que permite investigar o quanto um programa foi implementado como deveria.
A fidelidade é um construto definido como o grau no qual o programa é implementado de acordo com o modelo originalmente desenvolvido (Dusenbury, Branigan, Falco & Hansen, 2003; Carroll et
al., 2007; Hansen, 2014; Kemp, 2016). Nas pesquisas de avaliação de
resultado a fidelidade se insere nos estudos de eficácia como uma
variável de controle que intenta manter a implementação do programa ao máximo conforme o planejado, para que se torne possível associar os resultados da intervenção ao programa. Nos estudos de efetividade são verificadas alterações nos níveis de fidelidade para verificar se há alterações nos resultados em função da parcialidade de implementação do programa (Santos e Murta, 2015). Nos estudos de adaptação cultural a fidelidade é utilizada estabelecer quais são os elementos essenciais do programa, os quais viabilizam a adaptação de outros elementos do programa para melhor se adequarem a outra cultura (Ruiz-Primo, 2006; Kemp, 2016; Sandoval, Corrêa & Abreu, 2015; Hansen, 2014).
No contexto de implementação de programas em saúde, baseados em evidência e nas respectivas vicissitudes relacionadas a avaliação de
resultado e avaliação processo, a Coordenação de Saúde Mental, Álcool
e Outras Drogas do Ministério da Saúde do Brasil iniciou, em 2013, um processo de implementação de programas preventivos ao uso de drogas baseados na escola. Os programas implementados no Brasil foram recomendados pelo Escritório das Nações Unidas sobre Drogas e Crime (United Nations Office on Drugs and Crime - UNODC) e foram importados de outros países, onde houveram evidências de eficácia e efetividade dessas intervenções (Casela, Monteiro, Freitas & Silveira,
2014; Melo, Rodrigues & Conceição, 2015). Um desses programas foi o
Good Behavior Game (GBG) que trata-se de uma estratégia de gestão de
sala de aula destinada a crianças de 6 a 10 anos e que é considerado uma espécie de vacina comportamental (Embry, 2002), devido as evidências de eficácia e efetividade na alteração de comportamentos na infância que produzem repercussões na trajetória futura de jovens e adultos, ao diminuir riscos de comportamento antissociais, entre eles uso abusivo de álcool e outras drogas (Kellam et al, 2008; Wilcox et al., 2008).
O ciclo de pesquisas do GBG no Brasil, iniciado em 2013, já abrangeu estudos de avaliação de processo, estudos de eficácia (Schneider et al., 2016; Schneider et al., 2017), estudos de adaptação
cultural (Lorenzo et al., no prelo), estudos de adaptação do instrumento
de avaliação (Schneider, Kaszubowski, Garcia, Scaff, Cruz e Sanchez,
no prelo) e, também, alguns outros estudos com aspectos da avaliação
de processo, como, por exemplo, a aceitabilidade das crianças
envolvidas na implementação do programa (Strelow, 2016). Inicialmente, em 2014, o programa demonstrou evidências de eficácia para o contexto brasileiro, havendo inclusive sido identificada uma correlação positiva entre indicadores de mudanças comportamentais desejadas e os indicadores de fidelidade de implementação do modelo original do GBG (Schneider et al, 2016). Em 2018 será realizado um estudo randomizado controlado para confirmar resultados anteriores e avaliar, enfim, a efetividade deste programa em escolas brasileiras.
Muitos aspectos do GBG passaram por adaptações culturais para corresponderem melhor às necessidades do contexto brasileiro (Lorenzo et al., no prelo). Dentre algumas adaptações realizadas: alteração do nome de Good Behavior Game para Programa Elos -
Construindo Coletivos; mudanças nos termos e nomenclaturas utilizados
nos manuais e nas formações do programa, para que houvesse maior aceitabilidade e adesão dos professores; o processo de implementação foi processualmente reestruturado, sendo feita a inclusão de
multiplicadores locais para intermediar as formações e o
acompanhamento da implementação do programa pelos professores; e alguns instrumentos de monitoramento de resultados e implementação foram alterados. Essas adaptações viabilizaram a continuidade na implementação do programa, porém requerem novas pesquisas de
avaliação de resultados e avaliação de processo com vistas a
identificarem se o Programa Elos é uma prática baseada em evidências que justifique sua implementação no Brasil. Assim, em função da relevância da avaliação de processo associado ao processo de avaliação
de resultados do Programa Elos, o objetivo dessa pesquisa foi
caracterizar a fidelidade de implementação do Programa Elos em 2016. A definição dos objetivos gerais e específicos se deu em função de hipóteses de pesquisa relacionadas ao construto da fidelidade de implementação, demonstradas no modelo apresentado na Figura 1.
Figura 1. Modelo hipotético de relação entre as variáveis incluídas no delineamento de pesquisa
Conforme apresentado na figura 1 e na literatura (Hansen, 2014) se levantou a hipótese de que a dosagem, que também é referida na literatura como uma das dimensões da fidelidade ou como um construto associado na avaliação da fidelidade (Dane & Schneider, 1998; Dusenbury et al, 2003) tenha correlação positiva com a fidelidade de implementação. Ademais, a autoeficácia é um construto que viabiliza a aceitação a novas experiências por parte de professores no contexto escolar (Smylie, 1988 apud Bzuneck, 2000). Assim, hipotetizou-se sua correlação positiva com a dosagem e a fidelidade na implementação do Programa Elos, ou seja, quanto maior a autoeficácia de um professor maior será sua fidelidade de implementação e a frequência com que implementa o programa. Não obstante, foi incluído também a hipótese
de se avaliar como o sistema de suporte (formação e o apoio) dado aos professores pode influenciar sua fidelidade de implementação, bem como a dosagem (Carroll et al., 2007).
2 OBJETIVOS
2.1 OBJETIVO GERAL
Avaliar a fidelidade de implementação do Programa Elos 2.2 OBJETIVOS ESPECÍFICOS
1) Caracterizar o contexto de implementação do Programa Elos; 2) Identificar os níveis de fidelidade de implementação do Programa
Elos por parte dos professores;
3) Identificar os níveis de dosagem de implementação do Programa Elos;
4) Identificar indicadores da percepção dos professores acerca do processo formativo que recebem para implementar o Programa Elos;
5) Identificar indicadores da percepção dos professores acerca do processo de apoio que recebem para implementar o Programa Elos;
6) Identificar os níveis de autoeficácia dos professores que implementaram o Programa Elos;
7) Descrever correlações entre a fidelidade de implementação, a percepção do processo formativo, a dosagem, a autoeficácia e os atributos do contexto de implementação do Programa Elos.
3 REFERENCIAL TEÓRICO
3.1 FUNDAMENTOS DA PREVENÇÃO EM SAÚDE MENTAL A prevenção em saúde mental tem o objetivo de reduzir a incidência, a prevalência e a recorrência de problemas mentais, assim como a duração dos sintomas ou as condições de risco para o adoecimento, prevenindo e atrasando a recorrência e, também, diminuindo o impacto da doença nas pessoas afetadas, nas famílias envolvidas e na sociedade (Mrazek & Haggerty, 1994). A prevenção em saúde mental é uma estratégia de cuidado que visa se antecipar aos problemas e transtornos mentais trazendo impactos sociais, econômicos e emocionais significativos para a sociedade (Abreu, Barletta & Murta,
2015). Para dimensionar o escopo que a prevenção em saúde mental pode alcançar, os dados do Relatório de Saúde Global da Organização Mundial da Saúde (OMS) de 2001 indicam que cerca de 450 milhões de pessoas padecem de transtornos mentais, sendo que uma em cada quatro pessoas irão desenvolver um ou mais transtornos mentais ou comportamentais ao longo da vida (WHO, 2001).
A delimitação do conceito e do campo de atuação preventivo em saúde mental pode ser associada historicamente a proposta de Psiquiatria Preventiva e Comunitária surgida nos anos de 1960 com notoriedade às contribuições de Gerald Caplan (Tenório, 2002 apud Schneider, 2015). A Psiquiatria Preventiva e Comunitária surgiu como uma posição epistemológica voltada para compreender os determinantes de saúde, o que confrontava o modelo de cuidado biomédico vigente até a metade do século XX que era baseado na tese psiquiatrizante que se limitava a oferecer um tratamento que consistia no isolamento social por meio da internação hospitalar (Schneider, 2015). Assim, com a Psiquiatria Preventiva Comunitária iniciou-se um movimento no qual a prevenção em saúde mental emergiu e se desenvolveu em diferentes contextos globais com similaridades epistemológicas dialeticamente constituídas.
Assim como a Psiquiatria Comunitária, outros movimentos, como por exemplo, as comunidades terapêuticas, a Psiquiatria Institucional e a Psiquatria de Setor surgiram em contraposição ao modelo sustentado na tese psiquiatrizante. Todavia, estes modelos não romperam com o modelo sustentado na noção de doença mental e medicalização da vida (Schneider, 2015). Ainda na esteira das mudanças epistemológicas, Schneider (2015) assinala que surgiram concepções pautadas na desinstitucionalização do sofrimento psíquico, o que abrangeu
mudanças na forma de concepção da loucura, da cultura, da sociedade excludente – com destaque às contribuições de Basaglia, Laing, Cooper, Esterson, Szasz e Goffman. Uma compreensão mais detalhada do desenvolvimento histórico da prevenção e da promoção em saúde mental pode ser conferida em Schneider (2015).
Para compreender o desenvolvimento da ciência da prevenção, além do contexto histórico, também é fundamental considerar as contribuições da epidemiologia, que é a área do conhecimento responsável pelo estudo da distribuição dos determinantes de saúde e das doenças (Cordova et al., 2014). Assim, saber o que, como, quando,
onde e por quê prevenir é possível em função de conhecimentos
produzidos a partir de conceitos epidemiológicos como a história
natural da doença, a distribuição de doenças, os determinantes de saúde e do modelo hospedeiro-ambiente-agente na compreensão das
causas das doenças e agravos em saúde, os quais são explicados na sequência (Cordova et al., 2014).
A história natural da doença pode ser definida como o progresso de um desfecho interesse desde a exposição aos fatores de risco que originam o início da doença até o término, permitindo identificar fatores que contribuem para o início, o desenvolvimento e a cessação do problema de interesse (Cordova et al., 2014). A distribuição das doenças permite identificar a frequência, o padrão e o histórico de uma determinada doença na população o que permite identificar subgrupos mais afetados (Cordova et al., 2014).
Os determinantes de saúde podem ser definidos como fatores de risco e fatores de proteção que apresentam uma relação com a distribuição da doença (Cordova et al., 2014). O fator de risco é uma condição ou característica que antecede um problema e é estatisticamente associado com o problema (Compton et al., 2010). Os fatores de proteção são características ou condições que antecedem os problemas e reduzem em um plano probabilístico a possibilidade do problema acontecer (Compton et al., 2010).
O modelo hospedeiro-ambiente-agente, também denominado de
cadeia de infecção (Bonita, Beaglehole & Kjellström, 2010), é um
modelo de interação de três fatores que ajuda a explicar o desenvolvimento de problemas em saúde (Cordova et al., 2014). O hospedeiro seria o indivíduo em suas características genéticas, psicológicas, sociais, etc. O ambiente seria o fator que engloba todos os fatores externos que em interação com vulnerabilidades pessoais pode contribuir para o surgimento de problemas de saúde. O agente refere-se ao organismo ou a causa direta da condição de saúde (Cordova et al.,
2014). Assim, a clareza dos determinantes das doenças a partir deste modelo permitiu maior controle sobre possibilidade de ação e estratégias de intervenção direcionadas ao ponto de maior efetividade.
Os conceitos da epidemiologia que sustentam a prevenção foram produzidos com enfoque em fenômenos biológicos em relação a diferentes contextos, tipicamente um objeto de estudo da medicina e não para transtornos mentais. Apesar disso, podem ser adaptados aos transtornos mentais, para os quais as intervenções também requerem um fulcro epidemiológico que o embase. A figura 2 é um modelo que apresenta uma síntese de como a epidemiologia fomenta as intervenções preventivas.
Figura 2. Modelo do ciclo da ciência da prevenção proposto Sloboda, Glantz e Tarter (2012).
Fonte: Cordova et al. (2014)
Conforme observa-se na figura 2, o ciclo de produção de conhecimento em prevenção é atribuível a qualquer problema em saúde e está baseado em um sequenciamento lógico de etapas de pesquisas que viabilizam o desenvolvimento e a testagem de intervenções. Outro
modelo preventivo bastante referendado que apresenta o ciclo de pesquisa em prevenção é o de Mrazek e Haggerty (1994), o qual preconiza a realização de estudos epidemiológicos, estudos etiológicos,
estudos de desenvolvimento, estudos de eficácia, estudos de efetividade, estudos de difusão e estudos de adaptação cultural. Em síntese Murta e
Santos (2015, p. 169) caracterizam o modelo proposto Mrazek e Haggerty (1994):
a cadeia tem início a partir de estudos epidemiológicos que descrevem o problema, sua prevalência e sua incidência, seguidos de pesquisas para avaliação da etiologia do problema, seus fatores de risco e protetivos, ou determinantes ambientais e comportamentais. Uma vez desenvolvida a intervenção e testada sua adequação por meio de um estudo-piloto, são recomendados estudos para avaliação de seu eficácia e efetividade. Tendo seus resultados avaliados, uma intervenção que demonstra ser eficaz e efetiva pode ser disseminada e adaptada para novas culturas. Assim, observam-se similaridades entre os modelos, os quais demonstram sobreposições esperadas de etapas destacando-se o embasamento epidemiológico das intervenções. Nessa compreensão, somente após o levantamento epidemiológico e etiológico de um determinado problema ou agravo, é que no ciclo de pesquisa em prevenção inicia-se o desenvolvimento da intervenção preventiva (Cordova et al., 2014; Mrazek & Haggerty, 1994). O desenvolvimento de intervenções que se justifica na ausência de intervenções com evidências de eficácia e efetividade é composto por um processo robusto de realização de procedimentos logicamente encadeados (Murta & Santos, 2015). Rohrbach (2014) apresenta um modelo com as etapas do desenvolvimento de intervenções, conforme apresentado na figura 3.
A caracterização detalhada das etapas do desenvolvimento de intervenções preventivas podem ser aprofundadas em outras referências, como Bartholomew, Parcel, Kok, Gottlieb e Fernández, (2011), Rohrbach (2014) e Murta e Santos (2015). Ademais, cumpre destacar que atualmente a classificação das intervenções preventivas segue pelo menos dois modelos distintos, sendo um deles o modelo da saúde pública tradicional que se subdivide em prevenção primária, prevenção
secundária e prevenção terciária. A prevenção primária tem como
principais características eliminar as causas dos problemas, aumentar a resistência aos transtornos e reduzir o número de casos novos. É implementada em um estágio prévio à doença e visa reduzir fatores de
risco focando em promoção de saúde e proteção específica. A prevenção secundária ocorre em uma etapa na qual o transtorno está em um estágio latente e, portanto, a intervenção visa interromper o progresso do transtorno antes da ocorrência de desfechos sintomáticos, diminuindo assim a taxa de prevalência do agravo. A prevenção secundária auxilia no controle de transtornos e minimiza os prejuízos por meio de intervenções de rastreamento precoce de fatores de risco associados. A prevenção terciária ocorre durante o estágio sintomático do problema ou transtorno e visa minimizar as consequências do agravo e reabilitar os sujeitos acometidos para potencializar a qualidade de vida (Compton et
al., 2010).
Figura 3. Etapas do desenvolvimento de intervenções a partir do modelo de Rohrbach (2014).
Fonte: Murta e Santos (2015)
O segundo modelo de classificação da prevenção foi proposto por Gordon (1987) e sugere uma divisão das intervenções em função da população-alvo e não em função do estágio da doença, conforme compreende o modelo da saúde pública tradicional (Compton et al.,
2010). Assim, neste segundo modelo a prevenção é categorizada em
prevenção universal, prevenção seletiva e prevenção indicada. A
prevenção universal são as intervenções para a população em geral que visam alcançar todos os sujeitos independentemente do risco ou do tipo de problema. A prevenção seletiva são intervenções destinadas a grupos específicos da população para os quais o risco de um transtorno ou
problema é maior do que a média. Os grupos de risco para prevenção seletiva são identificados a partir dos fatores de risco que podem ser psicológicos, biológicos ou sociais. A prevenção indicada trata-se de intervenções para indivíduos com alto risco de desenvolver problemas ou transtornos (Compton et al., 2010).
No encadeamento que é preconizado para o ciclo da pesquisa em prevenção, após o desenvolvimento dos programas em suas nuances deve ser realizada a avaliação dos mesmos. Primeiro devem acontecer estudos de eficácia e depois estudos de efetividade. Esses dois tipos de avaliações são também conhecidas como avaliação de resultado ou
avaliação somativa, pois tratam-se de pesquisas destinadas a avaliar em
diferentes condições os resultados produzidos por uma intervenção.
Estudos de eficácia, usualmente executados por meio de Estudo Controlado Randomizado, avaliam se o programa produz os resultados
esperados em condições de controle experimental de pesquisa (Flay et
al., 2005), visando aferir a validade interna, compreendida como a
consistência metodológica dos resultados em função da intervenção (Durlak & Dupre, 2008). Estudos de efetividade investigam os resultados da implementação do programa em condições naturais (Flay
et al., 2005), objetivando aferir a validade externa, compreendida como
a viabilidade de generalizar os resultados, extrapolando as contingências específicas do estudo (Durlak & Dupre, 2008).
Na sequência do ciclo da pesquisa em prevenção acontecem os
estudos de difusão que intentam verificar a transportabilidade do
programa de modo abrangente (Santos & Murta, 2015). De fato, os
estudos de difusão caracterizam-se como um processo mais complexo
que envolve tanto a adoção, a disseminação e a sustentabilidade dos programas (Melo & Izbick, 2015). A adoção seria a escolha do programa por uma comunidade, país ou instituição. A disseminação, também denominada de expansão, é o processo de divulgação do programa e de seus respectivos resultados (evidências de eficácia e efetividade) à todos os contextos para os quais podem haver benefícios com a implementação do mesmo. A sustentabilidade é a manutenção das características e dos resultados do programa ao longo do tempo, o que torna-se mais crítico com o passar do tempo.
Por fim, quando são levantadas evidências de eficácia, efetividade e disseminação as intervenções tendem a serem adotadas em outros contextos e consequentemente espera-se que sejam submetidas a
estudos de adaptação cultural. Os estudos de adaptação cultural que
visam adaptar programas a outros contextos, visando alcançar
atores envolvidos (Santos & Murta, 2015). O processo de adaptação
cultural pode abranger mudanças na linguagem, no contexto e em
elementos culturais como valores, significados e padrões (Sandoval, Correa e Abreu, 2015).
Paralelo ao ciclo da pesquisa em prevenção é crescente o desenvolvimento da ciência da implementação que tem o objetivo de investigar como ocorre o processo de implementação dos programas e intervenções (Santos & Murta, 2015) e tem como principal periódico internacional a revista Implementation Science. Os estudos de implementação de programas também são conhecidos como avaliação
de processo ou avaliação formativa, e tem o objetivo de caracterizar a
forma como o programa é conduzido durante as etapas referentes aos
estudos de eficácia e aos estudos de efetividade (Durlak & Dupre, 2008). Assim, estes estudos ajudam a compreender como e por quê os programas produzem ou deixam de produzir os resultados esperados (Linnan & Steckler, 2002; Melo, Rodrigues & Conceição, 2015). Um dos construtos mais importantes na avaliação de processo que é constantemente pesquisado na ciência da implementação é a fidelidade de implementação, a qual será melhor explorada na próxima seção. Outros componentes da avaliação de processo são a dose fornecida (completude), a dose recebida (exposição), a satisfação, taxa de participação, recrutamento e contexto (Melo, Rodrigues & Conceição,
2015).
Além disso, é importante destacar que o desenvolvimento de intervenções preventivas requer, além das evidências de eficácia e efetividade, também o amparo político para implementação na rede pública. Para tanto é necessário o desenvolvimento de um encadeamento que viabilize tornar uma intervenção em uma política pública. A política pública, nesse sentido, seria caracterizada como um conjunto de ações do Estado que possuem um ciclo de vida próprio e que tem a finalidade de suprir o interesse público e as necessidades relacionadas ao bem-estar social (Melo, Rodrigues & Conceição, 2015). Segundo Januzzi (2011), o ciclo político é constituído por cinco etapas: agenda, formulação de políticas e programas, tomada de decisão técnica-política, implementação da política ou programa e avaliação da política ou programa. A agenda consiste no reconhecimento de um problema pelo poder público o qual é colocado na pauta para discussão e intervenção. A formulação de políticas e programas é o levantamento de possíveis intervenções e estratégias para lidar com o problema evidenciado na etapa da agenda. A tomada de decisão trata-se do posicionamento técnico e político para determinação de um plano de ação. Em seguida é
realizada a implementação que consiste no processo de colocar em prática a intervenção. A última etapa seria a avaliação da política que consiste em analisar se houve a solução dos problemas levantados na agenda em função dos esforços empreendidos (Januzzi, 2011).
Adicionalmente o ciclo político também lança mão de recursos avaliativos, que se fazem valer de evidências que em algumas etapas se justapõem à etapas do ciclo da pesquisa em prevenção (Melo, Rodrigues & Conceição, 2015). No modelo proposto por Rossi, Freeman & Lipsey (2003) é necessário primeiro fazer uma avaliação de necessidades que tem objetivo de responder questionamentos suscitados a partir do qual o programa deverá agir. Em seguida é proposta a avaliação de desenho para levantar as técnicas e intervenções disponíveis. A terceira etapa é a
avaliação de processos e a quarta etapa é a avaliação de resultados e impactos, as quais respectivamente com a avaliação de processo e a
avaliação de resultados do ciclo de pesquisa em prevenção. Por fim, o quinto tipo de avaliação é a avaliação de eficiência que visa identificar a relação de custo benefício que consubstanciam a tomada de decisões sobre a sustentabilidade da intervenção (Rossi, Freeman & Lipsey,
2003).
Assim, por meio de pesquisas e intervenções sequencialmente encadeadas a prevenção em saúde mental é um campo de atuação baseado em evidências que traz grandes contribuições no cuidado dos agravos mentais antes mesmo de sua ocorrência ser identificada. Em que pese o fato da ciência da prevenção ser um campo novo em comparação com outras ciências, os seus avanços em pesquisas e no desenvolvimento de intervenções são promissores sobretudo em países norte-americanos e europeus. Ainda assim, a prevenção carece de desenvolvimentos substanciais na padronização de seus referenciais conceituais e instrumentais para que suas intervenções sejam mais disseminadas.
3.2 CARACTERÍSTICAS DA FIDELIDADE DE IMPLEMENTAÇÃO DE PROGRAMAS
A fidelidade é o grau no qual uma intervenção é implementada conforme foi planejada (Hansen, 2014). O construto faz parte da
avaliação de processo de intervenções, e dentre outras funções a
fidelidade permite compreender como e por quê intervenções funcionam ou deixam de funcionar, visto que permite avaliar se efetivamente há uma relação entre a intervenção e os seus resultados obtidos (Dane &
Schneider, 1998; Hansen, 2014; Dusenbury, Brannigan, Falco & Hansen, 2003; Durlak & Dupre, 2008; Melo, Rodrigues & Conceição,
2015). Isso ocorre, porque, ao verificar que houve um elevado nível de fidelidade, é possível supor que o programa foi efetivamente implementado e, portanto, passa a ser metodologicamente aceitável atribuir os efeitos avaliados longitudinalmente na avaliação de resultados a intervenção.
A avaliação da fidelidade ajuda a evitar um erro na avaliação de resultados que é denominado de erro tipo III, que é considerar que uma intervenção eficaz sem antes assegurar se a intervenção realmente aconteceu e de que modo (Basch, Sliepcevich, Gold, Duncan, & Kolbe,
1985). Além disso, os dados coletados sobre a fidelidade em pesquisas de avaliação de programas preventivos costumam destinar-se a quatro finalidades: verificar o seu uso como mediador ou moderador de intervenções, que indica o quanto a fidelidade modera os resultados da intervenção; usá-los como marcadores de suficiência, que indica qual o nível mínimo de fidelidade para que a intervenção produza os resultados esperados; usá-los como feedback para melhorar o desempenho da implementação; ou usá-los para promover aprimoramentos nas intervenções possibilitados por meio da identificação dos elementos centrais (Hansen, 2014).
Apesar da relevância na avaliação programas, a fidelidade é um construto que apresenta diferentes perspectivas teóricas na ciência da implementação, sendo o objetivo desta seção apresentar algumas das suas principais concepções. Inicialmente o modelo teórico proposto por Dane e Schneider (1998) organizou a dispersão de definições em torno da fidelidade de implementação em artigos empíricos sobre intervenções preventivas no ensino primário e secundário. Dane e Schneider (1998, p. 23), que originalmente referem-se ao construto como integridade o definiram como o “grau no qual procedimentos específicos são implementados conforme o planejado”. Nesse modelo, que foi constituído a partir de uma revisão, a fidelidade é constituída por cinco dimensões (Dane & Schneider, 1998):
● Aderência é a dimensão da fidelidade que se refere ao grau na qual componentes específicos do programa foram implementados conforme previsto no manual;
● Exposição ou Dosagem refere-se a um índice que pode incluir: quantidade de sessões implementadas, a duração de cada sessão e a frequência com a qual as técnicas do programa foram implementadas;
● Qualidade da implementação refere-se à qualidade de aspectos da implementação que não estão relacionados com o conteúdo, como por exemplo, entusiasmo e preparo dos implementadores. ● Responsividade dos participantes refere-se ao grau no qual os
sujeitos que participam da intervenção participam das sessões ou demonstram entusiasmo.
● Diferenciação é uma verificação da manipulação que é realizada para controlar a difusão indesejada da intervenção para grupos de comparação, isto é, para garantir que os sujeitos em cada condição experimental recebam apenas as intervenções planejadas.
O modelo teórico de cinco dimensões de Dane e Schneider (1998) foi corroborado pela revisão de Dusenbury et al., (2003), porém diferentes dos primeiros, os autores flexibilizam a necessidade de avaliação de todas as dimensões. Além disso, um importante problema da implementação evidenciado na revisão de Dusenbury et al. (2003) foi o antagonismo entre a fidelidade de implementação e a adaptação cultural. Os autores explicam que, de um lado, há o interesse dos desenvolvedores de manter o programa estritamente no modelo original, com alta fidelidade de implementação para preservar a eficácia dos resultados, fundamentada em um modelo lógico de intervenção. Por outro lado, uma fidelidade rigorosa pode fadar os resultados da intervenção ao fracasso, por não se adequar e fazer sentido ao contexto local que recebeu o programa, o qual pode ter restrição de tempo, e indisponibilidade de recursos para que o programa seja implementado de uma maneira ideal (Dusenbury et al., 2003).
Uma solução possível para diminuir a tensão entre fidelidade e adaptação cultural é identificar e garantir a implementação dos
elementos essenciais do programa, que são aqueles componentes que
determinam a eficácia e efetividade dos resultados (Kemp, 2016, Bopp, Saunder & Lattimore, 2013). Há inclusive, na literatura posições que defendem a avaliação da fidelidade a partir dos elementos essenciais, que também são definidos como dimensões críticas do programa,
modelo de dimensões, critérios de fidelidade, características essenciais
e partes críticas (Century et al., 2010). A realização de pesquisas de
avaliação de processo e um monitoramento sistemático favorecem a
identificação dos elementos essenciais de um programa (Meyers, Durlak, & Wandersman, 2012; Kemp, 2016). No que tange a relevância desse modelo dos elementos essenciais reitera-se a possibilidade de submeter todos os demais componentes de uma intervenção a
adaptações sem que haja um comprometimento na efetividade dos resultados (Kemp, 2016).
Além do modelo dos elementos essenciais que auxiliam no processo de implementação de programas face aos desafios encontrados, principalmente em relação a adaptação cultural, outras as variáveis preditoras da fidelidade de implementação também têm sido investigadas e evidenciadas. Segundo Dusenbury et al. (2003), o treinamento dos professores, as características do programa, as características dos professores e as características organizacionais ajudam a explicar níveis de alta fidelidade. De maneira complementar Carroll et al. (2007) apresenta um modelo conceitual sobre a relação da fidelidade com variáveis comumente associadas na literatura (figura 4).
No modelo conceitual de Carroll et al, (2007), a aderência é sinônimo de fidelidade, que é o nível no qual os responsáveis por implementar o programa aderem ao modelo original feito pelos desenvolvedores, sendo definido como: “O grau no qual o conteúdo ou a frequência de uma intervenção é implementada é o grau de fidelidade de implementação para aquela intervenção” (Carroll et al., 2007). Segundo o autor, o construto é também composto por subcategorias características de dosagem, como por exemplo, conteúdo, frequência, duração e cobertura (Carroll et al., 2007).
Figura 4. Modelo conceitual da fidelidade de implementação. Fonte: Carroll et al. (2007)
O nível de fidelidade pode ser, também, moderado por outras variáveis como a complexidade da intervenção, estratégias de
facilitação, qualidade de implementação e responsividade dos
participantes (Carroll et al., 2007). A complexidade da intervenção
refere-se a características do programa, as quais quanto mais claras e detalhadas apresentam maior probabilidade de alta fidelidade do que intervenções vagas e pouco específicas. Além disso, intervenções mais simples e objetivas costumam apresentar maior fidelidade do que intervenções mais robustas que tendem a apresentar maiores variações de implementação (Carroll et al., 2007).
As estratégias de facilitação relacionam-se a programas que apresentam maior fidelidade quando oferecem manuais, orientações, treinamento, monitoramento e feedbacks para os implementadores. A
qualidade de implementação é um moderador da fidelidade de
implementação também presente em outras conceituações teóricas (Dane & Schneider, 1998; Dusenbury et al., 2003) e refere-se as características efetivamente usadas pelo implementador na aplicação dos procedimentos do programa. Um fator que apresenta melhorias na qualidade de implementação são os treinamentos, materiais e suporte durante o período de implementação (Carroll et al., 2007). A
responsividade dos participantes é uma variável presente em outras
abordagens e está relacionada a aceitabilidade dos sujeitos que recebem a intervenção, ou seja, o quanto os participantes percebem a intervenção como relevante e demonstram interesse em participar (Carroll et al.,
2007). A avaliação dos resultados no modelo conceitual de Carroll indica também a função de identificar os componentes essenciais da intervenção, ou seja, aqueles componentes que devem ser implementados para que a intervenção tenha a efetividade pretendida.
O modelo conceitual de fidelidade proposto por Gearing et al. (2011) identifica quatro componentes principais da fidelidade de intervenções: a) protocolo e desenho de intervenção; b) treinamento da
intervenção; c) monitoramento da intervenção implementada; e d) monitoramento da intervenção recebida. Cada um destes componentes é
detalhado por Gearing e colegas (2011) em quatro subcategorias denominadas protocolos, execução, feedback, manutenção e ameaças. A subcategoria protocolos se refere a estrutura, padrões e componentes essenciais que orientam a avaliação e mensuração da fidelidade durante o processo de intervenção em cada um dos quatro componentes essenciais. A execução descreve como a fidelidade é especificamente mensurada e avaliada ao longo dos estágios. Os feedbacks referem-se a
como os dados sobre a fidelidade são usados para ajustar o desenho, o treinamento, e a implementação a fim de melhorar a fidelidade. As
ameaças referem-se a variáveis internas ou externas que podem
impactar negativamente o nível de fidelidade (Gearing et al., 2011). Assim, existem diferentes concepções que surgiram e propuseram abordagens distintas e complementares para a avaliação do construto da fidelidade, dentre as quais podem ser citadas também outras perspectivas (Century; 2010; Schwarz, Hasson & Lindfors, 2015; Holliday, 2014). A fidelidade é um construto em evidência na ciência da implementação dada a relevância que tem para contribuir na compreensão dos resultados de programas e intervenções. A amplitude de perspectivas conceituais, tanto nos modelos estritamente teóricos, quanto no uso do construto em desenhos de pesquisas empíricas, demonstra a necessidade de um desenvolvimento conceitual e tecnológico sustentado em dados empíricos que a fidelidade ainda precisa ter. Esforços para padronizar os construtos e viabilizar o desenvolvimento de conceitos e construtos na implementação vêm sendo feitos nos últimos anos, com ênfase para as contribuições da Sociedade de Pesquisa em Prevenção com a delimitação de padrões de evidência que ajudam a normatizar os termos e concepções na área (Gottfredson et al, 2015; Flay et al, 2005). Ademais, outras limitações referentes aos aspectos operacionais da fidelidade serão abordadas na seção seguinte, que intenta caracterizar aspectos da mensuração da fidelidade de implementação.
3.3 ASPECTOS DA MENSURAÇÃO DA FIDELIDADE DE IMPLEMENTAÇÃO DE INTERVENÇÕES1
Nem sempre as evidências psicométricas de validade e precisão
dos instrumentos utilizados para mensurar a fidelidade são apresentadas nas pesquisas (Martinez, Lewis & Weiner, 2014; Chaudoir, Dugan, & Barr, 2013). Além disso, medidas de autorrelato frequentemente usadas para mensurar a fidelidade tendem a comprometer a precisão da medida utilizada nas pesquisas (Martinez, Lewis, & Weiner, 2014). As próprias dimensões da fidelidade utilizadas tendem a ser selecionadas mais por opções metodológicas de pesquisa do que por uma estrutura teórica que subjaz o processo de mensuração (Martinez, Lewis, & Weiner, 2014).
1Esta revisão foi elaborada em co-autoria com a Professora Dra Daniela Ribeiro Schneider e com o Professor Dr Roberto Moraes Cruz, e foi submetida para publicação na Revista Eletrônica Saúde Mental, Álcool e Drogas (SMAD).
Todavia, a fidelidade é um construto frequentemente utilizado nas pesquisas, porque permite inferir a validação empírica de modelos teóricos subjacentes à intervenção (Basch et al., 1985; Linnan & Steckler, 2002), permitindo, assim, colocar a intervenção à prova.
Para caracterizar a mensuração da fidelidade foi feita uma revisão sistemática sobre o processo de mensuração de fidelidade em intervenções, com foco em saúde mental, implementadas em escolas de ensino primário nos últimos 10 anos. O objetivo da revisão sistemática foi caracterizar aspectos das intervenções avaliadas; caracterizar aspectos metodológicos do processo de avaliação e mensuração do construto da fidelidade; e caracterizar o construto da fidelidade em sua matriz conceitual, dimensionalidade e função no escopo de pesquisa.
Para revisar sistematicamente a literatura acerca da mensuração da fidelidade foram considerados indicadores do protocolo PRISMA (Moher et al, 2009). Para levantamento de dados optou-se pelas bases ERIC, LILACS, APA, PubMed, Scopus, SciELO e Web of Science. As bases foram selecionadas por apresentarem indexadores relevantes na área da saúde e da educação, com escopo nacional e internacional. Foi utilizada a seguinte equação de busca para levantamento dos dados:
(Program OR intervention OR prevention) AND (school-based) AND (fidelity) AND (“program implementation” OR “program evaluation” OR “integrity” OR “adherence” OR “curriculum implementation”).
Para refinar os resultados, a busca foi filtrada para encontrar os descritores somente no título e no resumo dos artigos, sendo utilizada também em idioma português e espanhol.
Para elegibilidade dos artigos foram utilizados critérios de idioma (espanhol, inglês ou português), período de publicação (2007 a 2016) e conteúdo (estudos empíricos com mensuração de fidelidade em programas de saúde mental implementados na educação infantil). A figura 5 apresenta o processo de seleção dos artigos.
Figura 5. Fluxograma de caracterização do processo de seleção de artigos para a revisão sistemática.
*Os critérios que tornaram os 10 artigos inelegíveis foram: a) não serem intervenções baseadas exclusivamente na escola (3); b) não mensurarem a fidelidade (5); c) serem apenas protocolos de pesquisa a serem aplicadas no futuro (2).
Foram criadas três categorias a priori para a análise dos dados: a) caracterização do programa (nome do programa, quantidade de sessões, tipos de implementadores e público alvo); b) delineamento metodológico de pesquisa (tipo de delineamento e caracterização da amostra); e c) características da mensuração da fidelidade (tipo de instrumento, quantidade de instrumentos, parâmetros psicométricos dos instrumentos, caracterização da medida/escala, caracterização da definição constitutiva e definição operacional do construto e finalidade da mensuração da fidelidade no protocolo de pesquisa). Os artigos selecionados foram lidos integralmente e os dados levantados foram preenchidos em planilhas eletrônicas. A tabela 1 apresenta a lista de artigos incluídos nesta revisão.
3.3.1 Características dos programas
Os artigos incluídos nesta revisão e as respectivas bases de dados de origem são apresentados na tabela 1.