Resultados e as evidências sobre implementação

A partir dos dados e análises expostas e conforme os relatos dos gestores, implementadores, pesquisadores e mães entrevistados neste trabalho, verifica-se que a implementação dos programas ACT e Conte Comigo, ambos programas de prevenção da violência baseados em evidências, não apenas é possível no âmbito do serviço público, como traz diversos benefícios qualitativos percebidos por todos os atores envolvidos na sua execução.

Sem dúvida, há diversas questões a serem aprimoradas para que essa implementação seja mais satisfatória para os servidores envolvidos. São itens para serem levados em consideração no aprimoramento de outros experimentos quantitativos e, especialmente, na implementação de futuras políticas públicas e os discutiremos abaixo no item implicações para políticas públicas.

A análise qualitativa encontrou que o início do processo de implementação foi marcado por obstáculos como a falta de apoio institucional, descrença quanto à efetividade dos programas e quanto à relevância da parceria com a Universidade, a ausência de informações detalhadas sobre a implementação e seus parceiros e objetivos institucionais, inseguranças pela falta de familiaridade com os materiais de ambos os programas e pelo treinamento de curta duração no programa ACT.

Ao longo de toda a implementação houve dificuldades burocráticas e estruturais, como a ausência ou despreparo dos cuidadores responsáveis por entreter as crianças que acompanhavam as mães, falta de equipamentos e locais de implementação inadequados.

Entretanto, no transcurso da implementação, os facilitadores relataram a aquisição de prática e familiaridade com os programas, seja pela observação de colegas, pelas repetidas aplicações ou pela resolução de dúvidas e reforço positivo por meio da supervisão continuada.

Em particular, o percebido resultado positivo das intervenções junto às mães, na forma de relatos de mudanças dos comportamentos das usuárias junto às crianças e sobre si mesmas e do seu interesse e permanência nas sessões, resultou num aumento significativo de motivação e sentimento de autoeficácia nos implementadores.

A seguir, apresentamos o que funcionou e quais foram os desafios no processo de implementação analisado, de acordo com as fases do modelo EPIS apresentadas no segundo capítulo deste trabalho. Iniciamos com os fatores positivos que favoreceram a implementação dos programas e merecem ser reproduzidos em futuras implementações de programas baseados em evidências:

a) na fase exploratória:

i. a formação de agenda política favorável ao uso de programas baseados em evidências, no sentido de que foi fundamental para a implementação desses programas a existência prévia do Pacto Pelotas Pela Paz, que estabeleceu uma concepção de segurança pública baseada na centralidade da prevenção da violência e no uso de métodos com evidências de sua efetividade;

ii. a sensibilização da liderança principal do município, que respaldou a importância dos programas propostos;

iii. as parcerias institucionais que apresentaram os dois programas ACT e Conte Comigo como solução de prevenção da violência baseada em evidências;

b) na fase preparatória:

i. a liderança do gestor principal, neste caso a atitude positiva da prefeita municipal em relação a programas de prevenção baseados em evidências e sua intenção de executar os programas ACT e Conte Comigo;

ii. as parcerias interinstitucionais que viabilizaram a supervisão da implementação dos programas e a formação dos implementadores; iii. a sensibilização de outros gestores de nível médio, como o assessor especial do Pacto e a diretora da secretaria da educação.

c) na fase de implementação:

i. as parcerias interinstitucionais que viabilizaram a supervisão profissional dos implementadores durante a execução e a avaliação de impacto;

ii. a importância da supervisão qualificada e intensa que ajudou a dirimir dúvidas sobre o programa, aumentar a adesão dos facilitadores ao protocolo das intervenções, e especialmente a fortalecer a autoeficácia e reduzir as inseguranças e a ansiedade dos implementadores;

iii. a melhor aceitação do programa pelos profissionais do campo da saúde;

iv. a importância das redes de apoio que permitiram que os profissionais assistissem a outros colegas aplicando a metodologia e contribuiu tanto para seu treinamento como para reduzir sua ansiedade e inseguranças; v. o fato de os programas serem baseados em evidências, isto é, que comprovadamente geram impacto, porque esse resultado foi percebido pelos implementadores e teve papel fundamental na elevação da sua motivação, em gerar o sentimento de que eram capazes de executar bem os programas e em reverter a descrença inicial de que era impossível mudar o comportamento das mães;

vi. a percebida adesão das mães aos programas e sua mudança de comportamento tem efeito importante sobre a autoeficácia e motivação dos implementadores.

d) na fase de sustentabilidade:

i. a percepção de que os dois programas ACT e Conte Comigo funcionam e por isso vale a pena seguir executando-os;

ii. compromisso no sentido de viabilizar recursos financeiros para a continuidade da execução dos programas;

iii. valorização pelos implementadores da parceria institucional com a UFPEL e dos resultados de impacto que serão revelados pelos Estudo Piá.

Por outro lado, encontramos também em cada fase diversos desafios e dificuldades enfrentados no processo de implementação analisado. A identificação desses obstáculos serve de alerta para que sejam evitados em futuros processos de execução de programas baseados em evidências:

a) na fase exploratória:

i. a descrença da liderança do setor da educação quanto à possibilidade de executar projetos na área da prevenção da violência.

b) na fase preparatória:

i. a descrença inicial dos implementadores quanto à efetividade dos programas e à possibilidade de gerar mudanças no comportamento das mães, que permeou a fase preparatória e influenciou a implementação; ii. a atitude negativa do gestor e liderança da área da educação, que pode ter influenciado e alimentado a descrença e as resistências dos implementadores;

iii. a falta de informações claras aos implementadores sobre as evidências científicas de impacto dos programas;

iv. a falta de esclarecimento aos implementadores sobre seu papel no processo de execução dos programas;

v. a curta duração da formação do programa ACT;

vi. a ausência de apoio institucional para a aplicação piloto que o programa ACT exige;

vii. a falta de comunicação sobre a parceria institucional com a Universidade e sobre o estudo quantitativo de impacto que estava sendo realizado;

viii. as resistências e obstáculos burocráticos que levaram a uma excessiva demora na formalização do protocolo de parceria com a UFPEL;

c) na fase de implementação:

i. a descrença inicial dos implementadores quanto à efetividade dos programas e à possibilidade de gerar mudanças no comportamento das mães;

ii. as dificuldades e inseguranças dos implementadores quanto ao uso do manual e demais materiais dos programas;

iii. as dificuldades de resolução conjunta de problemas entre as secretarias e órgãos internos do município que ocasionou problemas de logística para a execução;

iv. a falta de materiais essenciais à implementação, como no caso dos livros do programa Conte Comigo de compartilhamento de livros;

v. a ausência e falta de preparo dos cuidadores responsáveis por entreter as crianças;

vi. a falta de equipamentos suficientes para a implementação, como computadores e projetores;

vii. locais inadequados para implementação dos programas;

viii. as ocorrências de falta de materiais como lanches, brindes e auxílio de transporte às mães;

ix. a falta de comunicação para as mães sobre os objetivos do programa; x. a não adesão de algumas mães no início da implementação;

d) na fase de sustentabilidade:

i. a ausência de percepção sobre a importância de programas baseados em evidências, ou seja, do reconhecimento de que os programas ACT e Conte Comigo funcionaram em Pelotas porque estão baseados em

conhecimentos já testados sobre o que funciona para mudar comportamentos e reduzir a violência no âmbito das famílias.

Esses achados coincidem com as evidências internacionais sobre os fatores que interferem na implementação de políticas públicas baseadas em evidências. Tanto a metanálise realizada por Farrington e outros (2017) de 3.000 estudos de efetividade de programas de prevenção, como a revisão sistemática de Novins (2013) de estudos de implementação de programas de prevenção na infância, apontam para itens semelhantes aos que encontramos na análise qualitativa, a saber: a relevância do treinamento, fidelidade, monitoramento, apoio e autoeficácia dos implementadores (NOVINS, 2013), do apoio organizacional à implementação, abordagens adequadas aos obstáculos organizacionais tais como financiamento, recursos, disposição para mudança e governança (NOVINS, 2013); a qualidade da implementação, a integridade e fidelidade ao programa são importantes para uma prevenção efetiva (FARRINGTON, 2017); a competência, motivação, treinamento e a supervisão dos implementadores são muito importantes em intervenções psicossociais (FARRINGTON, 2017); a qualidade da relação implementador-usuário (FARRINGTON, 2017) estratégias de feedback da equipe (FARRINGTON, 2017); as redes de aprendizagem e a importância de parcerias interinstitucionais (NOVINS et al., 2013).

No caso de Pelotas, dois grandes fatores influenciaram o processo de implementação analisado: a percebida produção de impacto do trabalho dos facilitadores junto às mães, e a percepção de falta de apoio de institucional. Ambos operaram em sentidos opostos, um contribuindo com a motivação e autoeficácia dos implementadores, e o outro reduzindo-as.

O impacto positivo percebido pelos implementadores dos programas nas mães é um fator relativo ao programa que influencia a implementação. O modelo EPIS não considera na análise da implementação fatores relacionados ao programa aplicado, uma vez que parte do pressuposto de que os programas funcionam, porque são baseados em evidências, e porque o modelo visa a isolar fatores relativos à implementação daqueles afeitos à efetividade dos programas. No entanto, nossos achados qualitativos permitem afirmar que o tipo de programa influencia significativamente a implementação, e essa parece ser a grande diferença entre a aplicação de programas baseados em evidência daqueles que não o são. Isso porque

os implementadores neste caso executaram pela primeira vez programas baseados em evidências, o ACT e o Conte Comigo, e perceberam e relataram a diferença que sentiram em relação à sua prática cotidiana. Na prática habitual, eles não percebem que seu trabalho produza impacto. Já ao aplicar o ACT e o Conte Comigo eles perceberam que sua ação estava produzindo mudança de comportamento nas mães e crianças, que era o objetivo dos programas.

Com base nesses achados podemos levantar algumas hipóteses que poderão ser comprovadas pelos resultados quantitativos do Estudo Piá.

As dificuldades nas condições estruturais podem ter determinado uma efetividade menor na aplicação das intervenções nos primeiros encontros ou nos primeiros grupos realizados, isto é, entre os meses de julho e agosto de 2018.

Os implementadores foram quase unânimes no sentido de que, segundo sua percepção, sua atuação foi melhor no segundo grupo que implementaram do que no primeiro e isso pode ter tornado os implementadores mais competentes na implementação e aumento a sua efetividade, a partir do segundo grupo ministrado por cada implementador, isto é, de agosto de 2018 em diante.

Ou seja, o estudo de impacto nas mães vai informar se a alta motivação e sentimento de autoeficácia relatados pelos facilitadores superou as dificuldades organizacionais, gerando efetividade na implementação.

Outra hipótese é o quanto a motivação pelos resultados representou a adesão dos facilitadores aos programas, se ela se refletiu ou não em mais fidelidade e, assim, em maior efetividade.

Quanto aos facilitadores do Conte Comigo, a avaliação de fidelidade avaliada entre os meses de agosto e novembro não demonstrou diferenças no nível de adesão deles ao método. Isso seria um indício favorável a considerar que a qualidade da formação, da supervisão e da motivação em razão dos resultados do programa superou as dificuldades estruturais e geraram fidelidade, autoeficácia e efetividade.

Quanto à implementação do programa ACT, enquanto desconhecemos o nível de fidelidade dos implementadores na aplicação do programa, sabemos que houve dificuldades com o processo de formação, de aplicação da intervenção piloto, de estranhamento do material e do método rígido da intervenção e em relação aos obstáculos estruturais. Por outro lado, houve grande motivação quanto aos resultados do programa percebidos durante a implementação a motivação e as inseguranças

foram sendo superadas no transcurso da implementação. Os resultados do estudo quantitativo poderão dizer o quanto os aspectos negativos enfrentados pelos implementadores impactaram a efetividade da sua aplicação, ou se eles foram superados pelos aspectos positivos.

Importa ressaltar, ao final, algumas implicações dessas conclusões para futuros experimentos e para futuras políticas públicas.

Existe a necessidade de disseminação do conhecimento baseado em evidências não apenas junto às lideranças, mas também aos gestores de níveis médio e os bucratas de função meio e de nível de rua, que atuam diretamente junto à população e que se tornarão os implementadores dos programas Lum e Koper (2017).

Estabelecer etapas de diálogo e escuta dos atores envolvidos na implementação de novos programas baseados em evidências é necessário para evitar que se construa uma percepção meramente utilitarista da participação dos implementadores.

É relevante que essas etapas prevejam a aquisição de conhecimento sobre as evidências existentes da efetividade dos programas a serem implementados, mostrando que é possível e que já foi feito em outros locais, de preferência com o uso de depoimentos de outros implementadores, para evitar a descrença sobre a efetividade do trabalho.

O processo de formulação desses programas não incluiu a participação dos implementadores, tratando-se de um processo “top down”, que tende a gerar mais atrito e dificuldade de implementação, por não contar com as contribuições daqueles que trabalharão cotidianamente na sua aplicação.

O clima e o engajamento dos implementadores é tão importante quanto o tipo de treinamento que eles recebem. A supervisão intensa e profissional é fundamental para a adesão dos implementadores aos programas, para a resolução de problemas e para o fortalecimento da sua autoeficácia.

O apoio estrutural e organizacional é importante não apenas para dar as condições materiais, mas também porque impacta na percepção e na motivação dos implementadores.

É preciso, por fim, aproximar o estudo da efetividade e a pesquisa sobre a implementação dos contornos reais do poder público, onde os programas de

prevenção baseados em evidência adquirem escala e têm potencial de transformar vidas e romper o ciclo intergeracional de violência.