drogas baseados em evidências no contexto brasileiro é incipiente (Canoletti & Soares, 2005; Abreu, 2012). Por isso, a valorização de intervenções baseadas em evidências que já tenham sido objeto de avaliação sistemática dos resultados é um primeiro passo na escolha de um programa preventivo ao uso abusivo de drogas, especialmente para as tomadas de decisão de gestores públicos (Uhls & Ives, 2012).
O Unplugged foi escolhido pela equipe avaliativa por ser um programa de prevenção universal com resultados consistentes na área (Faggiano et al. 2008, Foxcroft & Tsertsvadze, 2012). No entanto, a transposição de um programa preventivo para um contexto cultural
diferente exige desenhos avaliativos do processo de implementação, para fins de avaliar sua viabilidade e aceitabilidade (Dusenbury et al., 2003; Ulhs & Ives, 2010).
A pesquisa avaliativa forneceu informações relevantes do processo de implementação do Unplugged, na perspectiva dos educandos participantes, para identificar a aceitabilidade do programa no seu contexto de aplicação. Para isso, utilizou-se do conceito de satisfação, baseado no modelo de Saunders et al. (2005), mas com uma delimitação heurística para os propósitos da pesquisa avaliativa, expressada na figura 3 pelo modelo lógico desenvolvido pela equipe avaliaitiva.
Foi possível identificar, a partir de diferentes delineamentos metodológicos e pela estratégia analítica de triangulação de métodos, que os educandos participantes do programa obtiveram uma satisfação positiva no interesse de participar do programa. As análises qualitativas também permitiram esclarecer que os pontos fortes do interesse dos educandos participantes permearam entorno da possibilidade de participar de um programa interativo no contexto escolar e mediado pelo professor, diferentes das experiências prévias de participação com policiais mediadores de programas preventivos ao uso abusivo de drogas.
O diálogo entre os delineamentos quantitativos e qualitativos permitiu identificar como um dos pontos fortes a percepção sobre a mudança no conhecimento em relação o uso de drogas e os riscos advindos, bem como o desenvolvimento de habilidades intrapessoais (especialmente as soluções de problemas e tomadas de decisão). No entanto, as mudanças na interação entre os educandos e na interação com o professor foram mais discretos nos delineamentos quantitativos, e também não foram consensuais nos grupos focais do delineamento qualitativo.
Isso permitiu indicar a importância da relação entre os educandos e o professor mediador do programa, especificamente nos delineamentos qualitativos da pesquisa avaliativa. Apesar da apreciação da figura do professor como mediador na perspectiva dos educandos, foi possível identificar que um professor motivado, que estabelece limites e regras e que seja empático com o período da adolescência são percebidos como elementos importantes para desenvolver o programa preventivo, na perspectiva dos educandos participantes da pesquisa.
A metodologia interativa do programa foi percebida como uma das principais potencialidades na perspectiva dos educandos participantes, indicando que o componente lúdico das dinâmicas e
energizadores são métodos atrativos e interessantes para aprender sobre a prevenção ao uso abusivo de drogas. No entanto, a bagunça e as dificuldades de alguns professores no manejo das interações em sala de aula foram percebidas como fragilidades no processo de implementação do programa.
Isso corrobora com o estudo de Carpi et al. (2013) sobre a necessidade de desenvolver técnicas do manejo de sala de aula na formação dos professores que pretendem desenvolver o programa, já que um clima não cooperativo entre o professor e os educandos pode ser uma fragilidade importante na implementação das atividades do programa. No entanto, estudos avaliativos com rigor metodológico e padronização de instrumentos são necessários para afirmar com mais precisão esta variável interveniente no processo de implementação.
Os limites e possibilidades a partir desta pesquisa avaliativa serão descritos no próximo tópico.
7.2 Considerações metodológicas e limitações
Esta pesquisa avaliativa utilizou de delineamentos mistos, a partir de dados quantitativos e qualitativos, e a estratégia de triangulação de métodos para investigar a satisfação dos educandos, com objetivo de fornecer subsídios para a tomada de decisão em relação a aceitabilidade do programa Unplugged dentro do desenho avaliativo do processo de implementação. A triangulação de métodos, como estratégia analítica, demonstrou limites e potencialidades para compreender o objeto da satisfação dentro da investigação avaliativa proposta.
Dentre as potencialidades, a triangulação de métodos viabiliza uma leitura multifacetada dos fenômenos, assumindo a complexidade dos objetos de estudo na análise de programas preventivos, especialmente com enfoque em saúde (Minayo, Assis & Souza, 2005). Assumindo esta postura analítica, a equipe avaliativa compreendia que a utilização do questionário de satisfação EU-Dap não daria conta da complexidade da experiência de participar do programa Unplugged na perspectiva dos educandos.
O diálogo entre os delineamentos metodológicos permite, então, que determinados construtos mensurados por delineamentos quantitativos como a satisfação possam ser esclarecidos a partir das vozes dos sujeitos que efetivamente vivenciaram estes processos. A peculiaridade das vivências permitiu então indicar vivências específicas, como a relação entre professor e educando em sala de aula, como um
indicador importante para compreender o processo de implementação do programa.
No entanto, há fragilidades importantes a serem destacadas acerca da metodologia aplicada. O primeiro aspecto a ser destacado é o processo de negociação com os atores institucionais para efetivamente estabelecer o desenho avaliativo e metodológico do processo de implementação do programa. De acordo com a agenda construída com a gestão do Ministério da Saúde e também com as diferentes escolas que participaram do grupo experimental, o período de final de novembro do 2013 foi designado para a coleta dos dados antes da escolha dos instrumentos quantitativos e qualitativos da pesquisa avaliativa. Uma das dificuldades principais a serem enfrentadas pelas pesquisas avaliativas é estabelecer a adequação metodológica mais adequada para o desenho avaliativo, de acordo com o tempo e a negociação com os atores institucionais envolvidos (Dusenbury et al., 2003; Carrol et al., 2007).
Estes fatores devem ser considerados quando são definidos os desenhos metodológicos e instrumentos para a coleta de dados. A equipe de avaliação no processo de negociação com as escolas conseguiu estabelecer, na sua etapa qualitativa que se desdobrou na utilização dos grupos focais, um acordo de pelo menos um grupo focal por escola. Isto não necessariamente utilizou os critérios de saturação exigidos pelos delineamentos metodológicos qualitativos (Minayo, 2010), sendo uma amostra por conveniência dentro dos limites impostos pelo tempo para execução da pesquisa.
Além disso, de acordo com Dusenbury et al. (2005) um dos grandes limitadores das pesquisas avaliativas do processo de implementação de programas é a dificuldade de estabelecer desenhos metodológicos padronizados e que possam efetivamente dialogar com as avaliações de resultado dos programas. Há uma urgência da predominância de delineamentos quantitativos, a partir de instrumentos como roteiros estruturados de observação em sala de aula, para os estudos avaliativos de implementação, afim de garantir consistência dos dados na área (Carrol et al., 2007).
O delineamento quantitativo desta pesquisa utilizou-se do questionário de satisfação EU-Dap adaptado, e a partir dos dados levantados, foi possível identificar fragilidades importantes a respeito da dimensão da satisfação em relação às aulas de interesse dos educandos. O número alto de missings e a exploração dos dados qualitativos permite indicar que o instrumento pode ser tornar mais fidedigno ao que propõe caso identifique às aulas através das atividades que foram realizadas em
sala de aula, em vez do nome da unidade, como proposto pelo instrumento original.
A utilização de delineamentos qualitativos também encontra limites, já que não se propõe uma postura generalizante do fenômeno, e sim assumir mais uma postura exploratória dos dados e indicações de possíveis variáveis intervenientes no processo de implementação dos programas. Os dados qualitativos permitiram indicar então a necessidade de instrumentos mais elaborados para identificar o grau de interesse dos educandos em relação a determinadas atividades desenvolvidas pelo programa, bem como a utilização de instrumentos como observação em sala de aula para identificar os elementos importantes que estão em jogo ao desenvolver a metodologia interativa do programa.
Estas considerações poderão ser exploradas nos caminhos abertos, a partir desta pesquisa avaliativa, para os próximos estudos avaliativos de processo do programa.
7.3. Desdobramentos para a pesquisa de avaliação do processo de