Capítulo 3
Metodologia
3.1 Questão de Partida
O presente estudo visa conciliar diferentes aspectos teóricos e conceptuais centrais na avaliação de programas e usá-los, complementarmente, através de duas abordagens de avaliação de programas distintas. Para tal, foi desenvolvido e conduzido um processo de avaliação sistemático e estruturado de três projectos de prevenção das toxicodependências, integrados na Zona 4 do Programa Intervir. Por outro lado, pretende-se encontrar pistas de reflexão relevantes para uma prevenção das toxicodependências mais eficaz e eficiente.
3.2 Desenho da Investigação
O processo de avaliação, proposto no presente estudo, apresenta uma metodologia de triangulação de dados entre métodos de recolha e análise diferentes e complementares. Para tal, o processo de avaliação foi orientado pelas directrizes de duas abordagens de avaliação de programas com concepções e pressupostos complementares: (a) a abordagem de avaliação da qualidade dos programas; e (b) a abordagem de avaliação apreciativa de programas. Por outro lado, os dados foram recolhidos a partir de fontes diversificadas: análise documental;
observação e entrevistas aos técnicos, jovens e famílias.
O contorno metodológico subjacente a este estudo tem por base uma abordagem de investigação qualitativa, baseada na Grounded Theory (Strauss e Corbin, 1998). Os pressupostos desta abordagem, assim como os objectivos que guiaram esta investigação, estão descritos, em mais detalhe, nos pontos que se seguem.
3.2.1 Mapa Conceptual
Um mapa conceptual é uma representação gráfica que procura descrever a forma como os conhecimentos anteriores deram origem à construção de novos conhecimentos e aprendizagens. A presente investigação foi orientada através do mapa conceptual apresentado
na Figura 1, que ilustra as abordagens e estratégias que guiaram a investigação e que, serão descritas, em mais detalhe, de seguida.
Figura 1: Mapa Conceptual
3.2.2 Objectivos
Com base na questão de partida e no mapa conceptual apresentados anteriormente, definem-se os seguintes objectivos para o presente estudo:
Objectivo 1: Avaliar projectos de prevenção das toxicodependências, através de metodologias complementares, e encontrar pistas de reflexão relevantes para uma prevenção das toxicodependências mais eficiente e eficaz.
Objectivo 2: Promover mudanças que contribuam para a melhoria da eficiência e da eficácia dos projectos avaliados neste estudo.
Objectivo 3: Descobrir e promover a proliferação dos aspectos que melhor funcionam nos projectos de prevenção das toxicodependências avaliados.
Objectivo 4: Testar uma metodologia de avaliação de programas que concilie a abordagem de avaliação da qualidade de programas e a abordagem de avaliação apreciativa de programas, num processo de avaliação compreensivo e integrador.
3.2.3 Abordagem de Investigação Qualitativa
A investigação qualitativa pode ser entendida como uma abordagem de investigação que produz resultados, sem envolver procedimentos estatísticos ou quantitativos (Flick, 2002). Assim, a investigação qualitativa define-se como um processo de interpretação que visa descobrir conceitos e relações nos dados recolhidos, organizando-os num esquema teórico significativo. Na investigação qualitativa é dado um maior ênfase aos processos e significações, acedendo-se a estes através dos próprios sujeitos da investigação. Desta forma, as metodologias qualitativas são geradoras de dados flexíveis, detalhados e sensíveis ao contexto, recolhidos maioritariamente sob a forma de palavras ou imagens. Como tal, as metodologias qualitativas são especialmente usadas em investigações que: visem compreender a natureza da experiência humana em situações específicas; ou visem explorar áreas do conhecimento pouco desenvolvidas onde se procura encontrar um novo conhecimento (Strauss & Corbin, 1998). Assim, esta abordagem de investigação adequa-se ao presente estudo, dado que se pretendem representar as experiências e significados dos participantes que, complementarmente a uma análise mais objectiva, gerem pistas para uma prevenção das toxicodependências mais eficiente e eficaz.
3.2.3.1 Grounded Theory
A Grounded Theory, originalmente desenvolvida por Glaser e Strauss (1967), consiste numa abordagem de investigação qualitativa que permite o desenvolvimento da teoria a partir de um processo sistemático e interactivo de recolha e análise dos dados, particularmente adequado quando se pretende investigar processos e significações (Strauss e Corbin, 1998).
De um modo geral, a Grounded Theory caracteriza-se pela sua ênfase no desenvolvimento permanente da teoria através de um processo circular evolutivo e abductivo, em que a recolha e a análise dos dados ocorrem simultaneamente (Strauss e Corbin, 1998). De outra forma, recorre à utilização constante do método de comparação contínua1, com o intuito de construir códigos a categorias de análise a partir dos dados. A Grounded Theory visa, portanto, construir e não verificar a teoria (Flick, 2005). Assim, o investigador que utiliza esta
1 O método de comparação contínua consiste na comparação sistemática dos dados e é um dos critérios de generalização à teoria da avaliação qualitativa.
metodologia assume um papel eminentemente interpretativo, incluindo, durante todo o processo de investigação, as perspectivas dos participantes.
Ora, pelos pressupostos das duas abordagens de avaliação de programas que guiaram este estudo, é pertinente distinguir (Strauss e Corbin, 1998): (a) Grounded Theory Objectivista (tida em conta no processo de avaliação da qualidade dos programas), segundo a qual, a teoria emerge directamente dos dados através de um processo de comparação e é essencial neutralizar os enviesamentos do investigador; e (b) Grounded Theory Construtivista (tida em conta no processo de avaliação apreciativa dos programas), segundo a qual, os dados são construídos, num processo interactivo de investigação, entre o investigador e o investigado, podendo emergir várias perspectivas da mesma realidade.
3.3 Estratégia Metodológica de Recolha de Dados
A estratégia metodológica de recolha de dados teve em consideração os pressupostos das duas abordagens de avaliação de programas que guiaram este estudo. Assim, no âmbito da abordagem de avaliação da qualidade de programas foi utilizado o Referencial para a Promoção da Qualidade nos Programas (RPQ - Programas) e no âmbito da abordagem de avaliação apreciativa de programas foram realizadas entrevistas apreciativas. Os instrumentos, os procedimentos e os participantes considerados neste estudo estão descritos nos pontos que se seguem.
3.3.1 Instrumentos
3.3.1.1 Referencial para a Promoção da Qualidade nos Programas (RPQ - Programas)
O RPQ - Programas é um instrumento de avaliação de programas que foi desenvolvido no âmbito do Projecto Rumo à Qualidade (2007), inserido na iniciativa comunitária EQUAL.
O objectivo geral do RPQ - Programas consiste em promover a melhoria contínua da qualidade das organizações e dos programas/serviços sociais por elas desenvolvidos (Projecto Rumo à Qualidade, 2007).
A utilização do RPQ - Programas envolve duas formas de avaliação: (a) avaliação objectiva; e (b) avaliação subjectiva. A avaliação objectiva corresponde a uma fase de avaliação que pressupõe a recolha de informações objectivas relativas à qualidade do
programa, através de três fontes prioritárias: análise documental; observação; e entrevistas a técnicos, utentes e famílias. O RPQ - Programas inclui dois documentos que servem de apoio para a realização do procedimento de avaliação objectiva: uma lista de evidências com sugestão de documentação de apoio que deve ser apresentada por medida e acção e os guiões de entrevista que deverão ser aplicados a todas as partes interessadas. Os protocolos de entrevista servem de base para a criação de instrumentos adaptados à realidade dos programas em análise. Assim, no âmbito do presente estudo, foram produzidos três guiões de entrevistas estruturadas (para os técnicos, para os jovens e para as famílias) com base nos protocolos do RPQ - Programas, validados com diferentes indivíduos (ver Anexo B). Na fase de avaliação subjectiva, o responsável pelo processo de avaliação preenche um instrumento de avaliação, fornecido pelo RPQ - Programas, suportando-se na avaliação objectiva previamente realizada.
Para tal, deve responder numa escala indicada (desde 0% = nenhum até 100% = total) o grau em que o programa cumpre os requisitos de qualidade, definidos pelo RPQ - Programas, para os processos em análise. No âmbito do processo de avaliação dos Projectos Intervir foram analisados os seguintes processos, definidos no RPQ - Programas como processos inerentes ao modelo lógico de um programa com qualidade: (a) identificação das necessidades, definição dos objectivos e da área de intervenção do programa; (b) definição das actividades, métodos e estratégias; (c) gestão do programa; (d) espaço/instalações; (e) selecção, admissão e acolhimento; (f) elaboração de programas individuais e grupais; e (g) avaliação. Esta avaliação deve estar fundamentada nas evidências (documentais, entrevistas e observação) e adaptada aos contextos em análise.
3.3.1.2 Entrevistas Apreciativas
Descrito no ponto 2.2.2 desta dissertação, o Inquérito Apreciativo apresenta-se como uma metodologia útil na avaliação de programas. O Inquérito Apreciativo consiste numa forma de indagação transformacional, que tem como objectivo localizar, ressalvar e iluminar as forças que dão vida à existência de uma organização (Reed, 2007). De acordo com Marujo et al. (2007), o Inquérito Apreciativo é um novo modelo de gestão e implementação de mudanças positivas nas organizações. A abordagem do Inquérito Apreciativo é muitas vezes posta em prática pelo modelo 4D (Cooperrider, Whitney & Stavros, 2003), que integra quatro fases sequenciais, representadas na Figura 2. O modelo 4D é construído na busca do positivo, do que funciona, promovendo o planeamento e a acção (Marujo et al., 2007).
Figura 2: Modelo 4D do Inquérito Apreciativo
Nota. Adaptado de “An overwiew of appreciative inquiry in evaluation”, A. T. Coghlan, H.
Preskill & T. T. Catsambas, 2003, Using appreciative inquiry in evaluation, p. 11.
Neste estudo foram utilizadas as estratégias do Inquérito Apreciativo que melhor se adaptam às necessidades do processo de avaliação dos Projectos Intervir. Assim, foram realizadas entrevistas apreciativas semi-estruturadas, orientadas pelos princípios do Inquérito Apreciativo, aos técnicos, aos jovens e às famílias. A construção dos guiões das entrevistas apreciativas (ver Anexo C) reflectiu, de forma adaptada, as quatro fases do modelo 4D. Cada uma das fases era constituída por uma média de duas questões, tendencialmente abertas, que promoviam a reflexão: as questões correspondentes à fase de Descoberta procuraram levar à descoberta dos sucessos, explorando as experiências mais positivas e o que é mais valorizado;
as questões correspondentes à fase de Sonho procuraram levar à visualização do futuro de forma positiva, originando preposições provocativas2; as questões correspondentes à fase de Delineamento procuraram levar à construção de planos de acção que suportem as perspectivas do futuro visualizadas; e as questões correspondentes fase de Criação procuraram levar à co-construção de mudanças e à implementação de planos de acção.
3.3.2 Procedimentos
O processo de recolha de dados foi feito separadamente em cada Projecto Intervir analisado neste estudo e distingue as seguintes fases:
Fase 1: Envolvimento dos Coordenadores dos Projectos
2 As proposições provocativas são afirmações que constituem a ponte entre o que é e o que pode ser (Cooperrider et al., 2003).
Sonho
Visualizar o que poderia ser Criação
Inovar para o que vai ser
Delineamento Dialogar sobre o que deveria
ser Descoberta Apreciar e valorizar o que de
melhor existe
Foi feita uma reunião individual com a coordenadora da Zona 4 do Programa Intervir onde foram discutidos os objectivos do processo de avaliação e se obteve autorização para prosseguir com o estudo. Foi entregue um documento (ver Anexo D) com informações relativas ao estudo. De seguida, foi feita uma reunião individual com o coordenador de cada Projecto, analisado neste estudo, a quem foi entregue o documento referido anteriormente.
Fase 2: Recolha de Evidências Documentais
Após a fase de envolvimento dos participantes, foi recolhido e analisado o Formulário de Candidatura de cada Projecto, referente ao ano de 2008, com o objectivo de conhecer melhor os pressupostos, objectivos, grupos-alvo e actividades de cada Projecto.
Fase 3: Entrevistas
Neste estudo foram feitas entrevistas, apreciativas e referentes ao RPQ - Programas, a técnicos, jovens e famílias de cada Projecto. No início de cada entrevista, e para que os participantes pudessem dar o seu consentimento informado, cada participante foi informado dos objectivos gerais do estudo, da instituição responsável pelo estudo (FPCE-UL3), do carácter confidencial da informação recolhida, do carácter voluntário de participação no estudo e do facto de não existirem respostas certas ou erradas (APA, 2001). Foi também pedido autorização a cada participante para gravar as entrevistas em áudio. Após cada entrevista eram anotadas informações relevantes numa folha de registo (ver Anexo E). As entrevistas decorreram nas instalações de cada Projecto Intervir, analisado neste estudo.
As questões referentes à fase de Descoberta das entrevistas apreciativas foram feitas individualmente a cada participante, de modo a criar uma relação diádica entre o investigador e cada participante. As questões referentes às restantes fases das entrevistas apreciativas foram feitas em focus group4 com os técnicos, jovens ou famílias, respectivamente. Após cada entrevista apreciativa, as entrevistas referentes ao RPQ - Programas foram feitas individualmente a cada participante.
Fase 4: Observação
Procedeu-se à observação aberta do espaço e das instalações de cada Projecto, segundo as directrizes do RPQ - Programas.
Fase 5: Recolha de Evidências Documentais
3 FPCE-UL – Faculdade de Psicologia e de Ciências da Educação da Universidade de Lisboa.
4 Método de recolha de dados através da interacção de um grupo específico sobre tópicos escolhidos pelo investigador. É a partir da discussão entre os participantes e das questões que se colocam uns aos outros que surgem os indicadores do que é mais relevante numa determinada temática (Marczak & Sewell, 2008).
Foi recolhido e analisado o Formulário de Candidatura de cada Projecto, referente ao ano de 2009. Os dados destes Formulários foram utilizados para o estudo desenvolvido com base no RPQ - Programas.
Fase 6: Devolução de Informação
Após o conjunto das entrevistas foram devolvidas informações aos participantes referentes aos dados gerais resultantes das entrevistas apreciativas. Os resultados específicos e globais deste estudo serão, também, devolvidos à coordenadora da Zona 4 do Programa Intervir e aos coordenadores de cada Projecto avaliado neste estudo.
No Projecto A considera-se que se fez uma avaliação interna, na medida em que a investigadora era membro da equipa técnica, enquanto estagiária de Psicologia. Nos Projectos B e C considera-se que se fez uma avaliação externa.
3.3.3 Participantes
No âmbito deste estudo, foram avaliados três Projectos Intervir integrados na Zona 4 do Programa Intervir. No seu todo, foram entrevistados seis técnicos, treze jovens e sete famílias. A Tabela 8 apresenta a caracterização da amostra de participantes.
Tabela 8: Caracterização da Amostra de Participantes
Participantes Dados
Projectos Intervir
Projecto Intervir A Projecto Intervir B Projecto Intervir C
Técnicos n 2 2 2
Faixa Etária 25 - 35 25 - 30 25 - 35
Sexo F = 1; M = 1 F = 1; M = 1 F = 2
AAP 5 5 7
Jovens
n 6 4 3
Faixa Etária 10 - 15 10 - 15 10 - 15
Sexo F = 3; M = 3 M = 4 F = 1; M = 2
AAP 3 2 2
Famílias n 2 2 3
Faixa Etária 35 - 45 30 - 40 30 - 45
Sexo F = 1; M = 1 F = 2 F = 3
AAP 3 3 2
Nota. N = 26. n = número de participantes. F = Feminino. M = Masculino. AAP = Média de Anos Afectos ao Projecto.
3.6 Estratégia Metodológica de Análise dos Dados
O tratamento dos dados recolhidos na fase de avaliação objectiva do RPQ - Programas foi feito, de forma adaptada, através do protocolo de avaliação do RPQ - Programas. O protocolo de avaliação, permitiu uma análise detalhada dos processos do modelo lógico com qualidade e de cada Projecto Intervir no seu todo. No final da análise de cada processo, foram preenchidas as seguintes informações: (a) número de requisitos avaliados (corresponde ao número total de itens considerados na avaliação); (b) frequência das respostas (corresponde ao número exacto de respostas de cada tipo que foram respondidas em cada categoria); (c) observações e recomendações (corresponde ao nível qualitativo de avaliação global da qualidade de processo cada processo avaliado); (d) grau de cumprimento (corresponde ao grau de cumprimento calculado em cada um dos processos). A análise destes resultados permite proceder a uma avaliação qualitativa dos pontos fortes e dos pontos a melhorar do Projecto, delineando acções prioritárias de intervenção no sentido da melhoria.
Por sua vez, a análise das entrevistas apreciativas foi feita segundo um método de comparação contínua que possibilitou a emergência de determinados temas, a partir dos quais foi feita uma categorização (Bowen, 2006). O processo de codificação5 envolveu os seguintes procedimentos (Flick, 2005): (a) codificação aberta, através da exploração inicial dos dados e da identificação e conceptualização dos processos observados; (b) codificação axial, através da diferenciação das categorias resultantes da codificação aberta e do estabelecimento de relações entre categorias e sub-categorias; e (c) codificação selectiva, através da elaboração de redes de relações e da escolha de categorias nucleares, em torno das quais, se agrupam e se integram as outras categorias. Para tal, foi utilizado o software de investigação qualitativa QSR6 NVivo 8, que facilita: a codificação dos dados num sistema de categorias; a pesquisa de texto ou padrões de codificação; a descrição organizada dos dados; a representação visual dos dados; e a construção teórica. Com o auxílio deste software, foi feita uma análise exaustiva das entrevistas apreciativas e construída uma árvore de categorias (tree nodes) que culminou em conceitos descritivos baseados nos dados.
5 Processo através do qual os dados são divididos, conceptualizados e agrupados de forma diferente e com diferentes níveis de abstracção, permitindo o desenvolvimento da teoria (Strauss & Corbin, 1998).
6 QSR = Qualitative Solutions and Research.
