ANEXO D Apresentação do Processo de Avaliação dos Projectos Intervir

(1)

Anexos

ANEXO A – Distribuição dos Projectos do Programa Intervir

ANEXO B – Guiões das Entrevistas do RPQ – Programas

ANEXO C – Guiões das Entrevistas Apreciativas

ANEXO D – Apresentação do Processo de Avaliação dos Projectos Intervir

ANEXO E – Folha de Registo das Entrevistas

ANEXO F – Protocolo de Avaliação do RPQ - Programas: Síntese dos Resultados Obtidos

(2)

ANEXO A

DISTRIBUIÇÃO DOS PROJECTOS DO PROGRAMA INTERVIR

1) N.º de Juntas de Freguesia que se candidataram ao Programa no ano de 2009 = 47

2) Distribuição das Juntas de Freguesia que se candidataram ao Programa em 2009 por Zonas (para acompanhamento técnico):

Zona 1: Alto do Pina; Beato; Marvila; Nossa Sra. de Fátima; Santa Maria dos Olivais; São João de Deus. (6)

Zona 2: Anjos; Graça; Pena; Penha de França; Santa Engrácia; São João; São Jorge de Arroios; São Vicente de Fora. (8)

Zona 3: Ajuda; Alcântara; Campolide; Prazeres; Santa Maria de Belém; Santo Condestável; São Francisco Xavier; São Sebastião da Pedreira. (8)

Zona 4: Encarnação; Lapa; Mercês; Sacramento; Santa Catarina; Santos-o-Velho; São Mamede; São Paulo. (8)

Zona 5: Coração de Jesus; Madalena; S. Cristóvão e S. Lourenço; Santo Estêvão; São José; São Miguel; São Nicolau; Sé; Socorro. (9)

Zona 6: Ameixoeira; Benfica; Campo Grande; Carnide; Charneca; Lumiar; São Domingos de Benfica. (7)

(3)

ANEXO B

GUIÕES DAS ENTREVISTAS DO RPQ - PROGRAMAS

Guião de Entrevista: TÉCNICOS

Blocos Temáticos Objectivos Gerais Objectivos Específicos Perguntas-Guia Informação Fornecer informações

sobre a entrevista; Garantir o anonimato; Pedir autorização para gravar em áudio.

Dar informações sobre: - Finalidades; - Objectivos e conteúdos; - Duração; - Importância da colaboração dos entrevistados e agradecimento. Gestão do Programa Recolher informações

sobre o modo como o programa implementa a sua missão e visão suportado por uma política de recursos humanos que apela ao empowerment e por um rigor e

transparência nas questões financeiras e, como passa, essa imagem para o exterior. Recolher informações sobre: - a definição da estrutura organizativa de gestão e das suas funções; - a coordenação do Projecto no propiciar orientação, motivação e liderança; - a avaliação de desempenho da equipa técnica e de todo o pessoal afecto ao Projecto; - a planificação Foram-lhe definidas funções para o lugar que ocupa?

Quem costuma informá-lo sobre as alterações no Programa Intervir? Como é que o informam? Altera os objectivos do Projecto sempre que se justifique?

O responsável do Programa costuma perguntar a sua opinião sobre o modo como estão a decorrer as acções? De que forma? Costuma haver feedback e avaliação do

desempenho das pessoas envolvidas no Programa Intervir? É feito de que forma?

São realizadas reuniões para a avaliação? Com que periodicidade? Quem selecciona a

(4)

adequada do quadro de pessoal, a fim de garantir a qualidade das actividades a

desenvolver;

- o sistema de formação da equipa técnica e restante pessoal nas competências exigidas pelo Programa;

- a difusão da Informação sobre orientação, metas e fins do Projecto, de forma a que estes sejam

conhecidos por todo o pessoal;

- a avaliação do meio externo e acções de marketing social com utilização dos meios de comunicação, para se darem a conhecer as condições em que é desenvolvido o Projecto.

equipa? Como o faz?

Existe supervisão e acompanhamento técnico? Como o fazem? Cada um sabe a função que tem que

desempenhar no Projecto? Quando entrou no Projecto foram-lhe apresentados os objectivos, equipa, espaço e recursos financeiros? Existe participação de todas as partes envolvidas no programa? Como o fazem?

O Projecto pode sofrer alterações?

Como surgiu o Projecto? Existem parcerias com outras organizações? Existe divulgação? Para quem? Como?

Espaço/Instalações Recolher informações sobre se o

espaço/instalações proporcionam bem-estar aos beneficiários e a todos os agentes que com eles trabalham e transmitem ao público uma imagem positiva, mantendo-se ao nível das organizações da comunidade que perseguem objectivos Recolher informações sobre: - a avaliação da qualidade dos recursos utilizados: material, equipamentos, instalações. Onde decorre o Projecto? O espaço pertence à comunidade? O local onde decorre o Projecto é adequado? Moderno? Seguro? Utiliza os recursos da comunidade para o desenvolvimento do Projecto?

(5)

semelhantes.

Costuma haver inspecção: (a) das acessibilidades; (b) da segurança; (c) do sistema de luta contra incêndios; e (d) das sinalizações? As instalações estão adequadas e adaptadas para desenvolver as actividades de uma forma funcional e condigna? Preocupa-se em adquirir equipamentos modernos e de qualidade, respondendo assim, às exigências das crianças, dos jovens e das

famílias? Assegura a gestão, manutenção, conservação e segurança das instalações, equipamentos e materiais? Selecção, Admissão e Acolhimento Recolher informações sobre os critérios de admissão e acolhimento dos beneficiários do Projecto. Recolher informações sobre: - a definição dos critérios de admissão no Projecto; - a aplicação de sistemas de revisão periódica, a fim de confirmar ou modificar o diagnóstico inicial; - o processo de acolhimento dos beneficiários. Quais os critérios de admissão das crianças e dos jovens no Projecto? No início das actividades observa e avalia o desempenho das crianças, jovens ou famílias? Partilha informações com os outros elementos da equipa? Altera o Projecto em função das necessidades? Apresenta aos beneficiários do Projecto o espaço, regulamento, equipa e os outros parceiros? Elaboração de Programas Recolher informações sobre a elaboração de Recolher informações sobre:

(6)

Individuais e Grupais programas

individualizados. - as actividades que o Projecto pode

proporcionar aos seus grupos-alvo; - a elaboração de programas individuais que assenta no diagnóstico de necessidades individuais; - o envolvimento e participação das crianças, jovens e famílias e dos diferentes profissionais/serviços no processo de elaboração, execução e avaliação dos programas individuais; - a montagem do sistema de coordenação entre os diferentes profissionais envolvidos no programa individual; - a realização dos ajustamentos/revisões ao programa individual. Existe um acompanhamento contínuo e individual das crianças e dos jovens enquanto decorre o Projecto? Que tipo de apoio é prestado? O programa pode ser alterado consoante as necessidades e/ou expectativas das crianças e dos jovens?

Existe avaliação contínua e

acompanhamento para implementar

intervenções ao longo do programa individual dos clientes? Como é feito?

Avaliação Recolher informações sobre o sistema de recolha de dados do programa e os critérios que lhe permitem identificar os resultados e efeitos das suas actividades nos grupos-alvo, nos agentes, nas organizações e na população. Recolher informações sobre: - a formação dos profissionais em técnicas de recolha de dados, através da observação; - a informação ás crianças, jovens e/ou às famílias sobre os resultados conseguidos;

- a suficiência do Projecto;

São realizadas

formações para a equipa técnica?

Existe registos e

transmissão às crianças, jovens e/ou famílias dos seus desempenhos no decorrer do Projecto? De que forma é feito? O Projecto tem os recursos humanos e materiais necessários e suficientes para o bom desenvolvimento das

(7)

- se o Projecto está capaz de ser avaliado;

- a avaliação da eficácia e eficiência; - o sistema de acompanhamento e avaliação dos beneficiários do Projecto; - a avaliação periódica dos impactos do Projecto nos diferentes profissionais/agentes envolvidos; - a avaliação do impacto do Projecto na organização. actividades? No Projecto estão definidos de forma clara o problema, objectivos, actividades, avaliação e resultados a obter? Como é concretizada a avaliação do Projecto? É feita avaliação aos clientes? Em que momentos? Transmite os resultados? É elaborado balanço de competências? Em que momentos? São elaborados relatórios e análise de dados sobre os resultados obtidos no Projecto? São introduzidas alterações consoante os resultados obtidos?

(8)

Guião de Entrevista: JOVENS

Dar informações sobre: - Finalidades; - Objectivos e conteúdos; - Duração; - Importância da colaboração dos entrevistados e agradecimento. Identificação das Necessidades existentes, Definição dos Objectivos e Área de intervenção do Programa

Recolher informações para a análise das necessidades existentes no contexto social em questão e criação de objectivos de intervenção fundamentados explícita ou implicitamente. Recolher informações sobre: - o processo de recolha de informação e análise das necessidades e interesses dos beneficiários do Projecto e o grau de urgência da satisfação das mesmas; - a definição dos objectivos do Projecto. Costumam perguntar-te quais são os teus interesses e as tuas expectativas em relação ao Projecto?

Gestão do Programa Recolher informações sobre o modo como o Projecto implementa a sua missão e visão suportado por uma política de recursos humanos que apela ao empowerment e por um rigor e

transparência nas questões financeiras e, como passa, essa imagem para o exterior. Recolher informações sobre: - a definição da estrutura organizativa de gestão e das suas funções;

- o sistema de formação da equipa técnica e restante pessoal nas competências exigidas pelo programa;

- a difusão da Informação sobre orientação, metas e fins do programa, de forma a que estes sejam conhecidos por todo o pessoal;

- a avaliação do impacto do Projecto na organização.

- a avaliação do meio

Quem é que te costuma informar sobre

alterações no Projecto? Como é que te

(9)

externo e acções de marketing social com utilização dos meios de comunicação, para se darem a conhecer as condições em que é desenvolvido o programa. - a coordenação do Projecto no propiciar orientação, motivação e liderança. O coordenador do Projecto costuma pedir-te as tuas opiniões e sugestões sobre o Projecto?

espaço/instalações proporcionam bem-estar aos beneficiários e a todos os agentes que com eles trabalham e transmitem ao público uma imagem positiva, mantendo-se ao nível das organizações da comunidade que perseguem objectivos semelhantes. Recolher informações sobre: - a avaliação da qualidade dos recursos utilizados: material, equipamentos, instalações; - a suficiência do Projecto. Onde decorre o Projecto? Este é um espaço da comunidade? Consideras que o local onde decorre o Projecto é adequado? É moderno? Selecção, Admissão e Acolhimento Recolher informações sobre os critérios do processo de admissão e acolhimento dos beneficiários do Projecto. Recolher informações sobre: - a aplicação de sistemas de revisão periódica, a fim de confirmar ou modificar o diagnóstico inicial. - o processo de acolhimento dos beneficiários. No decurso do Projecto, alguém te perguntou o quais tuas necessidades?

Quando entraste para o Projecto, foram-te apresentados os objectivos e os espaços onde decorrem as actividades? Elaboração de Programas Individuais e Grupais Recolher informações sobre a elaboração de programas individualizados. Recolher informações sobre: - as actividades que o Projecto pode proporcionar às crianças, jovens e/ou famílias;

O Projecto está adaptado às pessoas com mais dificuldades? Os espaços são

adequados a pessoas com dificuldades de

(10)

- a elaboração de programas individuais que assenta no diagnóstico de necessidades individuais; - o envolvimento e participação das crianças, dos jovens e dos diferentes profissionais/serviços no processo de elaboração, execução e avaliação dos programas individuais. realizar movimentos? As actividades do Projecto são todas cumpridas?

Em que medida achas que este Projecto é importante?

Acha que este Projecto satisfaz as tuas

necessidades? Este Projecto está preocupado com as necessidades de cada um dos que o

frequentam?

Costumam informar-te sobre o teu desempenho no decorrer do

Projecto?

Avaliação Recolher informações sobre o sistema de recolha de dados do Projecto e os critérios que lhe permitem identificar os resultados e efeitos das suas actividades nos beneficiários, nos Agentes, nas organizações e na população. Recolher de informações sobre: - os instrumentos de recolha de dados que permitam avaliar o êxito alcançado pelo programa; - o envolvimento e participação das crianças, jovens, famílias e dos diferentes profissionais/serviços no processo de elaboração, execução e avaliação dos programas individuais; - a realização dos ajustamentos/revisões ao programa individual de cada beneficiário; Costumam informar-te sobre o teu desempenho no decorrer do

(11)

- a informação às crianças, jovens e/ou famílias sobre os resultados conseguidos;

- a suficiência do programa.

Fazes auto-avaliação?

Este Projecto tem recursos humanos suficientes e adaptados às tuas necessidades?

(12)

Guião de Entrevista: FAMÍLIAS

Dar informações sobre: - Finalidades; - Objectivos e conteúdos; - Duração; - Importância da colaboração dos entrevistados e agradecimento. Identificação das Necessidades existentes, Definição dos Objectivos e Área de intervenção do Programa Recolher informações para a análise das necessidades existentes no contexto social em questão e criação de objectivos de intervenção fundamentados explícita ou implicitamente. Recolher informações sobre: - o processo de recolha de informação e análise das necessidades e interesses dos beneficiários do Projecto e o grau de urgência da satisfação das mesmas.

Antes do seu filho frequentar este programa, foi

entrevistado por alguém no sentido de saberem quais eram as suas necessidades e interesses?

Gestão do Programa Recolher informações sobre o modo como o Projecto implementa a sua missão e visão suportado por uma política de recursos humanos que apela ao empowerment e por um rigor e

transparência nas questões financeiras e, como passa, essa imagem para o exterior. Recolher informações sobre: - a definição da estrutura organizativa de gestão e das suas funções; - a coordenação do Projecto no propiciar orientação, motivação e liderança; - a difusão da Informação sobre orientação, metas e fins do Projecto, de forma a que estes sejam

conhecidos por todo o pessoal;

- a avaliação do meio

Alguém costuma informá-lo sobre possíveis alterações do Projecto?

Na sua opinião quais são os objectivos do

Projecto?

O Coordenador do Projecto costuma pedir-lhe a sua

opinião/participação e sugestões sobre o Projecto? E costuma sugerir mesmo quando ele não lhe pede? Costuma receber informação e orientação sobre o Projecto? E quem é a pessoa que o mantém informado? Como é que o informa?

(13)

externo e acções de marketing social com utilização dos meios de comunicação, para se darem a conhecer as condições em que é desenvolvido o Projecto; - a avaliação do impacto do Projecto na organização.

espaço/instalações proporcionam bem-estar aos beneficiários e a todos os agentes que com eles trabalham e transmitem ao público uma imagem positiva, mantendo-se ao nível das organizações e da comunidade que perseguem objectivos semelhantes. Recolher informações sobre: - a avaliação da qualidade dos recursos utilizados: material, equipamentos, instalações; - a suficiência do Projecto. Onde decorre o Projecto? Este é um espaço da comunidade? O local onde decorre o Projecto tem boas instalações? As instalações têm equipamento moderno? Acha que existe a

preocupação em manter e assegurar esse material?

Selecção, Admissão e Acolhimento Recolher informações sobre os critérios de selecção dos candidatos, processo de admissão e acolhimento dos clientes do Projecto. Recolher informações sobre: - a aplicação de sistemas de revisão periódica, a fim de confirmar ou modificar o diagnóstico inicial. - o sistema de acompanhamento e avaliação dos clientes do Projecto;

- o processo de acolhimento dos beneficiários.

No decurso do Projecto, alguém o contactou para saber se estava satisfeito com o decorrer do programa?

Quando o seu filho entrou para o Projecto, foram-lhe apresentadas as pessoas responsáveis e os espaços onde

decorrem as actividades? Explicaram-lhe o que era pretendido e as regras de funcionamento do Projecto?

(14)

Programas Individuais e Grupais sobre a elaboração de programas individualizados. sobre: - o envolvimento e participação das crianças, jovens e/ou famílias e dos diferentes profissionais/serviços no processo de elaboração, execução e avaliação dos programas individuais; - a pertinência do Projecto, isto é, se se adequa às necessidades e/ou problemas que pretende satisfazer ou resolver.

Pensa que as pessoas do Projecto estão

preocupadas com as suas necessidades e a das outras famílias?

Avaliação Recolher informações sobre o sistema de recolha de dados do Projecto e os critérios que lhe permitem identificar os resultados e efeitos das suas actividades nos beneficiários, nos agentes, nas organizações e na população. Recolha de informações sobre: - a informação às famílias sobre os resultados conseguidos; - a suficiência do Projecto. Costumam informá-lo sobre o desempenho do seu filho e participação no decorrer do Projecto? Este Projecto tem recursos humanos suficientes e adaptados às suas necessidades?

(15)

ANEXO C

GUIÕES DAS ENTREVISTAS APRECIATIVAS

Guião de Entrevista: TÉCNICOS

Fases Objectivos Gerais Objectivos Específicos

Questões Apreciativas Informação Fornecer informações

Dar informações sobre: - Finalidades; - Objectivos e conteúdos; - Duração; - Importância da colaboração dos entrevistados e agradecimento. Introdução Inquérito Apreciativo Fornecer informações sobre o Inquérito Apreciativo.

Dar informações sobre: - Objectivos do IA; - Modelo 4-D; Descoberta Identificar o que de

melhor existe no Projecto. Conduzir entrevistas apreciativas; Recolher e, promover a partilha entre os participantes, de experiências, histórias e oportunidades; Envolver os técnicos numa conversa sobre as forças e os atributos do Projecto;

Criar empatia.

Pense no trabalho que tem vindo a desenvolver no Projecto Intervir em que está inserido. Descreva o melhor momento que viveu no Projecto. O que torna essa experiência única? Que circunstâncias levaram a essa experiência positiva? Quem estava envolvido? Existem outros pontos altos?

O que aprendeu, através dessa experiência, que pode utilizar

construtivamente nas circunstâncias actuais? O que o entusiasma no Projecto?

Sonho Identificar o modo como o Projecto deveria ser. Visualizar mudanças; Usar as histórias recolhidas na fase de Descoberta para visualizar o futuro;

Explorar novas formas

Quais os seus três desejos para o futuro em relação ao Projecto Intervir? E no que respeita ao seu futuro profissional no âmbito do Projecto?

(16)

de construir

positivamente o futuro do Projecto;

Estabelecer a ponte entre o que o Projecto é e o que o Projecto deveria ser.

três afirmações que completem a seguinte frase: “O Projecto Intervir deveria ser…” Como será o Projecto daqui a 3 anos? Vamos imaginar que estamos em 2012. Um jornalista contactou-o porque quer fazer uma reportagem sobre o sucesso que o Projecto tem vindo a ter. O que vai dizer ao

jornalista sobre o que tem vindo a acontecer que torna o seu trabalho tão benéfico? Que mudanças e eventos tornaram esse sucesso possível? O que é que as pessoas dizem do Projecto?

Delineamento Co-construir o Futuro do Projecto.

Construir planos de acção que suportem novas perspectivas e oportunidades;

Descrever o Projecto ideal e formas para o conseguir – as suas estruturas, estratégias, sistemas, valores, normas, relações.

Continuamos em 2012. Falem-me do que existe de diferente (e. g. estratégias de

intervenção, processos, relações, estruturas, sistemas, valores, normas, etc.) no Projecto. O que fizeram para chegar a essas mudanças?

Destino Sustentar a mudança Implementar planos de acção;

Co-construir mudanças específicas.

De novo em 2009. Que acções identificam como prioritárias para chegar ao que construíram para 2012?

De que forma essas mudanças podem ser implementadas no imediato?

(17)

Guião de Entrevista: JOVENS

Criar empatia.

Pensa na tua participação e nas experiências que tiveste no Projecto. Descreve o melhor momento que viveste no Projecto. O que torna essa experiência única? Que circunstâncias levaram a essa experiência positiva? Quem estava envolvido? Existem outros pontos altos?

O que aprendeste, através dessa experiência, que podes utilizar noutras alturas?

O que te entusiasma no Projecto?

Explorar novas formas de construir

Quais os teus três desejos para o futuro em relação ao Projecto Intervir? E no que respeita á tua participação no Projecto? Em conjunto, escolham três afirmações que completem a seguinte frase: “O Projecto Intervir deveria ser…” Como será o Projecto daqui a 3 anos? Vamos imaginar que estamos em 2012. Um jornalista

(18)

contactou-te porque quer fazer uma reportagem sobre o sucesso que o Projecto tem vindo a ter. O que vais dizer ao jornalista sobre o que tem vindo a acontecer de tão benéfico no Projecto? Que mudanças e eventos tornaram esse sucesso possível? O que é que as pessoas dizem do Projecto?

Continuamos em 2012. Fala-me do que existe de diferente no Projecto. O que fizeram para chegar a essas mudanças?

De novo em 2009. Que acções identificas como prioritárias para chegar ao que construíram para 2012?

(19)

Guião de Entrevista: FAMÍLIAS

Criar empatia.

Pense na sua participação, e na participação do seu filho, no Projecto. O que considera que o Projecto tem de melhor? Existem outros pontos fortes? O que aprendeu, através desses pontos fortes, que pode utilizar noutros momentos actuais? O que o entusiasma no Projecto?

Explorar novas formas de construir

Quais os seus três desejos para o futuro em relação ao Projecto Intervir? E no que respeita à sua participação e à

participação do seu filho no Projecto?

Em conjunto, escolham três afirmações que completem a seguinte frase: “O Projecto Intervir deveria ser…” Como será o Projecto daqui a 3 anos? Vamos imaginar que estamos em 2012. Um jornalista contactou-o porque quer fazer uma reportagem sobre o sucesso que o Projecto tem vindo a ter.

(20)

O que vai dizer ao

jornalista sobre o que tem vindo a acontecer que torna o Projecto tão benéfico? Que mudanças e eventos tornaram esse sucesso possível? O que é que as pessoas dizem do Projecto?

Continuamos em 2012. Falem-me do que existe de diferente. O que fizeram para chegar a essas mudanças?

De novo em 2009. Que acções identificam como prioritárias para chegar ao que construíram para 2012?

(21)

ANEXO D

APRESENTAÇÃO DO PROCESSO DE AVALIAÇÃO DOS PROJECTOS INTERVIR

Mestrado Integrado em Psicologia

Diana Almeida

Orientador: Professor Doutor Luís Miguel Neto

Avaliação de Programas de Prevenção: Projectos Intervir

(Programa Municipal de Prevenção das Toxicodependências na

(22)

Enquadramento

 A avaliação de programas sociais

Na promoção da qualidade de programas sociais, a avaliação adquire um papel fundamental ao concretizar os seguintes objectivos: a) aumentar o conhecimento sobre a lógica subjacente à criação do programa; b) analisar o grau em que o programa atingiu os objectivos previstos; c) avaliar os resultados do programa: cobertura, eficácia e eficiência; e d) promover a mudança no sentido de melhorar o processo desenvolvido (Projecto Rumo à Qualidade, 2007). Desta forma, a avaliação pode ser definida como uma forma de determinar o mérito, o valor e o significado de um determinado objecto (Fernandez-Ballesteros, 2004) ao identificar o retorno social dos investimentos realizados e ao gerar informações que orientem tomadas de decisão.

 Avaliação de Programas de Prevenção: Projectos Intervir

A investigação na área da avaliação de programas de prevenção tem vindo a assumir um papel de destaque (Muraskin, 1993) e, é neste sentido, que surge a ideia de implementar um modelo de avaliação no Programa Intervir, que conjugue métodos de avaliação com concepções e pressupostos complementares. Por outro lado, pretende-se descobrir os aspectos que melhor funcionam em programas de prevenção comunitários, como o Programa Intervir. Assim sendo, pretende-se generalizar à teoria, e não uma generalização empírica. Como tal, a investigação propõe-se a incidir na avaliação de três Projectos Intervir, não tendo como objectivo generalizar os resultados da mesma ao Programa Intervir no seu todo.

Metodologia

A avaliação dos Projectos Intervir, proposta neste documento, será de natureza qualitativa e como tal, focada nos processos e significações, através de métodos geradores de dados flexíveis, detalhados e sensíveis ao contexto. A análise será pois, mais centrada nos processos do que nos resultados ou produtos. Desta forma, torna-se fundamental triangular diferentes métodos, teorias e fontes de dados. Para tal, são propostos dois instrumentos usados na avaliação de programas: o Referencial para a Promoção da Qualidade nos Programas e o Inquérito Apreciativo, cujas concepções se complementam

(23)

 Referencial para a Promoção da Qualidade nos Programas/Serviços Sociais Na avaliação de programas os modelos lógicos constituem-se como uma ferramenta útil ao sumariar os elementos-chave do programa: a) inputs; b) actividades; e c) outputs (McLaughlin, Gretchen & Jordan, 2004). A avaliação que utiliza o modelo lógico é simultaneamente descritiva e prescritiva, na medida em que descreve os processos inerentes ao programa, ao mesmo tempo que, prescreve a lógica de como o programa devia funcionar (Chen & Rossi, 1983). É pois, através de uma avaliação focada nos processos que os resultados do programa são avaliados: cobertura (análise das pessoas envolvidas); b) eficácia (análise dos resultados obtidos face ao esperado); e c) eficiência (análise dos recursos utilizados para atingir os resultados) (Projecto Rumo à Qualidade, 2007).

Segundo McLaughlin, Gretchen & Jordan (2004), o processo de avaliação deve assentar na comparação entre o programa existente com o programa com qualidade. Ora, a avaliação da qualidade gira à volta de dois aspectos fundamentais: as necessidades dos clientes e os processos inerentes à actividade de um programa/serviço social (Marques & Calheiros citado por Projecto Rumo à Qualidade, 2007). Neste sentido, a investigação propõe-se a incidir na avaliação, através do Referencial para a Promoção da Qualidade nos Programas (Projecto Rumo à Qualidade, 2007), nos seguintes processos: a) identificação das necessidades, definição dos objectivos e da área de intervenção do programa; b) definição das actividades, métodos e estratégias; c) espaço/instalações; d) selecção, admissão e acolhimento; e) elaboração de programas individualizados; e f) avaliação. Com este fim, serão realizadas entrevistas aos técnicos, jovens e famílias dos Projectos Intervir, analisados os Formulários de Candidatura referentes ao ano de 2009 e observadas as instalações dos Projectos.

Inputs Actividades Outputs

Necessidades dos Clientes Processos Satisfação das Necessidades dos Clientes Necessidades Específicas Processo Chave Necessidades Específicas

Necessidades Gerais - Identificação das necessidades, definição dos objectivos e da área de intervenção do

programa;

- Definição das actividades, métodos e estratégias;

- Gestão do programa; - Espaço/instalações; - Selecção, admissão e acolhimento;

- Elaboração de programas Individualizados;

- Avaliação.

(24)

Figura 1 – Modelo Lógico dos Serviços e Programas Sociais com Qualidade (Projecto Rumo à Qualidade, 2007)

 Inquérito Apreciativo

O Inquérito Apreciativo, usado na avaliação de programas, é definido como um processo que enfatiza o que de melhor existe na organização. É um processo participativo, baseado na premissa de que quem melhor conhece uma dada organização são as pessoas que estão directamente envolvidas na mesma. Trata-se de um método de questionamento direccionado para os aspectos positivos com o objectivo de capacitar, através do foco nos sucessos do programa. A Figura 2 apresenta um modelo usado na condução do Inquérito Apreciativo – o Modelo 4D. De acordo com este modelo, a entrevista apreciativa percorre cada uma das seguintes fases: a) descoberta; b) sonho; c) delineamento; e d) destino. Num primeiro momento, os participantes analisam os pontos fortes de um programa, a partir dos quais são visualizadas mudanças. Desta forma, o processo de avaliação resulta numa coconstrução do futuro, pelos participantes, baseada em experiências positivas passadas (Preskill & Coghlan, 2003).

A essência do Inquérito Apreciativo, e o seu grande benefício na avaliação de programas, passa por implicar as pessoas, directamente envolvidas nos mesmos, no processo de avaliação, complementando avaliações externas. Neste sentido, permite mudanças mais sustentadas e aceites, uma vez que as mesmas foram coconstruídas pelo próprio sistema, isto é, pelas pessoas que melhor o conhecem.

Desta forma, a presente investigação propõe a integração da entrevista apreciativa nas entrevistas realizadas aos técnicos, jovens e famílias dos jovens.

Figura 2 – Inquérito Apreciativo: Modelo 4D (Preskill & Coghlan, 2003) Sonho Visualizar Mudanças Destino Sustentar a Mudança Delineamento Coconstruir o Futuro Descoberta Analisar os Sucessos

(25)

Fases da Recolha de Dados para a Avaliação dos Projectos

1ª Fase – Dezembro

 Recolha de evidências documentais: Formulário de Candidatura – Ano 2008

2ª Fase – Janeiro

 Entrevistas: Técnicos (coordenador e (2 de cada 1 técnico de cada projecto); Jovens (5 de cada projecto); Famílias dos jovens projecto (2 de cada projecto)

 Recolha de evidências documentais  Observação: Instalações.

3ª Fase – Fevereiro

 Recolha de evidências documentais: Formulário de Candidatura – Ano 2009  Conclusão da 2ª Fase

Bibliografia

Chen, H. T., & Rossi, P. H. (1983). Evaluating with sense: A theory-driven approach.

Evaluation Review, 7(3), 283-302.

Ballesteros, F. (2004). Calidad total en servicios gerontológicos. In R. Fernández-Ballesteros (Ed.), Gerontologia social (p. 435-452). Madrid: Ediciones Pirámide. McLaughin, J. A., Gretchen, B., & Jordan, J. (2004). Logic models. In S. Wholey, & H. P.

Hatry (Eds.), Handbook of practical program evaluation (p. 7-32). San Francisco, CA: Jossey-Bass.

Muraskin, L. D. (1993). Understanding evaluation: The way to better prevention programs. USA: Department of Education.

Preskill, H., & Coghlan, A. T. (2003). Using appreciative inquiry in evaluation. San Francisco: Jossey-Bass.

Projecto Rumo à Qualidade (2007). Referencial para a Promoção da Qualidade nos

(26)

ANEXO E

FOLHA DE REGISTO DAS ENTREVISTAS

Entrevista Individual

Data:__/__/__ Hora Início: __h__ Hora Fim: __h__

Nome_________________________ Idade_____ Número de Anos Afecto ao Projecto_____

INFORMAÇOES RELEVANTES:

OBSERVAÇÕES:___________________________________________________________________________ __________________________________________________________________________________________

Entrevista Focus Group

Data:__/__/__ Hora Início: __h__ Hora Fim: __h__

Nomes___________ ___________ ___________ ___________ ___________ ___________

INFORMAÇOES RELEVANTES:

OBSERVAÇÕES:___________________________________________________________________________ __________________________________________________________________________________________

(27)

Nº de requisitos avaliados: 19 Grau de Cumprimento: 84.2%

P1. Identificação das necessidades, definição dos objectivos e da área de intervenção do programa

Observações e Recomendações - Verifica-se um grau de cumprimento dos requisitos bom;

- Recomenda-se uma melhoria no envolvimento dos jovens e das famílias na identificação das necessidades e na definição dos objectivos.

P2. Definição das actividades, métodos e estratégias

- Recomenda-se uma melhoria no delineamento de estratégias alternativas face a mudanças e alterações nas necessidades identificadas.

ANEXO F

PROTOCOLO DE AVALIAÇÃO DO RPQ - PROGRAMAS SÍNTESE DOS RESULTADOS OBTIDOS

PROJECTO INTERVIR A Total 100% Elevado até 75% Médio 50% Baixo até 25% Nenhum % Não Aplicável Total Frequência 13 3 1 1 0 0 19 Total 100% Elevado até 75% Médio 50% Baixo até 25% Nenhum % Não Aplicável Total Frequência 15 3 2 1 0 2 23

(28)

P3. Gestão do programa

- Recomenda-se um investimento no planeamento de sessões de formação para os técnicos; e na criação de um sistema de avaliação do desempenho dos técnicos envolvidos no projecto;

- Recomenda-se uma melhoria no estabelecimento de parcerias com outras instituições sociais e escolas; e na divulgação do projecto.

P4. Espaço/Instalações

Observações e Recomendações - Verifica-se um grau de cumprimento dos requisitos suficiente;

- Recomenda-se um investimento na inspecção das acessibilidades e da segurança do sistema de água e electricidade.

Total 100% Elevado até 75% Médio 50% Baixo até 25% Nenhum % Não Aplicável Total Frequência 25 13 11 2 1 17 69 Total 100% Elevado até 75% Médio 50% Baixo até 25% Nenhum % Não Aplicável Total Frequência 3 3 2 3 1 1 13

(29)

P5. Selecção, admissão e acolhimento

Observações e Recomendações - Verifica-se um grau de cumprimento dos requisitos muito bom;

- Recomenda-se uma melhoria na divulgação do projecto e das actividades que preconiza.

P6. Elaboração de programas individuais e grupais

- Recomenda-se uma melhoria no envolvimento dos jovens e das famílias na definição dos objectivos individuais de cada jovem.

(30)

P7. Avaliação

- Recomenda-se um investimento na criação de um sistema de avaliação de desempenho dos técnicos; e na avaliação dos impactos sociológicos na comunidade; - Recomenda-se uma melhoria na transmissão do desempenho nas actividades aos jovens e às famílias; e na avaliação da satisfação dos jovens e das famílias.

Processos

Grau de Cumprimento

P1. Identificação das necessidades, definição dos objectivos e da área de intervenção do programa

81.5%

Processos

84.2%

P2. Definição das actividades, métodos e estratégias

P3. Gestão do programa

P4. Espaço/Instalações

P5. Selecção, admissão e acolhimento

P6. Elaboração de programas individuais e grupais

P7. Avaliação 88.1% 78.4% 58.3% 98.8% 85.5% 77.2%

Média

Total 100% Elevado até 75% Médio 50% Baixo até 25% Nenhum % Não Aplicável Total Frequência 22 11 7 4 1 4 49

(31)

- Recomenda-se uma melhoria no enquadramento do levantamento das necessidades, apoiado em dados estatísticos, estudos de caso, grupos de reflexão, pesquisas realizadas com os jovens e as famílias; e no envolvimento dos jovens e famílias na definição dos objectivos.

Nº de requisitos avaliados: 21 Grau de Cumprimento: 75%

- Recomenda-se uma melhoria: na definição dos conteúdos das actividades de acordo com os objectivos estabelecidos pelo projecto; e na diversificação de actividades.

PROJECTO INTERVIR B

(32)

- Recomenda-se um investimento no planeamento de sessões de formação para os técnicos; e na criação de um sistema de avaliação do desempenho dos técnicos envolvidos no projecto;

- Recomenda-se uma melhoria no acompanhamento, controlo e avaliação dos objectivos estabelecidos pelo projecto; e na divulgação do projecto.

- Recomenda-se um investimento na inspecção das acessibilidades; e da segurança do sistema de água e electricidade.

- Recomenda-se uma melhoria na disposição do espaço, adaptando-o a diferentes actividades (e. g. o espaço para a actividade de apoio ao estudo diferente do espaço de jogos de computador e playstation).

(33)

- Recomenda-se um investimento na elaboração de um regulamento e documento informativo referente ao projecto;

- Recomenda-se uma melhoria na divulgação das actividades preconizadas pelo projecto.

- Recomenda-se uma melhoria na criação de actividades diversificadas, de acordo com as necessidades identificadas. Total 100% Elevado até 75% Médio 50% Baixo até 25% Nenhum % Não Aplicável Total Frequência 15 5 1 1 0 6 28 Total 100% Elevado até 75% Médio 50% Baixo até 25% Nenhum % Não Aplicável Total Frequência 13 13 4 1 0 1 32

(34)

P7. Avaliação

- Recomenda-se um investimento na formação técnica; na criação de um sistema de avaliação de desempenho dos técnicos; e na definição dos critérios de avaliação das actividades, de acordo com objectivos estabelecidos;

- Recomenda-se uma melhoria na relação entre as necessidades identificadas e os conteúdos das actividades propostas.

Processos

P1. Identificação das necessidades, definição dos objectivos e da área de intervenção do programa P2. Definição das actividades, métodos e estratégias

P4. Epaço/Instalações

P6. Elaboração de programas individualizados

P7. Avaliação

75.1%

Processos

77.6%

P7. Avaliação 75% 74.5% 64.6% 88.7% 78.1% 67.2%

Média

(35)

- Recomenda-se uma melhoria no envolvimento dos jovens e das famílias na definição dos objectivos.

- Recomenda-se uma melhoria no envolvimento dos jovens e das famílias na selecção das actividades preconizadas pelo projecto; e na definição de estratégias de intervenção coerentes com o regulamento do Programa Intervir.

PROJECTO INTERVIR C

(36)

- Recomenda-se um investimento na criação de um sistema de avaliação do desempenho dos técnicos envolvidos no projecto; e na divulgação do projecto, promovendo a sua identidade e reconhecimento na comunidade.

- Recomenda-se um investimento na criação de um espaço autónomo e adaptado às necessidades; e na inspecção das acessibilidades e da segurança do sistema de água e electricidade.

- Recomenda-se uma melhoria na disposição do espaço, adaptando-o a diferentes actividades. Total 100% Elevado até 75% Médio 50% Baixo até 25% Nenhum % Não Aplicável Total Frequência 26 14 9 3 0 17 69 Total 100% Elevado até 75% Médio 50% Baixo até 25% Nenhum % Não Aplicável Total Frequência 1 3 4 3 1 1 13

(37)

- Recomenda-se uma melhoria na divulgação do projecto e das as actividades que preconiza, promovendo a sua identidade e reconhecimento na comunidade.

- Recomenda-se uma melhoria na criação de actividades diversificadas, de acordo com as necessidades identificadas; e no envolvimento das crianças e jovens nas actividades preconizadas. Total 100% Elevado até 75% Médio 50% Baixo até 25% Nenhum % Não Aplicável Total Frequência 17 4 1 0 0 6 28 Total 100% Elevado até 75% Médio 50% Baixo até 25% Nenhum % Não Aplicável Total Frequência 13 14 3 1 0 1 32

(38)

P7. Avaliação

- Recomenda-se um investimento na criação de um sistema de avaliação de desempenho dos técnicos;

- Recomenda-se uma melhoria na transmissão do desempenho nas actividades aos jovens e às famílias; na avaliação da satisfação dos jovens e das famílias; e na avaliação dos impactos sociológicos do projecto na comunidade.

Processos

P1. Identificação das necessidades, definição dos objectivos e da área de intervenção do programa P2. Definição das actividades, métodos e estratégias

P4. Epaço/Instalações

P6. Elaboração de programas individualizados

P7. Avaliação

80%

Processos

92.1%

P7. Avaliação 83.1% 79.9% 50% 93.1% 81.5% 80%