A avaliação de programas

A avaliação revela-se bastante importante em todo o processo de conceção e implementação de programas sociais de intervenção em saúde, uma vez que, só assim, é possível saber se pela utilização de uma ação ou conjunto de ações se atingiram ou não os objetivos propostos. Achamos importante começar pela definição da palavra avaliação, que de acordo com o dicionário de epidemiologia é “um processo que procura determinar, de forma tão sistemática quanto possível, a relevância, a eficácia e o impacte de uma intervenção, ou outras atividades, à luz dos seus objetivos” (Last, 1995, p.79). Complementando, Kosecoff e Fin (1982) consideram-na “um conjunto de procedimentos para julgar os méritos de um programa e fornecer uma informação sobre os seus fins, as suas expectativas, os seus resultados previstos e imprevistos, o seu impacto e os seus custos” (citados em Monteiro, 1996, p.138). Podemos então afirmar que a avaliação é uma forma de saber, analisar, compreender e aprender através da prática perspetivando ações futuras. Ajuda a perceber de uma forma mais clara e objetiva todo o trabalho desenvolvido, sempre numa lógica de aprendizagem contínua articulando a investigação com a ação.

Relativamente aos principais objetivos inerentes à avaliação de programas, salientamos: determinar o grau de pertinência, idoneidade, efetividade, eficiência e eficácia do programa; identificar lacunas e necessidades contribuindo para os processos de decisão no sentido de melhorar e/ou modificar o programa; estabelecer as razões dos êxitos e/ou fracassos; aumentar o conhecimento através da identificação de evidência científica em determinada área (Monteiro, 1996, Filho & Ferreira-Borges, 2008).

Considerando as diversas formas de avaliação das competências sociais, evidenciamos as recomendações dos autores (Del Prete & Del Prette, 1999; Gresham, 1995; Lemos & Menezes, 2002; Spence, 2003) pela possibilidade de utilização de diferentes

28

instrumentos e vários procedimentos, nomeadamente, a sociometria, instrumentos de auto registo, escalas e/ou inventários, registos de observação de ocorrências, testes de desempenho de papéis, entrevistas e avaliação fisiológica (avaliação multimétodo); a utilização de diferentes fontes de informação como por exemplo os professores, pais, colegas, amigos ou outros significativos; e recorrendo a vários contextos de interação social como a escola, a família, o trabalho, a comunidade (multi setting). Esta avaliação baseada em diferentes instrumentos e procedimentos, utilizando várias fontes de informação e em diferentes contextos é denominada de avaliação multimodal (Del Prette & Del Prette, 2009; Spence 2003).

Um só instrumento torna-se muito redutor na deteção de défices de habilidades sociais específicas e mesmo na avaliação da eficácia de um programa de treino de competências sociais, no entanto, Lang (1968 citado em Caballo, 2008a) alertou para o facto de que as medidas de auto registo, as comportamentais e as fisiológicas representam diversas formas de respostas e por isso pode não haver correlação entre elas, o que também poderá ser útil para discriminar a existência de défices em determinadas formas de responder (e.g. o indivíduo pode ter uma auto perceção de ser socialmente competente mas fisiologicamente experimentar níveis de ansiedade moderados, podendo esta avaliação resultar contraditória).

Dada a abrangência e a multidimensionalidade conceptual das habilidades sociais e da competência social, tanto o tipo de instrumentos de avaliação como a interpretação dos resultados deve ter em conta as várias dimensões, de modo a tentar compreender e articular os diferentes indicadores para uma avaliação o mais rigorosa e completa possível.

A avaliação de programas/projetos é feita através da análise dos dados tendo em conta os objetivos específicos para cada fase ou momento distinto em que ocorrem. De uma forma geral podemos mencionar quatro principais momentos sequenciais: antes, durante e depois da implementação do programa e num período de acompanhamento pós- programa (Caballo, 2008b; Cano, 2008; Filho & Ferreira-Borges, 2008; Last, 1995; Monteiro, 1996).

- A avaliação antes, serve para identificar os défices ao nível das competências sociais e deve ser direcionada para o modelo de planificação e estrutura dando informações acerca da conceptualização do programa.

- Na avaliação durante, vai-se fazendo uma análise de como o comportamento se vai ou não modificando no sentido de minimizar os défices identificados antes, e de como a própria pessoa avalia o seu progresso. É uma avaliação direcionada para os processos,

29

com principal interesse na metodologia utilizada, na operacionalização das intervenções, permitindo perceber se o programa pré-estabelecido está de acordo com o previsto, ou se, por outro lado, é necessário fazer ajustes e modificar a intervenção.

- A avaliação final ou avaliação de eficiência e eficácia, é direcionada para os resultados, cujo principal objetivo é saber se uma determinada intervenção produziu os efeitos esperados, também denominada avaliação retrospetiva. Mais concretamente, a avaliação da eficiência centra-se numa análise económica de custo-benefício e é considerada a competência de produzir resultados de excelência sem perdas ou desperdícios utilizando um dispêndio mínimo de recursos e esforços. A avaliação da eficácia permite saber se ocorreram mudanças e se existe relação entre o programa de intervenção e os resultados conseguidos, é o poder de causar determinado efeito em determinadas condições experimentais. Ficamos com a ideia de quais foram as alterações verificadas, comparativamente com o início da implementação do programa (Donabedian, 1990). - A fase de acompanhamento pós-programa ou avaliação do impacto permite saber se existiram mudanças efetivas na vida das pessoas decorrentes da intervenção, se essas mudanças se mantêm e se houve a possibilidade de generalização a outros contextos da vida diária. Estas mudanças podem afetar, não só as pessoas que participaram no programa como outros que não estando envolvidos diretamente puderam beneficiar dele. Apenas uma breve referência à diferença entre efetividade e impacto no que respeita ao fator tempo de acordo com a perspetiva de Rundall (1992), na qual a efetividade corresponde à capacidade de se chegar aos resultados pretendidos a curto prazo e o impacto a longo prazo.

De acordo com o exposto, entendemos que a qualidade da avaliação depende diretamente do rigor com que são definidos os parâmetros a avaliar e do rigor com que se analisam os dados recolhidos ao longo do programa. Assegurados estes pressupostos estarão criadas as condições para a generalização dos resultados obtidos pela implementação do programa.

Apenas uma referência sobre quem é que realiza a avaliação, uma vez que esta pode também ser uma forma de a classificar, podendo então tratar-se de ‘avaliação externa’ ou ‘avaliação interna’ (Cano, 2008). A avaliação externa é feita por pessoas que não participam no programa, podendo ser consultores ou instituições chamados a realizar apenas essa atividade. Poderá ser vantajosa uma visão global externa, isenta e com um maior distanciamento relativamente ao processo no seu todo. Mas, poderão existir alguns riscos, nomeadamente pela possibilidade da presença de avaliadores com uma postura demasiado teórica, dificuldades no acesso à informação e alguma confusão acerca da

30

avaliação do programa ou dos participantes. A avaliação interna é feita por pessoas que pertencem ao programa, o que em termos de aproximação com os participantes e de conhecimento do programa, pode ser uma vantagem.

Neste sentido, as características pessoais dos agentes responsáveis pela aplicação e avaliação de programas na área da promoção da saúde e particularmente em TCS, são importantes fatores a ter em conta para o sucesso da intervenção.