Capitulo III – Projeto de intervenção
7. Avaliar a intervenção: Plano de avaliação
Para conceber um plano de avaliação, seja qual for o contexto ou situação, é importante que se compreenda o que é avaliar e quais os princípios fundamentais para o sucesso do ato avaliativo. Fernandes (2010) refere que a avaliação é uma prática social que contribui em certa medida para a compreensão e melhoria do mundo que nos rodeia. Apesar de em muitas situações a avaliação ainda causar algum desconforto e instabilidade nas pessoas a verdade é que todos nós de um modo ou outro avaliamos e somos avaliados sistematicamente. Como anteriormente mencionado o grupo de catequistas para o qual se dirige este projeto de intervenção não reconhece a avaliação como uma dimensão relevante para a ação catequética aspeto que deve ser tido em consideração no desenho do plano avaliativo. É pertinente ter presente a definição de Stufflebeam e Shinkfield (2007), os quais se referem à avaliação como sendo um processo sistemático, genérico o qual se deve centrar no valor ou mérito do objeto mais do que na metodologia. Os autores prosseguem no seu discurso chamando á atenção para a necessidade de num processo avaliativo ter em linha de conta os critérios e princípios da avaliação, o rigor, eficácia, equidade, credibilidade, a adequação ética e a viabilidade do plano.
Todas estas ideias devem estar presentes quando se desenha um plano de avaliação que visa avaliar a intervenção de um projeto formativo. Nestas situações em concreto é importante conhecer a estrutura e desenho do projeto a fim de adequar as metodologias de avaliação ao contexto como nos refere Guerra (2000).
ANA INÊS COLARES 110 “O plano de avaliação estrutura-se “em função do desenho do projecto e é acompanhado por mecanismos de autocontrolo que permitem, de forma rigorosa, ir conhecendo os resultados e os efeitos da intervenção e corrigir as trajectórias caso estas sejam indesejáveis”
(Guerra, 2000, p. 175)
A finalidade deste plano de avaliação é a de verificar de que forma o projeto formativo contribuiu para o aprofundamento de conhecimentos e para a melhoria da prática catequética destes educadores. Por outro lado é intenção deste plano avaliativo aferir o impacto do projeto de intervenção na comunidade nomeadamente na participação ativa das famílias na educação cristã dos seus filhos.
Tendo em vista tudo o que tem vindo a ser mencionado optou-se por aplicar o modelo de D. Kirkpatrick (Instituto para a Qualidade da Formação, 2006). O autor indica-nos quatro níveis de avaliação que se considerou serem ajustados para avaliar de uma forma adequada o projeto de formação.
Este modelo pode-se incluir em duas categorias de abordagens de avaliação mencionadas por Stufflebeam (2000), citado por Domingos (2010, p. 9). A categoria na qual as avaliações têm como enfoque a prestação de serviços, uma vez que os catequistas prestam um serviço educativo à comunidade sendo a finalidade da avaliação a de perceber de que modo a formação contribui para a melhoria desse serviço. Pode-se igualmente incluir na categoria da agenda social, pois tem em vista o envolvimento de todos os intervenientes no projeto.
Importa sublinhar que este projeto contém dois eixos de intervenção, contudo o objeto de avaliação será a ação dos catequistas, visto estes estarem envolvidos de forma ativa nos dois eixos de intervenção. Prossegue-se com uma descrição das diversas fases de avaliação, o que será avaliado em cada fase e quais os instrumentos e técnicas a serem aplicados. Sublinha-se que para a concepção desta proposta de avaliação teve-se por base as orientações apresentadas no guia de avaliação da formação, do Instituto de Qualidade da Formação (2006).
1º Nível – Nível da reação ou satisfação
Nesta primeira fase pretende-se avaliar o feedback de todos os atores envolvidos na acção, no caso em concreto nas sessões de formação e nas atividades.
ANA INÊS COLARES 111 Intervenientes:
1º Eixo: Catequistas, pároco, e formadores quando estiverem presentes nas sessões;
2º Eixo: Catequistas, famílias, e comunidade em geral.Indicadores a considerar:
1º Eixo: Adequação dos objetivos e temáticas, pertinência das sessões, os métodos e técnicas de dinamização, a gestão e a organização da sessão;
2º Eixo: A organização da atividade, o nível de participação, as temáticasabordadas.
Instrumentos a aplicar:
1º Eixo: Observação participante, reflexão em grupo, questionários presenciais ou online;
2º Eixo: Observação participante, reflexão em grupo com os catequistas e com o sacerdote, conversas informais com alguns pais e outros elementos da comunidade.Quando avaliar: O grau de satisfação será medido no final de cada sessão ou
atividade.
2º Nível – Avaliar as aprendizagens
Com este nível pretende-se avaliar e medir os conhecimentos e competências adquiridas pelos formandos.
Intervenientes:
1º Eixo: Catequistas;
2º Eixo: Catequizandos e famílias.Indicadores a considerar: Os indicadores que se deve ter em consideração neste
nível para ambos os eixos são a apropriação dos conhecimentos e conteúdos pelos diversos atores.
Instrumentos a aplicar:
1º Eixo: Reflexões em grupo, apresentações orais, fóruns de discussão online;
2º Eixo: Focus group com catequizandos e conversas informais com asANA INÊS COLARES 112 Quando avaliar: A avaliação das aprendizagens será concretizada durante a
implementação do projeto.
3º Nível – Avaliar a transferência das aprendizagens para a ação
O terceiro nível deste modelo tem por objetivo compreender de que forma os conhecimentos adquiridos na formação são mobilizados para a prática dos indivíduos.
Intervenientes:
1º Eixo: Catequistas;
2º Eixo: Catequizandos e suas famílias.Indicadores a considerar:
1º Eixo: Mudanças na prática educativa dos catequistas, resolução de problemas, organização e gestão das sessões;
2º Eixo: Acompanhamento das crianças ao longo da formação catequética.Instrumentos a aplicar: Para ambos os eixos serão as entrevistas aos catequistas,
observação participante e focus group com crianças e familiares.
Quando avaliar: Este nível poderá ser avaliado no decurso do plano de intervenção
contudo deverá ser concretizada uma avaliação após seis meses do termo do plano.
4º Nível – Impacto do projeto na vida comunitária
Com este nível pretende-se medir qual o impacto do projeto de intervenção na comunidade paroquial.
Intervenientes: Toda a comunidade paroquial.
Indicadores a considerar: Contributos do projeto para o desenvolvimento da
educação cristã da comunidade.
Instrumentos a aplicar: Uma entrevista ao sacerdote, conversas informais a alguns
elementos da comunidade tais como: pais, avós, crianças entre outros.
Quando avaliar o impacto do projecto: Este nível será avaliado no final do ano
ANA INÊS COLARES 113