3.1. Da necessidade de rep en sar as práticas de avaliação da form ação
N os autores que, em diversos países, se têm debruçado sobre a avaliação da form ação, encontram os um verdadeiro consenso quanto à escassez, falta de credibilidade, I y
falta de qualidade e ineficácia das práticas instituídas. »
C auterm an, D em ailly e outros (s/d: 12) afirm am que “a form ação contínua de ^ p ro fesso res está pouco e m al avaliada” , resum indo-se a balanços intuitivos, descrições de c onteúdos e contabilização da procura.
Joyce e Show ers (1988: 111), po r sua vez, assinalam que “as boas avaliações são realizadas contra aquilo a que habitualm ente se cham a “ avaliações” , as quais consistem , reg ra geral, na solicitação de um a apreciação final dos form andos sobre a actividade e o form ador.
T am bém D andrel e outros (1990:7) fazem notar que as práticas de avaliação da
\y
form ação se têm lim itado à contabilização do tipo de acções e das características socio- dem ográficas dos form andos, concluindo que “na form ação, a avaliação é o elo m ais fraco da cadeia pedagógica” .
N a m esm a obra, P ique (1990) dá conta que as práticas de avaliação, na m aior parte jC(iv^ - das vezes, não fornecem respostas às verdadeiras questões que se colocam sobre a form ação, porque não reflectem os objectivos dessa form ação nem a sua eficácia profissional, já que se lim itam a m edir o grau de satisfação m o m om ento final da form ação (“ a q u en te” ).
D e form a ainda m ais radical, Pacheco (1999:162), retom a a afirm ação de G alluzo e C raig (1990) para afirm ar que “na form ação de professores, a av aliação está o rfã” .
E strela (1999, 2003) faz uma apreciação m uito crítica sobre a avaliação da form ação contínua de professores levada a efeito em Portugal. Estas avaliações, realizadas po r ex igência da entidade que coordena e financia a form ação contínua, têm sobretudo um a função de controlo do sistem a, tom ando-se um a form alidade para form adores e form andos e, em m uitos casos, p ara as próprias instituições de form ação. A avaliação não adquire,
A avaliação do processo de form ação, um a estratégia form ativa? Da análise das práticas ao esboço de um m odelo de formação.
assim , a função form ativa que poderia ter para os intervenientes e para a acção; em vez disso, dá origem a um conjunto de inform ações pouco credíveis, recolhidas e interpretadas sem explicitação de referenciais relativos à orientação da form ação e concepção de professor e sem enquadram ento num a intenção e m odelo de avaliação.
“C onsequentem ente, a avaliação, em vez de dar bases fidedignas à tom ada de decisões, irá apenas contribuir para p erpetuar equívocos e erros. A ssim se explicará em grande parte o discurso negativista que m uitos professores fazem sobre a form ação que eles possivelm ente avalizam no acto da avaliação, discurso pessim ista em flagrante contraste com o optim ism o que decorre dos relatórios dos centros e en tidades oficiais, em que as form ações avaliadas m enos positivam ente são u m a raridade. (Estrela, 1999: 201)
Estes autores estão de acordo em que é necessário rever o m odo com o têm sido concebidas, realizadas e utilizadas as avaliações da form ação, o que exige, em prim eiro lugar, o reconhecim ento do papel que esta pode ter no contexto da form ação.
A necessidade de avaliar para conhecer m ais sobre a form ação contínua de professores é assinalada po r C auterm an, D em ailly e outros (s/d). Estas autoras referem que | a avaliação da form ação contínua de professores corresponde a um a necessidade actual de perceber os efeitos dos diferentes dispositivos e m étodos de form ação (para ultrapassar as “ m odas form ativas” ou o discurso ideológico), m as tam bém a uma exigência dos form adores que pretendem obter m ais elem entos do q u e apenas aqueles que são internos à própria form ação, com o a satisfação de expectativas, a relação pedagógica ou a participação dos form andos nas sessões. C orresponde ainda a um a oportunidade teórica para com preender m elhor este cam po de investigação, j á que correlação estabelecida entre form ação contínua é m udança das organizações, dos agentes e das culturas profissionais levou a um grande increm ento da prim eira, nos últim os anos, em diversos países ocidentais.
A s m esm as autoras reconhecem , por outro lado, a com plexidade da actividade avaliativa no contexto d a form ação de professores. Frequentem ente, essa com plexidade produz um paradoxal efeito de sim plificação: em vez de delim itar o objecto a partir das finalidades, sim plifica-se o real e confundem -se os objectivos, pautando a recolha e tratam ento da inform ação po r critérios quase exclusivam ente de exequibilidade (C auterm an, D em ailly e outros, s/d). É essa exequibilidade que ju stifica que, na m aior parte das vezes, a form ação seja avaliada através das opiniões e percepções dos intervenientes
A avaliação do processo de form ação, uma estratégia form ativa? Da análise das práticas ao esboço de um m odelo de form ação.
directos, raram ente se recorrendo a outras form as de recolha de dados, com o a observação (da form ação ou das aulas, no contexto escolar). Essas opiniões e percepções, por outro lado, são recolhidas através de questionários elaborados a partir de um quadro de referências não explicitado nem discutido e passível, po r isso, de diferentes interpretações, raram ente se recorrendo a en trev istas que elucidem os resultados obtidos ou à devolução e d iscussão desses resultados. A recolha é realizada, em m uitos casos, no m om ento final da form ação, o que confere a essas opiniões e percepções um a função m eram ente recapitulativa do processo e preditora dos efeitos, não se procurando captar inform ação noutros m om entos da acção ou após esta, no contexto profissional.
O fraco desenvolvim ento da avaliação da form ação deve-se, segundo C auterm an, D em ailly e outros (s/d) às dificuldades objectivas na sua realização, dificuldades que, em parte, são inerentes a q u alq u er actividade pública (e, p or isso, política) e, em parte, às especificidades da form ação dos professores. C om efeito, a avaliação é um a tom ada de posição quanto ao que deve se r avaliado, quanto aos referentes a ter em conta e quanto à com u n icação dos resultados e raram ente estas questões são consensuais para todos os agentes sociais im plicados. Por outro lado, os objectivos d a form ação de professores (e da m u d an ça a conseguir) são m últiplos e, na m aior parte das vezes, divergentes não apenas en tre os vários actores, m as na própria sociedade.
Joyce e Show ers (1988) assinalam tam bém a dificuldade e m avaliar os program as/ de form ação contínua de professores, decorrente de factores m etodológicos, financeiros e políticos que se situam q u er no contexto da form ação, q u er no co n tex to das escolas e salas de aula. T am bém estas autoras assinalam a tendência para avaliar a form ação apenas no m om ento final e através de questionários pouco elucidativos e/ou am bíguos.
^ E strela (1999) sublinha tam bém as problem áticas que se colocam na avaliação da form ação, considerando que estas são de ordem política (quem pode e quem deve realizar a avaliação, com que finalidade se avalia, que referenciais se definem ), ético-axiológica (a salv ag u ard a da coerência interna d a própria form ação e dos direitos dos indivíduos e das instituições), epistem ológica (o papel do sujeito na form ação e na própria avaliação) e técn ico-científica (m odelos, dim ensões, critérios, técnicas e instrum entos a utilizar). A autora conclui que a avaliação da form ação requer tem po, m eios e conhecim entos, quer
A avaliação do processo de form ação, uma estralégia form ativa? Da análise das práticas ao esboço de um m odelo de formação.
sobre avaliação, q u er sobre form ação e su b lin h a 'a in d a que um a avaliação mal conduzida, além de inútil, pode ser perigosa, influenciando e desvirtuando a form ação.
3.2. Os diferentes níveis de avaliação na form ação de professores
Do que atrás foi dito, resulta evidente que a avaliação da form ação de professores se / cruza com outros dom ínios da avaliação, com o a av aliação de currículos, a avaliação das escolas, a avaliação do desem penho dos professores e a avaliação das aprendizagens dos alunos. C om efeito, as m udanças que se pretende q u e a form ação proporcione podem ser analisadas em relação ao professor em form ação, m as tam bém em relação à organização em que este se insere e aos efeitos que tem nos alunos. N a verdade, as m udanças que a form ação pode desencadear nos sujeitos só se efectivam nas situações e interacções do ' contexto profissional.
Por isso, se a avaliação da form ação pode se r entendida com o a avaliação de um currículo (m ais ou m enos aberto, m ais ou m enos flexível), ela vai im plicar tam bém a avaliação da aprendizagem do professor em form ação e, em últim a análise, do seu desem penho profissional, o qual inclui a avaliação da aprendizagem dos alunos e se repercute na avaliação d a organização escolar.
N o entanto, a articulação entre estes diferentes níveis de avaliação não pode ser expressa através de um a relação linear de causa de efeito, um a vez que neles se entrecruzam outras variáveis, não sendo apenas a form ação a determ inar o desem penho
> ' • ’
profissional, nem este o único factor a ter em co n ta nos resultados dos alunos ou no funcionam ento da escola.
Por outro lado, as m udanças que ocorrem no sujeito podem não ter efeitos im ediatos na prática profissional. E m bora haja form ações que im plicam a tranferência de conhecim entos directam ente para a prática (com o as novas tecnologias, por exem plo), na m aior parte dos casos essa transferência é difícil de an alisar porque im plica transform ações internas e relacionais que correspondem , na verdade, a um reajuste do que foi aprendido às situações é alunos concretos - a um a reinvenção do que foi aprendido na form ação (C auterm an, D ém ailly e outros, s/d).
A avaliação d o processo de form ação, um a estratégia form ativa? D a análise das práticas ao esboço de um modelo de form ação.
Em todo o caso, m esm o num a perspectiva não determ inista, é sem pre em função das necessidades e da m elhoria do desem penho, profissional, da escola e das aprendizagens dos alunos q u e a av aliação do currículo de form ação terá que ser pensada. N este sentido, parece im portante, p o r um lado, distinguir claram ente os níveis de avaliação em presença e, por outro, relacioná-los entre si, ainda que a relação nem sem pre seja sim ples de estabelecer. /
R yan e C row ell (1982) propõem cinco níveis de avaliação da form ação: nas percepções, conhecim entos e com petências dos professores; no funcionam ento da sala de aula; e nos resultados dos alunos. Não fica claro, no entanto, o m odo com o se estabelece a relação entre os dois últim os e os três prim eiros, isto é, com o se relaciona a m udança nas situações de ensino e, sobretudo, nos resultados dos alunos com as percepções, co nhecim entos e com petências desenvolvidos na form ação.
N um esquem a de relações recíprocas m ais com plexo, Joyce e Show ers (1988) estabelecem quatro níveis (distintos m as interdependentes) de avaliação da form ação, englobando, cada um deles, diversas variáveis. A ssim , a acção de form ação contínua (que inclui o bjectivos, conteúdos, processos, grau de realização) decorre e tem efeitos não só nos professores (nos seus conhecim entos, com petências, estádios de desenvolvim ento, níveis conceptuais), m as tam bém na escola e no ensino (liderança, clim a d e escola, processos de gestão, relações com a com unidade); estes dois níveis, por sua vez>, vão ter repercussões nos resultados da aprendizagem e socialização dos alunos. Os efeitos da form ação de professores nos resultados cognitivos e sociais dos alunos são aqui objecto de avaliação indirecta ou diferida.
H adji (1994), por sua vez, organiza as variáveis da avaliação da form ação a.partir d o qu estio n am en to prático realizado por um grupo de diversos profissionais de educação, agrupando-as em nove grandes aspectos: o que se entende p or form ar (que m udanças se visam , q u e significado têm para os form andos); o que se entende p or avaliar (que finalidade, com que critérios?); que objecto de avaliação; com que instrum entos; quem avalia; quan d o se avalia; para quem se avalia; para tom ar que género de decisão; qual a utilidade.
E stas questões articulam -se entre si e podem ser classificadas em duas categorias: questões de o rdem técnica e questões relativas ao sentido da operação avaüativa.
A avaliação do processo de form ação, um a estratégia formativa? Da análise das práticas ao esboço de um m odelo de formação.
Para a hierarquização destas variáveis, de m odo a to m ar possível a concepção de um a estratégia de avaliação da form ação, H adji (1994) recorre à classificação de Stake (1976), na qual este au to r distingue diferentes m étodos de avaliação d e program as de ensino, m étodos que situa em oito dim ensões/eixos: ( I ) m om ento e finalidade da avaliação (form ativa/recapitulativa); (2) concepção de av aliação (descritiva/apreciativa); (3) objecto de avaliação (produto/processo); (4) m odo de determ inação do referente (pré- determ inado/reaccional); (5) m odo de análise do objecto (global/analítico); (6) tipo de avaliação (externa/interna); (7) cam po social de utilização (oficiosa/pública); (8) alcance da avaliação (contextualizada/generalizável).
H adji (1994) o rg an iza-estas dim ensões em três espaços que correspondem aos três principais planos de variação das avaliações: (a) o espaço das intenções, que inclui o m om ento/finalidade e a concepção de avaliação; (b) o espaço dos procedim entos técnicos, englobando a definição do objecto e d o m odo de análise deste, o m odo de determ inação do referente e o tipo de avaliação; (c) e o espaço da aplicação social, configurado pelo cam po de utilização e alcance da avaliação realizada.
A s questões relativas ao espaço das intenções e ao espaço da aplicação social dos resultados determ inam as escolhas relativas ao esp aço dos procedim entos, isto é, a criação do dispositivo de avaliação.
E sta form a de organização das variáveis avaliativas tem a virtualidade, com o o próprio autor refere, de distinguir “espaços de esco lh a” claros e precisos para a concepção e condução d e processos avaliativos.
T am bém entre nós têm surgido, nos últim os anos, diversas propostas de avaliação da form ação, das quais citarem os algum as.
C om base no trabalho de K irkpatrick (1996), C aetano e outros (2003) avaliaram a eficácia da form ação contínua levada a efeito num a zona de Portugal, considerando quatro níveis de avaliação. Ojp rim é iro 1, nível diz respeito às reacções dos form andos e engloba não apenas a opinião destes relativa à satisfação com a form ação, m as tam bém as suas percepções sobre a sua utilidade e o seu grau d e dificuldade. O segundo nível diz respeito à aprendizagem realizada pelos form andos com o resultado da form ação (aquisição ou m elhoria de conhecim entos e com petências ou m odificação de atitudes). O terceiro nível procura analisar a transferência dessas aprendizagens (conhecim entos e com petências) para
A avaliação do processo de formação, uma estratégia form ativa? Da análise das práticas ao. esboço de um m odelo de form ação.
o contexto de trabalho, i. é, saber em que m edida a form ação levou a um a m udança ou m elhoria do desem penho profissional no contexto de trabalho. O s autores salientam que este é o critério m ais critico na análise da eficácia da form ação, um a vez que diversos [ estudos m ostram que apenas um a pequena percentagem da form ação é transferida para a prática. Finalm ente, o quarto nível considera os resultados organizacionais da form ação (aprendizagem dos alunos e funcionam ento da escola) que, em últim a instância, é o critério fundam ental para ju lg a r o sucesso da form ação. Fazem notar, porém que a avaliação deste nível é com plexa, dada a dificuldade em determ inar indicadores adequados, em definir e isolar as variáveis externas e intem as que influenciam o desem penho organizacional e em seguir esse desem penho durante um período dilatado de tem po, um a vez que os efeitos não ocorrem geralm ente no período im ediatam ente subsequente à form ação.
P or sua vez, Pacheco (1999) distingue três níveis interdependentes na avaliação da form ação, cada um dos quais com regras e lógicas próprias: o cam po pedagógico (espaço d o p rocesso didáctico, num a lógica de ajuda à aprendizagem ); o cam po institucional (espaço de diálogo entre os actores, num a lógica de intercâm bio conflitual); o cam po social (espaço de articulação instituição/sociedade, num a lógica de o rientação em função das necessidades sociais e do m ercado de trabalho).
O au to r define diferentes etapas do processo de avaliação da form ação: a avaliação inicial (de diagnóstico, de contexto, de expectativa); a avaliação do p rocesso (que incide na din âm ica da acção), e a avaliação final (dos produtos ou resultados). C om base no m odelo C IP P (C ontexto, “Input” , Processo, Produto) de Stufflebeam .(1986), destaca diferentes tipos de variáveis na avaliação de um currículo de form ação: variáveis de contexto (características curriculares, tem po de form ação, objectivos do program a, características institucionais); variáveis de entrada (características, conhecim entos, atitudes dos form adores; características, conhecim entos, interesses, preocupações dos form andos); variáveis do processo (com portam entos e interacções dos form adores e form andos); variáveis de produto (capacidades, conhecim entos e atitudes dos form andos, efeitos do p rogram a nos form adores; efeitos do program a de form ação na • política e práticas institucionais)
A avaliação do processo de form ação, um a estratégia formativa? D a análise das práticas ao esboço de um m odelo de formação.
T am bém R odrigues (2001) utiliza o m odelo C IP P de Stufflebeam (1986)32 para, num a lógica abrangente e integradora d e avaliação, estabelecer um a relação entre esta e a tom ada d e decisão.
E m bora este m odelo surja m u itas-v e ze se n q u a d ra d o num a perspectiva racionalista e tecnocrática, nada o b sta a que possa assum ir um carácter form ativo, num a lógica participativa (R odrigues, 2001). Para-este autor, o m odelo pode ser desenvolvido a partir do form ando, “das suas necessidades, recursos e potencialidades, d a sua evolução no trajecto de form ação e das m udanças desenvolvidas e o b serváveis no final do ciclo form ativo” (2 0 0 1 :35), um a vez que:
a avaliação d o contexto (problem as, necessidades, expectativas) perm ite quer a definição de critérios para avaliar os resultados, q u er a escolha de objectivos;
a avaliação d o “ input” (recursos, estratégias alternativas, form as de organização) perm ite q u er a definição de critérios para av aliar a im plem entação, quer a escolha da estratégia e planificação da acção;
. - a avaliação d o processo (problem as do p lano curricular, desviòs, im previstos) fornece um a base para interpretar os resu ltad o s e perm ite, em sim ultâneo, a reform ulação do plano e a m onitorização e reg u lação da im plem entação;
a avaliação do produto (resultados esperados e inesperados) fornece um a base para traçar efeitos e im pactos e ainda, em term os da própria form ação, ajuizar da possibilidade d a sua continuação, m odificação ou extinção.
Em últim a instância, a lógica form ativa não exclui necessariam énte um a lógica de prestação de contas q u e se orientaria para a apreciação da pertinência dos resultados (resultante da avaliação do contexto), d ã relevância da estratégia é viabilidade do plano curricular (decorrente d a avaliação do “input” ), da adequação do plàno e d a 'e fic iê n c ia do processo (avaliação d o processo) e, finalm ente, da eficácia do program a e utilidade da form ação (avaliação do produto) (R odrigues, 2001).
A avaliação dà form ação e a avaliação do professor são, segundo o autor, indissociáveis, já que am bas têm com o finalidade o desenvolvim ento profissional, em bora
32 C om o refere De K etele (2006:109), “a problem ática da avaliação alargou-se progressivam ente para o nível m éso e, em seguida, para o nível macro. O célebre m odelo C IPP de Stufflebeam foi o m otor desse desenvolvim ento” .
A avaliação do processo de form ação, um a estratégia form ativa? Da análise das práticas ao esboço de um m odelo de formação.
este não se restrinja à situação e aprendizagens da form ação. N este sentido, apresenta um a perspectiva de avaliação da form ação que n ã o . se lim ita à situação de form ação propriam ente dita (contexto, “ input” , processo, produto im ediato), m as cria um a articulação entre esta e os seus resultados, im pactos e efeitos no desem penho profissional, na escola e nos alunos.
N o quadro seguinte apresentam os um a síntese da articulação que o autor estabelece entre os tipos e níveis (ou planos) de avaliação da form ação e as funções e fases avaliativas.
Q uadro 5 - Níveis de avaliação da form ação de professores (R odrigues, 2001) * F u n ç õ e s e fases dá- .. a v a lia ç ã o ’ M o m e n to s d a avaliação- ", T ip o s d e a v a lia ç ã õ d a ' . fo rm a ç ã o d e * ' p ro fe sso res N íveis d e :a v a liá ç ã ò d a fo rm a ç ã o dè - - * professores*-, i ’
D iagnósiica Ex A nte C ontexto
C urrículo de form ação
Prognósiica Ex A nte /ínterim Input
M onitorização ínterim Processo
Final Ex Post Produto Resultados no professor
Folow-up