A apreensão do fenómeno em estudo, o processo de implementação da política de avaliação segundo o Decreto-Regulamentar nº2/2010 e respetivas conceções e práticas de supervisão avaliativa dos diferentes atores participantes na investigação, exigiu a mobilização de técnicas diversas, como a observação não participante e gravação áudio de reuniões de diferentes estruturas supervisivas e avaliativas, assim como entrevistas
189 semiestruturadas e focadas a relatores, membros da Comissão de Avaliação/Júri de Avaliação e professores.
Observação
Através da observação, o investigador procura compreender o “mundo social” que se desenvolve nas interações entre os membros de determinados contextos organizacionais. O seu papel pode revestir uma forma mais ou menos ativa, em função do nível pretendido de envolvimento do investigador (Lessard-Hébert, Goyette, & Boutin, 1990). Neste estudo, a investigadora foi observadora não participante nas reuniões das diferentes estruturas avaliativas: Comissão de Avaliação (CCAD), Diretor e relatores, conferências de supervisão e Júri de Avaliação. Procurou-se fornecer uma descrição pormenorizada dos acontecimentos, perspetivas, interações produzidas pelos e entre os atores, que integram os diferentes órgãos, em limites espácio-temporais naturais (Lessard-Hébert et al, 1990). Como referem Bodgan e Biklen (1994), quanto maior for o grupo, menor a probabilidade de ser influenciado pela presença do investigador. No estudo, o número mais elevado de participantes ocorreu nas reuniões entre Diretor, na qualidade de presidente da CCAD e relatores. No entanto, nesta fase do trabalho de campo, os participantes já estavam familiarizados com a presença da investigadora. A sensibilidade à temática da avaliação docente, associada à instabilidade política nacional e organizacional nas escolas, as perceções e posições dos diferentes atores avaliativos face ao tema, exigiram precauções acrescidas na entrada e permanência no campo da investigação. A presença da investigadora como observadora não participante foi clarificada aos professores da escola, participantes e não participantes no estudo, afetos a diferentes estruturas hierárquicas, independentemente do protocolo de investigação assinado pelo Diretor e aprovado pelo Conselho Pedagógico. A ênfase foi colocada no estudo de fenómeno em si, o processo de implementação da política de avaliação, preconizada pelo DR nº 2/2010, independentemente das opções político-partidárias dos atores educativos, relativamente à problemática e polémica associada à avaliação de professores, no momento em que decorre o trabalho de campo. Ao longo de dezasseis meses, os participantes familiarizaram-se com a presença da investigadora e, progressivamente estabeleceram laços de confiança e partilha de desafios e dilemas vividos ao longo do processo de planeamento e operacionalização do modelo de avaliação docente.
190
Gravação áudio. Em função das autorizações facultadas por todos os atores
envolvidos na avaliação docente, Diretor, coordenadores de departamentos curriculares, relatores e professores procedeu-se à gravação áudio de reuniões de diferentes estruturas avaliativas, descritas anteriormente, uma vez que esta permite, pela quantidade de informação recolhida, ser mais eficaz que um observador humano, que vai tomando notas. A observação e registo das atividades dos avaliadores, que exerceram funções na CCAD/Júri de Avaliação e de supervisão avaliativa, complementada com a informação proveniente das várias entrevistas, semiestruturadas e focadas, contribuíram para revelar o que avaliadores de topo, relatores e professores partilharam entre si e valorizaram ao longo do processo avaliativo.
Entrevista semiestruturada
A opção pela entrevista semiestruturada justifica-se porque tem a vantagem de centralizar o discurso dos entrevistados nas questões do estudo, embora limite, de certo modo, o âmbito das respostas. No entanto, o fomentar duma relação informal e não hierárquica entre entrevistador e entrevistados possibilita a obtenção de mais informação, sem que isso implique que o investigador se envolva demasiado na conversação (Fontana & Frey, 1994). O guião da entrevista semiestruturada contém questões abertas, colocadas de forma indireta, permitindo ao entrevistado escolher o grau de profundidade da sua resposta. As questões principais são complementadas com questões mais específicas, de aprofundamento, que os anglo-saxónicos denominam técnica do funil (Cohen & Manion, 1994; 2007). O guião da entrevista semiestruturada após ter sido testado em entrevista piloto, foi aplicado a quatorze relatores, na fase inicial do processo de avaliação.
Estrutura do guião da entrevista semiestruturada
A estrutura do guião da entrevista semiestruturada (Quadro 29 - Apêndice B) inclui as dimensões da investigação, já descritas anteriormente: a) político-organizacional- avaliativa, referente ao nível meso da implementação do processo de avaliação do desempenho docente; e b) supervisiva-avaliativa, ilustrativa da perspetiva micro, que envolveu professores e avaliadores nos seus próprios contextos subjetivos de avaliação. Os itens que compõem o guião da entrevista fundamentam-se em perspetivas conceptuais desenvolvidas no domínio da avaliação (Stufflebeam & Shinkfield, 2007; Scriven, 1973a, 1973c; Peterson, 2000), da supervisão na avaliação (Iwanicki, 1998),
191 em categorias resultantes da análise da legislação sobre avaliação de professores, Estatuto da Carreira Docente e funções de avaliadores e professores em avaliação, segundo o Decreto-Regulamentar nº2/2010. O guião da entrevista semiestruturada aplicado aos relatores, no início do ano letivo, contêm quatro dimensões de análise e respetivos indicadores, descritas em seguida. O grau de aprofundamento e a ênfase conferida a cada uma das dimensões adquiriu particular relevância em função do papel desempenhado pelos diferentes relatores desde 2007.
Design e implementação do modelo de avaliação. A primeira dimensão de análise
do guião da entrevista semiestruturada intitulada design e implementação do modelo de avaliação, apresenta os seguintes indicadores: a) contexto passado e recente – origem e desenvolvimento da avaliação; b) conflitos profissionais; e c) entendimentos acerca dos propósitos e das práticas de avaliação docente. O primeiro e o segundo indicador fundamentam-se nas políticas de avaliação e no processo de contestação coletiva em torno do DR nº2/2008 e versões subsequentes descritas no segundo capítulo. A atualidade do tema, na agenda política desde 2008, é evidenciada na literatura, no contexto da dominância de orientações neoliberais e seus efeitos na reestruturação das políticas avaliativas. Os conflitos profissionais emergiram separando sindicatos e professores da tutela ministerial, sendo que os primeiros valorizaram uma avaliação direcionada para o desenvolvimento profissional e os segundos uma avaliação sumativa com efeitos nos concursos e na progressão na carreira (Flores, 2010; Pereira, 2010). Acresceu ao conflito, o facto de os docentes não terem participado no processo de construção do modelo, contrariamente ao que a literatura preconiza (Tuytens & Devos, 2008; Flores, 2009). No processo de contestação, os professores recusaram a hierarquização e diferenciação de classe em vez da paridade, no seguimento do concurso de professor titular, assim como a introdução do sistema de quotas na avaliação por mérito (Garcia, 2011).
O indicador c) entendimentos acerca dos propósitos e das práticas de avaliação docente fundamenta-se nas finalidades do modelo de avaliação preconizadas no DR nº2/2010 e no DL nº75/2010, em estudos empíricos sobre a avaliação docente em Portugal (Martins, 2009; Caeiro, 2010; Garcia, 2011) e na literatura sobre modelos de avaliação, de produto, de processo e mistos (Fernandes, 2008). As pressões para a avaliação sumativa dos professores, num sistema de prestação de contas, têm sido objeto de análise em relatórios da OCDE (2005, 2009), que destacam a atratividade da medida e suas limitações. Há autores que defendem a separação da avaliação sumativa,
192 baseada na prestação de contas e orientada para decisões de gestão de carreira e a avaliação formativa, numa perspetiva de desenvolvimento profissional (Day, 1992; Avalos & Assael, 2006; Stronge, 2010). O modelo de avaliação segundo o DR nº 2/2010 procura conciliar, no texto da lei, as duas dimensões da avaliação. No entanto, o desfasamento entre mindscapes e landscapes (Iwanicki, 1998) entre teoria e prática, evidenciado na literatura (Darling-Hammond, 1990) ilustra os problemas na conceção e implementação dos modelos de avaliação em Portugal de 2007 a 2011, como foi explanado no segundo capítulo.
Supervisão avaliativa. A segunda dimensão de análise do guião da entrevista
semiestruturada incide na temática da supervisão avaliativa e desdobra-se nos seguintes indicadores: a) competências do avaliador; b) papel; c) posição – relações de negociação e gestão de conflitos; e d) poder – natureza das interações. Os indicadores fundamentam-se na literatura sobre avaliação e supervisão segundo perspetivas positivistas, fenomenológicas e críticas (Guba & Lincoln, 1989; Iwanicki, 1998). As competências, papel, posição e poder do avaliador são perspetivadas em função de cada perspetiva teórica. Assim, segundo uma lógica técnica-racionalista da avaliação valorizam-se nas competências do avaliador, a excelência no domínio de métodos e teorias; e ainda o papel de inspetor/especialista na aplicação de instrumentos, preocupado com o processamento da informação com vista à tomada de decisão. A autoridade burocrática e vertical associa-se a um estilo ativo e direto de supervisão. Numa perspetiva fenomenológica, o avaliador é visto como um colaborador/conselheiro, preconizando uma visão negociada e partilhada da avaliação, num estilo não diretivo e colaborativo. Segundo a perspetiva crítico-social, o avaliador é conceptualizado como um inovador/transformador e um par na relação avaliador/avaliado. Desempenha o papel de “actor crítico” (Freire, 1998, xxxiv) e posiciona-se como agente de socialização num estilo de supervisão que combina reflexão e ação (Santiago, Alarcão & Oliveira, 1997).
Avaliação em contexto organizacional. A terceira dimensão de análise do guião da
entrevista semiestruturada centra-se na avaliação em contexto organizacional e subdivide-se nos seguintes indicadores: a) categorias de competência da profissionalidade docente; e b) natureza dos instrumentos de recolha de dados/evidências. O primeiro indicador remete para os diferentes modos de interpretar os perfis de desempenho da profissionalidade docente, entendidos como critérios de avaliação segundo o Despacho nº 16034/2010. A literatura refere que os professores
193 consideram que devem participar na definição e aplicação dos padrões em parceria com a entidade patronal e sindicatos (Ingvarson, 2010), em sintonia com uma abordagem prática, baseada na negociação e na gestão de compromissos e consensos. Outras visões da estandardização remetem, quer para uma posição técnica, associada à prescrição imposta pela hierarquia ministerial, quer para uma posição crítica, assente na desmontagem de interesses (Rodrigues, 1995). A definição de padrões nacionais de competência é feita pelo Estado, que controla e regula a profissão docente através da gestão do desempenho (Fiztgerald, 2010). O indicador b) natureza dos instrumentos de recolha de dados/evidências remete para a operacionalização, efetuada pela Comissão de Avaliação, dos perfis de desempenho docente definidos a nível nacional. Este indicador remete para as questões da objetividade, fidelidade, validade e viabilidade (Medley, 1982) do instrumento de observação da prática letiva em uso na escola. Em conformidade com o paradigma da medida, os avaliadores classificam o professor face a um determinado padrão (Darling-Hammond, 1990; Caetano, 2008) aprovado em Conselho Pedagógico, em conformidade com os perfis do desempenho definidos no despacho nº 16034/2010.
Impacto/consequências da avaliação. A quarta dimensão de análise do guião da
entrevista semiestruturada denominada impacto/consequências da avaliação subdivide- se no indicador poder da avaliação na reconfiguração da profissionalidade docente – efeitos individuais e organizacionais. A sua fundamentação provém da: a) legislação (DR nº 2/2010) que regula os efeitos da avaliação obrigatória na reestruturação da carreira docente em termos de progressão e desenvolvimento profissional; b) análise interpretativa da legislação sobre modelos de avaliação em Portugal, desde 1986 a 2011, apresentada no segundo capítulo; c) literatura estrangeira que, desde os anos noventa, salienta o impacto da avaliação em termos individuais e organizacionais, com consequências para a motivação, interação, partilha e seleção de professores (Darling- Hammond, 1990); e d) investigação recente sobre avaliação de professores em 2008 (Garcia, 2011), que evidencia o impacto da avaliação no clima de escola e na profissão docente. Os objetivos do estudo, dimensões de análise e indicadores, questões gerais e específicas da entrevista semiestruturada aos avaliadores/relatores são acompanhados da respetiva fundamentação teórica, empírica, normativa-legal e informação proveniente das notas de campo.
194
Entrevista focada
A entrevista focada baseia-se nas experiências subjetivas das pessoas que estiveram expostas a uma determinada situação. As razões que subjazem à escolha desta entrevista, neste estudo, relacionam-se com os seguintes fatores, referidos por Merton e Kendall (1946; citado por Cohen & Manion, 1994, p.289): os participantes já estiveram previamente envolvidos numa situação particular, quer como avaliadores de topo (membros da CCAD/Júri de Avaliação), como avaliadores/relatores, no exercício das funções de supervisão avaliativa e como professores em avaliação. Os primeiros planearam, operacionalizaram o modelo de avaliação em estruturas organizacionais de topo e intermédias, e aplicaram o sistema de quotas ao mérito profissional no final do ciclo avaliativo; os segundos observaram aulas, aplicaram instrumentos de recolha de dados, codificaram e interpretaram a informação com vista à fundamentação da tomada de decisão relativamente à apreciação global do desempenho docente. Os terceiros vivenciaram a nível individual e organizacional a(s) política(s) de avaliação em uso na escola e seus efeitos na profissionalidade docente.
Entrevista focada a avaliadores de topo
Da análise do discurso e das práticas de avaliadores de topo em contextos naturais (Denzin & Lincoln, 1994, p.2), procurou-se compreender: a) o que pensam da avaliação docente, sua filosofia, efeitos na profissionalidade docente, conceções de supervisão avaliativa; b) como a organizaram em contexto escolar; c) como conduziram o processo de operacionalização da política de avaliação, em termos de objetivos, critérios e procedimentos.
Estrutura do guião da entrevista focada a avaliadores de topo
O guião da entrevista focada (Quadro 31 – Apêndice B) efetuada a avaliadores de topo (membros da CCAD e do Júri de Avaliação) inclui questões em conformidade com uma abordagem compreensiva do processo de implementação da avaliação e foi construído em função da autonomia da escola, no processo de operacionalização do modelo de avaliação. O guião tem como fundamento: (a) análise das funções da CCAD e do Júri, definidas no DR nº 2/2010 e no DL nº75/2010; b) perspetivas conceptuais desenvolvidas no domínio da avaliação (Stufflebeam & Shinkfield, 2007), com contributos do modelo EPIC de planeamento da avaliação (evaluation planning incorporating context), proposto por Holden e Zimmerson (2009); c) estudos empíricos,
195 que investigaram processos de implementação de reformas educativas, no domínio da avaliação docente, retratadas no terceiro capítulo; e d) análise de conteúdo das reuniões da CCAD/Júri, dados oriundos de entrevistas com avaliadores e professores avaliados, conferências de supervisão e notas de campo recolhidas ao longo do ano letivo 2010- 2011.
Design e implementação do modelo de avaliação. A primeira dimensão de análise
do guião da entrevista focada, intitulada design e implementação do modelo de avaliação, apresenta os seguintes indicadores: (a) contexto passado e recente – origem e desenvolvimento da avaliação; (b) conflitos profissionais; e (c) entendimentos acerca dos propósitos e das práticas de avaliação docente. A primeira dimensão de análise é transversal a todas as entrevistas, embora, na fase final do ciclo, esteja focalizada na explicitação contextualizada dos modos de operacionalização e participação dos atores avaliativos no processo de construção e implementação da avaliação. Assim como na confiança no processo e sentido da avaliação desde 2007.
Decisões de planeamento e seus efeitos na política de avaliação em uso. A
segunda dimensão do guião da entrevista focada incidiu na caraterização da fase do planeamento pelo Diretor/CCAD em termos de: a) organização do processo; b) gestão dos intervenientes; c) funcionamento das estruturas em termos de interações entre Diretor/CCAD, relações de negociação e gestão de conflitos, grau de participação dos diferentes atores com funções de avaliação; e) construção e natureza dos instrumentos, e d) metodologia e procedimentos adotados. Em suma, a natureza da descentralização da política de avaliação legislada, reconstruída e planeada pelas estruturas de topo (CCAD), e divulgada, em reuniões formais, a coordenadores de departamento e relatores.
Decisões processuais – reflexivas e reformuladoras do processo de avaliação. A
segunda dimensão remete para decisões processuais – reflexivas, reformuladoras, tomadas pelo Diretor/CCAD ao longo da implementação do modelo de avaliação. A qualidade do processo de operacionalização do modelo de avaliação é aferido em função do: a) funcionamento institucional das diferentes estruturas (funções da CCAD; de avaliadores e professores em avaliação); e b) redes de comunicação entre os diferentes atores envolvidos, ilustrativas de dificuldades e desafios experienciados no processo de supervisão avaliativa.
Decisões apreciativas/classificativas. A terceira dimensão do guião da entrevista
196 Avaliação no processo de construção dos julgamentos públicos acerca do desempenho docente, em duas fases distintas. A dos professores contratados, em julho e a dos de carreira, de setembro a dezembro de 2011. Os indicadores focalizam, por um lado, as interações entre os membros do Júri de Avaliação e, por outro, as estratégias definidas no processo de aferição das propostas de classificação, apresentadas individualmente pelos diferentes relatores nesta nova estrutura de topo. Interações ilustrativas das dificuldades e desafios emergentes da necessidade de credibilidade, justiça e transparência na classificação dos desempenhos profissionais.
Impacto/consequências da avaliação. A quarta dimensão de análise do guião da
entrevista focada a avaliadores de topo, transversal às entrevistas, denominada impacto/consequências da avaliação, subdivide-se no indicador poder da avaliação na reconfiguração da profissionalidade docente – efeitos individuais e organizacionais. Privilegia-se, também, o balanço acerca do processo de avaliação e a permanente mudança legislativa desde 2007.
Entrevista focada a relatores
A entrevista focada aos avaliadores/relatores, acompanhados ao longo do ciclo avaliativo, surge como o momento privilegiado de explicitação do processo de fundamentação dos julgamentos privados e públicos produzidos e consequentes tomadas de decisão em termos da apreciação do desempenho dos professores. Esta constitui uma fase complexa, daí que se procure que os participantes verbalizem a interpretação que efetuam do ciclo supervisivo e fontes formais de avaliação, em termos de resultados: a) o que valorizaram nas fontes de dados; b) a forma como as confrontaram, quer por observação direta das práticas pedagógicas, quer por via documental com os padrões de desempenho docente, pré-definidos a nível nacional e local. Numa perspetiva complementar, pretendeu-se desmontar no discurso dos avaliadores, fontes informais de avaliação, que podem ser diversas do desempenho efetivamente prestado pelo avaliado. Nomeadamente, fatores contextuais, que podem influenciar a avaliação, tais como problemas de leniência (inflacionamento) ou restrição de amplitude (ausência de diferenciação) das cotações atribuídas aos professores em função da natureza das relações interpessoais existentes entre avaliador e avaliado. Fontes informais de avaliação, que podem já ter sido detetadas, anteriormente, nas entrevistas semiestruturadas e, que podem adquirir, na fase final do ciclo, uma maior relevância. Procurou-se desmontar, em situação de entrevista, a importância que os
197 avaliadores atribuíram ao contexto sócio organizacional na avaliação de professores, o que valorizaram quando apreciaram, para além da dimensão do ensino e da aprendizagem, outras dimensões da profissionalidade docente, previstas na lei, como a vertente profissional e ética, a participação na escola, a relação com a comunidade educativa e o desenvolvimento e formação profissional. Procurou-se, ainda, que os entrevistados explicitassem os processos de pensamento subjacentes ao preenchimento da ficha de avaliação global, assim como os fatores administrativos a ter em conta na hierarquização da excelência e da qualidade dos desempenhos docentes em função dum referencial de bom professor. Além disso, tentou-se perceber de que forma os avaliadores perspetivaram o desenvolvimento profissional futuro do professor, face ao desempenho observado. Neste sentido, a entrevista visou confrontar julgamentos privados, que ocorreram na dimensão supervisiva-avaliativa com julgamentos públicos dos avaliadores, expostos, quer perante os membros do Júri de Avaliação, quer perante os professores avaliados. Na permeabilidade e articulação dos dois domínios procuraram-se dissonâncias e consistências na descrição e fundamentação acerca da apreciação efetiva do desempenho profissional dos professores e a classificação final obtida pelos docentes avaliados em reunião final de Júri de Avaliação.
Estrutura do guião da entrevista focada a relatores
O guião da entrevista focada aos avaliadores/relatores (Quadro 30 – Apêndice B) no final do ciclo avaliativo tem como fundamento: a) as funções dos relatores, definidas no DR nº2/2010 e no DL nº75/2010; b) a análise dos resultados provenientes de entrevistas semiestruturadas; de reuniões entre relatores e Diretor; conferências de supervisão avaliativa ao longo do ano letivo; c) notas de campo retiradas ao longo do ano letivo pela investigadora, expressas nas que acompanham as questões do guião; e d) perspetivas conceptuais desenvolvidas no domínio da avaliação (Peterson, 2000), em particular, as adaptações propostas por Peterson (2000, p.41) das etapas do modelo de avaliação proposto por Scriven (1973a;1973c). Assim como o referencial teórico que norteia conceções e práticas de supervisão e avaliação, técnicas/objetivistas, práticas/negociadas e argumentativas/críticas (Guba & Lincoln, 1989; Iwanicki, 1998; Stern, 2007; Alarcão, 2001; Sá-Chaves, 2000), em conformidade com perspetivas positivistas, fenomenológicas e críticas (Skinner, 1968; Schutz, 1967; Carr & Kemmis, 1995). Subjacente às dimensões/questões do guião da entrevista está a importância da contextualização ou referencialização da avaliação (Sanches, 2008), em sintonia com
198 modelos teóricos que analisam o contexto em que ocorre a avaliação do desempenho profissional (Kane & Lawler, 1979) e sua influência nas lógicas de ação e comportamentos dos avaliadores (Caetano, 2008). Relativamente à supervisão no modelo de avaliação, esta é também entendida numa perspetiva ecológica (Sá-Chaves, 1997), salientando a influência que os contextos exercem no desempenho de professores