Quando a avaliação de escolas é auto a busca de consensos

O entendimento do conceito de avaliação, convergente ou divergente por parte dos elementos da comunidade educativa influencia e condiciona o seu desenvolvimento e reflete-se na utilização dos seus resultados.

Figari (1996) aponta a polissemia do conceito de avaliação como fator que potencia resistências e, diremos mesmo, desconfiança, dada a multiplicidade de propósitos que oculta. Escreve este autor que “à avaliação é atribuído o sentido de controlo, de verificação, de comparação de indicadores, de medida de nível, sanção. /…/ o sentido da avaliação /…/ nem sempre surge de forma evidente aos interessados /…/ os avaliados”(Figari, 1996, p. 35).

Efetivamente, tudo o que foi atrás referido é avaliação. Para evitar mal- entendidos e reações adversas, a clarificação entre avaliadores e avaliados do significado e dos propósitos de cada avaliação é crucial.

47

A polissemia de ‘avaliação’ reflete-se na sua funcionalidade tradicional associada às características formativa e sumativa. Eventualmente, poderá assumir ambas. É importante compreender a que funções estão associados os processos avaliativos ou a missão do dispositivo de avaliação, pois é determinante para a utilização dos seus resultados. Apesar de frequentemente poderem recorrer a técnicas idênticas, os seus propósitos são diferentes e as atitudes face ao avaliado são distintas. A este propósito Stake escreveu que “As avaliações formativa e sumativa podem acontecer em simultâneo, mas a natureza formativa, de olhar em frente, e sumativa, de olhar para a retaguarda, justifica que se mantenham separadas” vi (2004, p. 18).

A partilha de um mesmo entendimento de cada avaliação por parte de avaliadores, respondentes e utilizadores, ou seja – a comunidade escolar, parece surgir assim como um fator importante para maximizar a sua funcionalidade e os seus efeitos. Por este motivo, a maximização da autoavaliação da escola como instrumento de melhoria requer que tal propósito seja partilhado por quem tem a seu cargo a conceção e implementação do modelo de avaliação, que seja assim reconhecido pelos avaliados e que seja usado com esse propósito pelos utilizadores da informação avaliativa.

Bolívar distinguiu a autoavaliação de outras formas de avaliação como

um processo iniciado na instituição escolar, levado a cabo pelos professores e outros elementos da escola, onde se examina e diagnostica, recolhendo de modo sistemático informação, sobre o estado da escola (pontos fortes e necessidades), com o propósito de encontrar respostas a problemas da escola e suas possibilidades de melhoria (Bolivar, 2006, in Correia, 2011, p. 177)

Estamos, pois, perante uma avaliação feita na primeira pessoa e orientada para a decisão e para a melhoria, secundarizando a prestação de contas.

Neste conjunto de orientações é evidente a preocupação de apresentar a autoavaliação como um processo transparente e desenvolvido com seriedade desde o primeiro momento, como estratégia para garantir a sua aceitação e assegurar a sua eficácia.

Uma outra dificuldade que se coloca às equipas de autoavaliação/avaliadores individuais, ou mesmo a quem ‘encomenda a avaliação’, diz respeito à delimitação do objeto da avaliação, cujas fronteiras nem sempre são claras “Nem sempre é fácil chegar

48

a um acordo sobre o que está dentro e fora dos limites do objeto da avaliação”vii (Stake, 2004, p. 18).

A capacidade de as escolas portuguesas desenvolverem autoavaliação sistemática e abrangente tem sido muito questionada, sobretudo pelas evidências que nos chegam através dos relatórios da Inspeção-Geral da Educação, que apontaram sobretudo para práticas desarticuladas e limitadas no tempo (IGE, 2009a).

A clareza dos propósitos da avaliação é uma vez mais, referida como a ambição, por vezes desmedida, de utilizar a parca informação avaliativa para mudar radicalmente uma organização complexa. Parar a rotina avaliativa para refletir não é obrigatoriamente sinónimo de desistência. Ao invés, poderá constituir uma oportunidade para consolidar o próprio dispositivo e para maximizar os resultados de processos anteriores.

Scheerens (2004) recomenda que se atue sobre três aspetos sensíveis que poderão estar na origem dessas fragilidades demonstradas:

• clarificar os propósitos das atividades de autoavaliação, • reduzir a ambição do uso de informação avaliativa,

• quebrar ciclos viciosos, na base de níveis mais elevados de reflexão.

A organização de dispositivos de autoavaliação nas escolas pode ser olhado com um certo descrédito pelas suas comunidades escolares, se for entendido como uma mera reação a qualquer pressão da administração educativa. A sua utilidade pode ser vista de uma forma redutora se a informação avaliativa ficar associada à prestação de contas. Este aspeto é referido por Holden & Durrant (2007), autores que registaram ainda outras dificuldades como sejam o necessário envolvimento da gestão intermédia, fundamental para os processos de melhoria, e a disponibilidade dos professores em auscultar os alunos.

Estes mesmos autores reconhecem os benefícios que podem advir do trabalho em rede das escolas. Todavia, sublinham as dificuldades que resultam da falta de tempo e da falta de colaboração das direções de escolas.

Afonso (2002a, p. 4) partilhou as preocupações relativamente às causas do esforço avaliativo que se verifica na generalidade dos serviços públicos – “O reforço da avaliação dos serviços públicos reflete pressões /…/ numa lógica que valorize a dimensão política da avaliação, a prestação de contas, a divulgação e discussão pública

49

de resultados”. Existe algum paralelismo entre o que sucede nas escolas e nos demais serviços públicos, na lógica que subjaz à construção dos dispositivos e ao desenvolvimento de processos de autoavaliação. Porém, coloca-se a questão de saber se os dispositivos são duráveis, se tais pressões externas deixem de ser exercidas ou se a função de melhoria é suficientemente catalisadora, para que se possa secundarizar a prestação de contas.

O projeto SEQuALS, desenvolvido no âmbito de uma Rede Comenius, deu ênfase ao início dos processos autoavaliativos, propondo um conjunto de orientações. Tais orientações foram publicadas no livro que constitui o produto final do projeto e resultam do conhecimento de situações reais sinalizadas como boas práticas e como exequíveis. As sete orientações incidem sobre aspetos tais como a clareza dos objetivos, a amplitude do planeamento, os papéis e responsabilidades dos intervenientes, o uso dos resultados e a avaliação da avaliação

• O objetivo da avaliação centrada na escola deve ser definido e tornado claro para todos os stakeholders

• Deve ser preparada uma estratégia para todas as fases do processo (investigações, recolha de dados, calendário)

• Deve ficar decidido quem deve recolher os dados e esboçar as conclusões durante e depois do processo

• Deve ficar decidido quem deve ter acesso aos dados e resultados do trabalho • Todos os grupos envolvidos /…/ devem estar informados sobre as tarefas de cada um e sobre os respetivos prazos

• Deve ficar definido como a experiência ganha através da avaliação centrada na escola pode ser incorporada no futuro trabalho da escola

• Deve existir um acordo sobre um método para a avaliação de todo o projeto viii (Livingston & Kirkland, 2003, p. 5).

Correia (2011), enumerou as principais potencialidades da autoavaliação como sendo

• a possibilidade de se obter um conhecimento mais abrangente e profundo do contexto escolar;

• a implicação dos atores;

50

• a perceção da avaliação como uma atividade que é desejada e benéfica; • a valorização do conhecimento dos diversos atores da comunidade escolar; • e a melhor aceitação das recomendações resultantes da avaliação.

Todavia, nesta mesma investigação, este mesmo autor alerta para alguns obstáculos, como sejam: a dificuldade em obter informações quando se está implicado numa atividade, a dificuldade em garantir a necessária objetividade, a (frequente) inexistência de um quadro de referências externo que ajude a interpretar a sua avaliação, e ainda o “fracionamento” da realidade, por se tratar de um processo complexo e moroso.

II.3 O dispositivo de avaliação da escola: as visões e o sistema de avaliação

Podemos considerar basicamente que existem duas visões que subjazem à construção dos dispositivos de autoavaliação: uma aparentemente mais focalizada e imediatista – a visão de projeto; a outra mais sistemática, abrangente e estratégica – visão de programa.

David Nevo fez a seguinte distinção entre projeto e programa:

Os projetos são habitualmente designados como atividades de curto prazo, com objetivos específicos e recursos alocados. Por seu turno, os programas são atividades permanentes que representam uma coordenação de esforços para atingir grandes objetivos educativosix (Nevo, 2006, p. 453).

Ter uma visão da avaliação como programa significa ter uma visão estratégica e de futuro, pois as avaliações são desenhadas em função das necessidades e das prioridades definidas pela escola, são sistemáticas, integram rotinas e a institucionalização do dispositivo de avaliação é um objetivo.

Considerámos a hipótese de estas duas visões poderem, de algum modo, contribuír para a sustentabilidade da autoavaliação das escolas. Bell e Morse (2010) disseram a este respeito que, apesar de reconhecermos nos programas um esforço mais sustentado, a abordagem de projeto mantém os ingredientes necessários como sejam os implementadores definidos, calendarização, alocação de recursos, produtos, etc.

As escolas que desenvolvem autoavaliação institucional organizam um dispositivo, ou seja, uma estrutura com interações entre os seus diversos elementos que têm competências reconhecidas pela instituição, geralmente com um núcleo responsável

51

pelo desenvolvimento dos processos avaliativos, pelo seu tratamento e uma primeira interpretação de dados, bem como pela produção de informação avaliativa que será potencialmente utilizada pelos decisores de escola.

A organização do dispositivo de autoavaliação tem o intuito de produzir informação avaliativa, que pode ter múltiplas utilizações: apoio à tomada de decisão interna, prestação de contas ou mesmo recolha de evidências para suporte às reações defensivas das escolas. Não sendo regulamentados, é de antever que a sua forma, missão e interações não estejam harmonizadas. Contudo, estamos cientes que ao falarmos de dispositivos estamos igualmente a referir-nos ao que Figari designou por extensão dos mesmos, isto é a parte visível constituída por alguns dos seus componentes, as suas ações e os seus produtos, mas nunca à sua totalidade. Por vezes, importa compreender outras dimensões que condicionam a referida extensão do dispositivo, como sejam as interações menos visíveis, as culturas e os conflitos dos atores envolvidos.

Uma visão mecânica de dispositivo define-o como “Mecanismo, método ou conjunto de meios dispostos para se obter determinado fim ou resultado ou como Objeto inventado com determinado fim” como consta no Dicionário de Língua Portuguesa, da Academia de Ciências (2001). Por seu turno, o dicionário Houaiss (2003) diz que se trata de um “Conjunto de peças que constituem um aparelho, uma máquina, ou, numa máquina, peça ou mecanismo com uma função especial, aparelho construído com determinado fim, engenho”. A definição de Figari está muito próxima da anterior – “a forma particular como se distribuem os diversos órgãos de um aparelho, de uma máquina e, por extensão, o próprio mecanismo ou aparelho” (Figari, 96, p. 30).

A sua utilização na linguagem militar reforça o sentido de unidade em torno de uma missão – “disposição, no terreno, dos elementos de uma unidade militar, com vista a determinado fim ou estratégia” (Academia, 2001) ou “Formação de uma unidade de combate” (Houaiss, 2003).

E se as utilizações na mecânica e na gíria militar têm a riqueza de uma utilização metafórica neste estudo, aquelas que se apresentam de seguida foram pensadas e são aplicáveis às organizações sem qualquer sentido figurado – “Aquilo que dispõe, norma preceito, artigo ou conjunto de ações planeadas e coordenadas, implantadas por uma administração, visando algo” (Houaiss, 2003).

52

Todavia, na gíria informática o significado de dispositivo extravasa uma simples disposição de elementos que visa alcançar um determinado fim, dando lugar a um complexo conjunto de funções e de interações que constituem os sistemas – “Conjunto de componentes físicos ou lógicos que integram ou estão ligados a um computador e que constituem um ente capaz de transferir, armazenar ou processar dados” (Houaiss, 2003).

Um dispositivo pode ser visto e designado como um sistema, pois o sistema é geralmente definido como “uma unidade complexa, um conjunto de elementos que interagem entre si e eventualmente com o meio exterior. /…/ o sistema compreende um comando de entrada da informação, um comando de saída e um anel de retroação” (Figari, 96, p. 54). O dispositivo de autoavaliação é um sistema de autoavaliação. Por isso, justifica-se quase sempre a utilização mais ou menos consciente da expressão “sistema de avaliação da escola”. As interações começam a ter tanta ou mais importância para o funcionamento (e conhecimento) do dispositivo, do que os elementos que o podem constituir – “A primazia do conjunto sugere que as relações são /…/ mais importantes do que as coisas e que os conjuntos são mais importantes do que as partes. Nós não temos de criar inter-relações. O mundo já está interrelacionado”x (Senge et al. cit. in Bell & Morse, 2010, p. 111).

Utilizamos aqui a descrição que Durand (1992, p. 18) fez dos sistemas sob o seu aspeto funcional e procurámos exemplificar com aquilo que pode constituir um sistema de avaliação de escolas:

• Fluxos de natureza diversa /…/ circulando em diversas redes e transitando dentro dos reservatórios do sistema [ex. – ações, resultados e informação avaliativa]

• Centros de decisão: recebem as informações e as transformam em ações [ex. – órgãos de gestão e administração e também outros decisores a nível de escola, como sejam as estruturas intermédias]

• Canais de retroação: tem por objetivo informar os decisores do que se passa a jusante e permitir a tomada de decisões com conhecimento de causa [ex. – relatórios, reuniões e relatos mais ou menos formais]

53

• Os prazos de resposta, que permitem proceder aos ajustamentos no tempo necessário ao bom funcionamento do sistema [ex. – tomada de decisão e implementação de planos de melhoria].

Por seu turno, Figari num estudo que realizou sobre dispositivos de formação, estruturou os dispositivos em três partes, correspondendo a três níveis diferentes do seu desenvolvimento: induzido, construído e produzido

• [Induzido] Como tratar as dimensões que induzem as escolhas educativas que justificam a prática deste ou daquele dispositivo? /…/ Encontraremos, assim, nesta categoria, os procedimentos que têm em conta dados sobre o meio /…/ e características dos atores /…/ que induzem a diagnósticos e a buscas de soluções

• [Construído] Como explicar, acompanhar e orientar a elaboração dos projetos, dos programas, dos currículos? Tentar-se-á então compreender melhor a construção dos dispositivos examinando-se os processos (representações, comportamentos, evoluções) e os procedimentos (negociações, criação de situações, estratégias de poder e de decisão) que definem a ação educativa propriamente dita

• [Produzido] Como observar e interpretar as formas evidentes, e mesmo dadas a ver, desta ação, isto é, a sua produção? Interessar-nos-emos pelas características dos projetos acabados e sobretudo pela forma como os resultados e os efeitos foram estabelecidos (Figari,. 1996. p. 32).

Com as adaptações semânticas necessárias, é possível transferir estas três questões, versando as mesmas dimensões e na mesma sequência, para os dispositivos de autoavaliação.

Todavia, os sistemas sociais não são dotados de fronteiras fixas e imutáveis. Efetivamente, eles são o produto de um observador, de um analista, de uma necessidade frequentemente gerada por uma conjuntura específica. Bell e Morse sublinham o papel decisivo do observador para a definição de um sistema,

Sistema é um conceito que pode ser aplicado a um vasto número de coisas diferentes e esta aplicação é variável dependendo da perceção individual ou partilhada de um observador /…/ Uma vez definido, o sistema terá uma fronteira /…/ e a fronteira é definida pelos observadores (stakeholders)”xi (Bell & Morse, 2010, pp. 111-112).

Esta questão será colocada de um modo mais objetivo quando chegados ao momento de delinear os dispositivos de autoavaliação, que fazem parte do objeto de estudo âmbito desta investigação.

54

Os mesmos autores acrescentam os seguintes atributos aos sistemas: interação com o ambiente, fechado ou aberto, ter objetivos, ser intencional, exercer o controlo.

Também a Inspeção-Geral da Educação construiu uma matriz com três eixos, para analisar e compreender o desenvolvimento de tais dispositivos: construção, concretização e consolidação.

• A construção do dispositivo de autoavaliação – recursos alocados, referencial de avaliação e canais de comunicação disponibilizados – será analisada em função da situação encontrada aquando da avaliação externa da escola. Este eixo culmina com o planeamento que antecede o desenvolvimento de processos autoavaliativos.

• A concretização consiste no desenvolvimento de processos autoavaliativos em diversificadas áreas da vida da escola. Este é o segundo eixo da matriz, conducente à tomada de decisões e à preparação de planos de melhoria.

• Os impactos nos serviços prestados pela escola e a consolidação do próprio dispositivo de autoavaliação confirmam a intencionalidade e a eficácia dos processos desenvolvidos. Entramos, pois, no terceiro eixo /…/, onde se constata os efeitos da autoavaliação. (IGE, 2010a, p. 7)

Os próprios dispositivos não estão isentos de problemas e, como sistemas, padecem das suas enfermidades, como sublinhou Senge – “Os sistemas provocam as suas próprias crises, não as forças externas ou os indivíduosxii” (2006, p. 40). Há episódios críticos que decorrem da forma como se organizam e articulam dos recursos que consomem, das ações avaliativas que desenvolvem, da informação que produzem, etc., todos eles pondo em causa a sua sustentabilidade, ou seja, os problemas relacionados com a sustentabilidade dos dispositivos podem emergir da sua organização, funcionamento e ações.

Durand (1992) enunciou cinco ações necessárias à existência do sistema: • Controlar as suas relações com o meio

• Ser estruturados/organizados em níveis e módulos • Conservar a sua identidade

• Diversificar o seu comportamento

55

Os dispositivos de autoavaliação desenvolvem-se em ambientes, com os quais interagem influenciando-se mutuamente – “O sistema concebido pelo observador terá lugar num ambiente mais vasto que é definido por estar fora do limite estabelecido. O ambiente terá relações com o sistema /…/ Os sistemas estão mudando e podem mudar- se a si próprios” xiii (Bell & Morse, 2010, p. 112).

Por este motivo, o papel do ambiente no desenvolvimento da autoavaliação e do próprio dispositivo, não pode ser ignorado. Daí, a importância de orientar a investigação para fora do sistema mais restrito, que é o dispositivo de avaliação, e procurar informação relevante no ambiente onde coabita e com o qual se relaciona mais frequentemente – a escola.

Tal como a forma e missão dos dispositivos divergem de escola para escola, também os problemas que podem estar na origem da sua efemeridade (Figari 1996) são diferentes e o tempo que dista entre a causa (ameaça à sustentabilidade) e o efeito quase nunca é imediato. É o que Senge designa por complexidade dinâmica, pois os efeitos não são óbvios e a mesma ação tem efeitos diferentes a curto e médio prazo.

II.4 Condicionantes da avaliação – o contexto e o fator humano

As avaliações desenvolvem-se em contextos

Dahler-Larsen enuncia cinco problemas que estão associados às práticas de avaliação. São problemas de contexto que podem, de algum modo, influenciar o processo de avaliação durante o seu desenvolvimento, ou seja - desde a definição da agenda e organização do processo, até à sua implementação ou interpretação de dados:

• Popularização

• Avaliação condicionada pelas estruturas e processos organizacionais • Avaliação condicionada pelo mercado

• Avaliação condicionada pelos media

• A relação da avaliação com a investigação científica xiv(Dahler-Larsen, 2006, p. 145) Popularizar consiste na ameaça que resulta da massificação das avaliações, como seja o recurso recorrer a pessoas sem qualquer formação ou experiência nesta matéria, o que aumenta o risco de falta de competência para tal exercício, fragilizando os resultados obtidos.

56

A formatação pelas estruturas e processos das organizações tendem a uniformizar critérios e metodologias. Aqui pesa a cultura da organização. Os avaliadores internos estão sob pressão dos valores da organização. Esta ameaça está associada a um dos processos que, paradoxalmente, parece assegurar a sustentabilidade da autoavaliação – a sua institucionalização.

A avaliação condicionada pelo mercado significa que aquela constitui, cada vez mais, uma área de negócio, surgindo mais amiúde onde há fluxos de dinheiro e não exatamente e nem sempre onde é necessária.

Depois de divulgado, um relatório de avaliação, por muito consistente e por muitas que sejam as cautelas, a sua interpretação e utilização é fortemente condicionada pelos interesses específicos e agendas mais ou menos ocultas dos seus leitores. Esta ameaça aumenta quando as avaliações são publicitadas nos media, o que reduz a influência que o avaliador ainda poderia exercer sobre o seu produto. Não é possível antever a diversidade de interpretações que serão dadas aos resultados de uma avaliação. As audiências são tão diversificadas como as respetivas agendas de utilização.

Para ultrapassar dificuldades que resultam de um certo alheamento face ao projeto ou programa de autoavaliação, por parte dos elementos da comunidade escolar, Power et. al. (2006) sublinham a bondade da existência de uma matriz de autoavaliação, que pode funcionar como estratégia unificadora e mobilizadora, designadamente porque:

• Clarifica os objetivos;

• Fortalece a identidade organizacional; • Clarifica a missão da organização;

• Comunica os objetivos da organização aos trabalhadores e destinatários • Fornece meios para medir o sucesso

• Identificam-se mais fortemente os indivíduos com a organização, aumentando a sua motivação.