Características do Processo de Avaliação das Escolas

Ruíz (1999:19-20) propõe que os paradigmas se solidarizem entre si na sua complementaridade e considera que, seja qual for o paradigma que subjaza à

111

planificação da avaliação, esta deverá assumir um conjunto de características para cumprir a sua finalidade. Assim, a avaliação deve ser: Integral e compreensiva: “Toda a informação sobre o objeto avaliado contribuirá para qualificar o juízo emitido acerca dele”; Indireta: implica reconhecer que a medição é feita sobre as variáveis observáveis e não sobre a totalidade da realidade; Científica: Instrumentos de recolha, metodologias empregues, tratamento e análise dos dados recolhidos devem ser independentes face a diferentes interesses em jogo; Referencial: Toda a ação valorativa compara resultados com metas ou objetivos propostos; Contínua: Capaz de acompanhar as dinâmicas dos diferentes processos ao longo do tempo. Esta dimensão permite que a avaliação possa ser formativa e retroalimentadora, fornecendo respostas que orientam a mudança dos aspetos suscetíveis de melhoria; Cooperativa: Deve implicar todas as pessoas que estão envolvidas no processo.

Além destas características, Rotger (1989, cit. Ruíz, 1999:20) acrescenta que a avaliação deve ser: Decisória: permitir a emissão de juízos de valor sobre o objeto avaliado e tomar decisões quanto a ações futuras.

Segundo o modelo CIPP (Context, Input, Process and Product) proposto por Stufflebeam e Shinkfield (1995), a avaliação das escolas deve abranger: o Contexto: que inclui a população-alvo do estudo, as suas necessidades e problemas, as oportunidades existentes e a definição de objetivos em coerência com essas necessidades e oportunidades; os Inputs ou Entradas: o que implica avaliar a capacidade da escola na condução de programas existentes e na produção de estratégias e de programas alternativos e sua planificação ; o Processo: fazendo o prognóstico dos efeitos da planificação e procedimentos estratégicos e proporcionando informação crucial para a tomada de decisões; o Produto: recolhendo informação acerca dos resultados para os poder comparar com os objetivos e toda a informação fornecida pelo contexto, pelos

inputs e pelo processo. Deste modo se poderá interpretar o valor ou mérito de um

projeto, procedimento, escola, etc.

A Checklist da segunda edição (2007) deste modelo na página da Western

Michigan University inclui ainda outros aspetos: os Acordos Contratuais: a avaliação

deve ser fundamentada em acordos previa e explicitamente definidos com os

stakeholders; a Avaliação do Impacto: pretende saber se e como é que um programa/

projeto afeta o público alvo; a Avaliação da Eficácia: implica a construção de documentos e o acesso à informação sobre a qualidade e o significado dos resultados; a

112

Sustentabilidade da Avaliação: procura avaliar o grau de sucesso da institucionalização de um conjunto de procedimentos e se ele se mantém ao longo do tempo; a Transferibilidade da Avaliação: procura saber da possibilidade de um conjunto de procedimentos poder ser extensível, com sucesso, a outras dimensões da avaliação ou a outras organizações; a Meta-avaliação: implica uma avaliação da avaliação, nomeadamente no que respeita aos standards (critérios e normas) estabelecidos previamente para a mesma.

Santos Guerra (2002:13-15) propõe qual deva ser a natureza de uma avaliação qualitativa das escolas: ser contextualizada; ter em conta processos e não apenas resultados; dar voz aos participantes em condições de liberdade; preocupar-se com os valores educativos, tanto dos programas, relações e atividades, como da própria avaliação; utilizar diferentes métodos para reconstruir e analisar a realidade; estar comprometida com os valores sociais; ninguém tem o privilégio ou o critério exclusivo da interpretação correta ou válida da realidade; não se deixar influenciar pela mística dos números; utilizar uma linguagem simples; partir da iniciativa da escola; pretender modificar as práticas.

De um modo simples, Guerra (2002) sublinha o que outros autores (por exemplo, Poggi, 2008) também sublinham quanto à efetividade e autenticidade de uma avaliação institucional: a sua capacidade de implicar os principais interessados e distintos destinatários, a sua amplitude e diversidade informacional (capaz de produzir uma visão representativa do que se quer avaliar), o seu compromisso axiológico com a produção de conhecimento válido e fiável e com a mudança de práticas, a pluralidade da participação e interpretação dos dados, a liberdade da crítica.

Quer sejam internas ou externas, as avaliações de escolas cumprem algumas funções destacadas por Bonami (2005:6), bem como as lógicas que lhe são subjacentes: diagnóstico de apoio à decisão, certificação, mobilização e prestação de contas.

A avaliação com a função de diagnóstico dirige-se a diferentes atores interessados: responsáveis administrativos e políticos, gestores pedagógicos (diretores e inspetores), equipas de professores, alunos e pais. Apoia-se em dispositivos estandardizados que, periodicamente, avaliam a evolução das aquisições pedagógicas ao

113

longo do tempo e comparando estabelecimentos escolares71. O objetivo deste tipo de avaliação é melhorar a equidade, a eficácia e a eficiência.

A avaliação com função de certificação visa legitimar a obtenção de certificados ou diplomas que afetam o percurso posterior dos alunos, tanto dentro do sistema educativo, como, depois, no mercado de trabalho. Também neste caso são utilizados dispositivos mais ou menos estandardizados, como as provas de conhecimento e competências (exames), que são corrigidas de forma anónima. Os resultados desta avaliação também podem ter uma função de diagnóstico. O objetivo central deste tipo de avaliação é homogeneizar o nível de conhecimentos e competências para um dado diploma.

A avaliação com função de mobilização está orientada para os projetos de escola, melhoria da qualidade, atividades de remediação, aprendizagem por ciclos. É neste domínio que entendemos que deveria centrar-se a autoavaliação das escolas.

A avaliação com a função de prestação de contas interessa aos parlamentos, às instâncias internacionais, à opinião pública (através dos mass media), às instâncias financiadoras, às coletividades, aos pais, etc. Pretende fornecer informação fiável sobre o rendimento escolar em termos de eficácia, eficiência e equidade, os recursos utilizados, os custos e financiamentos, as parcerias, a governança72 do sistema escolar a

diferentes níveis.

No que diz respeito aos momentos de aplicação da avaliação pode perceber-se que há, em Portugal, uma descontinuidade e desarticulação da implementação dos processos de avaliação, bem como das funções enunciadas anteriormente, sendo a mais frágil a função de mobilização. Isto ocorre devido a diferentes fatores, dentre os quais se destaca a falta de interesse dos decisores políticos (Sá, 2009), na medida em que a promessa feita às escolas de um apoio continuado não está a acontecer e que os modelos de avaliação externa adotados carecem de maior discussão teórica e metodológica (Pacheco, 2010). Esta descontinuidade ilustra o caráter parcial da avaliação externa,

71 _{Este tipo de avaliação procura conhecer os resultados do sistema educativo, a sua capacidade de} garantir o acesso às minorias e aos deficientes, de proporcionar ao maior número possível de alunos não só o acesso às aprendizagens básicas, mas também às de nível superior e a sua integração no mercado de trabalho.

72

Utilizamos este termo para incluir simultaneamente o sentido de eficácia e o sentido de equidade, na gestão dos recursos escolares e, ainda, na imagem pública da escola, tendo em vista o desenvolvimento de todos os atores educativos.

114

sentido como impositivo e gerador de uma espécie de “terror da performatividade” (Ball, 200273) que leva as escolas e os seus atores a “fabricações” e à “gestão da impressão” (Ball, 2002, cit. Sá, 2009:3796), mais próximos da encenação que da realidade quotidiana da escola.

3.2.4. A Utilização da Avaliação

A utilização dos resultados da avaliação é uma questão polémica, sobretudo quando estes resultados são amplamente difundidos ou utilizados para fins diferentes daqueles para os quais foi concebida a avaliação. Ravela et al. (2008:51) chamam a atenção para os efeitos nefastos das “más avaliações”, ou seja, das avaliações que não são tecnicamente boas, cujos resultados não são conhecidos nem utilizados de maneira apropriada.

O sentido dramatúrgico, ritual e cerimonial da avaliação revela-se muitas vezes na utilização que se faz dos dados recolhidos e do conhecimento produzido (Weiss, 1978; Patton, 2000).

Segundo Douglas Horton et al. (2008:128)

“o uso dos resultados da avaliação é um dos supostos chave em que se baseia todo o exercício de uma avaliação. O paradoxal é que, ao que parece, o uso direto dos resultados da avaliação no design e gestão de uma política é a exceção e não a regra”.

Os mesmos autores consideram que da avaliação se faz muitas vezes um “uso simbólico”: “As organizações submetem-se, por vezes, a uma avaliação simplesmente para parecer modernas ou para dar a impressão de que os administradores ou equipas diretivas estão preocupadas com o desempenho, ainda que de facto, não estejam” (Horton et al., 2008:135). Assim, a avaliação institucional, enquanto componente estratégica dos atores (Perrenoud,1994) direta ou indiretamente a ela ligados, arrasta consigo as contradições do próprio sistema educativo e das escolas em particular. Ela é

73

A expressão deve ser entendida em sentido lato, uma vez que, em sentido estrito, ela se refere apenas ao sentimento de “terror” que ocorre no sistema educativo inglês, associado às sanções e penalizações efetivamente aplicadas.

115

vista como imposição e ameaça e por isso mesmo “numa escola, nenhum ator individual ou coletivo tem interesse na transparência total” (Perrenoud,1994:194) e se justificam quer as “operações de cosmética” (Estêvão, 2001), quer o “jogo do gato e do rato” (Ventura, 2006).

Diversos são os fatores que influenciam o uso que se faz das avaliações, colocando a avaliação “no coração da fabricação das representações sociais” (Perrenoud, 1994:195) e como objeto de negociações onde se tenta simultaneamente esconder e desvelar: interesses, ideologias, a história e a cultura das organizações e suas instituições, a diferente legitimidade das fontes de informação (Horton et al., 2008), os valores, o contexto, as perceções e preferências, a inter-relação entre atores, as estruturas organizacionais, o tempo, etc… (Serpa, 2011). Os maiores benefícios da utilização dos resultados da avaliação parecem estar associados ao envolvimento e participação dos interessados, bem como às avaliações que privilegiam os dados recolhidos sobre o processo de desenvolvimento e comportamento das pessoas no contexto organizacional (Horton et al., 2008:135-136).

Carol Weiss e Michael Patton (cit. Serpa, 2011), considerados os iniciadores do debate sobre utilização dos resultados das avaliações, demonstraram que a avaliação é um instrumento multifuncional e Cousins e Leithwood (1986, cit. Serpa, 2011) identificaram o envolvimento dos stakeholders como categoria que influencia a avaliação, e a competência do avaliador como fator que também a influencia. Estes e outros autores (Mark, Henry e Julnes, 2000) procuraram determinar quais os propósitos básicos para os quais os resultados da avaliação podem ser utilizados: rever o mérito de programas / projetos e o seu valor social, melhorar as organizações e seus serviços, verificar a conformidade e identificar falhas no cumprimento de programas/projetos/metas/objetivos e construir conhecimento e experiência para futuras decisões/programas/projetos.

Para Carol Weiss (1978), existem diferentes tipos de objetivos ligados à avaliação, uns são patentes e outros são encobertos e a clarificação dos objetivos encobertos é fundamental para se saber se vale ou não a pena avaliar um programa, um projeto, uma escola. Weiss (1978:22-23) destaca alguns objetivos encobertos que impossibilitam ou dificultam a legitimidade da avaliação:

116

- Para passar a outros as responsabilidades das decisões a tomar, de modo a legitimar decisões anteriormente definidas;

- Para efeito de “relações públicas”, procurando tornar visível o sucesso institucional, real ou aparente;

- Para cumprir determinados requisitos externos, sobretudo de prestação de contas relativamente a fundos ou investimentos recebidos para desenvolver programas ou projetos.

No entanto, além destes objetivos encobertos, ainda existem outros fatores que impossibilitam ou dificultam o desenvolvimento das organizações, isto é, a capacidade das mesmas para melhorar continuamente. Entre outros, os seguintes foram identificados na investigação de diferentes autores (Carrion, 2008; Souza-Silva e Schommer, 2008; Zapata e Ramirez, 2007 e Maria et al., 2008, cit. Meirelles e Pereira, 2010:11-12):

- as lideranças, pois os grupos dominantes podem boicotar as ações de melhoria e forçar a não continuidade de um projeto;

- as dificuldades de encontro entre os atores, o que conduz a um desperdício de conhecimento;

- os traços fortes da cultura e das regras dos membros, que impede a adoção de novas possibilidades;

- o facto de as pessoas preferirem lidar com situações já conhecidas;

- a falta de motivação para aprender que, simultaneamente, implica e impõe uma visão limitada da realidade;

- a subjetividade inerente à interpretação do processo de aprendizagem;

- falta de empenho devida à ausência de confiança e de integração entre os atores;

- dificuldades diversas de participação; - não-reflexividade;

- dificuldades com as tecnologias da informação; - falta de infra-estruturas adequadas;

- Ausência de um moderador habilitado; - grupo formado por formadores de opinião;

117

Todas estas dificuldades exigem, portanto, que para o processo de avaliação seja bem sucedido há que conhecer e remover diversos obstáculos na cultura organizacional e ainda definir objetivos que sejam compreendidos, negociados (Guerra, 2002) e aceites pelos atores organizacionais como algo que diz respeito aos seus interesses pessoais e institucionais. Tarefa muito difícil de conduzir, mas para a qual não pode haver desânimo, pois a avaliação pode constituir-se numa efetiva mais valia.

Para Patton (2000:426) a avaliação deve ser vista como “uma recolha sistemática de informação sobre as atividades, características e resultados (…) para emitir juízos (…), melhorar a sua eficácia e /ou informar decisões” para o futuro. Neste caso, um dos propósitos fundamentais da utilização dos resultados da avaliação é a aprendizagem organizacional74. E, sendo assim, a avaliação pode trazer benefícios efetivos às organizações, tendo em conta as mudanças contínuas e o esforço de adaptação que elas necessitam fazer, quer interna, quer externamente. Sem aprendizagem não há adaptação, isto é, as respostas institucionais não são eficazes face às pressões do meio.

Horton et al. (2008:138) fazem uma síntese dos resultados dos seus estudos sobre desenvolvimento organizacional relacionados com a participação e o envolvimento dos interessados na avaliação institucional:

- Maior compreensão e valorização do desenvolvimento de capacidades e da sua avaliação;

- Discussões abertas e francas sobre o futuro da organização que levam a um maior compromisso de todos com o futuro;

- Informação e motivação para melhorar a gestão e planificar o trabalho futuro; - Consolidação das fontes de informação internas que apoiam a planificação, acompanhamento e avaliação do desempenho organizacional;

- Desenvolvimento da capacidade interna da organização para avaliar-se a si mesma;

74

Este conceito aparece ligado quer a perspetivas que valorizam o caráter pessoal das aprendizagens, focando a sua dimensão cognitiva (corrente cognitivista), quer a perspetivas que valorizam a dimensão sócio-prática das aprendizagens, focando-se no papel das interações sociais, das relações entre as pessoas ao longo do tempo. Assim, o conceito está intimamente ligado aos conceitos de inovação e de mudança. E, dando preferência à abordagem sócio-prática compreende-se a importância do ambiente e da cultura organizacional como contexto gerador de mudança ou de resistência (Meirelles e Pereira, 2010). Estes autores definem a aprendizagem organizacional como a ação de compreender, entender e aprender com o passado, e discuti-lo com a finalidade de orientar ações futuras” (Meirelles e Pereira, 2010:10), o que tem implicações diretas sobre a capacidade de inovação, seja qual for o significado que se lhe aplique.

118

- Fortalecimento das relações interpessoais e interinstitucionais com os

stakeholders;

- Maior nível de conhecimento e motivação para a colaboração por parte dos

stakeholders e de outros parceiros.

Se, na organização se consegue ultrapassar a ideia de que a autoavaliação é uma ameaça, talvez se torne possível conduzir processos de avaliação efetivos cujos resultados produzam melhorias.

Existem fatores que possibilitam a aprendizagem organizacional (Meirelles e Pereira, 2010:8): Estabilidade (inclui história, confiança e normas de cooperação); Interação (implicando interdependência entre os membros); Embedeness ou Enraizamento (implica contatos fortes entre diversos atores).

Perante estes dados, parece poder-se afirmar que a estabilidade do corpo docente, o trabalho cooperativo e a identificação das pessoas com a escola e os seus objetivos e metas serão fatores centrais de desenvolvimento da aprendizagem organizacional, de transformação da escola numa organização que aprende (Bolívar, 2007) e, portanto, de melhoria contínua.

A Checklist de Patton (2002) aponta num dos seus itens a importância da análise situacional como condição necessária para produzir resultados suscetíveis de serem utilizados pelos principais interessados. Segundo Patton (2002:3), a utilização da avaliação pode ser reforçada se forem tidos em conta “fatores situacionais cruciais”, o que implica que, quer a avaliação, quer a utilização dos seus resultados, exigem um conhecimento prévio do contexto e uma preparação específica para produzir informação útil. E, finalmente, Patton (2002:5) considera que se os principais usuários tiverem facilidade em interpretar os resultados isso aumentará o seu “sentido de posse da avaliação “ e o “seu compromisso com o uso” desses mesmos resultados. Este é um aspeto fundamental para garantir a coerência e a eficácia da própria avaliação e que dá relevância ao papel das pessoas, da sua implicação direta no processo de avaliação e do sentido que nele encontram, seja ele de autoavaliação, seja de avaliação externa.

No entanto, qualquer avaliação que tenha como finalidade produzir mudança carece de um processo de monitorização ou de acompanhamento, isto é, deve ser inserido num ciclo de melhoria contínua (Figura 5).

119 Pôr em prática Avaliar Aprender Decidir Planificar Pôr em prática Monitorizar Refletir Aprender Ajustar Pôr em prática Refletir Decidir Ajustar Monitorizar

Figura 5 - Circuito integrado da avaliação e monitorização (Fonte: Shapiro, 2001:6)

O processo de monitorização e acompanhamento visa garantir a sistematicidade, o aperfeiçoamento e a continuidade no tempo dos procedimentos de avaliação. Isto significa que a sistematicidade da avaliação não pode ser entendida só no plano dos âmbitos a serem avaliados, mas também no plano temporal. Este é um dos aspetos onde as escolas em estudo mais falham, bem como o próprio sistema educativo, no seu todo. Não existindo continuidade nos processos não é possível avaliar mudanças, progressos ou retrocessos, nem se pode garantir a consistência da aprendizagem organizacional e a melhoria efetiva das escolas .