ter aspectos éticos, (…) os objectivos da auto-avaliação devem ser antecipadamente definidos com vista a evitar objectivos ocultos ou falta de ética (…) cla reza nas tarefas e deveres dos envolvidos;

acesso fácil aos resultados; protecção da privacidade e do anonimato; objectividade dos avaliadores; (…) garantia de u m relatório honesto”. (SICI, 2007, p. 25)

A fim de garantir o valor da avaliação, Guerra (2002, p. 25) refere que é indispensável que a recolha de dados seja feita com rigor, uma vez que a “complexidade da realidade educativa duma escola exige a aplicação de métodos que tenham a capacidade de reconstruir criticamente a realidade”, pois, se “a recolha de informação for imprecisa, arbitrária e irrelevante, não se poderá realizar uma avaliação rigorosa e credível da realidade”. Assim, para Guerra (2005, pp. 75-76) e (2002, pp. 25-26) os métodos utilizados na avaliação terão de ter as seguintes características:

adaptabilidade - na aplicação dos métodos não existe nem uma sequência única nem

uma forma estereotipada. A utilização de ou um ou outro método depende das circunstâncias;

sensibilidade – “os métodos têm de se revelar sensíveis à complexidade”;

dive rsidade/variabilidade - uma forma de conseguir dados fiáveis é utilizar

instrumentos diferentes que permitam o contraste e a compensação das limitações dos outros;

interatividade - podemos utilizar os resultados obtidos por meio dum método, para explorar a realidade através doutro;

gradualidade - a utilização dos métodos pode ser feita de acordo com uma progressiva

focalização.

Na nossa opinião, a escolha dos instrumentos deve ser efetuada pela equipa de AA, em consonância com o diretor, uma vez que este está mais habilitado para saber se os instrumentos escolhidos são ou não exequíveis, dado que deverão conhecer melhor a realidade da escola. Pela recolha de dados, parece-nos que os instrumentos mais utilizados são: os questionários, a análise documental e as entrevistas. É nossa convicção que os questionários surgem como os mais populares por serem a técnica adequada ao estudo extensivo de grandes conjuntos de indivíduos (tendo em atenção o número intervenientes, professores, pessoal não docente, alunos e pais/encarregados de educação). É uma técnica de pesquisa que:

- é fácil de usar;

- facilita a recolha de informação, junto de um elevado núme ro de pessoas e ao mesmo tempo;

- permite uma maior facilidade na recolha e tratamento de dados; - é objetiva;

- não exige meios financeiros avultados;

- possibilita a aquisição de uma imensidão de dados; - permite proceder a numerosas análises de correlação;

- permite eliminar mecanismos de defesa, pois o inquirido pode sempre defender-se sobre as questões que lhe colocam;

A par destas vantagens, também podemos destacar alguns inconvenientes, nomeadamente:

- o custo poder ser elevado;

- a superficialidade das respostas não permitir a análise de certos processos;

- nem sempre ser fácil a interpretação das respostas, que podem ser pouco claras ou incompletas;

- é difícil saber se as pessoas respondem de acordo com o que sentem, ou com o que julgam ser as expectativas do inquiridor.

Consideramos, ainda, que é importante o uso de análise documental, pois há uma infinidade de documentos internos da escola que terão de ser analisados para que se possa ter uma fotografia da realidade escolar. Dentre estes documentos, destacamos os documentos estruturantes da organização (PE, RI, PAA, PCE, PCT), o expediente, os processos individuais, as atas, os termos, as pautas, os relatórios, os processos disciplinares, as provas de exame, os folhetos ou cartazes informativos, as circulares para alunos, para formandos ou para encarregados de educação, os memorandos de comunicação interna e os registos estatísticos tais como: o número de alunos, de professores, de funcionários, os valores das taxas de sucesso, de absentismo e de abandono escolar, entre outros.

Por sua vez, as entrevistas, apesar de as considerarmos como uma fonte muito rica de informação e terem a grande vantagem de permitir uma maior profundidade, não são usadas com tanta facilidade dado que consomem muito tempo, tanto para a sua execução como para o seu tratamento. Além disso, se forem realizadas sem critérios de igualdade, rigor e transparência podem levantar questões de validade e de confiança. Aliás, situamo- -nos aqui próximo do processo recomendado por Guerra (2005, pp. 77-108) que permite realizar a análise construtiva da situação, uma vez que é mais democrática e permite a participação dos sujeitos de uma forma mais aberta. Este autor acrescenta, ainda, que devemos analisar “o conteúdo dos documentos, rastrear as categorias sociais, culturais, educativas e metodológicas” para “descobrir a filosofia que sustém e inspira o projecto curricular”, e as contradições ou coincidências que existem entre as diversas partes dos documentos ou entre os diferentes tipos de materiais escritos que aludimos. Por outras palavras, e corroborando o autor que estamos a citar, devemos fazer uma triangulação, pois vai aumentar a exatidão.

Para além dos autores que temos vindo a convocar para esta argumentação, queremos incluir alguns instrumentos de AA usados e recomendados pelo SICI (2007, p. 23), que vêm acrescentar às entrevistas e questionários o seguinte:

- “grupos focalizados (…) junta um grupo de pessoas representando a totalidade das opiniões . (…) Desvantagem: menor grau de confiança do que o questionário devido à amostra e à necessidade de ter um especialista a orientar as sessões.

- Observação de colegas: os professores reúnem-se com u m colega para observar e dar feedback sobre a aprendizage m, o ensino, o apoio aos alunos com dificu ldades de aprend izagem. (…)

- Observação de alunos (…) é muito apreciada por eles, aumenta a sua consciência face à tarefa e face ao papel do professor, bem co mo face à tensão entre ensinar (…) e aprender (…).

- Coadjuvância: o observador atua como uma sombra, (…) aco mpan hando o indivíduo ou toda a turma no decurso de um certo período (…) dá uma visão longitudinal, uma imagem diacrónica dos acontecimentos em vez de u ma simp les fotografia isolada no tempo .

- Avaliação por fotografia , vídeo e image m: envolve alunos que captam co m câ maras aspectos da vida escolar que lhes são significativos. (…) dá a oportunidade de identificar exp licitamente algu mas das normas sociais subjacentes à escola que podem ser utilizadas para começar u m diá logo aberto e construtivo, envolvendo directamente os interessados ou os visados .

- Ca mpo de forças : é utilizado para exa minar as forças dinâmicas que atuam em direcções opostas, que empurra m ou se afastam dos objectivos a alcançar”.

Na recolha de dados que efetuámos verificou-se que, no seu trabalho, Nunes (2007, p. 129) utilizou “entrevistas, questionários, análise documental, contactos informais, observação directa, elaboração de relatórios e discussão dos mesmos”. Segundo este autor, primeiro devemos avaliar o que é “mais pacífico” e, só depois, entrar nas áreas mais problemáticas, ou seja, ir à sala de aula. Já no trabalho de Alaíz (2007) verificamos que preconiza a utilização de questionários de resposta fechada e a técnica de comparação de produtos da avaliação, destinados a estimular a competição, que considera um fator motivador dos dirigentes (e, em geral, dos membros) das organizações na busca da qualidade e da excelência.

Por fim, recorrendo ao modelo CAF (2007, pp. 30-32), verificamos que aponta que “as organizações utilizam, geralmente, q uestionários ou inquéritos para medir os níveis de satisfação, podendo, contudo, utilizar outros instrumentos complementares como, por exemplo, grupos focalizados ou de controlo ou painéis de referência”, bem como, entrevistas e avaliações. É nossa convicção que deveremos utilizar diferentes instrumentos em função dos dados que se pretendem obter. Assim, os mais utilizados acabam por ser os questionários, pois são de mais fácil aplicação e tratamento. O tratamento estatístico também é relevante quando se pretende estudar os resultados académicos. Por sua vez, as entrevistas, devido à sua complexidade, acabam por ser pouco utilizadas.

Finalizaremos este capítulo com uma abordagem aos Indicadores Educacionais, que consideramos serem um dos instrumentos imprescindíveis utilizados quando se realiza um processo de AA. Porém, emerge de imediato um questionamento pertinente: O que são

indicadores? Como é que a escola pode escolher aqueles que são mais relevantes para os seus propósitos? Como é que eles podem ser utilizados para a AA? Para que servem?

Os indicadores educacionais são definidos por Macbeath (2005, pp. 249, 251) como “dados estatísticos que dizem algo sobre o “estado de saúde” da escola e possibilitam melhores tomadas de decisão”. Ou seja, são instrumentos que “não fornecem resultados ‘científicos’, antes pelo contrário indicam áreas que devem ser melhoradas ou questões que devem ser discutidas”. Aliás, Macbeath (2005, p. 249) acaba por utilizar uma imagem de Oakes (1986), “tal como o velocímetro é o indicador do nível de combustível num carro, os indicadores em educação proporcionam informação essencial sobre o funcionamento actual da escola, revelam se estão a ser feitos bons progressos, e alertam para potenciais problemas”. Outro autor, Scheerens (2000, p. 92) define indicadores educacionais como “estatísticas que permitem juízos de valor sobre aspectos-chave do funcionamento do sistema educacional” e utiliza o termo indicador de performance, para enfatizar a sua natureza avaliativa.

O SICI (2007, pp. 30, 32) acrescenta que um indicador deve ser identificável como um aspeto da qualidade, equidade, eficiência, observável e comunicável. Enquanto Guerra (2002, p. 22) considera que os indicadores, “se tomados de forma isolada, fragmentada, desconexa, carecem de sentido. O que interessa é o funcionamento holístico da escola. É o clima, o sentido da acção, aquilo que verdadeiramente importa”.

Voltando às ideias expressas por Macbeath (2005, p. 249), registamos que este autor assinala que o “valor dos indicadores depende de aspectos técnicos, conceptuais e de política”, e identifica 4 aspetos de referência para a sua utilização. Como primeiro aspecto refere a existência “de um elemento de referência em relação ao qual os indicadores possam ser comparados, podendo ser um padrão acordado pelos atores, um objectivo estabelecido pela direcção da escola, pelas autoridades locais de educação”, ou seja, pode ser o “valor médio dos indicadores em escolas semelhantes, ou o valor anterior da escola”.

O mesmo autor (2005, p. 250) acrescenta que o segundo aspeto é que os indicadores “devem medir características duradouras da escola” e devem ser calculados regularmente (anualmente), “porque analisar e compreender tendências é muito importante para uma

correta interpretação dos dados”, não podendo “alertar atempadamente para as dificuldades emergentes” se não existirem dados periódicos. Em terceiro lugar, os indicadores devem “ser de fácil compreensão”, não significando “necessariamente que devam ser fáceis de calcular”. Por fim, aponta como quarto aspeto a opinião de que “os indicadores devem ser fiáveis e válidos”, por exemplo a “taxa de absentismo não é fiável se não tiverem sido registados todos os casos de absentismo ”, sendo possível “medir a fiabilidade, abandonar a medida se a fiabilidade for demasiado fraca, e indicar um intervalo de confiança que explica até que ponto podemos confiar nos resultados”, o que acontece “numa boa avaliação quantitativa”.

Continuando no trilho das ideias defendidas por Macbeath (2005, pp. 251-252), salientamos que o autor considera que, para “conceber ou adaptar um sistema de indicadores para a sua própria avaliação”, a escola deve em primeiro lugar “fazer um inventário de indicadores existentes” e ao mesmo tempo deve identificar as “áreas em que podem ser necessários”, de seguida escolhe “os indicadores relevantes57_{” e “os}

procedimentos” (por exemplo, selecionar um grupo constituído por vários grupos de atores; decidir como é que esse grupo divulgará as suas conclusões a toda a comunidade escolar; que tipo de discussão haverá; e que medidas serão tomadas em resultado da discussão).

Apoiando-nos, agora, na perspetiva de Scheerens (2000, p. 93), salientamos alguns aspetos relevantes que identificou para os indicadores educacio nais:

- a noção que lidamos com resultados mensuráveis característicos dos sistemas de educação;

- a aspiração para medir aspetos chave, seja apenas para dar uma olhada num perfil da situação atual ao invés de uma descrição detalhada;

- a exigência que os indicadores mostrem a qualidade da educação. Tal implica que os indicadores sejam estatísticas que têm um ponto de referência ou padrão contra o qual os juízos de valor podem ser feitos.

Em jeito de síntese, e partindo das perspetivas apresentadas, consideramos que indicadores são dados estatísticos utilizados para auxiliar a tirar uma fotografia real da organização conducente à melhoria. Este processo de recolha de informação e de dados

57

MacBeath (in SICI, 2007, p. 31) refere dez grupos de indicadores: - clima de escola; - relações; - organização e comunicação; - tempo e recursos; - reconhecimento dos objetivos alcançados; - equidade; - articulação família-escola; - apoio ao ensino; - clima de sala de aula; - apoio à aprendizagem.

para uma autoavaliação mais rigorosa e transparente pode ser obtido se, tal como enunciado por Macbeath (2005, p. 251), incluirmos “indicadores de entrada, recursos, processos e resultados”, sendo “importante discutir quais são as variáveis relevantes para cada categoria”, pois tirar “conclusões erradas acerca da relação entre causas e consequências pode levar à construção ou ao uso de indicadores que não são adequados ao objectivo ou ao contexto”. Na mesma linha, consideramos pertinente, no âmbito da investigação e do trabalho que aqui se apresenta, explicitar o modelo desenvolvido por Deketelaere (1999)58

apresentado pelo SICI (2007, p. 31). Assim, utilizando o modelo CIPP, a que acrescentaremos neste modelo os indicadores referidos por Díaz, identificamos de seguida alguns indicadores referenc iados pelos diferentes autores.