O corpus para tratamento e análise apresenta duas características distintas: uma com abordagem fundamentalmente quantitativa (os dados do inquérito por questionário aos professores, alunos e encarregados de educação e o tratamento dos resultados escolares – avaliação interna e externa para três anos consecutivos 2005/06, 2006/07 e 2007/08 para as disciplinas e anos de escolaridade submetidos às provas e exames nacionais) e uma outra de tipo qualitativo (composições e relatos dos alunos).
É imprescindível assegurar que os dados contemplam várias perspectivas e não estão, portanto, enviesados à partida pela selecção de informantes, ou pela perspectiva de quem os interpreta. Estas preocupações com a qualidade da avaliação correspondem à necessidade de garantia da sua validade. Resumindo, dir-se-á que a avaliação é válida se: as questões de avaliação contemplam as áreas em estudo e a finalidade dessa avaliação; existe informação relativa a todas as áreas em estudo; essa informação provém de diversas fontes e instrumentos e será interpretada segundo várias
perspectivas. Se a incidência da avaliação for clara e pertinente, a probabilidade de os diferentes actores educativos se identificarem com ela será maior e, portanto, será maior a possibilidade de esta vir a influenciar a acção.
Os dados de natureza quantitativa foram objecto de análise estatística; os dados de natureza qualitativa foram sujeitos a uma análise de conteúdo. O trabalho de tratamento e análise dos dados, realizado durante o ano 2008/2009, exigiu competências específicas. O tratamento da informação qualitativa foi um processo relativamente ambíguo, reflexivo, sujeito a adaptações e aperfeiçoamentos sucessivos e implicou um volume muito elevado de informação que envolveu muito tempo no seu tratamento e análise. Foi organizado um dossiê (Anexos), onde são apresentadas as etapas sobre implementação do projecto, o tratamento e a análise dos dados e a análise às composições e aos relatos e debates com os alunos – análise de conteúdo
O material empírico qualitativo é constituído por composições e relatos dos alunos de 2.º e 3.º ciclos e secundário, a informação disponível foi organizada de um modo estratégico, em função da sua relevância na economia da descrição de modo a destacar o essencial (Wolcott, 1994, citado por Afonso, 2005:114).
As composições e os relatos dos alunos foram submetidos à técnica de análise de conteúdo, procedimento que permitiu efectuar inferências sistematizadas.
No plano da gestão dos dados qualitativos identificam seis fases nos procedimentos analíticos do material de campo: a organização dos dados, a produção de categorias, temas e padrões, a codificação dos dados, a testagem das interpretações que vão emergindo, a busca de explicações alternativas e a produção do texto final (Marshall e Rossman, 1999, citado por Afonso, 2005).
Para a organização dos dados, procedeu-se a leituras sistemáticas de todo o material, organizando-o num conjunto estruturado com um dispositivo que facilite a sua consulta. Numa primeira leitura dos textos, foi elaborada uma grelha de análise temática que derivou das áreas subjacentes à concepção e operacionalização do dispositivo de recolha de dados. Agrupámos os extractos dos textos por áreas temáticas, inferimos as categorias e subcategorias, cada unidade de sentido (excerto dos textos que correspondem à descrição detalhada de citações directas que apreendem as experiências e as perspectivas pessoais dos intervenientes) foi colocada numa só categoria. Para a construção das categorias partimos do princípio segundo a qual cada uma encerra uma lógica interpretativa própria que a individualiza das outras categorias.
Em consequência, obtivemos o quadro geral das ideias principais que permitem posteriormente, o estabelecimento de inferências e a interpretação da informação recolhida.
Fomos mobilizando e testando estratégias produtoras de significados relevantes. Este novo texto constitui, portanto, uma leitura, uma construção interpretativa, resultante do contacto entre o contexto empírico particular e o olhar do investigador.
Em anexo, são apresentadas as composições e debates dos alunos individualizados por turmas que nos permitiram compreender algumas características das turmas.
Os resultados do tratamento e análise dos dados recolhidos foram disponibilizados a 16 de Julho de 2009, aos órgãos de gestão da escola, à equipa de coordenação e ao grupo de avaliação. Estes resultados constituem a matéria-prima para a interpretação. Agendei com os intervenientes directos neste projecto (representantes dos órgãos de gestão da escola, equipa de coordenação e grupo de avaliação) o dia 16 de Setembro de 2009, para apresentação de conclusões e recomendações. Nesta data, reuniram-se os intervenientes acima mencionados e cada um individualmente teve a oportunidade de apresentar as suas conclusões e recomendações.
2.1 - Tratamento dos questionários
A validade dos dados consiste na sua qualidade interna, ou seja, refere-se à sua pertinência em relação ao questionamento da realidade empírica resultante da definição de indicadores. O critério da validade avalia a efectiva relevância da informação produzida em relação ao conhecimento que se pretende.
Os dados obtidos através da aplicação do questionário foram objecto de tratamento estatístico, através do programa SPSS. A estratégia de abordagem centra-se na apresentação dos dados através do recurso a tabelas, procurando dar conteúdo ao esquema conceptual que orientou a pesquisa. Os dados e os resultados obtidos deste estudo estão combinados e agrupados conjuntamente. Os resultados individuais não são identificados e, desta forma, cada participante tem a garantia do anonimato. As questões comuns aos alunos do 3.º ciclo e secundário e encarregados de educação e as questões comuns entre encarregados de educação e professores foram tratadas como acima
designado, em conjunto, de modo a permitir uma compreensão e comparação das questões em avaliação entre os diferentes actores.
O inquérito contribuiu para uma descrição mais precisa sobre o processo de auto-avaliação, possibilitando, com a introdução de dados dos inquéritos por questionário com características quantitativas, maior segurança e profundidade em algumas das interpretações.
Tomámos esta opção porque aceitamos válidos os três pressupostos apresentados por Foddy (2002, citado por Afonso, 2005). As diferentes respostas são validamente comparáveis na medida em que todos os inquiridos respondem às perguntas nos mesmos termos; os inquiridos consideram as perguntas fechadas mais fáceis de responder; as respostas a perguntas fechadas são mais fáceis de analisar.
Não há respostas certas ou erradas. O nosso interesse consiste apenas em saber como é que cada actor percepciona cada uma das afirmações.