Nas últimas décadas, tem sido objecto de discussão por círculos cada vez mais amplos de investigadores, o tipo de relação existente entre as metodologias qualitativa e quantitativa, pois, enquanto uns tomam partido por uma distinção dicotómica, outros optam por um continuum entre ambas. Nesta perspectiva, os dois paradigmas podem ser complementares. Ao decidir por uma abordagem qualitativa devemos ter presente que estas são concebidas padecendo de um défice de objectividade, uma vez que se centram em contextos singulares e nas perspectivas dos actores individuais. No entanto, toda e qualquer investigação, seja ela construída com informação quantitativa ou com informação qualitativa, pressupõe elementos subjectivos, dado que o conhecimento sobre a realidade social é em si mesmo um fenómeno subjectivo (Berger e Luckmann, 1966, citado por Afonso, 2005). A investigação qualitativa preocupa-se com a recolha de informação fiável sobre aspectos específicos da realidade social usando procedimentos empíricos com o intuito de gerar e inter-relacionar conceitos que per- mitam interpretar essa realidade.
Madeleine Grawitz, citada por Carmo e Ferreira (1998), define métodos como um conjunto concertado de operações que são realizadas para atingir um ou mais objectivos. Os métodos constituem um plano de trabalho em função de uma determinada finalidade e um conjunto de normas que permitem seleccionar e coordenar as técnicas.
As técnicas são, de acordo com a mesma autora, procedimentos operatórios rigorosos, bem definidos, adaptadas ao tipo de problema e aos fenómenos em causa susceptíveis de serem novamente aplicados nas mesmas condições (Carmo e Ferreira, 1998).
A equipa de coordenação decidiu as técnicas e instrumentos de recolha de dados de modo a cobrir todas as áreas e dimensões em estudo.
Pareceu-nos conveniente recolher dados através de técnicas que permitissem recolher as opiniões de grupos que têm interesse na avaliação, para se poder conhecer as suas opiniões e identificar os consensos e divergências. Pensamos, ainda, que as técnicas utilizadas proporcionariam a possibilidade de chamar a atenção para a
problemática, promovendo, simultaneamente, uma consciencialização e uma reflexão sobre a mesma.
No âmbito deste projecto, privilegiámos a técnica de inquérito por questionário, como estratégia dominante na recolha de dados. Recorremos, também, às técnicas focus
group, textos dos alunos e análise documental, como estratégia de multiplicação dos
dados, de validação e clarificação da informação.
A fonte directa para a recolha de dados foram os actores educativos, constituindo a equipa de coordenação o instrumento principal para a sua recolha e posterior análise, valorizando-se muito o desenrolar de um processo.
1.1 - Focus Group
Um dos processos mais directos para encontrar informação sobre um determinado fenómeno consiste em formular questões às pessoas que, de algum modo, nele estão envolvidas, considerando que pessoas diferentes vão reflectir as suas percepções e interesses e daí poder emergir um quadro razoavelmente representativo da ocorrência ou ausência do fenómeno e, desse modo, propiciar-nos uma base para a sua interpretação(Tukman, 2000).
O recurso a esta técnica implicou a constituição de pequenos grupos que se reuniram para debater e realizar a auto-avaliação da escola. Esta estratégia promoveu a interacção verbal entre moderador e o grupo e desenvolve-se à volta de temas e questões previamente definidas. A sua implementação resume-se à compreensão do comportamento complexo e os significados construídos pelos sujeitos, à recolha de informação sobre experiências e vivências partilhadas no contexto social – escola. A aplicação desta técnica organizou-se através de um plano adaptado e reorientado, pelo moderador, para o objectivo visado. Uma das dificuldades da utilização desta técnica decorre do duplo papel a assumir pelo investigador (entrevistador e moderador). Outra dificuldade está relacionada com a influência do colectivo sobre o indivíduo, podendo enviesar o discurso produzido (Afonso, 2005).
1.2 - Inquérito por questionário
Recorremos à aplicação de um inquérito dirigido aos professores, aos alunos do 3.º ciclo e secundário e aos encarregados de educação do 2.º 3.º ciclo e secundário. Destacamos os seus principais objectivos:
Aprofundar a informação sobre cada uma das áreas seleccionadas para avaliação.
Caracterizar, para as áreas em estudo, a opinião dos professores, dos alunos e encarregados de educação.
Com a aplicação do inquérito por questionário aos diferentes actores, podemos recolher um grande número de dados e tratar a informação de uma forma estandardizada, permitindo a comparabilidade dos elementos apurados.
O inquérito por questionário permitiu o envolvimento, em simultâneo, de uma população alargada, a recolha de grande número de dados e a obtenção de respostas mais rápidas e precisas, possibilitando, em virtude da natureza impessoal e estandardizada do instrumento, maior uniformidade no tratamento dos dados recolhidos.
No entanto, importa conhecer alguns constrangimentos que podem surgir perante a utilização desta técnica de recolha de dados. Destacamos a possibilidade de ocorrência de um efeito de atracção pela resposta que parece socialmente mais desejável (Ferreira, 2003, citado por Afonso, 2005) a possibilidade de um preenchimento incompleto, a falta de garantias de devolução e até mesmo as susceptibilidades dos respondentes.
Devemos, ainda, considerar que a informação recolhida através da técnica do inquérito por questionário pode representar não o que as pessoas pensam, mas sim o que elas dizem que pensam, não no que as pessoas preferem, mas sim no que elas dizem que preferem. É, também, preciso ter em conta que os respondentes podem inserir as suas respostas nas suas estratégias de vida pessoal e profissional, no âmbito das quais fazem a gestão dos seus papéis sociais e das respectivas representações. Outro problema relacionado com esta atracção pelo "socialmente desejável" consiste na tendência de certos entrevistados para a "consistência sistemática" (Cozby, 1989, citado por Afonso, 2005), orientando as respostas num sentido negativo ou positivo, independentemente do teor concreto das perguntas que lhes são colocadas.
Na elaboração das questões, tivemos presente que as variáveis de contexto externo não são maleáveis, ou seja, não são directamente influenciadas pela acção da
escola. No entanto, esta é uma área de avaliação de extrema importância na medida em que permite enquadrar, a escola a nível económico, social e cultural. Os dados sobre o contexto externo que, conhecido pela escola, poderão orientá-la na sua acção.
O contexto interno corresponde às condições da escola no que se refere a recursos físicos e humanos. Ao contrário do que acontece com os factores de contexto externo, estes são maleáveis e, portanto, a escola, pode modificá-los e influenciar o
status quo em cada momento.
O processo de definição das questões para investigação iniciou-se por uma fase qualitativa, constituindo o preenchimento do perfil de auto-avaliação da escola, a técnica de focus group e as percepções do grupo de avaliação constituíram uma etapa fundamental. Embora reconhecendo as facilidades que advêm da utilização de um questionário já elaborado, optámos pela adaptação dos questionários utilizados em diversos estudos.
A adaptação do inquérito por questionário utilizado nos estudos PISA desenvolveu-se através da elaboração de uma grelha onde, a partir da identificação das dimensões, se inventariam os tópicos a abordar, os tópicos seleccionados serviram de fundamento para a tomada de decisões sobre os diferentes tipos de perguntas a elaborar. Numa segunda fase, estruturamos o questionário de acordo com os procedimentos definidos para a formulação das questões. (Tuckman, 1978 citado por Afonso, 2005).
No questionário, foram considerados dois tipos de questões fechadas (em que o sujeito dá uma resposta apropriada), de resposta "sim/não" e questões de respostas de tipo Likert, com escala discreta de cinco ou quatro níveis. Estas questões foram organizadas com perguntas inequívocas directas e específicas (que se concentram numa ideia; em relação às quais se solicita uma atitude; crença ou conceito; em factos que exigem que o sujeito refira factos ou opiniões), a partir de proposições sobre as quais o respondente se pronunciou concordando ou discordando. Nas respostas em escala pretende-se que o respondente situe a sua resposta num dos níveis de uma escala proposta. Quanto ao formato das respostas, Tuckman (1978, citado por Afonso, 2005:107), o mais utilizado foi em escala com séries de níveis em que os sujeitos exprimiam a sua aprovação ou rejeição relativamente a uma afirmação, atitude ou descrevem alguns aspectos sobre si próprios. Ao escolher uma das cinco categorias, o sujeito indica o grau em que considera, como provável.
Esta estratégia constitui uma protecção contra a forma de distorção da resposta em que o sujeito selecciona a mesma escolha de resposta para cada item. Com o sistema
de inversão dos itens de resposta, pretendemos, assim, minimizar a tendência para exprimir aborrecimento, desinteresse, ou hostilidade, fazendo sempre a mesma opção.
1.3 - Apresentação do questionário
Estruturámos o questionário em dois eixos de análise: um que engloba questões relativas à caracterização pessoal e profissional dos inquiridos, nível sócio-económico- cultural das famílias, a profissão dos pais e o seu grau de escolarização, expectativas sobre o futuro dos seus educandos e sobre o que esperam da escola para o cumprimento dessas expectativas; outro que nos possibilita obter informações sobre as dimensões e indicadores propostos para avaliação. Deixou-se, ainda, um espaço para possíveis comentários ou sugestões.
Os inquéritos por questionário foram estruturados por grupos, sendo constituídos por 36 grupos para o 3º ciclo, 39 grupos para o secundário, 20 grupos para os encarregados de educação e 23 grupos para os professores.
1.3.1. Pré-teste
Antes da sua aplicação generalizada, o questionário foi validado no sentido de optimizar a sua eficácia na recolha da informação pretendida. Para o efeito, foi submetido a uma revisão por elementos da equipa de avaliação para apreciação das questões e das suas características técnicas. Foi, ainda, aplicado experimentalmente a alguns dos potenciais respondentes mas que não fizeram parte da amostra. Estes tinham a possibilidade de comentar as dificuldades sentidas no preenchimento quanto à: linguagem, encadeamento das questões, entre outros aspectos. Na devolução, conversámos com alguns dos intervenientes, a fim de nos darem conta das suas reacções e apurar as razões pelas quais foram sugeridas alterações. O seu contributo permitiu melhorar a redacção de algumas afirmações.
1.3.2 População, amostra e aplicação
A avaliação da qualidade dos dados consiste na sua representatividade, ou seja, na garantia de que os sujeitos envolvidos e os contextos seleccionados representam o conjunto dos sujeitos e dos contextos.
O inquérito por questionário tem a vantagem de poder abranger um número elevado de respondentes e assim fornecer dados representativos; foram aplicados inquéritos por questionário a amostras representativas de professores, alunos e encarregados de educação.
Conscientes da dificuldade de estudar a totalidade dos elementos que constituem a população, delimitámos a amostra representativa da população que nos permitisse a compreensão da natureza dos fenómenos em estudo. Concretizamos uma amostragem probabilística por grupos, seleccionamos uma amostra de alunos e de encarregados de educação da escola, a partir de uma amostra das turmas da escola e os professores.
O inquérito por questionário permitiu ter acesso a um número elevado de actores na organização. O questionário foi aplicado a amostras representativas de professores, dos alunos e dos encarregados de educação (anexo D).
Na fase que antecedeu a distribuição dos questionários, estabelecemos contactos informais com o conselho executivo da escola, no sentido de informar e solicitar autorização e colaboração na definição da estratégia de distribuição e recolha dos questionários.
A aplicação decorreu com discrição e procurou ser o menos obstrutora possível para o funcionamento da escola. O preenchimento do inquérito por questionário foi realizado nos momentos e horários que representaram menor alteração do dia-a-dia dos alunos. Os alunos preencheram o inquérito por questionário na presença do director de turma. A aplicação aos encarregados de educação contou com a colaboração dos directores de turma que procederam à entrega aos alunos para que, posteriormente, entregassem aos seus encarregados de educação. Estes foram, ainda, os responsáveis pela devolução ao director de turma. Foram dadas explicações para o preenchimento aos professores que aplicaram os questionários nas respectivas turmas e aos respondentes. Na aplicação à distância, foi necessário prever a retoma. A estratégia utilizada foi a numeração dos exemplares dos questionários. Nesta situação, o controlo do investigador sobre o dispositivo é reduzido.
A distribuição do questionário realizou-se entre 12 a 14 de Maio de 2008, efectuando-se a sua recolha na semana subsequente, 19 a 21 de Maio de 2008. A taxa de participação para os alunos do 3º ciclo foi de 73% e para os alunos do secundário 88%. Para os professores foi de 87% e para os encarregados de educação sendo de 92%.
1.3.2. Tabela de correspondência Questionários Alunos Prof. Enc. de Educ. Objectivos 3º ciclo Sec. 1 a 9 1 a 3 1 a 2
Caracterizar o aluno quanto à idade /sexo /ano de escolaridade; situação familiar; com quem vive; nº de irmãos; situação profissional dos pais; a família na ajuda no estudo.
Caracterizar os professores e pais.
10 a 11 10 a 11 Conhecer o percurso escolar e as expectativas do aluno sobre o nível de escolaridade a alcançar.
12 3 Perceber a importância que os alunos e encarregados de educação atribuem à escolaridade no mundo actual.
12 13 Compreender a valorização que o aluno atribui à Escola na sua formação e na preparação para a vida.
13 14 Saber se os alunos gostam da escola e porque a frequentam.
4 Compreender a percepção dos professores quanto aos padrões de sucesso.
5 5 Compreender a percepção dos pais e professores quanto à utilidade dos resultados da avaliação.
6 16 Conhecer a opinião dos pais e professores em relação à utilização de instrumentos de avaliação comuns a outras escolas.
15 7 17 Conhecer a opinião dos professores e pais quanto ao grau de exigência da escola.
8 Conhecer a perspectiva dos professores em relação ao interesse/empenho dos alunos.
14 16 17 Conhecer o grau de inovação da escola.
13 Conhecer a coordenação das diferentes actividades nos conselhos de turma.
15 18 14 15 Avaliar o nível de bem-estar e justiça na relação entre alunos e professores.
16 19 8 Conhecer o n.º de horas que os alunos despendem no estudo; n.º de alunos que frequentam apoio e explicações; n.º de horas dispendidas
noutras actividades.
17 20 9 Compreender a utilidade e qualidade dos trabalhos de casa.
Caracterizar o ambiente de realização dos trabalhos; a avaliação que os alunos/professores fazem dos trabalhos de casa.
18 21 Conhecer as perspectivas dos alunos quanto: à auto-confiança; aos seus resultados; à gestão do n.º de trabalhos; à responsabilidade e à
ansiedade.
19 22 Identificar a importância que o aluno atribui no estudo: à descoberta de novas soluções; ao decorar; à utilização no dia-a-dia; de relacionar; aos
conceitos essenciais.
20 23 10 Conhecer n.º de alunos que frequentam o apoio nas disciplinas fundamentais (Português e Matemática) e as razões que levam os alunos a não
frequentarem os apoios ou a serem excluídos.
21 24 11 Conhecer as ajudas ao estudo externas à escola.
23 17 Identificar atrasos e eventuais repercussões na gestão do tempo de aula.
22 25 Perceber a integração do aluno na turma.
exigência e aos materiais utilizados.
26 28 11 4 Conhecer o opinião dos vários intervenientes em relação às aulas de substituição.
27 29 9 Perceber a prevalência de recursos que os professores utilizam para promover a aprendizagem.
28 30 18 Conhecer as modalidades de trabalho que mais favorecem a aprendizagem.
19 14 Identificar os factores que dificultam a aprendizagem.
20 7 Conhecer a opinião dos pais e professores sobre: o cumprimento do regulamento, a exigência nos comportamentos, a justiça e as expectativas.
29 31 Conhecer a utilização dos espaços da escola na promoção do estudo.
30 32 22 Compreender a opinião dos diferentes intervenientes sobre a utilização dos espaços de estudo.
31 33 23 18 Perceber a opinião dos diferentes intervenientes quanto ao reconhecimento do mérito.
34 16 13 Perceber grau de exigência da escola ao nível dos conhecimentos.
32 35 Compreender a opinião dos alunos quanto à utilização das novas tecnologias de informação.
33 36 21 12 Identificar os problemas das turmas.
34 37 19 Conhecer os aspectos mais positivos da aprendizagem.
35 38 20 Identificar os aspectos a melhorar para obter melhores resultados.
1.4 - 2ª fase - Descrição das fases de recolha de dados
Grande parte do período de férias da Páscoa foi dedicado ao estudo das diferentes técnicas de investigação qualitativa em Educação. Os membros da equipa coordenadora e do grupo de avaliação do projecto também puderam realizar leituras sobre algumas técnicas de investigação, visto terem sido entregues sínteses documentais relativas à bibliografia de referência para a implementação deste projecto.
No início do 3.º período, já com maior conhecimento sobre as vantagens e inconvenientes quanto à aplicação das diferentes técnicas, a equipa de coordenação iniciou o trabalho de identificação das categorias e indicadores necessários à recolha de dados para a avaliação de cada uma das áreas.
O grupo de avaliação foi, nesta fase, solicitado a colaborar na definição/aprovação das categorias, indicadores e instrumentos para a avaliação das áreas propostas.
Foram muitas as questões colocadas pelos vários elementos do Grupo de Avaliação de Escola. Os alunos pretendiam um estudo aprofundado aos horários escolares através da aplicação de um questionário a todos os alunos da escola, com o objectivo de conhecer o nível de satisfação dos alunos; para verificar como são distribuídas as diferentes disciplinas no horário semanal e conhecer os critérios utilizados nessa distribuição.
Os professores e pais queriam conhecer: o que pensam os alunos sobre os seus resultados escolares; como é que organizam o estudo; como é que ocupam os tempos livres na escola. Os professores queriam também saber em que medida a falta de alguns equipamentos essenciais e salas específicas para algumas disciplinas penalizam a aprendizagem dos alunos; queriam saber como é que o desinteresse e a perturbação de alguns alunos, que existem em diferentes turmas, afectam a aprendizagem e aproveitamento dos restantes alunos.
Dada a diversidade de preocupações e o interesse em recolher evidências qualitativas e quantitativas para que possam ser validadas ou não as percepções dos diferentes actores, o grupo de avaliação de escola e a equipa de coordenação decidiram- se pela aplicação de um inquérito por questionário aos pais, aos alunos e aos professores.
Os questionários foram estruturados a partir das categorias propostas pelo grupo de avaliação e equipa de coordenação. Para a elaboração dos questionários foram tidas em consideração as regras para a formulação de questões, definição da amostra e aplicação. Os diferentes questionários têm uma base comum de questões e outras questões diferenciadas, procurando obter informação de acordo com o papel que cada membro desempenha na escola.
Para o 5.º, 6.º e 7.º anos de escolaridade, foi proposto a realização de composições com três temas diferenciados por turma: ―resultados escolares‖; ―as aulas‖ e ―o tempo de estudo‖.
A amostra para aplicação do inquérito por questionário foi 40% dos pais, dos alunos por ciclo e professores em funções na escola.
Os questionários aos pais foram aplicados desde o 5.º ao 11.º anos de escolaridade. Os questionários aos alunos foram aplicados a partir do 7.º ano (por se considerarem complexos para os alunos mais novos) até ao 12.º ano de escolaridade. Os questionários aos professores foram distribuídos para preenchimento com base na proporção de professores de cada departamento, grupo disciplinar e situação profissional.
Decidimos que, no mês de Junho, com a finalidade de complementar a informação dos questionários, dos registos escritos dos alunos do 5.º, 6.º e 7.º anos, íamos solicitar a alguns alunos o preenchimento de uma grelha designada ―diário escolar‖ e a realização de textos escritos e debate estruturado com algumas turmas do 2.º, 3.º ciclos e secundário. Pretendeu-se recolher dados qualitativos sobre as diferentes áreas, para proceder a uma triangulação da informação.
Durante o mês de Abril, considerámos necessário reunir com os Presidentes do Conselho Executivo e Pedagógico a fim de comunicarmos as actividades aprovadas pelo grupo de avaliação da escola para implementação da 2.ª fase do projecto.
A 2.ª fase implicou uma grande dinâmica na escola, porque recorreu a um maior número de participantes para a recolha de dados, necessitando da disponibilização de tempos lectivos para a aplicação dos instrumentos criados.
Atendendo a que este projecto foi aprovado no Conselho da Comunidade Educativa, considerámos importante apresentar um balanço a este órgão sobre a aplicação do projecto. Assim, na apresentação foi feita uma alusão às políticas públicas de regulação da educação, à metodologia de investigação e às referências teóricas sobre escolas eficazes e de melhoria da escola. Seguiu-se um balanço sobre as etapas que
decorreram na 1.ª fase e informação sobre as etapas previstas para a 2.ª fase. Foi entregue aos membros deste conselho uma síntese sobre: as políticas, a metodologia, as escolas eficazes e o plano de trabalho do projecto.
De 12 a 21 de Maio, iniciaram-se os procedimentos para a recolha de dados: