A metodologia não vive por si e a sua escolha não é neutra. As opções metodológicas são tomadas de acordo com postulados epistemológicos eles próprios informantes dos nossos interesses e questões de pesquisa, para as quais procuramos respostas (muitas vezes múltiplas) através de métodos e técnicas que consideramos mais adequados a esse propósito.
Iniciamos, assim, este capítulo com a explicitação de alguns dos postulados epistemológicos em que situamos a nossa pesquisa para, de seguida, apresentarmos os métodos de recolha e de análise de informação. O texto incorpora contribuições de três tipos: teórico, explicitando as teorias que informaram a escolha dos métodos e a construção dos instrumentos; descritivo, explicitando a forma como os processos de recolha e análise de informação decorreram; e (auto)reflexivo, analisando criticamente a ação da investigadora. As contribuições destes dois últimos tipos (descritivo e de autoanálise) são fundamentais à validação dos dados na pesquisa qualitativa. A explicitação dos vários passos dados e da racionalidade subjacente a cada decisão contribui para a restituição do processo e a subsequente validação por pares. A autorreflexão sobre a ação pode em alguns casos ser igualmente importante para a interpretação e validação dos dados e, ao mesmo tempo, ter uma função formativa permitindo à investigadora aprender com a experiência e torná-la acessível a outros.
Enunciação epistemológica
A pesquisa aqui apresentada desenvolveu-se na égide de uma abordagem qualitativa ao estudo dos fenómenos socais e educativos. O que nos orienta é a vontade de compreender os fenómenos através da análise das possibilidades de significação, da interpretação dos sentidos que sobre os mesmos vão sendo construídos, inclusive no âmbito da investigação.
com Flick, von Kardorff e Steinke (2004: 8) quando afirmam que “the epistemological principle of qualitative research is the understanding (7) of complex relationships rather than explanation by isolation of a single relationship, such as ‘cause-and- effect’”. Nesta perspetiva, compreender pode ser entendido como o processo de atribuir significado/sentido a uma experiência (Soeffner, 2004). Para a compreensão das realidades sociais privilegia-se, na pesquisa qualitativa, a descrição do quotidiano que procede ‘de dentro para fora’, isto é, a partir da perspetiva da própria pessoa que participa na atividade em estudo. Desta forma, a pesquisa qualitativa “seeks to contribute to a better understanding of social realities and to draw attention to processes, meaning patterns and structural features” (Flick, von Kardorff e Steinke, 2004: 3).
Um outro pressuposto partilhado pelos investigadores da abordagem qualitativa consiste no entendimento da realidade social como algo que é construído com base na interação entre as pessoas e que ganha sentido apenas subjetivamente. Não obstante, os significados atribuídos a pessoas, situações, objetos, etc., estão em constante mudança e são moldados em função do contexto e em reação aos sentidos atribuídos pelos outros, com quem interagimos (Flick, von Kardorff e Steinke, 2004). Posto isto, percebe-se a razão pela qual os processos de comunicação ocupam uma posição central na pesquisa qualitativa. O interacionismo simbólico, uma das perspetivas teóricas constituintes da pesquisa qualitativa, defende que não só a experiência mas também a estrutura e a subjetividade são processos dialógicos (Denzin, 2004).
A recolha de dados é orientada, na pesquisa qualitativa, sobretudo pelo princípio da abertura, por oposição ao de estandardização de métodos e teorias. Aliás, a finalidade última da pesquisa qualitativa articula-se não tanto com a descoberta de fenómenos ou com a testagem de modelos, mas com a produção de contributos para (re)formulações teóricas:“Methods and methodologies are not, for this kind of research, an end in themselves. They are based on theoretical considerations and should, in turn, serve in the formulation of theories.” (Flick, von Kardorff e Steinke, 2004: 65).
Não descurando a crescente importância que as fontes de informação visual têm vindo a ganhar na pesquisa qualitativa, esta continua a ser predominantemente uma disciplina que tem o texto escrito como principal base do seu trabalho (por exemplo, transcrições de entrevistas e notas de terreno) (Flick, von Kardorff e Steinke, 2004).
Uma outra particularidade da pesquisa qualitativa é o entendimento que faz da implicação do/a investigador/a e a consideração da capacidade de refletir sobre as suas ações e observações como um elemento essencial à relevância do estudo e não como “a source of disturbance that needs to be monitored or eliminated” (Flick, von Kardorff e Steinke, 2004: 8).
Antes de terminar esta contextualização epistemológica, gostaríamos de sublinhar que a utilização de alguns dados de natureza quantitativa (em particular no capítulo 4) não coloca em causa a natureza predominantemente qualitativa do estudo, uma vez que não nos limitamos a fazer uma descrição puramente estatística dos dados, mas realizamos sobretudo uma leitura interpretativa dos mesmos.
Opções metodológicas para a recolha e análise de informação
A recolha de informações para a elaboração desta investigação realizou-se através da análise documental e da realização de entrevistas individuais semiestruturadas. O corpus de análise é constituído, portanto, por textos de diferente natureza e produzidos em contextos diferenciados. A produção de alguns textos é anterior e exterior à pesquisa enquanto outros foram elaborados no seio da mesma.
A pesquisa e análise documental tiveram um lugar privilegiado na fase inicial da pesquisa, possibilitando uma aproximação ao objeto de estudo, em particular à sistematização dos vários atores envolvidos e à caracterização de uma figura em particular – o perito. A preparação das entrevistas com peritos e outros atores-chave na criação e no 1º ciclo da implementação do programa ‘avaliação externa das escolas’ partiu dos dados resultantes deste trabalho prévio de análise e da pesquisa e análise de outra informação relevante sobre o percurso académico e profissional das pessoas
entrevistadas, e em alguns casos, de textos escritos da sua própria autoria (na medida em que parte dos entrevistados eram académicos e detinham publicações na área).
Os dados analisados e discutidos neste trabalho dizem respeito, sobretudo, ao 1º ciclo do programa avaliação externa das escolas em Portugal, que contempla os cinco primeiros anos da sua implementação (2006-2011), no final do qual todas as escolas públicas do ensino básico e secundário do sistema educativo português tinham sido já avaliadas. No momento de redação da tese, acaba de terminar um 2º ciclo deste programa que integrou algumas alterações significativas ao modelo inicial. Embora neste trabalho não analisemos em profundidade este novo modelo, lançamos um olhar interpelativo sobre algumas alterações com implicações sobre as formas de expertise e os processos de tomada de decisão política nesta medida educativa.
A opção por esta delimitação temporal justifica-se, por um lado, pela densidade e estabilidade dos dados existentes, uma vez o ciclo estar finalizado aquando do início da pesquisa. A análise assume, assim, uma natureza retrospetiva, permitindo-nos tecer considerações a partir de uma base empírica relativamente consolidada. O nosso interesse pela compreensão da emergência da centralidade da avaliação como medida política leva-nos igualmente a considerar de pertinência acrescida o estudo das razões e dos processos de tomada de decisão que estiveram na base da criação do único programa de avaliação de escolas que conseguiu ser generalizado a todas as escolas públicas de Portugal Continental.
Análise documental
O corpus da análise documental é constituído por documentos de domínio público, maioritariamente produzidos pelos organismos responsáveis pela avaliação externa das escolas em Portugal e que se encontram disponíveis nos websites da IGE e do CNE. Fazem parte deste conjunto de documentos: a Lei de Bases do Sistema Educativo Português e a Lei nº31/2002, que aprova o sistema de avaliação da educação e do ensino não superior; o relatório final de atividade do Grupo de Trabalho para a avaliação externa das escolas; o documento da IGE denominado Referentes e
da IGE relativos a cada um dos cinco anos do primeiro ciclo de avaliação externa das escolas e o relatório final do primeiro ciclo do programa; os Pareceres e Recomendação produzidos pelo Conselho Nacional de Educação sobre esta matéria; e os despachos do Ministério da Educação para a nomeação dos peritos.
A caracterização que realizamos da figura do perito, e que apresentamos no capítulo 4, resulta do cruzamento de informações de diferentes tipos e fontes, a saber:
a) informações sobre os critérios para a constituição das equipas de avaliadores e para a seleção dos peritos externos à IGE, as quais de forma mais ou menos explícita vão sendo enunciadas nos documentos produzidos pelos organismos responsáveis pela avaliação externa das escolas em Portugal;
b) informações sobre os peritos que efetivamente participaram no primeiro ciclo da avaliação externa das escolas, disponíveis nos despachos do Ministério da Educação para a nomeação dos mesmos;
c) informação complementar para a caracterização desses peritos, obtida através da pesquisa online em sites das instituições de pertença dos peritos, Plataforma DeGóis, Diário da República e outros websites com disponibilização de dados sobre o curriculum vitae dos peritos.
Na medida em que neste trabalho nos interessa problematizar algumas das questões associadas à expertise a partir da figura do avaliador externo nomeado como perito na avaliação externa das escolas, optámos por analisar apenas o conteúdo das partes dos documentos (anteriormente mencionados) que de forma mais ou menos direta aludem a esta figura, nomeadamente através da referência aos seguintes temas: a) constituição das equipas de avaliação; b) critérios de seleção dos avaliadores externos; c) características dos avaliadores; d) formação dos avaliadores externos; e) nomeação dos peritos e f) opiniões/pareceres destes e de outros atores sobre o processo de avaliação, em especial no que concerne às características dos avaliadores externos e ao seu desempenho. Assim, após uma primeira leitura integral dos textos, selecionámos as partes com informação relevante para o estudo destas questões e fomos construindo e consolidando as categorias de análise num diálogo contínuo
entre interesses de pesquisa e dados empíricos. Resultaram deste processo as seguintes categorias: denominações para o avaliador externo à IGE; expertise e tipos de conhecimento; articulações entre expertise e decisão política; articulações entre expert e outras profissões vizinhas; profissionalização do expert. No capítulo 4, analisamos e discutimos os dados produzidos com base nestas categorias.
Realizámos também uma análise de frequência da utilização da palavra perito nos documentos constituintes do corpus, embora contextualizando o seu uso através da identificação do documento, do autor e do sentido em que foi utilizado (para designar avaliador externo ou outro ator). Esta contextualização permitiu-nos, novamente, mais do que descrever a frequência da utilização do termo perito por documento, proceder a uma interpretação, a uma atribuição de possíveis sentidos à sua utilização, um trabalho que é de natureza eminentemente qualitativa.
Para a caracterização dos peritos que participaram no 1º ciclo da avaliação externa das escolas como avaliadores externos à IGE recolhemos e organizámos informações sobre o grupo profissional de pertença, a área de conhecimento da sua formação e/ou atuação e a relação da sua atividade profissional com a área da educação. Neste caso interessou-nos recorrer a uma análise também quantitativa para termos uma imagem da distribuição dos peritos por cada um destes descritores. Para tal utilizámos ferramentas do programa Excel. A realização desta análise de cariz mais quantitativo permitiu-nos fazer uma espécie de retrato, inexistente até ao momento, dos peritos que participaram no 1º ciclo da avaliação externa das escolas em Portugal. Nesta análise não procedemos apenas a uma descrição das características dos peritos, mas procuramos, sempre que possível (considerando os dados disponíveis) interpretá-las do ponto de vista teórico sobre os tipos de expertise que podem estar a constituir-se ou consolidar-se no âmbito da medida em estudo.
Entrevistas individuais, semiestruturadas, com experts
A entrevista com atores-chave nos principais processos de tomada de decisão no contexto da avaliação externa das escolas mostrou-se o método mais pertinente
uma confrontação de informações de diferentes fontes, no sentido de procurar construir uma compreensão mais contextualizada e aprofundada sobre as formas de expertise e os elementos influentes das tomadas de decisão. Embora nos documentos analisados de autoria dos grupos de atores com responsabilidade no programa – Grupos de Trabalho, IGE e CNE – se vá dando conta de algumas das preocupações subjacentes às orientações adotadas e às fontes de informação consideradas, o conteúdo de grande parte dos mesmos não torna dispensável a conversa com os atores, quanto mais não seja pelo facto de em alguns casos não haver informação clara e detalhada sobre, por exemplo, o processo da própria produção do texto em questão. Stephan Wolff (2004) sublinha precisamente o facto de uma ‘vantagem’ da divulgação de informação através de documentos escritos ser a possibilidade de tornar as condições da sua produção invisíveis. Para esses casos o autor sugere, entre outras, a realização de observação etnográfica ou de entrevistas para a obtenção de dados específicos sobre a elaboração desses documentos. As entrevistas realizadas no âmbito do presente estudo forneceram informações particularmente relevantes sobre a produção dos relatórios de avaliação das escolas.
Para além disso, uma das potencialidades das entrevistas reside na sua constituição como um espaço de reflexão sobre a ação, parte da qual poderia não ter lugar senão através da incitação colocada pelo momento da entrevista. Algumas das pessoas explicitam esta situação no decurso da entrevista:
Mas por acaso, naquele caso, é interessante… por acaso até é interessante agora o que eu estou a dizer (…) Mas por acaso não pus isso nas reflexões, depois. (…) eu própria não tinha nunca refletido nisto (E3) Hum, até é engraçado. Não, eu acho que não é nada um perito, mas nunca tinha, nunca tinha pensado. Eles chamavam-me perito e eu deixava, mas nunca tinha ligado, particularmente, à etimologia da palavra (E6)
Essa é uma questão que, que eu ainda não tive tempo para refletir sobre isso, não é? Hum, ainda não se proporcionou. Se eu faria alguma coisa diferente? (E8)
Considerando, por um lado, a finalidade e os objetivos desta investigação e, por outro, as posições ocupadas pelas pessoas entrevistadas no processo de tomada de decisão em análise, preparámos a entrevista partindo das orientações para a realização de entrevistas semiestruturadas e de entrevistas com experts.
Escolha e caracterização das pessoas entrevistadas
O primeiro critério para a escolha das pessoas a entrevistar foi a pertença, pelo menos, a um dos grupos de atores com responsabilidades no programa ‘avaliação externa das escolas’ e a participação na criação do modelo e/ou no 1º ciclo da sua implementação. Dentro destes tivemos preferência por atores com experiência de atuação nas esferas política, científica e pedagógica, em especial com um percurso de circulação entre as duas primeiras, e por atores que participaram no programa sob a denominação de peritos, quer enquanto avaliadores externos à IGE quer enquanto figuras auscultadas na preparação do 2º ciclo do programa. A escolha de atores com um conhecimento experiencial decorrente da circulação entre as esferas política, científica, e em alguns casos pedagógica, permite-nos ter depoimentos informados por conhecimentos de processos de tomada de decisão em diferentes níveis e contextos de atuação (central, local, com implicações mais ou menos diretas em ações governativas), bem como potencialmente esclarecedores da articulação entre as contribuições da esfera política e da esfera científica – um dos nossos interesses de pesquisa.
No momento introdutório da entrevista, onde demos a conhecer a finalidade e as principais questões da pesquisa (ver Anexo – Guião geral para as entrevistas), perguntámos se a pessoa pretendia anonimato. Uma vez que a resposta não foi consensual, optámos por cingir a caracterização das pessoas entrevistadas às funções ocupadas e codificar numericamente as entrevistas (E1, E2, e assim sucessivamente). Reconhecemos que nos casos das posições ocupadas apenas por uma pessoa o anonimato não fica assegurado, no entanto, as pessoas visadas estavam cientes deste condicionalismo no momento em que aceitaram participar no estudo.
não carece apresentar o meu nome, como tão-pouco é usual em trabalhos académicos. Contudo, não considero que seja necessário fazer malabarismos para não se perceber que sou eu
No quadro 3 apresentamos uma caracterização das pessoas entrevistadas de acordo com os grupos de atores de pertença e as posições ocupadas na ‘avaliação externa das escolas’.
Foram entrevistadas um total de nove pessoas, sete das quais ocupando, num ou noutro momento, a posição de perito. Só dois dos peritos não desempenharam outra função a não ser a de avaliador externo à IGE. Cumpre-se, desta forma, o interesse em auscultar sobretudo pessoas com participação em mais do que um grupo de atores e em diferentes momentos do 1º ciclo do programa, na medida em que tais condições poderiam potenciar o desenvolvimento de uma reflexão mediada por um conhecimento mais integral do processo.
Do grupo de trabalho para a criação do modelo conversei com o coordenador e os dois elementos escolhidos pela, à altura, Ministra da Educação. Da IGE conversei com o Inspetor-Geral e o Delegado do Norte com mandatos no período do 1º ciclo do programa. Do CNE conversei com dois membros da 1ª comissão especializada permanente com funções no âmbito da “avaliação do sistema educativo e das instituições de educação e formação”, um dos quais foi relator de um dos pareceres/recomendações para a avaliação externa das escolas. Dos seis avaliadores externos com quem conversei, cinco eram docentes no Ensino Superior, quatro na área das Ciências da Educação e um na área da Engenharia, e um exercia funções de técnico superior na administração pública. Três dos peritos tinham sido auscultados no processo de preparação do 2º ciclo do programa. Do grupo de trabalho criado para esse efeito conversei com o coordenador e um dos elementos.
De salvaguardar que, apesar de inicialmente prevista, não foi possível realizar a entrevista com a Ministra da educação que avançou com a criação do programa.
Quadro 3. Caracterização das pessoas entrevistadas pela pertença aos grupos de atores com responsabilidade no programa ‘Avaliação Externa das Escolas em Portugal’ e pelas posições
ocupadas no mesmo.
Grupo de atores
Posição
Pessoas Entrevistadas Totais
por posição Totais por grupo E1 E2 E3 E4 E5 E6 E7 E8 E9 GT1 Coordenador 1 3 Membro 2 IGE Inspetor-Geral 1 2 Delegado Regional 1 CNE Membro da C. Especializada 2 2 Relator Parecer/Recom. 1 Peritos Avaliador externo 6 7 Figura auscultada 3 GT2 Coordenador 1 2 Membro 1
Entrevista semiestruturada: contribuições teóricas para a preparação da entrevista
A entrevista semiestruturada, ao contemplar a elaboração de um guião sem que este tenha de ser aplicado de forma rígida nem de modo a constranger as respostas das pessoas entrevistadas, tem a vantagem de permitir ter em presença os
mesmas se pronunciem. O guião constituiu, assim, uma linha orientadora intra e inter- entrevistas, isto é, possibilitando, por um lado, redirecionar a entrevista para os interesses da pesquisa quando a conversa está a tomar outros rumos e, por outro, estabelecer parâmetros de similitude, pontos de referência entre as entrevistas com diferentes entrevistados. Simultaneamente, a entrevista semiestruturada permite-nos ter abertura, dar tempo e espaço para a emergência e exploração de outros aspetos que se revelem pertinentes no decurso da conversa.
O processo de elaboração do guião possibilita-nos projetar a situação, ensaiando o quê, quando e como perguntar. Esta espécie de simulação permite-nos conceber o ato da entrevista atendendo: “às exigências psicológicas do processo, evitando saltos bruscos entre as questões, permitindo que elas se aprofundem no assunto gradativamente e impedindo que perguntas complexas de maior envolvimento pessoal colocadas prematuramente acabem por bloquear as respostas às questões seguintes” (Luke e André citados por Leite e Terrasêca, 1993: 74). Cada entrevista é única, não só pela especificidade das características pessoais e interpessoais da pessoa entrevistada, mas também pelo modo como decorre a interação entre os sujeitos em diálogo. E para esta contribuem inúmeros fatores das diversas esferas envolventes (emocionais, intelectuais, físicas, sociais, etc.). Assim, aquele(a) que entrevista terá que, em situação, “adaptar o seu comportamento com flexibilidade e pertinência” (Quivy e Campenhoudt, 1995: 78), por exemplo, através da formulação das questões de um modo mais ou menos aberto, mais ou menos detalhado, em função dos requisitos do momento. Embora o trabalho de projeção não seja capaz de contemplar a diversidade de interferências no momento da entrevista, o processo de elaboração do guião pode facilitar o acionamento de estratégias diferenciadas. Para o manancial de conhecimento sobre as estratégias a mobilizar