Técnicas de pesquisa

Depois de delimitado o paradigma de investigação e justificada a opção pelo estudo de caso como método de pesquisa passaremos a apresentar e a justificar as técnicas que consideramos mais adequadas ao nosso estudo. Segundo Virgínia Ferreira, “só a multiplicidade de fontes empíricas, cada uma com a validade que lhe é própria, pode devolver-nos a multiplicidade das relações sociais” (Ferreira, 2007, p. 195).

124

De acordo com António Fragoso (2004) o investigador deve procurar que as técnicas de recolha de informação sejam utilizadas de forma a obter informação suficiente e pertinente. Para isso, a investigação deve convocar dados de múltiplas fontes e de forma sistemática (Dooley, 2002). Atendendo a esse requisito, propomo-nos utilizar duas técnicas diferenciadas que, em nosso entender, se complementam e nos permitem fazer a necessária triangulação da informação (Yin, 2005).

A triangulação emerge como um conceito importante na metodologia qualitativa e principalmente de estudos de caso. Robert Yin (1993) e Robert Stake (1994) apresentam a triangulação de dados como estratégia de validação da informação, uma vez que torna possível a conjugação de metodologias no estudo de um mesmo fenómeno. Nesse sentido a “triangulação metodológica” (L. Cohen & Manion, 1990, p. 335) pode definir-se como o “uso de dos o más métodos de recogida de dato sen el estúdio de algún aspecto del comportamento humano” (Cohen & Manion, 1990, p. 331), permitindo obter, de diversas fontes, dados referentes a um determinado acontecimento aumentando a fiabilidade da informação.

Tal como referenciado anteriormente, apoiados pela literatura da especialidade e pelos objetivos da nossa investigação, optamos pela utilização da entrevista, da análise documental e da observação não participante, na perspetiva que com a utilização dessas três técnicas, caso os resultados sejam condizentes, “más confiará el investigador en sus hallazgos” (Cohen & Manion, 1990, p. 332). Dessa forma impõe-se uma breve referência a cada uma destas técnicas, realçando as caraterísticas que pretendemos utilizar em cada uma delas.

3.1.1 – Análise documental

A primeira fase da nossa investigação começou com a análise de diversos documentos130 do agrupamento π.

Para melhor percecionarmos a relação entre a avaliação institucional e autonomia/hiperburocracia, consideramos fundamental uma contínua recolha de dados sobre todo o processo. Nesse sentido, “para os estudos de caso, o uso mais importante de documentos é corroborar e valorizar as evidências oriundas de outras fontes” (Yin, 2005, p. 112). Assim, segundo Bruce Tuckman (2000), uma fonte importante de informação sobre um fenómeno são os documentos produzidos pelos participantes, neste caso na forma de atas (CP, CG, EAA), relatórios de autoavaliação e de avaliação externa, bem como do seu plano de melhoria.

130 _{Judith Bell (2002, p. 91) divide os documentos em fontes primárias e secundárias. Segundo a autora as fontes primárias são as que “surgem} durante o período de investigação” (Bell, 2002, p. 91), como é o caso das atas. As fontes secundárias são “as interpretações dos acontecimentos desse período baseadas nas fontes primárias” (Bell, 2002, p. 91). Na nossa investigação centrar-nos-emos nas fontes primárias, sem atendermos à divisão destas em fontes deliberadas e fontes inadvertidas (Bell, 2002, p. 91).

125

Se um documento, por si só, pode não determinar nenhuma informação relevante, a sua análise pode encerrar um conjunto de dinamismos, tensões e valores que, consciente ou inconscientemente, o seu autor deixou transparecer. Como assinalam Robert Bogdan & Sari Biklen (1994, p. 180), “as escolas e outras organizações burocráticas têm a reputação de produzir uma profusão de comunicações escritas e ficheiros” que poderemos utilizar para recolher características da escola e informações teóricas sobre o processo de avaliação institucional.

Da análise dos documentos anteriormente citados não pretendemos realizar estudos baseados na semântica quantitativa131, antes pretendemos realizar uma análise de conteúdo132. Com esta análise pretendemos “passar de um documento primário (em bruto) para um documento secundário (representação do primeiro) ” (Bardin, 2009, p. 47), tentando confrontá-los com o previsto na legislação relacionada e nas representações dos atores.

Como qualquer outra técnica de pesquisa reconhecemos algumas limitações na análise documental. “Na verdade, os documentos devem ser cuidadosamente utilizados e não se deve torná-los como registros literais de eventos que ocorreram” (Yin, 2005, p. 109), pois podem conter informação/relatos/transcrições que não tenham ocorrido exatamente como retratado. Esta limitação poderá ser mais evidente na análise de atas, na medida em que estas podem não descrever a autonomia praticada pelos autores, através de infidelidades normativas (Lima, 1998). O acesso e a autorização para os divulgar não foi uma limitação pois obtivemos autorização para os consultar e utilizar, desde que não envolvessem aspetos relacionados com os alunos.

As vantagens da utilização desta técnica prendem-se com “a economia de tempo e dinheiro, […] evitar o recurso abusivo às sondagens, […] e valorização de um importante e precioso material documental” (Quivy & Campenhoudt, 2003, p. 203). Com a utilização da análise documental, da observação não participante e da entrevista consideramos ser possível realizar a desejada triangulação. Além dos documentos enunciados anteriormente, e tendo em conta que devemos “fazer, na medida do possível, uma seleção equilibrada, tendo sempre em conta as restrições do tempo” (Bell, 2002, p. 93), não poderíamos estudar um AE sem, em primeiro lugar, analisar as suas dinâmicas, através de uma análise cuidada de documentos organizacionais: RI, plano anual de atividades (PAA), entre outros. Da análise destes documentos teremos “acesso à “perspectiva oficial”, bem como às várias maneiras como o pessoal da escola comunica” (Bogdan & Biklen, 1994, p. 180). Atendendo a que não é nossa intenção fazer um retrato da avaliação institucional do AE, antes interpretar as diferentes visões

131Segundo João Almeida e José Madureira Pinto (1995, p. 96) a semântica quantitativa “estuda o vocabulário dos textos por processos estatísticos de forma a analisar estilos, a detectar lacunas”.

132 _{Técnica que “procura agrupar significações, e não vocábulos […], susceptível de ser accionada por forma a restituir o} sentido dos textos, das mensagens, das comunicações” (Almeida & Pinto, 1995, p. 96).

126

dos intervenientes e, se possível, confrontar estas com a “perspetiva oficial”, procurando contradições, tensões e diferentes perspetivas.

3.1.2 - Entrevista

A entrevista133, segundo Robert Yin (2005), tem um papel fundamental nos estudos de caso pois permite descrever e explicar o objeto de estudo. Como técnica de observação não participante (Almeida & Pinto, 1995, p. 94) a entrevista possibilita aceder a informações sobre “crenças, opiniões, atitudes, comportamentos, conhecimentos, etc. do entrevistado relativamente a certas questões ou matérias” (Erasmie & Lima, 1989, p. 85), sendo preciosa na investigação de cariz qualitativo, como a que queremos realizar. Na entrevista, a realidade empírica é “complexa, mas objetiva” (Rosa & Arnoldi, 2008, p. 14).

A entrevista pode ter uma função “preparatória ou instrumental”134 ou pelo contrário uma função “técnica essencial”135 (Lessard-Hébert et al., 1994, p. 162). Na nossa investigação entendemos que a entrevista pode desempenhar um papel essencial na medida em que é dotada de maior flexibilidade, permitindo esclarecimentos, perguntas e confirmações, assumindo-se como uma técnica “muito complexa” (Rosa & Arnoldi, 2008, p. 27).

Através da entrevista pretendemos compreender as representações dos atores, os significados, as ideias e as interpretações de cada um dos entrevistados. A entrevista evita a “superficialidade das respostas [… que impedem] a análise de certos processos” (Quivy & Campenhoudt, 2003, p. 193), típica do inquérito por questionário. Com a sua utilização pretendemos obter respostas ricas em conteúdo, “explorar ideias, testar respostas, investigar motivos e sentimentos, coisa que o inquérito nunca poderá fazer” (Bell, 2002, p. 118). Do mesmo modo pretendemos aumentar o grau de profundidade dos elementos de análise (Quivy & Campenhoudt, 2003, p. 194), constituindo uma das grandes vantagens desta técnica.

Com a utilização da entrevista pretendemos transformar em dados a informação diretamente comunicada pelos diferentes atores. A entrevista possibilita-nos:

133 _{A definição mais frequente para o conceito de “entrevista” é a de “considerar uma interacção verbal, uma conversa entre um entrevistador,} denominado aqui ‘investigador’ e um respondente” (Savoie-Zajc, 2003, p. 280, aspas no original).

134 Neste sentido a entrevista seria realizada como preparação de outra técnica. A entrevista permitiria formular categorias de observação, clarificando comportamentos e atitudes (Lessard-Hébert et al., 1994, pp. 161–162).

135 _{Desta forma a entrevista é entendida como a técnica de observação participante que vai permitir, no início, a inserção no meio em estudo (Lessard-} Hébert et al., 1994, p. 162). É através dela que o investigador poderá formular novas questões e novas interpretações.

127

“o acesso ao que ‘está dentro da cabeça de uma pessoa’, estes processos tornam possível medir o que uma pessoa sabe (informação ou conhecimento), o que gosta e não gosta (valores e preferências) e o que pensa (atitudes e crenças)” (Tuckman, 2000, p. 308, aspas e parênteses no original).

As entrevistas podem ser classificadas segundo “o seu grau de directividade – ou melhor, de não-directividade – e, por conseguinte, segundo a profundidade do material recolhido” (Bardin, 2009, p. 89). Em termos de tipologia podemos distinguir, segundo vários autores (Bardin, 2009; Bogdan & Biklen, 1994; Quivy & Campenhoudt, 2003), as entrevistas estruturadas ou semiestruturadas (também designadas por diretivas, semidiretivas136 ou semirrígidas) e as entrevistas não estruturadas (também designadas abertas ou não diretivas)137. Para o nosso estudo, consideramos mais acertada a utilização de entrevistas semiestruturadas para as quais serão construídos guiões, com o objetivo de “levantar uma série de tópicos” (Bogdan & Biklen, 1994, p. 135) e não permitir o desvio em demasia do tema. Este tipo de entrevista parece-nos mais adequado na medida em que possuímos um conjunto estruturado de hipóteses e ao mesmo tempo permitem ao entrevistado alguma margem para opinar sobre o assunto.

Com a utilização da entrevista pretendemos atingir diversos objetivos, procurando informação sobre a temática, o objeto e as finalidades da nossa investigação. O recurso a esta técnica permite-nos “tornar explícito o universo do outro” (Savoie-Zajc, 2003, p. 284), na medida em que o respondente tem a oportunidade de descrever, de forma detalhada, a sua experiência, o seu saber, a sua perceção, bem como tentar aferir: “sentimentos; pensamentos; intenções” (Savoie-Zajc, 2003, p. 284) e representações sobre o processo de avaliação institucional do Agrupamento em estudo.

Apesar da nossa escolha reconhecemos nesta técnica algumas limitações: flexibilidade, aumentando a probabilidade de desvio da problemática a estudar (Quivy & Campenhoudt, 2003, p. 194); subjetividade, “havendo o perigo de ser parcial” (Bell, 2002, p. 118); tempo necessário à sua realização e transcrição.

Atendendo a que não é possível realizar entrevistas a todos os atores que participam num processo de avaliação institucional, a escolhas destes atores resultou da nossa observação, da análise realizada aos diversos documentos bem como aos cargos desempenhados por cada um. Assim, atendendo a que o Agrupamento tem duzentos e seis docentes, selecionamos, um elemento da direção (Diretora do Agrupamento), um docente da EAA, dois docentes do CG (dos quais o Presidente do Conselho Geral), dois Coordenadores (um de departamento e outro de estabelecimento), um docente do

136 Raymond Quivy e Luc Van Campenhoudt definem entrevista semidiretiva como sendo “não inteiramente aberta nem encaminhada por um grande número de perguntas precisas” (2003, p. 193). Neste tipo de entrevistas, segundo os autores, o investigador dispõe de um guião, relativamente aberto, não tendo que o seguir na íntegra, nem pela ordem pré-estabelecida.

128

CP e dois docentes. De entre os entrevistados, dois pertenciam à equipa de autoavaliação, acumulando com cargos anteriormente referidos.

Ao escolhermos esta amostra não menosprezamos a intervenção de outros atores, como encarregados de educação, alunos e assistentes operacionais e técnicos. Pese embora a sua presença na EAA reconhecemos que os professores são os principais municiadores e impulsionadores da AA, sendo estas práticas de AA “pouco participadas (limitadas quase exclusivamente aos professores e/ou à equipa responsável pela sua realização)” (Gomes & Fialho, 2013, p. 157, parênteses no original). Da mesma forma reconhecemos que “a avaliação não é nem politicamente neutra nem cientificamente objectiva, tratando‐se de um processo profundamente regulado em função de lógicas caldeadas pela política de prestação de contas” (Pacheco, p. 5) sendo por isso organizada pelos professores, enquanto principais decisores educativos, a nível do AE. Com a amostra escolhida achamos ser possível identificar diferenças nas representações dos docentes sobre o processo de avaliação institucional, bem como diferentes opiniões sobre as práticas, processos e intenções.

Para todas as entrevistas foram elaborados guiões (cf. Apêndices 1.1 a 1.4) no sentido de orientar a entrevista e servir de fio condutor. Como estratégia assumida referir o facto de termos apresentado muitas questões iguais a diferentes pessoas, como uma “estratégia para obter uma variedade de pespectivas sobre as mesmas questões” (Tuckman, 2000, p. 517), isto é, diferentes perceções sobre a mesma realidade.

Na realização das entrevistas foram apresentados, a todos os entrevistados, os objetivos e a natureza da entrevista, bem como a forma como se ia registar as respostas. Assim, todos os intervenientes deram autorização para a gravação e transcrição das entrevistas, sendo garantido o anonimato e a respetiva confidencialidade.

As entrevistas tiveram uma duração média de cinquenta minutos, sendo que que a maioria se realizou nas instalações da sede do agrupamento 𝜋 ou numa das escolas do referido AE. Apenas uma entrevista (E5PCG)138 se realizou fora do espaço escolar, em ambiente tranquilo, por solicitação do entrevistado.

As entrevistas foram organizadas de forma a abordar cinco grandes temáticas, de acordo com o nosso problema de investigação: práticas de autoavaliação, intervenientes no processo de autoavaliação, impacto da autoavaliação, participação dos órgãos na autoavaliação e articulação entre a avaliação externa e autoavaliação do AE. No final foram colocadas questões abertas onde os

138Aquando da transcrição das entrevistas, para melhor identificar as entrevistas e os seus extratos, procedemos à sua identificação utilizando o seguinte código: E (entrevista), número de realização da entrevista, categoria do entrevistado (CE-coordenadora de estabelecimento, MEAA – membro da equipa de autoavaliação, D- diretora, CP- membro do conselho pedagógico; PCG- presidente do conselho geral, P- professor, CP- membro do conselho pedagógico e CG- membro do conselho geral). Assim, por exemplo, E3D, p. 4 significa que o entrevistado é a diretora, transcrição 3, citação situada na página 3 da referida transcrição.

129

entrevistados poderiam acrescentar algo que considerassem importante à entrevista, bem como referir aspetos particulares do seu AE.

Aquando da realização das entrevistas foram notórias diferentes reações às questões, bem patentes nas expressões não-verbais produzidas, nas hesitações em algumas respostas e na segurança evidenciada noutras. Sempre que foi necessário foram acrescentadas algumas questões, não previstas no guião, para orientar a entrevista para os objetivos propostos, bem como incentivar o entrevistado a aprofundar e clarificar aspetos que se revelaram importantes.

Tendo presente os objetivos que nos propusemos a escolha dos intervenientes a entrevistar obedeceu a um critério bem definido. Assim, para delimitar o nosso estudo e atendendo que apenas pretendíamos estudar as perceções e representações dos professores, todas as entrevistas foram realizadas a docentes do agrupamento. Tendo por base os duzentos e seis docentes que lecionam no agrupamento 𝜋, tivemos que ser criteriosos na seleção efetuada, selecionando, para além dos dois principais protagonistas, diretora e presidente do CG, um elemento da equipa de autoavaliação, um elemento do CG, dois elementos do CP, um coordenador de estabelecimento e um professor sem cargos nos órgãos referidos. Na escolha dos entrevistados, além dos cargos desempenhados, tivemos em consideração a experiência profissional, o tempo de permanência no agrupamento e que fossem pessoas capazes de expressarem as suas ideias de forma descomprometida, livre e fundamentada. Era nossa intenção que os entrevistados fossem docentes com capacidade crítica e reflexiva, conhecedores do agrupamento 𝜋.

Quadro 1 - Entrevistas realizadas e perfil dos entrevistados

Identificação Entrevistado Sexo Tempo de serviço

(em anos)

Categoria profissional

Duração da entrevista

E1CE Coordenadora de estabelecimento F 18 QA 41m54s

E2MEAA Membro da equipa de autoavaliação F 27 QA 52m52s

E3D

Diretora do agrupamento, presidente do conselho pedagógico e membro da equipa

de autoavaliação

F 22 QA 42m17s

E4CP Membro do conselho pedagógico,

coordenador cursos profissionais M 20 QA 35m19s

E5PCG Presidente do conselho geral M não indicado QA 1h06m31s

E6P Professor M 31 QA 38m36s

E7CP Membro do conselho pedagógico,

coordenadora departamento F 31 QA 49m17s

130

No total das oito entrevistas foram transcritos 399 minutos e 40 segundos139, perfazendo 135 páginas transcritas.

Na condução das entrevistas pretendemos que os entrevistados estivessem “à vontade [para] falarem livremente sobre os seus pontos de vista” (Bogdan & Biklen, 1994, p. 136). Tentamos, sempre que possível, evitar as respostas do tipo “sim” ou “não”. Antes, fomentamos a explicação dos diferentes pontos de vista através de pormenores e detalhes de forma a podermos interpretar as respostas dadas. Dessa forma, apesar de realizarmos uma entrevista semiestruturada não caímos na tentação de “interromper extemporaneamente o relato do entrevistado, para avançar para a pergunta seguinte” (Flick, 2005, p. 95), deixando-o explicar/aprofundar o tema e fundamentar as suas respostas.

3.1.3 – Tratamento e análise dos dados

A “questão da análise de dados é central na investigação” (Amado, 2013, p. 299). As investigações de natureza qualitativa fornecem, normalmente, um enorme número de informações e dados remetendo para o investigador a tarefa de os “examinar, categorizar, classificar em tabelas ou, do contrário, recombinar as evidências em vista proposições iniciais de um estudo” (Yin, 2005, p. 131). Compete igualmente ao investigador a tarefa de atribuir sentido ao conjunto de informações, bem como interpreta-las à luz dos modelos teóricos utilizados. Assim, pretendemos, com os dados recolhidos, “interpretar esses factos inesperados e rever ou afinar as hipóteses para que, nas conclusões, o investigador esteja em condições de sugerir aperfeiçoamentos do seu modelo de análise” (Quivy & Campenhoudt, 2003, p. 211).

Todo o processo de recolha de dados foi acompanhado de registo e arquivo (em suporte digital e posteriormente impresso). Todos os documentos organizacionais que analisamos, bem como todas as atas e relatórios, foram fornecidos em suporte digital e posteriormente impressos para melhor análise e registo de notas. Esses registos foram complementados aquando da realização das entrevistas e das conversas informais. As entrevistas foram transcritas por nós, uma vez que consideramos que “o processo de análise já começou com a transcrição (sobretudo quando esta é feita pelo próprio investigador)” (Amado, 2013, p. 299, parênteses no original).

139 _{Das 6 horas, 39 minutos e 40 segundos transcritas resultaram 121 páginas (letra NewsGotT, tamanho 12 e espaçamento 1,5). Assim, da E1CE,} 41m54s foram transcritas 12 páginas; E2MEAA, 52m52s, 17 páginas; E3D, 42m17, 13 páginas; E4CP, 35m19s, 11 páginas; E5PCG, 1h06m31s, 17 páginas; E6D, 38m36s, 14 páginas; E7CP, 49m17s, 16 páginas e E8CG, 1h14m20s, 21 páginas. Atendendo a que o processo de transcrição de uma entrevista se realiza a uma média de 10 minutos por hora, para realizar a transcrição das entrevistas realizadas foram utilizadas mais de 40 horas.

131

Como defendem Robert Bogdan e Sari Biklen (1994, p. 205),

“a análise de dados é processo de busca e de organização sistémico de transcrições de entrevistas, de notas de campo e de outros materiais que foram sendo acumulados, com o objetivo de aumentar a sua própria compreensão desses mesmos materiais e de lhe permitir apresentar aos outros aquilo que encontrou. A análise envolve o trabalho com os dados, a sua organização, divisão em unidades manipuláveis, síntese, procura de padrões, descoberta de aspectos importantes e do que deve ser aprendido e a decisão sobre o que vai ser

transmitido aos outros”.

Nesse pressuposto privilegiaremos a análise de conteúdo no tratamento dos dados recolhidos das entrevistas e da análise documental, utilizando uma análise temática140

Entende-se por análise de conteúdo "um conjunto de técnicas de análise das comunicações visando obter por procedimentos sistemáticos e objetivos de descrição do conteúdo das mensagens indicadores (quantitativos ou não) que permitam a inferência de conhecimentos relativos às condições de produção/receção (variáveis inferidas) destas mensagens”. A análise de conteúdo permite-nos interpretar o que está implícito, mas “não dito” (Quivy & Campenhoudt, 2003, p. 230), ao mesmo tempo que nos “obriga” a convocar referências teóricas e ideológicas presentes na organização, uma vez que se trata de métodos construídos de forma metódica e sistemática. A análise de conteúdo é uma técnica flexível e adaptável às técnicas de recolha de dados que privilegiamos, possibilitando a realização de “inferências interpretativas a partir dos conteúdos expressos” (Amado, 2013, p. 300).

Como princípios orientadores da análise dos dados, Christian Maroy (1997), Anselm Strauss e Juliet Corbin (1990) destacam a indução, a codificação aberta e a teorização como princípios essenciais para suportar uma teoria local, assente em factos. O princípio indutivo pressupõe a inexistência de categorias pré-estabelecidas, devendo estas ser identificadas a partir dos dados recolhidos. Estas categorias vão sendo redefinidas à medida que a análise vai sendo realizada e vão sendo reduzidas progressivamente. A categorização aberta permite que um mesmo conteúdo seja suscetível de ser integrado em mais do que uma categoria e possibilita o relacionamento entre diferentes categorias. Por fim, o princípio da teorização pressupõe a passagem das categorias descritivas a categorias fixas, através de um processo de redução de categorias, possibilitando assim um estudo do processo de avaliação institucional através de representações e ideologias da diretora do AE, dos membros dos diversos órgãos, dos membros da EAA e dos professores em geral.

140 Laurence Bardin (2009) distingue três grandes categorias da análise de conteúdo: análises temáticas (onde se inclui a análise categorial), análises formais e análises estruturais.

132

Em termos práticos a análise que realizamos caraterizou-se por um conjunto de procedimentos que tiveram em conta os princípios anteriormente explicados. Após o registo das conversas informais, da análise cuidada dos documentos e da transcrição das entrevistas seguiu-se uma leitura atenta, repetida, de todos os documentos. Com esta leitura foi-nos possível construir um quadro em que eram consideradas as hipóteses e onde fomos registando as respostas dadas pelos entrevistados que