É regular que a elaboração de um instrumento de coleta de dados passe por diversas etapas e mudanças. À medida que a metodologia desta pesquisa ia se delineando, o questionário passava por modificações. Assim, inicialmente, quando ainda não tínhamos definido como aferir a efetividade do programa em análise, pensávamos em aplicá-lo apenas a egressos do curso de Letras-Português que tinham participado do Pibid. Composto por 30 questões, o questionário solicitava informações diretas a respeito do que queríamos saber daquela população investigada. Ao definirmos que utilizaríamos um método descritivo-comparativo para aferir possíveis semelhanças e diferenças nos resultados de dois grupos, elaboramos dois
34 Recebemos 474 questionários respondidos, contudo sete eram duplicados, por isso os excluímos da amostra.
Conseguimos identificar a duplicação de cinco pelos e-mails disponibilizados e a dos outros dois, pelas respostas dadas em todas as questões, que eram idênticas, inclusive nas questões abertas.
questionários: um direcionado aos egressos que não tinham participado do Pibid, com 20 questões, e outro direcionado aos egressos que tinham participado do programa, com 32 questões. As duas versões do questionário foram colocadas no apêndice do texto de qualificação da tese para que a banca examinadora pudesse avaliá-los e sugerir alterações. Além das sugestões dos membros da banca e da orientadora, submetemos o questionário à apreciação do grupo de orientandos de nossa orientadora, que contribuíram consideravelmente com outras alterações.
Com o andamento da pesquisa, precisamos ampliar a população a ser investigada tendo em vista a dificuldade de conseguir participantes que pudessem responder ao questionário. Essa dificuldade aumentava ainda mais por se tratar de uma população que já não estava mais na universidade. Assim, conforme já vimos na população investigada, em vez de Letras apenas, passamos a investigar os egressos dos sete cursos de licenciatura do Campus Professor Alberto Carvalho/UFS. Essa decisão implicava em mais uma vez reformular o questionário.
Na reformulação final, adaptamos os dois questionários em um único que abrangesse diversas possibilidades de respostas, de modo que as questões seguintes se baseassem em respostas dadas à anterior. Essa estrutura nos permitiu, por exemplo, não perguntar diretamente e especificamente o que queríamos saber a respeito do Pibid, evitando, assim, que os respondentes, em sua avaliação, dessem suas respostas para corresponder às expectativas dos pesquisadores. Nesse sentido, no texto de esclarecimento do questionário, omitimos a finalidade específica da pesquisa, já que “uma declaração precisa sobre os propósitos básicos do survey, provavelmente afeta as respostas” (BABBIE, 1999, 454). Entretanto, não nos furtamos de esclarecer o objetivo geral de coletar informações sobre formação inicial e continuada, programas de formação acadêmica e mercado de trabalho de egressos dos cursos de licenciatura do Campus Professor Alberto Carvalho/UFS, que de fato foi o que fizemos, sem mencionar diretamente que com esses dados faríamos uma avaliação do Pibid. A forma como o questionário foi estruturado sugeria que estávamos avaliando todo e qualquer programa, já que os dados coletados nos possibilitam isso, mas não apenas o Pibid, conforme fizemos neste trabalho. A avaliação dos outros programas fica para uma outra oportunidade.
Elaborando dessa forma, acreditamos não ter fugido à ética de ser claros com os participantes, e ao mesmo tempo seguimos as quatro diretrizes que Babbie (1999) considera ser boas ao flexibilizar a informação a respeito do propósito do survey:
(1) Você não deve revelar nada sobre o propósito do estudo que possa afetar a confiabilidade das respostas; (2) Ao mesmo empo deve dizer aos
respondentes o que puder sobre os propósitos, quando tal informação não tiver muita chance de afetar as respostas. (3) As explicações sobre o propósito devem ser mais genéricas do que específicas. (4) Não dê razões fictícias para o estudo. (BABBIE, 1999, p. 455).
Consideramos que, se queríamos avaliar um programa de formação e saber se o programa contribuiu com a formação dos egressos, não poderíamos desconsiderar que esses mesmos egressos tinham participado de outros programas que poderiam também interferir nos resultados. Por isso tentamos filtrar isso da melhor forma que estava ao nosso alcance por meio da estrutura do questionário. Para não ficar repetitivo, optamos por descrever essa estrutura junto com os resultados, mas o instrumento de coleta de dados pode ser conferido no Apêndice 1.
Tendo readequado o questionário, inserimo-lo na plataforma Google Forms e passamos para a fase de teste. Num primeiro momento, testamo-lo apenas internamente entre os colegas orientandos de nossa orientadora, todos da pós-graduação (mestrado ou doutorado). A partir das respostas já foi possível reformular algumas questões. Entretanto, era preciso testá- lo numa situação parecida com a que encontraríamos. Então, aplicamos o questionário a egressos de dois cursos de licenciatura do campus de São Cristão/UFS: Letras-Português e Química. Enviamos 302 questionários a egressos do curso de Letras que se formaram entre os períodos 2010/1 a 2012/1 e entre os períodos 2014/1 a 2016/2 e 197 a egressos de Química formados entre os períodos 2010/1 e 2016/2. Deixamos o questionário aberto por mais de um mês (entre 16/10/2017 e 19/11/2017) e o quantitativo de retorno foi desanimador: 21 questionários respondidos, dos quais sete eram do curso de Química e catorze, do curso de Letras. Esse resultado equivalia a 4,2% dos questionários enviados. Apesar do resultado irrisório, essa etapa foi importante porque novamente reformulamos algumas questões e acrescentamos outras, entretanto o resultado indicava que teríamos que utilizar outras estratégias para tentar aumentar o percentual de retorno das respostas.
Procuramos, então, o diretor e a vice-diretora do Campus Professor Alberto Carvalho/UFS, os quais se disponibilizaram a nos ajudar, a fim de que enviassem e-mail institucional com o link da pesquisa ou ao menos um comunicado solicitando a participação dos egressos. Entretanto, fomos informados de que o sistema de que dispunham não permitia filtro por egresso, sendo possível apenas o envio dos e-mails a todos eles indistintamente. Como pelos critérios adotados tínhamos uma amostra com características específicas, não levamos adiante a ideia, mas ao expor a situação no setor de atendimento aos estudantes, um dos servidores nos informou que quando eles precisavam entrar em contato com os egressos, faziam
ligação telefônica, pois por e-mail quase nunca funcionava, e nos sugeriu a estratégia de telefonarmos para solicitar que os egressos participassem da pesquisa respondendo ao questionário. Assim, com a colaboração dos servidores da Secretaria Acadêmico-Pedagógica (Seap) do campus, entramos em contato com a maior parte dos 964 egressos: parte deles não tinha número atualizado, mas, mesmo assim, enviamos os questionários a todos eles. Além dessa estratégia, sempre que nos deparávamos com algum dos egressos em qualquer lugar, o abordávamos e solicitávamos sua colaboração. Pedimos ainda a colaboração de alguns técnicos administrativos terceirizados do campus, que também eram egressos dos cursos de licenciatura, a fim de que sensibilizassem seus pares em grupos de redes sociais no sentido de responderem ao questionário. Essa etapa de coleta dos questionários durou quase três meses (entre 02/12/2017 e 23/02/2018).
As estratégias funcionaram. Apesar de se tratar de uma população com a qual não pudéssemos ter mais contato direto, porque já estava fora da universidade, obtivemos um resultado considerável de respostas, conforme podemos aferir na Tabela 5.
Tabela 5 – Quantitativo de questionários enviados e respondidos Grupo Questionários enviados35 Questionários respondidos de respostas Percentual
Ciências Biológicas 166 76 45,78% Física 54 30 55,55% Geografia 177 72 40,68% Letras-Português 177 91 51,41% Matemática 88 48 54,55% Pedagogia 191 87 45,55% Química 111 63 56,76% Total 964 467 48,44%
Fonte: Tabela elaborada a partir de dados disponibilizados pelo DAA/Prograd e coletados pelo questionário
A proporcionalidade de questionários respondidos de cada curso ficou bem próxima da do resultado geral (em torno de 50%), embora dois dos cursos tenham se destacado para mais (Física e Química) e dois para menos daquela média (Ciências Biológicas e Geografia).
Tendo em mãos os dados coletados junto aos setores da UFS e as respostas ao questionário dos egressos, partiríamos para a análise dos dados. Antes, porém, precisamos
35 Embora tenha sido enviado esse quantitativo de questionários, em torno de 5% dos egressos da amostra não o
recategorizar as respostas, principalmente as de questões abertas para facilitar o tratamento estatístico que daríamos aos dados.