Os objetivos geral e específicos, bem como as categorias propostas no Modelo de Análise orientarão a análise dos dados, de acordo com o Modelo Operacional (Quadro 8). Como explicitado, para a elaboração dos instrumentos, também para a análise dos dados tem- se como centralidade esse Modelo que fornece as categorias e dimensões para orientar a organização das informações. Assim, o método de análise de dados se inspira na proposta de
análise de conteúdo, referenciando ao que dizem Henry e Moscovici (1968): “tudo o que é dito ou escrito é suscetível de ser submetido a uma análise de conteúdo” (BARDIN, 2009, p. 34). Ainda mais, considerando que as técnicas empregadas na pesquisa de campo são a análise documental e a entrevista.
Todavia, parte-se de uma categorização a priori, que associa o quadro teórico ao quadro empírico por meio do Modelo de Análise proposto, o qual orientou as questões do roteiro das entrevistas e do questionário. Cada uma das categorias pré-definidas pretende responder aos objetivos propostos na pesquisa. A proposta do modelo visa dar conta da objetividade, característica importante nos propósitos de uma investigação científica, como propõe Gil (2002, p.28), no sentido “de transformar as noções iniciais em outras mais úteis, que se refiram diretamente a fatos empíricos e não a percepções pessoais”.
Assim, para cada uma das técnicas e instrumentos, os dados obtidos foram organizados e analisados à luz de cada uma das dimensões, conforme ficou explicitado na coluna que relaciona as fontes de pesquisa no Modelo Operacional. Na análise, não se despreza a origem da mensagem, isto é, faz-se referência ao emissor e lugar de onde ele fala. Seriam as opiniões dos gestores coincidentes com as dos membros da CPA ou dos coordenadores de curso? Destarte, o objetivo da análise é organizar, descrever, comparar, fazer inferências que possam facilitar a compreensão do objeto pesquisado. Em uma mesma instituição todos os sujeitos comungam da mesma percepção acerca dos processos pesquisados? Como ocorre nas outras instituições? Assim, interessa uma análise horizontal dos dados para compor um estudo de caso que represente o conjunto pesquisado, cujo plano da síntese mostre as semelhanças, as regularidades, constância, similaridade (BARDIN, 2009). Ao mesmo tempo em que interessa uma análise transversal que sintetize o que ocorre nas instituições no seu conjunto, como caso coletivo.
Para identificação dos sujeitos participantes da entrevista faz-se alusão à instituição e respectiva responsabilidade na gestão, com uso dos nomes fictícios da instituição, sem especificar o nome do cargo, do campus ou do curso para garantia do sigilo. Enquanto, as entrevistas com as comissões de avaliação adotam como referência a indicação de membro da comissão da instituição, pelo mesmo motivo.
No caso das entrevistas, que totalizaram 24, para a análise dos dados fez-se necessária a transcrição na íntegra de cada gravação realizada. A tentativa de organizar e contabilizar os verbetes para compatibilizá-los com as categorias e dimensões estabelecidas no modelo foi
frustrada, visto que há verbetes relacionados diretamente às duas categorias de avaliação e planejamento. Outrossim, não é possível registrar a ocorrência da terceira categoria, articulação, sem que seja realizada a leitura completa da fala, na qual o entrevistado indica exemplos e associação de ideias que vinculam os dois processos. Igualmente, os verbetes que identificam os fatores, selecionados na literatura, não são de uso comum no discurso dos servidores das instituições, fato já esperado e minimizado com a aplicação do questionário. Assim, optou-se por uma análise singular e individual, complementada pela transversalidade das temáticas, que possibilitasse responder a cada um dos objetivos da pesquisa.
Dessa forma, feita a transcrição das entrevistas, a leitura não ocorreu de forma individualizada e na sua totalidade. Ao invés disso, optou-se pela leitura em bloco, isto é, a leitura de todas as questões (em todas as entrevistas) relacionadas a uma temática, sendo sinalizadas com diferentes cores para identificar uma mesma categoria e dimensão em diversos pontos da entrevista.
No que tange à análise documental o procedimento foi semelhante, sempre guiado pelas dimensões e descritores propostos em cada uma das categorias do modelo.
Os documentos foram obtidos nos sites institucionais, alguns foram concedidos durante o período da entrevista. O relatório de avaliação externa da instituição foi solicitado via e-mail e em resposta à solicitação, somente a IES Ametista informou que não poderia conceder o documento, alegando necessidade de sigilo. É importante ressaltar que na IES Safira, os documentos de análise encontram-se defasados em relação às outras instituições: o relatório de autoavaliação disponibilizado no site data de 2009; o PDI corresponde ao período de 2009-2013, mas tivemos acesso à versão atual 2014-2018, em fase de aprovação. Associadas as informações que emergem da análise documental e das entrevistas, acrescentam-se os dados obtidos da análise do questionário on-line. Para consolidar esses dados foi utilizada a mesma ferramenta da coleta, o SurveyMonkey. Este programa permite a exportação dos dados individualizados, totalizados e resumidos em diversos formatos, a exemplo das extensões “xls” e “sav”, que foram utilizados nos programas Microsoft Office Excel e SPSS, respectivamente, com o intuito de aprimorar a análise com a elaboração de gráficos e tabelas específicas com cruzamento de dados, os quais se apresentam no capítulo dos resultados e Apêndice D.
Em suma, realizada a análise da pesquisa de campo e documental no próximo capítulo, apresentam-se os resultados e a discussão dos achados da pesquisa, de forma a estabelecer
uma relação entre os documentos e as respostas dos sujeitos com o objeto da pesquisa; as informações coletadas serão agrupadas em blocos, conforme disposto na Figura 21. Todavia, antes de encerrar o percurso metodológico faz-se menção a algumas limitações da pesquisa.
Figura 21 – Organização dos Resultados da Pesquisa
FONTE: Elaborada pela autora
6.7 LIMITAÇÃO DA PESQUISA
Para além das dificuldades e desafios inerentes à realização de uma pesquisa, é importante destacar algumas limitações do estudo de ordem teórico-metodológica.
Como já apontado por alguns autores ao realizar suas próprias pesquisas, a exemplo de Patton (1987), Mintzberg et al.(2000), Levington e Hughes (1981), a principal limitação reside na dificuldade de identificar o momento da tomada de decisão. Esta limitação pode incorrer na possibilidade de omitir a ocorrência dos usos conceituais ou de persuasão, os quais podem tornar-se uso instrumental. Do mesmo modo, o uso instrumental carece de uma prática sistematizada e formalizada, sob risco de não haver registros de sua ocorrência e depender da memória dos respondentes para identificar fatos e ações que comprovem o uso da avaliação nas suas instituições.
Segundo Levinton e Hughes (1981), estudos de caso, entrevistas e questionários são suscetíveis a problemas, no que se refere às investigações sobre uso da avaliação. Primeiro, é
BLOCO 1 •PERFIL DO RESPONDENTE DAS ENTREVISTAS E QUESTIONÁRIO •Gestores •Membros da CPA BLOCO 2 •CARACTERIZAÇÃO DA AVALIAÇÃO DIMENSÔES •Legal •Contextual •Conceitual •Metodológica BLOCO 4 •ARTICULAÇÃO A-P) • Evidencia de Uso •Tomada de decisão •Fatores •Teóricos •Institucionais •MATRIZ DE INTENSIDADE BLOCO 3 •CARACTERIZAÇÃO DO PLANEJAMENTO DIMENSÔES •Legal •Contextual •Conceitual •Metodológica