informações coletadas serão agrupadas em blocos, conforme disposto na Figura 21. Todavia, antes de encerrar o percurso metodológico faz-se menção a algumas limitações da pesquisa.
Figura 21 – Organização dos Resultados da Pesquisa
FONTE: Elaborada pela autora
6.7 LIMITAÇÃO DA PESQUISA
Para além das dificuldades e desafios inerentes à realização de uma pesquisa, é importante destacar algumas limitações do estudo de ordem teórico-metodológica.
Como já apontado por alguns autores ao realizar suas próprias pesquisas, a exemplo de Patton (1987), Mintzberg et al.(2000), Levington e Hughes (1981), a principal limitação reside na dificuldade de identificar o momento da tomada de decisão. Esta limitação pode incorrer na possibilidade de omitir a ocorrência dos usos conceituais ou de persuasão, os quais podem tornar-se uso instrumental. Do mesmo modo, o uso instrumental carece de uma prática sistematizada e formalizada, sob risco de não haver registros de sua ocorrência e depender da memória dos respondentes para identificar fatos e ações que comprovem o uso da avaliação nas suas instituições.
Segundo Levinton e Hughes (1981), estudos de caso, entrevistas e questionários são suscetíveis a problemas, no que se refere às investigações sobre uso da avaliação. Primeiro, é
BLOCO 1 •PERFIL DO RESPONDENTE DAS ENTREVISTAS E QUESTIONÁRIO •Gestores •Membros da CPA BLOCO 2 •CARACTERIZAÇÃO DA AVALIAÇÃO DIMENSÔES •Legal •Contextual •Conceitual •Metodológica BLOCO 4 •ARTICULAÇÃO A-P) • Evidencia de Uso •Tomada de decisão •Fatores •Teóricos •Institucionais •MATRIZ DE INTENSIDADE BLOCO 3 •CARACTERIZAÇÃO DO PLANEJAMENTO DIMENSÔES •Legal •Contextual •Conceitual •Metodológica
difícil documentar que a utilização ocorre, porque as avaliações são frequentemente utilizadas de maneira informal e porque o lapso de tempo entre uso e a realização da pesquisa pode prejudicar sua validade. Outro problema envolve demonstrar que as mudanças, em quaisquer níveis, foram causadas, pelo menos em parte, pelas avaliações. Poder-se-ia, também, questionar se foram exclusivas delas. Os autores apontam também, a dificuldade em estabelecer uma unidade da análise que permita quantificar a utilização. Não é possível fazer uma quantificação ou verificação in loco da implementação, por exemplo, contar quantas recomendações foram implementadas, se não houver um claro registro das decisões e ações. Ainda mais difícil, admitindo como Cousins e Leithwood (1986) que o mero processamento psicológico dos resultados da avaliação constitui uso.
Pode-se acrescentar a limitação decorrente da estratégia de pesquisa, o estudo de caso, que enseja que as conclusões e recomendações apresentadas representem apenas a realidade pesquisada, restringindo sua amplitude, mas não a validade dos seus achados para instituições semelhantes. Ainda no que se refere à metodologia, considerando que requereu como sujeitos de pesquisa gestores e membros das comissões de avaliação diretamente envolvidos com os processos, fato que ao mesmo tempo em que se mostra positivo pelo conhecimento e experiência que podem ser revelados nas entrevistas, pode implicar em um viés diante da imprecisão ou supervalorização das respostas.
A pesquisa não tem como escopo evidenciar o nouse ou misuse, decisão apoiada na argumentação de Patton (1988), de que os métodos utilizados para estudar o “não uso” seriam diferentes dos que pesquisam a utilização, envolveria, por exemplo, a intencionalidade. Trata-se de uma pesquisa muito complexa. Enquanto o uso indevido é considerado relativamente fácil de ser definido na teoria, nos estudos empíricos ocorre o inverso.
Tais problemas são limitações que se agregam a outros comuns nesta e em tantas outras pesquisas, assim como são consideradas limitações a subjetividade e implicações do pesquisador com o objeto de estudo. Não se pretende eliminá-las, pela simples impossibilidade de fazê-lo, mas, ressaltá-las para que iluminando tais limitações, mantenham- se o esforço e a isenção necessários para adoção de técnicas e medidas que as minimizem.
7 ACHADOS DA PESQUISA37
A tessitura deste capítulo tem o desafio de apresentar os resultados que emergem da análise dos dados obtidos nas pesquisas documental e de campo, que dão suporte à elaboração da tese. Para tanto, promove a interlocução entre os fundamentos teóricos e práticos, conforme proposto nos Modelo de Análise (Quadro 6), para responder sobre a articulação entre as práticas de avaliação e planejamentos institucionais, buscando identificar os fatores que interferem nesta relação, os quais estão relacionados diretamente ao uso dos resultados dos processos avaliativos. Assim, apresentam-se os achados da pesquisa, do que foi revelado pelos documentos legais e institucionais e atores da pesquisa – gestores e membros das comissões de avaliação – por meio das entrevistas e do questionário on-line.
A organização do capítulo está explicitada nos blocos definidos na seção anterior (Figura 21). Assim, a primeira seção apresenta o perfil dos sujeitos de pesquisa das entrevistas e do questionário para identificar os respondentes, de modo que possibilite estabelecer conexões capazes de contribuir na discussão sobre os achados. A seção seguinte é configurada de modo a apresentar a caracterização da avaliação, na qual são revelados aspectos da historicidade dos processos avaliativos nas instituições para compreender como as práticas do Sinaes têm angariado espaço na estrutura e nos discursos dos seus gestores. Cumpre um papel importante, por revelar a voz daqueles que conduzem o processo de avaliação interna - os membros da Comissão Própria de Avaliação - enquanto representantes da comunidade acadêmica, para traçar as diretrizes de como conduzir o processo e, portanto, mostram-se como personagens principais, em relação ao que podem revelar sobre os métodos e o mérito da avaliação no contexto da instituição. Estas vozes aliam-se aos diferentes olhares dos gestores sobre a concepção, importância e repercussão das diferentes modalidades na instituição, dentre outros aspectos. A terceira seção traduz a categoria do planejamento, a partir das dimensões estabelecidas no modelo, esboçando a prática nas instituições, desde a
37 Em cumprimento ao TCLE, para cumprir o sigilo será preservada a identidade dos entrevistados, os quais serão identificados
pela área ou função, esta última apenas no gênero masculino (Reitor, Assessor, Ensino, Pesquisa, Administração, Curso, Campus), seguida do nome fictício da instituição; mesmo que tenha ocorrido a entrevista com o vice, adjunto ou substituto, sempre a referência será ao cargo titular, por exemplo, Reitor-IES Ametista (MG), Pesquisa-IES Safira (BA), Curso-IES Topázio (PR). Também não haverá indicação dos representantes das comissões, a referência será apenas CPA seguida do nome fictício da instituição, por exemplo, CPA-Ametista. Do mesmo modo, a referência aos setores não terá especificidades de cada instituição, utilizando-se sempre as denominações de reitoria, pró-reitoria, diretoria, curso ou campus. Igualmente, será omitida dos relatos e até mesmo das citações diretas dos documentos das instituições a identificação institucional, substituindo por “instituição” ou pelo nome fictício.
normatização até os tipos e métodos adotadas desse instrumento na gestão da IES. Estas seções cumprem a finalidade de entender cada um dos processos separadamente.
Na quarta seção, busca-se a compreensão da trama que permeia ambos os processos, se vinculados ou não pelo uso da avaliação, e quais fatores demonstram alguma interferência nessa articulação. Assim, cada uma das seções responde aos objetivos específicos e, consequentemente, o objetivo geral. Finalmente, a última seção, que encerra o capítulo, faz uso das análises para apresentar a relação entre as práticas de avaliação e planejamento, localizando na matriz de intensidade cada um dos processos das instituições pesquisadas que constitui o estudo de caso coletivo para consubstanciar as considerações finais da tese.
Pretende-se traçar construções próprias, de modo a reverberar o entrelaçamento esboçado entre as construções teóricas apresentadas nos capítulos iniciais e as que emergem da análise dos dados, seguindo o Modelo Operacional (Quadro 8). Ciente de que não é possível contemplar todas as falas38 nem sequer fazer as inúmeras possibilidades de correlação dos dados obtidos nas diferentes possibilidades de gráficos e tabelas, aplicam-se alguns filtros para selecionar as falas e os dados, no intuito de focar aquelas informações que vão reverberar, do modo mais fiel, as práticas das IES pela similaridade e recorrência, amortecendo o que se mostra redundante ou incipiente para fazer as devidas inferências, garantida a profundidade e representação dos casos na análise. No decorrer das seções, são enxertados gráficos, quadros e análises que pretendem editar um panorama do estudo de caso, considerando as diferentes instituições pesquisadas e perspectivas dos diferentes sujeitos. O desafio consiste em dar relevância aos aspectos que favorecem a compreensão do objeto e, a partir das reflexões que emergem desses achados, responder ao problema de pesquisa, assim como, quem sabe, dar significância a outros contextos.
38 Foram registradas mais de 370 respostas oriundas do roteiro das entrevistas com os Gestores e Representantes da CPA,