Para responder à pergunta de investigação realiza-se uma pesquisa descritiva, que se aproxima da explicação, quer dizer, em continuidade à descrição dos processos pretende explicar a relação entre dois processos de gestão e identificar fatores que determinem ou contribuam para a articulação entre eles, segundo o que classifica Gil sobre as pesquisas quanto aos objetivos (GIL, 2002).
Com uma abordagem quali-quantitativa, faz uso do estudo de caso coletivo, segundo a expressão de Stake (1995). Tal abordagem combina os dados oriundos de metodologias quantitativas e qualitativas para enriquecer a compreensão do objeto, já que ambas não são totalmente dissociadas e demonstram potencialidades e limitações no seu uso, em consonância com Gatti (2006). Considerando os instrumentos de coleta, a entrevista e o questionário on-line, haverá resultados que serão analisados à luz do seu conteúdo, enquanto expressão da fala dos sujeitos entrevistados e à luz de ferramentas estatísticas, enquanto resultados glosados das percepções dos sujeitos na indicação de um ponto nas respostas com base na escala de Likert.
O uso da terminologia estudo de caso coletivo se deve ao fato da escolha incidir em um coletivo de instituições, no qual se pretende realizar a investigação; não caso a caso, mas como um caso único, representativo das IES da Rede Federal, cuja similaridade entre si e diversidade no SFE como um todo determina o interesse no caso. Nesse sentido, Alves-
Mazzotti (2006), ao estudar a pesquisa qualitativa de estudo de caso esboça uma das classificações definidas por Stake:
No estudo de caso coletivo o pesquisador estuda conjuntamente alguns casos para investigar um dado fenômeno, podendo ser visto como um estudo instrumental estendido a vários casos. Os casos individuais que se incluem no conjunto estudado podem ou não ser selecionados por manifestar alguma característica comum. Eles são escolhidos porque se acredita que seu estudo permitirá melhor compreensão, ou mesmo melhor teorização, sobre um conjunto ainda maior de casos (ALVES-MAZZOTTI, 2006, p. 642).
Considerando o procedimento adotado para a coleta de dados, têm-se dois delineamentos principais, “aqueles que se valem das chamadas fontes de ‘papel’ e aqueles cujos dados são fornecidos por pessoas” (GIL, 2002, p.43). Nessa pesquisa, norteada pelo problema e objetivos propostos, os procedimentos de coleta de dados abarcam as pesquisas bibliográfica e documental, referentes às legislações e documentos institucionais impressos e em meio virtual; e a pesquisa de campo, utilizando como técnicas e instrumentos: as entrevistas semiestruturadas com gestores da administração e membros das comissões de avaliação institucional, realizada com visita in loco; os questionários on-line, dirigidos aos gestores e membros da comissão de avaliação.
Considera-se a entrevista uma das principais técnicas de trabalho nas pesquisas do tipo qualitativas e de estudo de caso, mesmo que seja uma das técnicas mais dispendiosas em relação ao tempo de realização, como confirmam Ludke e André (1986). A escolha pela entrevista semiestruturada justifica-se pela possibilidade de se obter um resultado uniforme para compor o modelo de análise, bem como a possibilidade de comparações entre as instituições pesquisadas, mesmo perdendo a oportunidade de saber como é que os próprios sujeitos estruturariam os tópicos (BOGDAN; BIKLEN, 1994). O questionário, por sua vez, mostra- se um instrumento útil para abarcar maior número de respondentes, facilitando a coleta e análise dos dados da pesquisa de campo.
A metodologia enseja, também, a análise documental, que se refere ao arcabouço legal e aos documentos coletados em cada uma das IES, concernentes à sistemática dos processos de avaliação e aos planejamentos institucionais. Na análise dos documentos institucionais, pretende-se identificar o histórico institucional, os princípios, as finalidades, os sujeitos envolvidos, a metodologia, os resultados, as formas de divulgação, as instâncias de decisão, dentre outros que colaborem para o conhecimento e a análise dos processos, de
modo independente, visando buscar a interface entre ambos. Nesta última, a investigação diz respeito à identificação de metas ou ações propriamente ditas ou normas e orientações, tanto em um quanto em outro processo, que recomendem o uso dos resultados da avaliação provenientes dos processos avaliativos para a elaboração do PDI e outros planos institucionais, os quais explicitam de modo formal e sistematizado as ações para melhoria institucional. Ainda por meio da análise dos documentos produzidos na instituição espera-se obter informações acerca dos fatores que contribuem para a articulação entre avaliação e planejamento institucionais, inclusive a existência de órgãos na estrutura organizacional com competências próprias em cada uma das áreas e vínculos entre si. Sem prejuízo de outros que possam surgir no decorrer da pesquisa, tomam-se como documentos norteadores da pesquisa aqueles que se entendem como basilares à organização e gestão da instituição.
Os sujeitos da pesquisa nas três instituições pesquisadas englobam gestores e membros da CPA. De modo geral, pela comissão de avaliação, foram definidos como respondentes o coordenador e os representantes dos segmentos da comunidade interna (docente, técnico e discente); pelos gestores foram definidos àqueles que atuam na administração central das IES (Reitores ou Vice, Assessores e Pró-Reitores); somam-se os Diretores de Campi e os Coordenadores dos Cursos Superiores.
Para a realização da entrevista com os gestores, foram convidados os ocupantes do cargo máximo da IES, Reitor ou Vice, bem como Assessores, Pró-Reitores, Diretor de Campus, Coordenador de Curso Superior e membros da CPA, os quais responderam sobre as práticas adotadas na avaliação e planejamentos institucionais da instituição, sendo um máximo de oito entrevistados por instituição. No caso dos Pró-Reitores, a escolha recaiu naqueles que atuam na área de Ensino, Pesquisa, Administração e Desenvolvimento Institucional, quando havia. A escolha do Diretor de Campus e Coordenador de Curso Superior teve como critério a facilidade de acesso e disponibilidade do respondente. Para a entrevista com a comissão, foi solicitada a participação do coordenador e um representante de cada segmento, todavia em nenhuma das instituições foi possível a participação do representante discente35. Na IES localizada na Bahia, a entrevista ocorreu com membros da Comissão Setorial de Avaliação (CSA) do maior campus da instituição, a inviabilidade foi ocasionada pela necessidade de reestruturação da
35 As ausências foram justificadas pelos coordenadores, pelo processo de substituição da representação ou pelos próprios
alunos que alegaram impossibilidade na data agendada para cumprir calendário acadêmico com realização de provas e afastamento para intercâmbio internacional.
CPA que encontra-se inativa, contando apenas com os representantes do corpo técnico- administrativo no ano de 2014, período da pesquisa de campo.
Para aplicação do questionário on-line foram convidados a participar os principais Gestores da Administração Central, todos os Diretores de Campi, Coordenadores de Cursos Superiores e membros das comissões de avaliação institucional.
Na Figura 20 apresenta-se um resumo com as fontes de pesquisa, indicando as fontes de “papel” que serão analisadas, instrumentos e os sujeitos da pesquisa, nas três instituições escolhidas, que participam da pesquisa de campo.
Figura 20 – Instrumentos e Fontes de Pesquisa
Fonte: Elaborada pela autora
6.4 MODELO OPERACIONAL
Para relacionar os construtos teóricos à construção metodológica do que se pretende pesquisar, a concepção da pesquisa de campo, seguida da organização dos dados para análise e discussão dos resultados, faz-se uso do Modelo Operacional, apresentando no Quadro 8, composto das três categorias pré-definidas e respectivas dimensões, em torno das temáticas de estudo fundamentadas nas seções anteriores. Dessa forma, são os roteiros da análise documental e dos instrumentos de pesquisa orientados pelas categorias, dimensões e descritores que decorrem do Modelo de Análise. Para tanto, neste Quadro faz-se a inserção da quarta coluna a fim de demonstrar a correlação com as fontes de pesquisa que identificam os principais documentos pesquisados na análise documental, o perfil do entrevistado obtido
Documentos •Base legal da Avaliação e
do Planejamento Institucionais •Projeto de Autovaliação •Regimento •PDI •Relatórios de Avaliação Externa e Interna •Outros documentos impressos e disponibilizados no site ou pela IES Instrumentos •Entrevista •Questionário Sujeitos de pesquisa •Reitor •Assessor •Pró-Reitor •Diretor de Campus •Coordenador de Curso Superior •Coordenador da CPA •Membro da CPA
no início de cada entrevista e cada uma das questões presentes no roteiro das entrevistas e questionário on-line.
Quadro 8 - Modelo Operacional
CATEGORIA DIMENSÃO DESCRITORES FONTES
A V A LI A Ç Ã O IN ST IT UC IO N A L
LEGAL Leis e Normas
Estrutura organizacional
Docs 1/5/6 EC (q16) CONTEXTUAL
Contexto histórico Institucional Experiência da IES
Experiência dos Gestores
Doc 3/4 P/Q(q5/6/7) EC (q1)/ EG (q8) CONCEITUAL Concepção /Conhecimento Finalidade/Usuários Importância na IES Doc 2/3 Q (q8/14)/ EG (q5/6) EC (q2/3/7/15) METODOLÓGICA Prática adotada Eventos relacionados Periodicidade Sujeitos envolvidos
Disseminação dos resultados
Doc1/3/9 Q (q15) EC (q4/6/8/10/11) EG (q7/11) P LA N EJ A ME N TO IN ST IT UC IO N A L LEGAL Legislação Estrutura organizacional Instância de decisão Doc6/7 CONTEXTUAL
Contexto histórico Institucional Experiência da IES
Experiência/Atuação dos Gestores
Docs 8 P/EG (q1/2) CONCEITUAL Concepção/Conhecimento Fundamentação teórica Tipos de planejamento Docs 6/7/8 EG (q3) METODOLÓGICA Práticas adotadas Eventos relacionados Periodicidade Sujeitos envolvidos Divulgação Docs 7/8/9 EG (q4) A R TI C UL A Ç Ã O A V A LI A Ç Ã O E P LA N EJ A ME N TO EVIDÊNCIA DE USO
Orientações sobre o uso
Tipos de uso / Tomada de decisão Elaboração de Metas
Ações a partir dos resultados Desenvolvimento Institucional Docs 8/9 Q (q16/17) EG (q10/12 a 14) EC (q9/12/13/17) FATORES TEÓRICOS Exigência legal Modalidades/Dimensões do Sinaes Aspectos do processo/avaliador Relevância/Credibilidade/Fidedignidade/ Pertinência Doc 1/8 Q (q10/11/12/ 13) EG (q.9/17) EC (q.19) FATORES INSTITUCIONAIS
Estrutura organizacional/Modelo de gestão Conhecimento e Envolvimento dos Gestores Experiência da IES
Participação dos sujeitos
Cultura de Avaliação/Planejamento Disseminação das informações
Doc 4/6/8 P/Q (q9/18) EG (q15/16) EC (q.5/14/18)
FONTE: Elaborado pela autora LEGENDA: EG=Entrevista Gestores EC=Entrevista Comissão Q=Questionário; q=questão P=Perfil Entrevistado Doc1=Legislação do Sinaes Doc2=Projeto de Autoavaliação Doc3=Relatório de Avaliação Interna Doc4=Relatório de Avaliação Externa Doc5=Regimentos CPA
Doc6= Regimento da IES Doc7=Legislação do PDI Doc8=PDI
6.5 INSTRUMENTOS DE PESQUISA: DA CONSTRUÇÃO À APLICAÇÃO
O roteiro de perguntas que compõe a entrevista foi organizado para responder cada um dos objetivos da pesquisa, no que concerne à compreensão das práticas de planejamento e avaliação nas instituições e, finalmente, da articulação entre os dois processos. Sendo que o roteiro aplicado aos membros da comissão de avaliação teve como centralidade as questões concernentes aos processos avaliativos da instituição, sem desprezar as questões voltadas para análise da articulação. Ambos os roteiros estão disponíveis nos Apêndices B.
O questionário, dadas as características que reveste este instrumento e pela opção de aplicação em um sistema de coleta de dados on-line,36 teve a função primordial de abranger um maior número de gestores que responderam sobre aspectos específicos do conhecimento, envolvimento e uso dos resultados dos processos avaliativos que compõem o Sinaes, bem como sobre aspectos dos processos de planejamento da instituição. Na sua elaboração foi utilizada a escala Likert com rótulos adequados, isto é, optou-se por utilizar palavras para rotular as escalas ao invés de escalas marcadas de 1 a 5, dessa forma os respondentes sabem de imediato qual extremidade do intervalo representa a escala positiva e negativa. Foram escolhidas cinco opções de respostas para uma escala unipolar, em que uma extremidade é exatamente o oposto da outra, conforme Apêndice C.
Para proceder à validação dos instrumentos de pesquisa, tanto o roteiro de entrevista quanto o questionário, foram submetidos ao crivo de pessoas com perfil semelhante ao definido para os sujeitos de pesquisa, bem com profissionais da área de educação e comunicação. Para tanto, foram escolhidas pessoas com experiência em cargos de gestão nas áreas de planejamento, ensino, coordenação de cursos superiores e em comissões de avaliação. Como critérios para validação do instrumento foram considerados: organização, objetividade, clareza, pertinência das questões levantadas e, no caso do questionário, acesso e tempo de preenchimento. Os respondentes puderam opinar, informando sobre cada um dos critérios, e contribuir com a construção das questões ou escalas adotadas.
Para compor o estudo de caso foram realizadas 24 entrevistas presenciais com gestores e membros das comissões de avaliação, mediante prévia autorização, por meio da assinatura do TCLE e o consentimento para gravação. Em função da disponibilidade de agenda
dos sujeitos de pesquisa e da necessidade de deslocamentos para as cidades onde se localizam a administração central das instituições, todas as entrevistas foram previamente agendadas. Tais motivos tornaram esta tarefa tanto exaustiva como desafiadora para a pesquisa de campo, excepcionalmente para as instituições fora deste Estado. Com duração estimada de uma hora para cada entrevista individual e de duas horas para as comissões de avaliação, o desafio foi assegurar um total de oito agendamentos dentro de um prazo de três dias da permanência da pesquisadora na cidade. Exaustiva pela necessidade de um agendamento individual com cada um dos 24 gestores selecionados, diretamente ou por intermédio de seus gabinetes e secretários, o que demandou repetidos contatos por e-mail e telefone; além do que os recebimentos das confirmações ocorreram com prazo exíguo para a logística das viagens. Ao final, contabiliza-se como imprevisto apenas a alteração de dois agendamentos e a substituição de um gestor titular, impedido em razão de viagem a trabalho, pelo respectivo adjunto.
Para o questionário on-line foram convidados a participar, por e-mail, um total de 254 sujeitos de pesquisa que representam o somatório de todos os gestores e membros da comissão de avaliação nas três instituições pesquisadas. Há variações do quantitativo de uma instituição para outra, que decorre das diferenças na estrutura organizacional, número de campi, cargos da administração central, número de cursos ofertados e integrantes da comissão. Um total de 168 questionários foi recebido, representando uma taxa de resposta de 66%. Entretanto, desse total foram excluídos 28 questionários, 6 não aceitaram o TCLE e 22 estavam incompletos, correspondentes a 2% e 9%, respectivamente. Assim, para a análise dos resultados contabiliza-se um total de 140 questionários completos, o que representa uma taxa de resposta de 55%, conforme representados no Gráfico 1. Um resumo dos números da pesquisa de campo é apresentado na Tabela 1, indicando os percentuais de resposta por instituição. Os casos listados como “não receberam e-mail” são aqueles, cujos endereços eletrônicos estão bloqueados para recebimento de e-mails não cadastrados.
Tabela 1 - Números da Pesquisa de Campo por Instituição
NOME DA IES IES Ametista IES Safira IES Topázio TOTAL Entrevistas
Realizadas (7 Gestores + 1 CPA) 8 8 8 24
Tempo total de áudio 8h55min 7h18min 9h15min 25h28min Questionário
Respostas completas 49% 60% 48% 55%
Respostas incompletas 9% 7% 5% 6%
Não aceitaram o TCLE - - 3% 2%
Não respondeu 39% 26% 40% 32%
Não receberam e-mail 3% 7% 4% 5%
FONTE: Elaborado pela autora
Gráfico 1 – Taxa de Respostas do Questionário on-line
FONTE: Elaborado pela autora