A proposta para o presente trabalho foi realizar uma pesquisa que ajudasse a compreender a importância atribuída ao ENADE, na perspectiva de diferentes atores, no curso de Pedagogia da Universidade de Brasília/UnB, considerando as estratégias de sua realização no ano de 2008. Para tanto, o estudo foi desenvolvido predominantemente, numa abordagem qualitativa de pesquisa, considerando a natureza do seu objeto.
Fundamentalmente por ser um estudo que engloba a questão da avaliação da educação superior – em que os pesquisadores têm ressaltado cada vez mais a necessidade de uma avaliação processual em contrapartida à avaliação de resultado e produto – é importante observar a escolha da abordagem qualitativa, também, pela consideração que faz Triviños (1987): “Os pesquisadores qualitativos estão preocupados com o processo e não simplesmente com os resultados e produtos” (p. 129).
A pesquisa qualitativa permite contextualizar o objeto em um cenário histórico, político e social em que se movimentam diferentes atores. Principalmente porque os pesquisadores qualitativos contestam a neutralidade científica do discurso positivista e afirmam a vinculação da investigação com o problema ético, político e social. Assim, declaram-se comprometidos com a prática, a emancipação humana e a transformação social. Embora a construção deste estudo sustente seus alicerces numa abordagem qualitativa, não desprezou em nenhum momento os aspectos quantitativos que ajudaram a compor o trabalho.
Em função de o objeto de pesquisa – o ENADE – ser um dos instrumentos do atual Sistema de Avaliação da Educação Superior e, portanto, um fenômeno contemporâneo, optamos por realizar um estudo de caso. O que possibilitou uma visão geral do problema numa perspectiva holística e sistêmica. Dentre os vários aspectos que nos motivaram a realização de um estudo de caso, destacamos três:
a) No estudo de caso o pesquisador procura revelar a multiplicidade de dimensões presentes numa determinada situação ou problema e para tanto utiliza uma variedade de fontes de
informação, nesta pesquisa em especial utilizamos a entrevista, o questionário e análise documental;
b) “[...] os estudos de casos representam a estratégia adequada quando se colocam questões do tipo como e por que [...]” (YIN, 2005, p. 19).
c) Ainda na perspectiva deste autor, o estudo de caso tem um lugar de destaque na pesquisa de avaliação, podendo se configurar como uma “meta-avaliação” 14 que é um ensejo deste estudo.
O desenvolvimento do trabalho, feito a partir de um olhar dialético, fez com que o método não fosse utilizado como uma “camisa de força”, mas como elemento que forneceu a orientação e a segurança para dar consistência e validar nossos estudos. Como afirma Gatti (2007), o método é vivo, está sempre em construção e prescrições metodológicas não devem aprisionar o pesquisador como uma couraça.
Assim, a compreensão do processo de implementação do ENADE resgatou a inter- relação dos demais instrumentos que envolvem o SINAES, e reuniu uma variedade de informações, permitindo representar os diferentes pontos de vista presentes nessa situação social, segundo Ludke e André (1986). Dessa forma, o estudo de caso orientou a pesquisa acerca da importância atribuída ao ENADE, na visão dos diferentes atores, incluindo o pesquisador como um deles, pois:
[...] estudos de caso procuram representar os diferentes e às vezes conflitantes pontos de vista presentes numa situação social. Quando o objeto ou situação estudados podem suscitar opiniões divergentes, o pesquisador vai procurar trazer para o estudo essa divergência de opiniões, relevando ainda o seu próprio ponto de vista sobre a questão (p. 20).
Trazer para o debate da avaliação as condições políticas, sociais, econômicas e culturais ajudou a colocar em evidência o papel do Estado na formulação e implementação das políticas públicas de educação e, por consequência, a avaliação dessas instituições educacionais.
Entendemos que a realização deste trabalho foi também uma escolha baseada na vida política, econômica, social e cultural do nosso país, que forneceu subsídios para avançar no entendimento e na escolha do tema e objeto de pesquisa, este que perpassa (e não
14 Meta-avaliação é um termo que foi introduzido por Michael Scriven, em 1969, que significa avaliação da avaliação. Ela busca responder em que medida uma avaliação tem qualidade em termos de ser útil, viável, ética e precisa.
está imune) a essa problemática apresentada. Por isso, situamos o objeto de estudo e suas relações numa perspectiva mais ampla, privilegiando a historicidade do fenômeno:
[...] a pesquisa de caráter histórico cultural, dialético, não ficou só na compreensão dos significados que surgiram de determinados pressupostos. Foi além de uma visão relativamente simples, superficial, estética. Buscou as raízes deles, as causas de sua existência, suas relações, num quadro amplo do sujeito como ser social e histórico, tratando de explicar e compreender o desenvolvimento da vida humana e de seus diferentes significados no devir dos diversos meios culturais. (TRIVINOS, 1987, p. 130.)
Construir a trajetória teórico/prática da pesquisa no decorrer do processo de investigação foi uma condição necessária a uma pesquisa que como já informamos, privilegiou, mas não absolutizou a abordagem qualitativa.
O recorte do ano de 2008 permitiu ter como participantes da pesquisa estudantes do primeiro e último semestres do curso. Este é um diferencial importante na estruturação do ENADE porque valoriza o processo acadêmico do estudante na instituição. Como a periodicidade da avaliação é trienal os estudantes matriculados no último semestre do curso tiveram duas participações na realização do ENADE, a primeira em 2005 (como ingressantes) e a segunda em 2008 (como concluintes). Com este universo, foi possível avaliar a trajetória da participação dos estudantes do curso de Pedagogia da UnB.
A delimitação temporal do objeto de estudo se dá no momento em que a avaliação do Curso de Pedagogia completa um ciclo. O que permitiu a reflexão sobre o processo histórico do ENADE envolvendo e valorizando suas importantes etapas, a saber: (i) a formulação da proposta; (ii) sua aprovação em lei pelo Congresso Nacional; (iii) as diferentes modificações realizadas após aprovação da Lei; e (iv) a finalização do primeiro ciclo de implementação, deste instrumento de avaliação, dentro do Curso de Pedagogia da UnB - lócus privilegiado para coleta das informações necessárias.
Para a análise da compreensão conceitual e das estratégias de implementação do ENADE no Curso de Pedagogia da UnB apresentamos de forma mais detalhada, nesta seção, os instrumentos utilizados para a coleta e análise dos dados: análise documental, entrevistas e questionários.
Para Ludke e André (1986), a análise documental é uma técnica de investigação do conteúdo simbólico das mensagens, que podem ser apresentadas de diferentes formas e sob diferentes ângulos. Para tanto, utilizamos na análise diferentes documentos, como o artigo da “Constituição Cidadã” que trata da questão da qualidade e avaliação da educação, o Plano
Nacional de Educação, as propostas de avaliação da educação superior presentes nos documentos governamentais e a essência da Lei n° 10.861 que cria em 2004 o SINAES, bem como todas as leis, portarias e decretos posteriores que modificam o sistema de avaliação em geral e o ENADE em particular.
As mesmas autoras ressaltam ainda a importância da análise documental como valiosa técnica de coleta de dados, seja complementando as informações obtidas por outras técnicas, seja desvelando aspectos novos de um tema ou problema. Esta técnica buscou identificar informações factuais nos documentos a partir de questões de interesse da pesquisa. Como técnica exploratória, a análise documental indicou problemas ou situações que puderam ser mais explorados por meio de outros métodos.
Considerando ainda que a temática extrapola os livros, buscamos publicações próprias de entidades da sociedade civil como a União Nacional dos Estudantes (UNE) e de fontes de informações veiculadas pela imprensa, incluindo necessariamente a imprensa oficial do governo e as publicações do Diário Oficial da União.
Entendendo a mídia como um dos sujeitos da pesquisa, procuramos compreender a participação deste ator em especial, mediante a leitura de matérias publicadas durante todo o processo. No caso do ENADE, tornou-se ainda mais relevante, uma vez que a publicação de seu resultado pela mídia tem provocado um acirrado debate sobre a sua finalidade.
Os documentos nacionais, na perspectiva deste estudo, ajudaram a interpretar as proposições do SINAES, estabelecendo interfaces com a formulação (documento original) e implementação do sistema, especialmente o ENADE, que aparece como um dos principais alvos de críticas ao sistema de avaliação em curso.
Um documento de caráter mais político investigado foi a carta programática do candidato Luiz Inácio Lula da Silva elaborada em 2002, escrita anteriormente ao seu primeiro mandato como Presidente da República. Enquanto iniciativa governamental entende-se este como o primeiro movimento voltado a uma proposta alternativa de avaliação. Neste documento em especial, procuramos identificar quais as contradições eram apontadas sobre o ENC que justificavam, num programa de governo (documento elaborado durante o processo eleitoral), propor mudanças no sistema de avaliação da educação superior no País.
Nos documentos internos da UnB buscamos dados que contribuíram com a pesquisa, como resoluções do Conselho Universitário (CONSUNI), atas das reuniões da câmara de ensino de graduação, portarias, projeto de avaliação institucional 2005, projeto do
Curso de Pedagogia da Universidade de Brasília (2002), pronunciamento dos dirigentes, entre outros.
Também foram utilizadas fontes que registram posições assumidas antes e durante o período da pesquisa, a exemplo de um posicionamento feito pelo antigo reitor da UnB, Timothy Mulholland15 em 2006:
Somos uma universidade de referência. Não agimos de forma inconseqüente. O Brasil está nos observando e temos a avaliação contínua de nossa atuação como princípio. A forma como está sendo realizado o ENADE traz prejuízo institucional para as universidades e, principalmente, para o processo de avaliação, que existe para aprimorar as instituições. Em prol de uma mudança da política sobre o assunto, iremos promover, ainda neste semestre, um debate aberto com a comunidade da UnB sobre os pontos em questão (Jornal UnB Notícias, 14/09/2006)
Considerando o objetivo geral e os objetivos específicos da investigação – explicitados anteriormente – a realização de entrevistas foi fundamental na medida em que possibilitou revelar a concepção (intenções propostas e ações vividas) na implementação do ENADE/SINAES pela análise de sujeitos de diferentes posições e papéis sociais.
Fizemos opção pelo uso da entrevista semi-estruturada, compreendendo as dificuldades que a mesma enseja, entre outras, o processo de degravação das falas, mas, ao mesmo tempo, conscientes de que é um instrumento privilegiado, que propicia uma interação importante na relação entre pesquisador e sujeito. Para Ludke e André (1986), com esse instrumento prevalece o caráter interativo que perpassa a entrevista e estabelece uma relação entre o pesquisador e o pesquisado propiciando uma interação e “uma atmosfera de influência recíproca entre quem pergunta e quem responde” (p. 33).
O uso da entrevista alcançou informações objetivas e subjetivas. As informações objetivas foram contrastadas, quando possível, com documentos públicos e ou oficiais. Já as informações subjetivas relacionadas aos valores, às atitudes e às opiniões dos sujeitos entrevistados foram valorizadas na medida em que revelaram diferentes concepções e dimensões expressas e identificadas sobre o mesmo objeto de estudo.
15
A exoneração do cargo de reitor foi assinada pelo presidente Luiz Inácio Lula da Silva e publicada no Diário Oficial da União (DOU) em 15 de abril de 2008. O antigo reitor Timothy Mulholland foi afastado de suas funções por improbidade administrativa. O prédio da reitoria foi invadido por estudantes, que ocuparam suas instalações até a exoneração do reitor.
O caráter interativo que a entrevista proporcionou foi essencial para captar a percepção dos sujeitos no processo da pesquisa e possibilitou uma participação ativa tanto do pesquisador quanto do sujeito entrevistado. Para Szymanski, Almeida e Prandini (2008):
[...] a entrevista face a face é fundamentalmente uma situação de interação humana, em que estão em jogo as percepções do outro e de si, expectativas, sentimentos, preconceitos, e interpretações para os protagonistas: entrevistador e entrevistado, Por isso, a concordância do entrevistado em colaborar com a pesquisa, já denota, na opinião das autoras uma intencionalidade: “ser ouvido e considerado verdadeiro no que diz” [...] “demonstrando dessa forma o caráter ativo de sua participação” [...] Este caráter ativo na participação do entrevistado faz com que “ele desenvolva atitudes que também podem exercer influência sobre o entrevistador. (p.12).
Como a opção foi realizar entrevistas semi-estruturadas, todos os entrevistados tiveram a mesma oportunidade de discorrer sobre o tema proposto a partir de um conjunto de questões previamente elaboradas. Em alguns casos, tendo dirigido como pesquisadora a discussão, tivemos que propor perguntas adicionais para retomar a questão de fundo que o item propunha e assim, alcançar a compreensão do objeto pesquisado.
Outro instrumento utilizado na coleta dos dados foi o questionário16, aplicado aos estudantes (ingressantes e concluintes) do Curso de Pedagogia que participaram do ENADE em 2008. O questionário apresentou uma introdução com informações sobre o objeto pesquisado, as razões da realização da pesquisa, bem como a importância das respostas para atingir os objetivos propostos. Foi composto de 17 questões entre abertas, fechadas e mistas, predominando as fechadas.
O questionário foi organizado em cinco focos: (i) dados pessoais (sem identificação); (ii) conceituação do ENADE; (iii) contribuição do ENADE para o aperfeiçoamento e desenvolvimento do Curso; (iv) estratégias de implementação; e, (v) variáveis na participação dos estudantes no ano 2008. Todas as questões elaboradas buscaram respostas, em diferentes dimensões, aos questionamentos, objetivos específicos e problema da pesquisa.
As respostas ao questionário são analisadas e interpretadas no capítulo 3 deste trabalho. O tempo médio de resposta ao questionário foi de 15 minutos, e nenhum dos itens propostos identificava os respondentes, a não ser quanto a: (i) idade; (b) sexo; (iii) ser
ingressante ou concluinte no ano de 2008; (iv) estar matriculado no Curso de Pedagogia diurno ou noturno.
Aplicamos os questionários preferencialmente em sala de aula mediante autorização de cada professor que, colaborando com a pesquisa em questão, disponibilizou um período de sua aula. Durante o processo de coleta de dados também foi necessário lançar mão de outras estratégias, tais como e-mail e encontros com estudantes fora do ambiente universitário.