Alguns olhares sobre o ENADE

Nesta seção apresento alguns trabalhos que analisaram o ENADE sob enfoques diversos. Aproveitando-me da dissertação de Molck (2013), que empreendeu uma pesquisa sobre o estado da arte com base em dissertações e teses acerca desta temática, incursiono brevemente em algumas pesquisas para projetar alguns caminhos percorridos e, então, situar minha pesquisa avaliativa.

Molck (2013) desenvolveu sua pesquisa com o objetivo de analisar os impactos do ENADE nos cursos de graduação e as estratégias adotadas pelas IES no intuito de melhorar seu desempenho institucional a partir de diagnósticos provenientes do ENADE. Sua pesquisa de caráter bibliográfico compulsou dissertações e teses escritas e defendidas entre 2004 e 2010, com os seguintes objetivos específicos: (1) analisar o ENADE no cenário das avaliações e exames de larga escala implementados no Brasil no campo da ES; (2) mapear o conjunto de trabalhos desenvolvidos desde a efetivação do ENADE; e (3) caracterizar os impactos do ENADE nos cursos de graduação e a forma como as IES se utilizaram dos dados do ENADE visando às melhorias no desempenho institucional.

Considero esse trabalho relevante para o meu, pois ele: (1) elenca fontes importantes e atuais de pesquisa sobre a temática, facilitando a busca e análise de trabalhos que já lidaram com o ENADE como objeto de pesquisa; (2) compreende o ENADE como um importante instrumento de avaliação institucional e como base para o planejamento institucional das IES; (3) desenvolveu eixos temáticos para a classificação das dissertações e teses com os quais concordo, viabilizando-me focar a atenção aos trabalhos com os quais

pude dialogar de forma crítica; e (4) sistematiza diversos dados e referências sobre o ENADE, de modo a apresentar um manancial muito produtivo para novas pesquisas.

Realizando sua busca no Banco de Teses da CAPES e na Biblioteca Digital Brasileira de Teses e Dissertações, Molck (2013) elencou 32 trabalhos entre dissertações de mestrado e teses de doutorado que têm o ENADE como objeto de pesquisa. Esses 32 trabalhos foram organizados em 8 eixos temáticos, caracterizados pelo autor a partir de sua percepção sobre o enfoque e os objetivos concebidos pelos autores desses trabalhos.

Assim, foram elaborados os seguintes eixos: (1) melhorias do desempenho institucional, (2) melhorias dos cursos de graduação, (3) fatores de desempenho do aluno, (4) política pública avaliativa, (5) aspectos técnicos e operacionais, (6) estratégias didáticas para a melhoria do desempenho do aluno, (7) formação de professores, e (8) indução de transformações curriculares. A proposta de caracterização de eixos temáticos como proposto por Molck me foi muito conveniente, pois possibilitou acessar os trabalhos por ele analisados e também lê-los com um olhar direcionado. Assim, ao ler os resumos das dissertações e teses, selecionei os trabalhos que mais me interessaram.

Molck (2013) informa que, de 2004 a 2010, os anos em que mais há produção de pesquisas sobre o ENADE são 2008 e 2009, preocupação sintomática dos novos rumos dados pelo governo federal ao SINAES com a criação do Conceito Preliminar de Curso (CPC) e do Índice Geral de Cursos (IGC), que serão analisados posteriormente. Desse ponto de vista, a maioria das pesquisas se situa nos eixos melhorias do desempenho institucional, melhorias

dos cursos de graduação, fatores de desempenho do aluno e política pública avaliativa. Essa

preocupação identificada por Molck (2013) parece ser reflexo das novas perspectivas das instituições e das comunidades acadêmicas diante da reconfiguração do SINAES e dos impactos que os indicadores de qualidade instituídos pelo MEC podem causar na gestão das IES e na relação destas com o governo, a sociedade e umas com as outras.

Dos trabalhos analisados por Molck (2013), selecionei as pesquisas de Souza (2009), Campos (2009), Eussen (2010), Reis (2009) e Moreira (2010), pois tais autoras focaram suas análises sobre o ENADE numa perspectiva de compreendê-lo no contexto institucional, social, político e econômico das IES em que ele foi realizado e desenvolveram suas pesquisas tendo como locus universidades públicas federais. Também analiso o trabalho de Rangel (2010), não incluído no rol elencado por Molck (2013), porém encontrado segundo os mesmos procedimentos de busca adotados pelo autor, e enquadrando-se nos quesitos acima.

A dissertação de Souza (2009) analisou a cultura avaliativa na UFC a partir do estudo das representações sociais das distintas categorias dessa comunidade acadêmica dos

campi de Fortaleza, tendo como referência o Ciclo de Avaliação Institucional 2005/2006 e o

ENADE 2008. A pesquisa objetivou compreender as representações sociais na instituição sobre AI, nível de conhecimento sobre o SINAES, de participação dos distintos segmentos no processo autoavaliativo e representações de coordenadores de cursos de graduação e estudantes sobre o ENADE 2008. Utilizando, como principal instrumento de coleta de dados, questionários em que as perguntas em sua maior parte eram fechadas, Souza (2009) concluiu que as representações sociais de cada agrupamento institucional (técnicos, docentes, gestores e estudantes) possuem caráter específico e relacionado à inserção institucional e aos interesses próprios de cada categoria.

A pesquisa de Campos (2009) se propôs verificar os impactos do ENADE sobre a UFC visando identificar os fatores relacionados à eficácia institucional, no que se refere ao que o ENADE avalia, a partir da visão dos coordenadores dos cursos de graduação cujos alunos se submeteram ao ENADE nos anos de 2004, 2005 e 2006. Recorrendo a questionários fechados, a autora entrevistou os coordenadores dos cursos avaliados nesse período a respeito do aperfeiçoamento, melhoria do desempenho global dos cursos da instituição e como isso se refletiria nesse exame. Segundo Campos (2009), ao analisar os dados coletados estatisticamente, existiria uma relação direta entre a eficácia alcançada pelas IES e os resultados obtidos no ENADE. Desse ponto de vista, os resultados do ENADE espelhariam a efetiva realidade de infraestrutura e pedagógica dos cursos de graduação.

Por sua vez, o trabalho de Eussen (2010) objetivou analisar a conformação que as políticas nacionais de avaliação para a ES vêm assumindo na Universidade Federal do Rio Grande do Norte (UFRN). Debatendo o uso da constituição de novos instrumentos avaliativos para o ensino superior, Eussen situa a avaliação da ES no contexto das novas demandas advindas da reforma do Estado em que este passa a se configurar como Estado Avaliador numa perspectiva de promoção e mensuração da qualidade com base nos valores de excelência e competitividade. Empreendendo uma análise histórica sobre os desdobramentos da avaliação no campo da ES, a autora analise o processo de implementação do SINAES na UFRN, instituição em que já havia uma prática avaliativa consolidada. A pesquisa desenvolveu-se em um único curso de graduação, que passou pelas três modalidades de avaliação do SINAES: autoavaliação, avaliação externa de curso e ENADE. Servindo-se de pesquisa documental, bibliográfica, entrevistas semiestruturadas e observação não

participante, a pesquisa concluiu que o SINAES, em sua integralidade, nessa IES vem sendo efetivado lentamente devido tanto à complexidade e amplitude do processo avaliativo como da reconfiguração operada nesse sistema avaliativo, assumindo características muito mais regulatórias e estabelecendo rankings entre cursos e instituições.

Reis (2009) desenvolveu sua pesquisa analisando a AI, sob a égide do SINAES, no curso de Física da Universidade de Brasília (UnB) e da Universidade Católica de Brasília. Focando na análise do ENADE nesse curso das duas instituições, a pesquisadora visou investigar o uso dos resultados desse exame com os objetivos de analisar eventuais mudanças ocasionadas na gestão dos cursos pesquisados em virtude dos resultados alcançados no ENADE, compreender a contribuição do ENADE na melhoria da qualidade dos cursos e identificar os tensionamentos que os conceitos desse exame trazem para o cotidiano dessas duas instituições. Como procedimentos metodológicos, Reis (2009) realizou análise documental e entrevistas semiestruturadas com agentes institucionalmente responsáveis pela realização do ENADE, concluindo que esse exame contribui significativamente para a melhoria da qualidade educacional, embora produza tensionamentos, notadamente nas IES particulares, na medida em que favorece condições de classificação das instituições por meio de rankings.

Moreira (2010) elaborou sua tese de doutorado tendo como objetivo estudar a influência de fatores institucionais sobre o desempenho de alunos concludentes dos cursos de Biologia, Engenharia Civil, História e Pedagogia de todas as IES avaliadas no ENADE 2005. A pesquisa sustentou a tese de que, controladas as variáveis individuais e socioeconômicas, as características institucionais específicas dos cursos influenciam o rendimento demonstrado pelos estudantes no ENADE. Para o desenvolvimento da pesquisa, Moreira (2010) utilizou microdados do ENADE 2005, recorrendo aos modelos de análise de regressão múltipla, para verificar possíveis efeitos institucionais sobre o desempenho discente, e a árvore de classificação, para a caracterização das IES públicas e particulares com referência aos fatores institucionais. A conclusão da autora é que a influência dos fatores institucionais não seria homogênea, modificando-se segundo a categoria administrativa da IES e a organização acadêmica desta.

Rangel (2010) intencionou estudar o ENADE no Curso de Pedagogia da UnB, buscando compreender a importância que este instrumento vem recebendo como política pública de avaliação da ES. Focando-se no ENADE realizado pelos estudantes do curso no ano de 2008, a autora empreendeu pesquisa documental, aplicação de questionários

padronizados aos estudantes que se submeteram ao exame, realizou entrevistas semiestruturadas com representantes da coordenação geral do ENADE/INEP, administração da UnB, gestão do curso avaliado e centro acadêmico. A análise dos dados fez a pesquisadora ponderar que a política empreendida com a instituição do SINAES significou avanço com relação ao modelo anterior de avaliação, constituindo-se fruto de distintas experiências de avaliação vivenciadas nas últimas décadas. Concluindo que a centralidade do ENADE é decorrente de múltiplos fatores, como a incompreensão, por parte de muitas IES, sobre os objetivos legais do ENADE, Rangel (2010) argumenta que o processo de regulamentação levado a cabo pelo MEC tem sido bem sucedido em detrimento do processo avaliativo como impulsionador da melhoria da qualidade institucional. Como sugestão para mudança desse quadro, a autora defende que os resultados das outras dimensões do SINAES sejam incorporados com o mesmo nível de importância e que haja mais espaços para discussão democrática dos resultados do ENADE e de outros instrumentos avaliativos com vistas a estimular a transformação desse tipo de avaliação em processo efetivamente participativo.

Esses são alguns trabalhos que analisaram o ENADE com diversas abordagens e com propósitos muito distintos uns dos outros, demonstrando ser possível lidar com um dado objeto sob múltiplas perspectivas. Há pesquisas que se pautaram por apenas um tipo de coleta de dados, como a de Campos (2009) e Moreira (2010), e outras em que se buscou triangular as fontes de dados a partir de procedimentos metodológicos diferenciados, com abordagem quali-quantitativa, como Eussen (2010) e Rangel (2010).

Também compreendi como as abordagens se articularam com os objetivos da pesquisa e o entendimento que cada autora possuía de seu objeto. Nesse sentido, há visões que entendem o ENADE sob um ângulo em que não se questiona o exame em si acerca da validade e legitimidade política e epistemológica e de sua relação com os sujeitos na instituição, como nas pesquisas de Souza (2009), Campos (2009) e Moreira (2010), e outros olhares que questionam sobre a forma como o ENADE influencia os sujeitos e seus contextos a partir de uma perspectiva que toma esse exame como um problema em si e para as instituições em que ele é aplicado, como nos trabalhos de Reis (2009), Eussen (2010) e Rangel (2010).

Essas observações possibilitaram perceber que a forma como ocorre a construção dos mecanismos de aproximação ao objeto se relaciona com a escolha dos procedimentos metodológicos e com a maneira como o pesquisador lida com os sujeitos da pesquisa. Desse ponto de vista, quanto maior é o contato do sujeito pesquisador com os sujeitos investigados

numa postura de abertura dialética e permanente para as experiências destes nos contextos institucionais, possivelmente mais multifacetado e rico pode ser seu entendimento acerca do objeto e da compreensão que os demais sujeitos da pesquisa possuem acerca deste.

Nesse sentido, como já definido, a abordagem teórico-metodológica de Lejano (2012) possibilitou uma aproximação que buscou desvencilhar-se de enquadramentos antecipados das compreensões dos sujeitos na pesquisa. Essa abertura para a avaliação da política como um campo de incertezas e plena de imponderabilidades das relações sociais coloca o pesquisador como aprendente nos contextos em que ele busca compreender as perspectivas dos investigados a partir de seus próprios termos e em seus próprios contextos sociais e culturais. Isso ficou claro quando contrastei as pesquisas acima, as intenções das autoras e sua visão acerca de como lidar com os sujeitos investigados.

Além disso, nenhuma das autoras citadas desenvolveu uma pesquisa avaliativa, pois o foco de cada uma não era avaliar o ENADE, seja como instrumento avaliativo, seja como política avaliativa, mas, a partir de e por meio dele, analisar e compreender outros processos, como a gestão institucional, os tensionamentos sociais na IES, a relação entre avaliação e condições para melhoria institucional e os impactos do ENADE na instituição.

Contudo, o meu ponto de vista sobre como avaliar o ENADE se aproxima mais da forma e dos objetivos de Reis (2009), Eussen (2010) e Rangel (2010) quanto a compreender o ENADE como um instrumento que se vincula a práticas de avaliação institucional e que ele pode propiciar subsídios para a avaliação da instituição e sua gestão, permitindo questionamentos a respeito de seu desenvolvimento e condições para empreender melhorias. O ENADE como instrumento de avaliação, embora homogeneizante, colhe dados acerca de realidades heterogêneas e de instituições que vivenciam diversos tensionamentos, como os causados pelo exame em si e os demais ocasionados pelas configurações e dinâmicas internas das relações sociais e institucionais que se constroem e fluem entre os membros da comunidade acadêmica.

Acredito que as relações que os coordenadores estabelecem com o ENADE recebem múltiplas influências, provenientes de outras formas de vivenciar e experienciar o curso e a instituição, e das relações que se constituem com os demais membros da comunidade, como os técnicos-administrativos, os estudantes, os gestores e colegas do próprio e de outros cursos. Essas influências e vivências parecem ir se incorporando na forma como os coordenadores constroem sua visão da instituição e do curso, de modo que as

relações institucionais impactem mais a forma como os coordenadores compreendem o ENADE do que outras condições e fatores institucionais.

Pela pesquisa, como se verá, pude perceber que a forma de avaliação, num instrumento avaliativo que é apresentado como obrigatório, pode significar maneiras mais dialógicas e negociadas quando de sua realização. Nesse sentido, chamo a atenção para a compreensão de que as negociações parecem ocorrer em termos da construção da imagem pública do curso avaliado, a ser inscrita no ENADE, e das influências que as experiências vivenciadas ao longo do curso acarretaram, de modo que a realização de um aparentemente simples exame pode apresentar ressignificações e reelaborações novas sobre os usos, sentidos e objetivos do exame para os diferentes grupos na instituição. Assim, o ENADE, que, quando elaborado, tinha uma finalidade, acaba, em sua implementação nos cursos, ganhando novos significados, que o tornam uma avaliação dos próprios cursos e da instituição, para além de mensurar o desempenho dos estudantes. Isso será melhor desenvolvido quando da análise dos resultados.

Posto isso e feitas as considerações acima, acredito que a contribuição que minha pesquisa avaliativa tem a oferecer se refere a compreender o que parte da comunidade acadêmica da UFC entende acerca do “fazer” o ENADE e quais concepções são elaboradas, experienciadas e movimentadas nesse processo. Minha ideia por trás dessa colocação se associa ao objetivo de avaliar o ENADE sob o enfoque experiencialista, na perspectiva de Lejano (2012), para quem a avaliação de uma política deve se propor a construir uma análise densa em significados e na aproximação com a forma como os sujeitos avaliados compreendem, ressignificam e vivenciam a política sob avaliação.

Para isso, busquei manter uma postura teórico-metodológica aberta, dialógica e flexível para apreender as experiências dos sujeitos concernidos através de distintas abordagens elaboradas nos contextos deles e em diálogo com eles. Nesse processo meu olhar buscou evitar o foco em poucos pontos e, como um caleidoscópio, mergulhar o quanto seja possível na ambiência social, cultural e política dos sujeitos envolvidos para trazer ao processo avaliativo o máximo de multidimensionalidade, plasticidade e dinamicidade de que são constituídas as realidades dos sujeitos e, assim, propor uma aproximação dialógica e dialética às suas experiências, ao mesmo tempo em que experienciava esse processo como um aprendizado.

Nos capítulos seguintes, definirei melhor meu objeto avaliativo, no caso o ENADE. Para isso, analisarei o desenvolvimento histórico das políticas de avaliação da ES no

país, descreverei a configuração do SINAES, especialmente a do ENADE, buscando analisar sua natureza política, seus fundamentos epistemológicos e seus marcos legais, tendo como suporte a contextualização dessa política em âmbito mundial e local para apresentar os desdobramentos da política na esfera federal e na instituição.

4 CONSIDERAÇÕES SOBRE AS POLÍTICAS DE AVALIAÇÃO DA EDUCAÇÃO