EXAME NACIONAL DE CURSOS – ENC
4.1. A solução proposta: informação, avaliação e comunicação como base da nova política educacional
Conforme dito, tendo-se em conta o papel de orientador do sistema assumido pelo Estado e a sua visão das necessidades da educação superior no Brasil, o governo considerou que o Ministério da Educação deveria orientar as transformações do sistema de educação no país, oferecer suporte para a implementação das reformas e políticas educaciona is, mas evitar
desenvolver diretamente as ações educativas. Era seu papel, apenas, prover os demais agentes de um sistema de informação e avaliação em todos os níveis de ensino o qual teria a função de orientar, a partir da sua comunicação, a execução das políticas de educação.
Sendo a meta do governo com relação ao ensino superior aumentar a quantidade e a qualidade183 , entendeu-se que a avaliação seria um caminho para responder à exigência de padrões de qualidade, vista como um instrumento gerencial de enorme relevância para definir políticas e programas, confirmar bons resultados e corrigir eventuais desvios de rota a partir do momento em que propiciasse o conhecimento sobre o desempenho do sistema, seus avanços e seus problemas. (Avaliação..., 2002). E o Provão tornou-se o primeiro instrumento do sistema de avaliação. Segundo Archangelo184:
No caso, o MEC sempre teve um papel regulador, e tem o papel de gerência do sistema Federal, que é um importante subsistema dentro do Ensino de Graduação. O que se pensava era que o Estado deveria reduzir a sua ação fiscalizadora e transformá-la, isto é, reduzir controles burocráticos, que é o que se tinha, e criar um conjunto de indicadores que por si só facilitasse o trabalho do Estado, nesta busca de uma melhor qualidade, mas que envolvesse uma maior fatia possível da sociedade neste processo. Além de se ter estes resultados, era importante divulgá-los, e eu entendo que o Provão, como o primeiro elemento deste sistema que estava em construção, foi o grande responsável pela mobilização que houve, neste tempo todo, nos cursos de graduação no país. Esta mobilização levou para dentro da instituição esta idéia de avaliação, que foi mais perseguida, com maior freqüência pelo menos do que era anteriormente. E com maior abrangência nas escolas particulares. Havia um grande preconceito com relação às escolas particulares. Generalizava-se a idéia de que elas visavam o lucro, e por isto eram escolas de péssima qualidade. Daquelas que “pagou passou”. O que era um preconceito [descabido], porque, se pensarmos, naquela época a FGV, as PUCs já eram conceituadas. Generalizava-se uma imagem que ficou daquele “crescimento” da década de 70, sem controle. Então, seria preciso ter algum instrumento em pouco mais palpável para se ter a avaliação do ensino não só das universidades federais, mas também, das particulares, do sistema como um todo. Porque até ali o que se tinha eram reputações. Existia a imagem de que tal escola era muito boa. Por quais critérios? Ninguém sabe a causa desta reputação, talvez até, em alguns casos, pelo ranking da revista Playboy185. O que se
183 Segundo Jocimar Archangelo: “O programa [de FHC, 1994] já dizia que para o Ensino Superior nós tínhamos
duas metas: aumentar a quantidade e a qualidade” (Entrevista em 01 de outubro de 2003).
184 Entrevista em 01 de outubro de 2003.
185 Nota da autora: A Playboy é uma revista erótica publicada pela Editora Abril que elaborava e divulgava um ranking de instituições de ensino superior no Brasil por qualidade que, por alguns anos, foi o único ranking
conseguiu foi colocar todo o sistema, dar visibilidade para o sistema como um todo. Neste processo, começam a aparecer muitas escolas escondidas pelo país a fora (...) quando começamos com o Provão tínhamos um sistema composto do Provão, da avaliação das condições de ensino, da avaliação institucional e do censo. Este [era] o sistema.186
Esta mobilização dos cursos de graduação em busca da qualidade, conforme defendeu também o ex-ministro Paulo Renato Souza, se dava muito em função de as instituições se sentirem pressionadas por uma avaliação que, além de ser feita pelo MEC, a quem teriam que prestar informações, os resultados seriam publicamente divulgados. Nas palavras do ex-ministro:
a melhoria da qualidade foi simplesmente o fato delas saberem que agora elas iam ser avaliadas e que avaliadas não só do ponto de vista do resultado dos alunos, mas também do ponto de vista da qualificação dos professores. E o próprio questionário que nós aplicamos aos alunos que fizeram o Provão. Aqueles questionários eram muito úteis porque perguntava-se aos alunos se os professores preparavam as aulas, se davam plano de estudo, se a biblioteca era boa, se tinha acesso a meio eletrônico, se tinha computador, se tinha laboratório. Então isso acabou, realmente, botando uma pressão muito grande em cima das instituições! E se criou uma cultura de qualidade187.
Começou-se por uma prova com alunos, de acordo com o ex-Ministro Paulo Renato188, pois se achava necessário obter informações objetivas sobre a qualidade dos cursos de forma a se poder compará-los, de modo rápido e “sem subjetividade”, considerando um quesito tido como essencial em um curso de graduação: a qualidade no processo de ensino- aprendizagem. Nessa perspectiva, a idéia de se fazer um exame geral para avaliar a aprendizagem do aluno através de uma prova escrita – que daria origem a uma nota (um conceito objetivo) – a partir do qual se compararia a qualidade dos cursos, pareceu ideal para
186 Entrevista em 09 de outubro de 2003. Archangelo completou que “é medianamente clara para qualquer
pessoa a impossibilidade de um único instrumento avaliar todos os aspectos de um curso de graduação. Então, ao ponto 1, o Provão, que avalia a aprendizagem do aluno, acrescentou-se o ponto 2, a Avaliação das Condições do Ensino. Isso se fez em 1996, através de decreto assinado pelo Presidente da República. Passamos a verificar as condições em que o ensino é realizado”. Entretanto, como o sistema não foi divulgado enquanto tal desde o surgimento do Provão, vários críticos questionam que existisse a idéia de um sistema desde a divulgação do primeiro instrumento em 1995.
187 Entrevista em 06 de janeiro de 2004. 188 Entrevista em 06 de janeiro de 2004.
poder comparar instituições. Ainda, defendia-se que o importante era saber o que acontecia dentro da sala de aula e, efetivamente, se o aluno aprendera o conteúdo. Assim, “o Provão dá conta do cotidiano da sala de aula. Ele verifica o desempenho do aluno, a aprendizagem média de um grupo de alunos. Esse era o primeiro passo: verificar a aprendizagem do aluno”. (Archangelo, 2003, p.11).
Neste sentido, outro dado muito importante na escolha de uma prova enquanto instrumento de avaliação foi que se considerou que a familiaridade da sociedade com o instrumento a ser utilizado seria um quesito central para que se obtivesse legitimidade e se evitassem resistências, como comentou Archangelo:
O Provão seguiu a cultura escolar do país. A avaliação de todos nós, como alunos e professores, sempre foi com provas. Embora teoricamente se fale em avaliações processuais, etc. nossa cultura está associada a provas, como o vestibular, que tem grande credibilidade nacional. (...) Era começar por aí, por um instrumento que fosse absorvido pela sociedade porque tem credibilidade. (Archangelo, 2003, p.11).
Em paralelo a tudo isso, havia um outro motivo para começar o sistema de avaliação por um exame que verificava o desempenho de alunos. É que, por meio do desempenho do aluno, aferia-se a qualidade do curso, e este – o curso – era o foco principal da avaliação dentro da política pensada, e não a instituição conforme já proposto anteriormente por outros modelos de avaliação do ensino superior189:
Elegemos o curso como o foco principal, porque é no curso que as coisas acontecem. Não é na instituição. Não é na floresta, é nesta árvore (...) que vamos ter de focar. Ora, todos os cursos têm um projeto pedagógico, ou deveriam ter, em que se definiriam a sua filosofia e a sua metodologia, todas as definições dos objetivos do curso. Mas, existe um objetivo que é comum a todo e qualquer curso, desde que se entende por gente. Qualquer curso que se entra, existe um elemento fundamental, que é a aprendizagem. Um curso tem de possibilitar que se aprendam algumas coisas, principalmente, o curso de Graduação. Ele tem o caráter de profissionalização – [ao] dar licença para que se exerça uma profissão, ele tem de garantir isto. Ele pode ter n objetivos muito mais nobres do que este, claro: formar um cidadão, formar um cidadão solidário, em mil possibilidades. Eu acho que tem de ter mesmo, não tenho dúvida nenhuma. Mas isto aqui
189 Refere-se aqui, especialmente, ao PAIUB (Programa de Avaliação Institucional das Universitárias
[aprendizagem] é básico. (...) Se eu não sou capaz de fazer uma coisa tão concreta, tão prática, tão óbvia como levar o aluno ao aprendizado dos conteúdos fundamentais, dificilmente conseguiria atingir objetivos mais abstratos. De qualquer maneira, elegemos o curso como foco e a aprendizagem como o primeiro elemento. Até porque quando as pessoas dizem que o curso é fraco, “pagou passou”, que a escola é uma vergonha, é porque não cumpre aquele objetivo mínimo, que é de fornecer à sociedade profissionais com aquela competência para as quais o curso foi criado. Então, por isto o foco no curso! Muito bem, se vamos ver a aprendizagem, então, qual é o modelo? Fazer uma prova, chamada Exame Nacional de Cursos, que logo se transformou no Provão, para verificar qual é o nível de aprendizagem que as escolas (...) estavam propiciando aos seus alunos. Como observar isto? Pegando os alunos que estão terminando o curso, submetê-los a uma prova190.
Com a avaliação, iniciada pelo Provão, o entendimento era de que se poderia orientar, induzir a fim de que o sistema melhorasse. Segundo Archangelo “nós entendemos que o caminho era a avaliação [e que] ela deveria ser um instrumento de melhoria de qualidade. Não que a avaliação melhore a qualidade, mas ela cria elementos para permitir que os agentes melhorem a qualidade do trabalho”191. Nesse sentido, o Provão foi, para ele, o grande responsável pela mobilização que houve, no período, nos cursos de graduação no país, pois “esta mobilização levou para dentro da instituição esta idéia de avaliação, que foi mais perseguida com maior freqüência, pelo menos [em relação ao] que era anteriormente”192. Conforme explica:
Eu falo em indução... [porque] nós induzimos, neste período, a que as escolas dessem consistência ao papel do coordenador de curso. O coordenador de curso era um elemento que não existia. Porque, veja, se pegarmos uma Universidade ou até uma Faculdade como a sua, de um modo geral, os departamentos é que, aqui um Departamento de Matemática, eventualmente manda um matemático para dar aula no curso tal de Engenharia. Então este professor está ligado a este departamento, e não ao projeto pedagógico do curso de Engenharia. Então o que a gente queria era fortalecer esta pessoa, o coordenador do curso, para fortalecer o projeto pedagógico do curso. Então veja, nosso objetivo era fortalecer o projeto do curso193.
190 Entrevista em 01 de outubro de 2003. 191 Entrevista em 01 de outubro de 2003. 192 Entrevista em 09 de outubro de 2003. 193 Entrevista em 01 de outubro de 2003.
Na visão de Archangelo (2003), a qualidade de um curso só seria melhorada se efetivamente algum agente de dentro da instituição resolvesse criar um ambiente propício a fazer mudanças necessárias em buscar dessa melhoria de qualidade. Nesse sentido, fica claro que além da divulgação pública, o Provão tinha como objetivo servir como informação para que coordenadores e dirigentes, a partir da análise do seu desempenho em comparação ao de outras instituições, pudessem tomar medidas corretivas em busca da qualidade a partir do momento em que passam a ter acesso ao seu próprio desempenho e da comparação deste com o de outros cursos.
O Provão é uma referência para os candidatos, para o país, para a sociedade. Ele emite um relatório, que chamamos Relatório Síntese, dirigido ao aluno e à sociedade como um todo. A instituição recebe um relatório privativo, com um número enorme de informações, que são um diagnóstico do curso, um comparativo com a média nacional. Os gestores dos cursos recebem informações preciosíssimas. E na medida em que essas informações passam a ser públicas, elas afetam
a imagem do curso, que em caso de deficiências têm de tomar
providências. (...) cursos de graduação que estavam mais ou menos estagnados, mais ou menos empurrando com a barriga, sem nenhum instrumento de pressão e exigência de melhoria de qualidade, passaram a investir no corpo docente e em infra-estrutura. Hoje vêem- se infra-estruturas maravilhosas em escolas particulares.. de outro lado, emergiram escolas de qualidade que estavam na vala comum (Archangelo, 2003, p.12, grifo nosso).
Assim, de acordo com Archangelo194, um dos instrumentos mais importante para a avaliação era o relatório (privativo)195 do curso, que vai para o coordenador de curso. Tal relatório traria todo o detalhamento do desempenho dos alunos de cada curso (de forma agrupada) em relação a cada questão do exame bem como a comparação do desempenho de seus alunos (em cada questão) com o desempenho de alunos de outros cursos no Brasil e poderia servir de instrumento para que gestores convocassem reuniões em sua instituição para tomar decisões e melhorassem a qualidade do seu curso.
194 Entrevista em 01 de outubro de 2003.
195 Os relatórios para as IES, específicos por curso, denominados Relatórios do Curso, são enviados para reitores,
pró-reitores, diretores e coordenadores de cursos. Cada relatório apresenta os seguintes dados relativos à própria instituição, ao conjunto das instituições pertencentes à mesma categoria administrativa e ao mesmo tipo de organização acadêmica, à unidade da federação, à região e ao País: “estatísticas dos resultados do Exame, percentual de graduandos da instituição distribuídos pelos grupos delimitados pelos quartis [de desempenho], percentuais de respostas dos graduandos da instituição em cada uma das opções das questões de múltipla escolha, quando houver; e média dos pontos obtidos pelos graduandos da instituição em cada uma das questões discursivas” (ENC 2003 – Relatório Síntese, 2003).
Outro meio que o governo utilizou para envolver os gestores, em especial os coordenadores de cursos, foi o envio de um questionário e uma cópia da prova para que eles dessem sua opinião sobre o Provão de cada ano. A opinião dos coordenadores de cursos retornava, posteriormente, em forma de síntese para as comissões de especialistas que elaboravam as provas, para que estes pudessem colher sugestões para melhorar os exames dos próximos anos. Assim, buscava se o envolvimento dos gestores das instituições e da comunidade acadêmica. Ainda, para que se buscasse o comprometimento desses agentes, organizavam-se seminários (entre 1999 e 2002) nos quais coordenadores de cursos, comissões de especialistas e técnicos do MEC, normalmente com o apoio de órgãos de classe ou associações acadêmicas, se reuniam para discutir o que se poderia fazer para melhorar a qualidade em termos de curso e dividir experiências. A visão era de que se mandavam “todos os elementos necessários para que o coordenador do curso [exercesse] sua função de melhorar o planejamento do curso”196.
Entendia-se que os cursos poderiam se beneficiar das informações oferecidas pelo Estado, o que lhes propiciava conhecer não só o seu próprio desempenho, mas o seu desempenho em relação a outros cursos na região e no país, para que pudessem rever e rediscutir seus projetos pedagógicos, objetivos, procedimentos de ensino e de avaliação usados, o tipo de formação dada a seus alunos, entre outros (Exame Nacional de Cursos – Relatório-Síntese 2002, 2002). Ou seja, contava-se que a indução funcionaria na medida em que dirigentes e corpo docente utilizassem as informações (qualitativas e quantitativas, sobre o desempenho dos alunos mas também sobre a sua opinião sobre o próprio curso) para tomar decisões que visassem melhorar o ensino (ENC – Relatório-Síntese 2002, 2002). Dando informações às instituições de ensino, o Estado se colocava no papel de quem pensa políticas e dá condições para o sistema melhorar. As instituições que não respondessem, poderiam ser penalizadas ou pelo governo (com a exclusão do sistema) ou pela sociedade (pela não procura dos serviços educacionais dessas instituições).
Mas como os curso seriam comparados? No Provão, os cursos eram comparados através do seu desempenho, medido pela média do desempenho de seus alunos, em cada ano de avaliação. Isto é, os cursos eram comparados e classificados de acordo com o desempenho relativo de outros cursos na mesma área avaliados no mesmo ano. Diferentemente de uma avaliação com referência a critério, o método utilizado no Provão não pressupõe resultados especificados a serem atingidos – padrões mínimos de desempenho. Como se explica em
ENC 2002, nesta avaliação, a interpretação dos resultados é feita em relação ao desempenho global, sem definir valores a serem atingidos. Os resultados não poderiam ter, portanto, interpretação que extrapolasse a comparação entre desempenhos de indivíduos em relação à população submetida àquela avaliação específica. Defendia-se que tal comparação seria possível, desde que houvesse uniformidade nos procedimentos adotados na realização da avaliação em todas as suas etapas, entre as quais a concepção, divulgação, aplicação e correção, o que era o caso do Provão (ENC – Relatório-Síntese 2002, 2002).
A forma de classificação escolhida para comparar os desempenhos foi alterada ao longo dos anos. Até 2001, os resultados eram interpretados segundo uma ordenação dos desempenhos pela média geral dos graduandos do curso e a partir dela eram determinados cinco grupos, sendo prefixado o percentual de integrantes de cada um dos grupos (ENC – Relatório-Síntese 2002, 2002). Assim tinha-se que os 12% melhores cursos da área teriam nota A, os 18 % seguintes teriam nota B, os 40% de desempenho médio teriam nota C, os próximos 18 % abaixo da média, teriam conceito D, e, por fim, aos últimos 12% o conceito E. Após este ano, o critério de distribuição dos conceitos aos cursos avaliados mudou e se passou a levar em conta a distribuição geral dos desempenhos dos cursos, passando os mesmos a ter uma distribuição relativa, variando de acordo com unidades de desvio-padrão, do desempenho de cada curso, tendo como referência a distribuição dos desempenhos dos cursos (ENC – Relatório-Síntese 2002, 2002). Assim, acabou-se tomando como base para a atribuição de conceitos o desempenho do curso e a sua posição em relação aos demais cursos da área, de modo que A = média acima de 1 desvio padrão (inclusive) da média geral da área; B = média entre 0,5 (inclusive) e 1 desvio padrão acima da média geral da área; C = Média entre 0,5 desvio padrão abaixo e 0,5 desvio padrão acima da média geral da área; D = Média entre 0,5 (inclusive) e 1 desvio padrão abaixo da média geral da área; e E = Média abaixo de 1 desvio padrão (Exame Nacional de Cursos 2003 - Resumo técnico, 2003). Cabe ressaltar que os conceitos absolutos, em uma escala de 0 a 100, não eram utilizados na divulgação do MEC e na elaboração dos rankings. Somente os conceitos A, B, C, D e E, conforme as regras supra citadas nos quais os cursos se encontravam agrupados, eram divulgados.
Após o primeiro ano de governo, além da criação do Provão, mais um instrumento começou a ser utilizado para fazer parte desse sistema: a Avaliação das Condições de Oferta (conforme Decreto nº 2026, em 10 de outubro de 1996197), posteriormente denominada
197 Decreto que regula o processo avaliativo dos cursos superiores de graduação, abrangendo a verificação não só
dos conteúdos aprendidos e habilidades desenvolvidas pelos seus formandos, mas também das condições de ensino ofertadas pelos curso in loco nas IES. Ver Anexo B.
Avaliação das Condições de Ensino198. A ACE, como ficou conhecida, consistia em visitas de avaliação realizadas por comissões ad hoc de professores mestres e doutores, para examinar a organização didático-pedagógica; a adequação das instalações físicas em geral bem como as instalações especiais, tais como laboratórios, oficinas e outros ambientes indispensáveis à execução do currículo; a qualificação do corpo docente; as bibliotecas com atenção para o acervo bibliográfico, inclusive livro e periódicos, regime de funcionamento, modernização dos serviços e adequação ambiental. (conforme Decreto supra citado). A idéia era a de que um instrumento viria completar o outro na constituição de um sistema de avaliação:
No Provão temos o resultado da aprendizagem, mas quando mandamos dois professores visitar uma escola e analisar o corpo docente, a organização didática e pedagógica, as instalações, eles não estão medindo o ensino, estão verificando as condições em que o ensino é realizado, como se dá a aprendizagem. Assim, multiplicamos o número de variáveis que permitem uma avaliação mais próxima da realidade do ensino naquela escola. (...) Ficamos sabendo que o corpo docente é competente, que o currículo é bom, que as instalações são