O Sistema Nacional de Avaliação da Educação Superior – Sinaes

No percurso das políticas públicas de avaliação, na educação superior brasileira, e tendo em vista o objeto desta investigação, a análise de como foi criado o Sistema Nacional de Avaliação da Educação Superior (Sinaes) adquire grande relevância. Isto porque no sentido de que as mais recentes estão embasadas na lei que o criou e dessa forma são imprescindíveis para o presente estudo.

Instituído por meio da Lei 10. 861 de 14 de abril de 2004, o Sinaes teve sua articulação, em período anterior, com a constituição da Comissão Especial de Avaliação da Educação Superior (CEA) em 200313. A missão da CEA foi a elaboração de uma nova proposta, tendo como objetivo analisar, oferecer subsídios, fazer recomendações, propor critérios e estratégias para a reformulação dos processos e políticas de avaliação da educação superior e propor crítica dos seus instrumentos, metodologias e critérios utilizados (BRASIL, 2003).

Composta por renomados especialistas em avaliação, representantes da União Nacional dos Estudantes (UNE) e por representantes do MEC, a CEA interagiu com diversos setores e entidades da sociedade brasileira para a elaboração da proposta:

13 _{A Comissão Especial de Avaliação da Educação Superior (CEA) foi constituída pelas Portarias}

As reflexões e estudos da CEA foram alimentados por um amplo processo de interlocução com a sociedade. Como parte muito importante de seus trabalhos, a CEA ouviu em audiências públicas, realizadas no MEC, em Brasília, e durante a Reunião da SBPC, em Recife, 38 entidades representativas de distintos setores da sociedade, especialmente as mais diretamente relacionadas com a Educação Superior (BRASIL, 2003)

A referida comissão produziu, então, o documento denominado Sinaes - Sistema Nacional de Avaliação da Educação Superior: Bases para uma nova proposta, que foi reeditado posteriormente várias vezes. Neste documento, o Sinaes é apresentado como um sistema que busca para assegurar a integração das dimensões interna e externa, particular e global, o somativo e formativo, o quantitativo e qualitativo, e os diversos objetos e objetivos da avaliação. (BRASIL, 2004)

Na visão de Rothen e Schulz (2005), o documento em destaque foi publicado junto à Lei nº 10. 861/2004, dando a entender que sua publicação se deu em total consonância com o documento produzido. Na visão dos autores, isso não procede, tendo em vista as diferenças em relação à abordagem da ética e de aspetos como a formação e o controle.

O Sinaes compreende três tipos de avaliação: institucional, de cursos e de desempenho dos estudantes. Nesse contexto, a institucional refere-se à avaliação da IES, cujo o objetivo é identificar o seu perfil e o significado de sua atuação. Esta primeira modalidade é realizada com a utilização da autoavaliação e visitas in loco, por comissões de especialistas designadas pelo INEP. Em relação à avaliação de cursos, seu objetivo é identificar as condições de ensino oferecido aos estudantes, especialmente no que se refere a três dimensões – perfil do corpo docente, infraestrutura física e organização didático pedagógica. Para a realização dessa avaliação, são utilizadas visitas in loco por comissões de especialistas nas áreas dos cursos. Quanto à de desempenho, esta se realiza por meio da aplicação do Exame Nacional de Desempenho dos Estudantes (Enade) que, por sua vez, conta com os seguintes instrumentos: uma prova, o questionário de impressões dos estudantes sobre a prova, o questionário do estudante e o questionário do coordenador do curso.(BRASIL, 2004)

De acordo com Rothen e Schulz (2005), na proposta e na legislação do Sinaes é prevista a realização de uma prova. Na proposta, ela é denominada Paideia (Processo de Avaliação Integrada no Desenvolvimento Educacional e da Inovação da Área). Já na Lei 10.861 esta prova recebeu o nome de Enade. O referido autor afirma que embora essas duas provas apresentem semelhanças, são diferentes em alguns pontos: o Paideia buscaria valorizar a avaliação formativa, enquanto o Enade manteve o objetivo implícito de classificar os cursos, pois prevê a mesma escala de cinco níveis de conceitos a serem atribuídos em cada curso.

Dessa forma, em relação a esse exame, entende-se que o governo não acatou de forma completa o documento produzido pela CEA, que propunha outro modelo de avaliação.

O desenvolvimento dos processos formativos e as dinâmicas artísticas, científicas e tecnológicas de cada área do conhecimento serão avaliadas mediante processo aqui denominado PAIDEIA. Este processo prioriza o enfoque de movimento e de integração, buscando compreender não só o “estado da arte” em um determinado momento, mas, em especial, as dinâmicas e valores agregados em cada área do conhecimento. Desta forma, por exemplo, o PAIDEIA não se ocupa somente com a construção e a reprodução dos conhecimentos, mas também e principalmente com a relação de professores e estudantes com as ciências, as tecnologias e as artes, tanto em seus aspectos intrínsecos, como extrínsecos e sociais(BRASIL, 2003).

Como já abordado, o trabalho da CEA não se traduziu totalmente na criação do Sinaes. Ainda assim, alguns membros da comunidade acadêmica enxergaram na referida Lei um avanço, pois consideravam que estava surgindo um novo paradigma de avaliação, principalmente se comparado ao ENC.

O SINAES constitui-se em avanço de um modelo de avaliação da educação superior no Brasil, que promovia o ranking e a competitividade, baseado em estratégias de visibilidade mercadológica, para um paradigma que propõe a avaliação formativa ao incluir a auto avaliação participativa nas instituições e propor sua articulação com a regulação do sistema. (POLIDORI, ARAÚJO, BARREYRO 2006, p. 434)

Embora o Sinaes tenha sido reconhecido pela comunidade acadêmica como um sistema de avaliação integrador, na prática, não foi possível a implementação em sua essência. Essa dificuldade pode ser atribuída à complexidade da avaliação, às contradições dos interesses envolvidos, entre outros fatores.

De modo especial, constituem problemas as dimensões mais subjetivas e qualitativas que, sem dúvida, requerem metodologia mais refinada. Um exemplo dessa dificuldade está em trabalhar com precisão as relações entre as habilidades elencadas no ENADE e a ética e os compromissos profissionais e sociais, os temas transversais, a formação geral. Não menor dificuldade apresenta a análise de mudança, metodologia pouco trabalhada e compreendida em educação. Como é comum nos exames, há os problemas que dizem respeito à qualidade técnica dos itens das provas, à complexidade de elaboração dos padrões mínimos desejados para cada área e à interpretação dos resultados. Além disso, não se pode omitir a enorme gama

de contradições de interesses e valores que atravessam os diferentes grupos sociais (DIAS SOBRINHO, 2010.p 222)

As críticas ao Sinaes se estendem ao Enade, devido à centralidade que ele vem conquistando na avaliação da educação superior. O Enade faz parte do Sinaes e consiste num exame aplicado aos estudantes de cursos de graduação em relação aos conteúdos programáticos, suas habilidades e competências. Participam do exame alunos ingressantes e concluintes dos cursos avaliados, que fazem uma prova para aferir conhecimentos de formação geral e específica (BRASIL, 2013).

O Enade passou por algumas mudanças desde sua implementação, mas não consegue atingir os objetivos propagados pelas políticas públicas de regulação. Dias Sobrinho (2010) afirma que tal qual foi concebido, o Enade não deveria ser tomado isoladamente como referência de qualidade, uma vez que esse exame consiste num instrumento de avaliação para diagnosticar as habilidades acadêmicas e as competências profissionais que os estudantes são capazes de demonstrar, levando em conta suas percepções sobre sua instituição. Segundo o autor, os conhecimentos gerais avaliados no exame não são necessariamente relacionados com os conteúdos disciplinares, de forma que não têm condições de serem tomados isoladamente, devendo assim ser considerados como um dos componentes do sistema de avaliação, como definido na lei. Esta crítica tem a ver com o papel central do Enade no cálculo do CPC, índice produzido pelo governo federal em 2008. O CPC tem, em sua composição, diferentes variáveis. Parte considerável das informações que o compõem são retiradas do próprio Enade, com o resultado das avaliações e o questionário sócio-econômico, aplicado por ocasião do exame. Inclui ainda o IDD14 e o cadastro de docentes. O cálculo do CPC pode variar, de forma que a cada edição é publicada uma nota técnica explicitando como ocorre. Em 2011, foi publicada a forma de cálculo do índice:

A fonte dos dados utilizados para o cálculo do Conceito Enade e do CPC, bem como o ano de referência dos mesmos, são listados a seguir:

a) Desempenho médio dos concluintes na formação geral e no componente específico e respostas do Questionário do Estudante sobre infraestrutura e organização didático-pedagógica: Enade 2011;

b) Desempenho médio dos ingressantes e respostas do Questionário Socioeconômico sobre a escolaridade dos pais dos ingressantes: Enem 2009

14

O Indicador de Diferença de Desempenho representa a diferença entre o desempenho médio dos concluintes, relacionado com os resultados médios de outras instituições, cujos ingressantes tenham perfil semelhante. (BRASIL, 2006).

ou 2010 (considera a edição na qual foi encontrado o CPF do ingressante inscrito no Enade. Se houver um mesmo CPF nas duas edições, será considerado o de maior desempenho médio);

c) Informações sobre o corpo docente (número de docentes com Mestrado, com Doutorado e com regime de trabalho parcial ou integral): Censo da Educação Superior referente a 2011 (BRASIL, 2011, p. 9-10)

Pela análise da composição do CPC, é possível inferir que boa parte dos resultados é construída com insumos do Enade. Como se pode perceber, apesar de não ter sido concebido numa perspectiva de avaliação integradora, o Enade ocupa atualmente espaço privilegiado na regulação. O rankeamento e o estímulo à competição entre as instituições, tão criticados pelo meio acadêmico, ainda se fazem presentes nas atuais políticas de avaliação.

A partir da publicação dos resultados do CPC e do IGC15, e de novos cálculos envolvendo esses índices, o MEC passou a determinar ações de supervisão em instituições que demonstrem tendência a repetir resultados insatisfatórios16 em avaliações seguidas.

Por fim, é preciso ressaltar que os resultados do IGC e do CPC são determinantes para a elaboração de política de supervisão baseada em resultados de avaliação. Ao mesmo tempo em que determina a instauração de processos de supervisão, a partir de resultados de avaliação, o MEC utiliza seu poder discricionário para aplicar medidas cautelares17 que visam à redução de ingresso de estudantes, suspensão total de ingressos, suspensão temporária da autonomia de universidades. Tais medidas são publicadas na imprensa oficial e divulgadas na mídia, acentuando o caráter regulatório, favorecendo os rankeamento e promovendo a competição acirrada entre as IES.

15_{O Índice Geral de Cursos Avaliados da Instituição (IGC) é um indicador de qualidade de instituições de}

educação superior, que considera, em sua composição, a qualidade dos cursos de graduação e de pós- graduação (mestrado e doutorado). No que se refere à graduação, é utilizado o CPC e, no que se refere à pós- graduação, é utilizada a Nota Capes. O resultado final está em valores contínuos (que vão de 0 a 500) e em faixas de 1 a 5 (BRASIL, 2013)

16

Consideram-se insatisfatórios os resultados inferiores a 3 nos processos de avaliação. Assim, se a instituição demonstrar tendência em apresentar resultados negativos, isso significa que ela não vem demonstrando esforços para melhorar a qualidade.

17

As medidas cautelares são determinadas em caso de risco eminente aos interessados. Esta medida administrativa embora ocorra antes do término de um processo, é considerada um tipo de punição por parte dos mantenedores das instituições.