Inicialmente, pode-se afirmar que a proposta do Sinaes, na forma como se dispõe no arcabouço teórico e legal, é parte de uma política de avaliação que apresenta princípios da legitimidade, autonomia, integração e transparência no que se refere à compreensão tanto por parte do Estado (nível macro) quanto pelas IES (nível micro), haja vista os seus princípios norteadores. Assim, atende as demandas de regulação e supervisão, ao tempo em que se configura como um processo educativo, fornecendo informações relevantes aos decisores externos e internos, à comunidade acadêmica, como de toda sorte, à própria sociedade. Afirma-se como um processo que prima pela participação, visto que sua concepção,
coordenação e implementação têm sido compartilhadas pelas representações do Estado, das IES e da sociedade civil organizada.
Para Ristoff e Giolo (2006, p. 203), o Sinaes configura-se como um sistema nacional, “como apregoa a legislação”, abarcando “todas as IES, cursos e seus estudantes do País e não apenas os pertencentes ao sistema federal”. O desafio é fazer acontecer a avaliação institucional em um sistema de ensino tão complexo e diversificado como o é o SFE, constituído de diversas instituições, com diferentes organizações acadêmicas e administrativas, cuja oferta de modalidades de ensino também é diversa.
Do que se aponta, o Sinaes apresenta a possibilidade de autoconhecimento da/pela própria instituição, representado pela Avalies. A autonomia delegada às instituições na elaboração e condução do seu projeto de avaliação, bem como na composição e regulamentação própria das respectivas comissões, pode colaborar na institucionalização da avaliação, desde que outorgada de fato. A própria composição da CPA, ao contemplar a representatividade de todos os segmentos internos, aliada à representação externa, busca dar um caráter democrático e representativo da condução do processo avaliativo. Entretanto, alguns apontamentos do que foi descrito na teoria e nos documentos referentes ao Sinaes, nas experiências, pesquisas e nos estudos decorrentes da sua implantação por pesquisadores (autores) e atores revelam lacunas, controvérsias e desafios.
Argollo, Tenório e Schmitz (2009a, p. 38) indicaram problemas na gestão do sistema pelo “duplo papel exercido pelo Inep, enquanto órgão executor do Sinaes e como órgão governamental de supervisão na governança relativo ao processo decisório, além de conflito conceitual no âmbito do sistema de educação” e pela inexistência de uma agência central para melhor integrar as diversas finalidades de avaliação gestadas pelo MEC/Inep/Capes/SESu/Setec. Na análise do sistema, nessa época, os autores revelaram outras fragilidades no que concerne ao poder decisório das comissões, às questões que envolvem recursos financeiros, à ausência de órgão que integre a estrutura organizacional, tanto no âmbito do MEC como das IES. Esse órgão é necessário para dar suporte e garantir a continuidade das ações técnicas e executivas, tendo em vista o mandato temporário e rotatividade dos representantes nas comissões. No que concerne à gestão do sistema, é
importante ressaltar a criação da Secretaria de Regulação e Supervisão da Educação Superior20 (Seres), responsável por “planejar e coordenar o processo de formulação de políticas para regulação e supervisão da educação superior, em consonância com as metas do PNE”, dentre outras (BRASIL, 2012b).
Alguns desafios têm-se apresentado na sua prática. O mais sério impedimento que representa um distanciamento da proposta ainda diz respeito às questões operacionais para realização da avaliação externa de instituições no tempo requerido para o ciclo avaliativo, inicialmente a cada três anos. Com mais de dez anos da criação do Sinaes, a comissão de avaliação externa de instituições visitou as IES apenas uma vez, a partir de 2010. O Inep como órgão executor, juntamente com a Conaes, ainda que disponha do banco de avaliadores capacitados para executarem tal avaliação, este não foi suficiente para dar conta da tarefa hercúlea de visitar as mais de 2.000 instituições e aproximadamente 24.000 cursos ofertados, em um prazo relativamente curto.
Tanto assim que o MEC recorreu à criação do Conceito Preliminar de Cursos (CPC) para compor a avaliação da instituição, no sentido de equacionar as visitações externas naquelas instituições melhores avaliadas. A Portaria nº 4, de 05 de agosto de 2008, regulamenta a aplicação do conceito preliminar de cursos superiores, para fins dos processos de renovação de reconhecimento respectivos, no âmbito do ciclo avaliativo do Sinaes instaurado pela Portaria Normativa nº 1, de 2007.
O CPC é calculado21 com base nos insumos e nos resultados do Enade, com escala de cinco níveis (1 a 5). Os cursos que tenham obtido conceito preliminar satisfatório (igual ou superior a 3) ficam dispensados de avaliação in loco, sendo facultado àqueles que tenham obtido conceitos preliminares 3 ou 4 requerer a avaliação in loco, no prazo estipulado na legislação, para confirmação ou alteração do conceito preliminar, cabendo recurso à CTAA em caso de discordância na forma regulamentar. Os cursos que tenham obtido conceito
20 A Seres foi criada pelo Decreto nº 7480/2011 e sofreu alterações na sua estrutura e nas suas competências em decorrência
do Decreto nº 7.690, de 2 de março de 2012, e do Decreto nº 8.066, de 7 de agosto de 2013.
21 A Portaria nº 821 de 24 de agosto de 2009 altera composição do CPC para: insumos (40%), correspondente a sendo 20% a
titulação de doutores; 5% a titulação de mestres; 5% regime de trabalho docente parcial ou integral; 5% a infraestrutura; 5% questão pedagógica e Enade (60%) sendo 15% o desempenho dos concluintes; 15% o desempenho dos integrantes e 30% o IDD.
preliminar insatisfatório (inferior a 3) deverão, obrigatoriamente, submeter-se a avaliação in loco, nos processos de reconhecimento e de renovação de reconhecimento22.
Em consonância com o Art. 60 do Decreto nº 5.573/2006 “a obtenção de conceitos insatisfatórios nos processos periódicos de avaliação, nos processos de recredenciamento de instituições, reconhecimento e renovação de reconhecimento de cursos de graduação enseja a celebração de protocolo de compromisso”, cujo descumprimento enseja instauração de processo administrativo para aplicação de penalidades23. O protocolo deverá conter:
I - o diagnóstico objetivo das condições da instituição;
II - os encaminhamentos, processos e ações a serem adotados pela instituição com vistas à superação das dificuldades detectadas;
III - a indicação expressa de metas a serem cumpridas e, quando couber, a caracterização das respectivas responsabilidades dos dirigentes;
IV - o prazo máximo para seu cumprimento; e
V - a criação, por parte da instituição de educação superior, de comissão de acompanhamento do protocolo de compromisso (BRASIL, 2006, p.9).
Outro índice criado pelo MEC, conforme Portaria nº 12, de 05 de setembro de 2008, foi o Índice Geral de Cursos (IGC) que “consolida informações relativas aos cursos superiores constantes dos cadastros, censo e avaliações oficiais disponíveis no Inep e na Capes” para servir de referência ao processo avaliativo da avaliação institucional externa. O IGC é calculado com base nas médias ponderadas dos CPCs e das notas dos programas de pós-graduação, sendo a ponderação determinada pelo número de matrículas em cada um dos cursos de graduação, pós-graduação ou programas de pós-graduação stricto sensu correspondentes.
Ocorreu também, a criação do Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD), que corresponde à diferença entre o desempenho médio do concluinte de um curso e o desempenho médio estimado para os concluintes desse mesmo curso. Em uma escala de 1 a 5, na qual 5 é o melhor resultado, o indicador representa quanto
22 No decorrer da implementação do sistema avaliativo, entram em vigor novas normatizações, como foi o caso dos cursos
de Direito que tiveram instaurado, de ofício, processos de renovação de reconhecimento, independentes do CPC, segundo Despacho SERES nº 205/2013, D.O.U. de 6.12.2012 e na Nota Técnica nº 786/2013.
23 Art. 63. O descumprimento do protocolo de compromisso enseja a instauração de processo administrativo para aplicação
das seguintes penalidades previstas no art. 10, § 2, da Lei n10.861, de 2004: I - suspensão temporária da abertura de processo seletivo decursos de graduação;
II - cassação da autorização de funcionamento da instituição de educação superior ou do reconhecimento de cursos por ela oferecidos; e
III - advertência, suspensão ou perda de mandato do dirigente responsável pela ação não executada, no caso de instituições públicas de educação superior.
cada curso se destaca da média, ficando acima ou abaixo da média do que seria esperado para ele, baseando-se no perfil dos estudantes.
Para Barreyros e Rothen (2009, p.1), a expectativa de que o Sinaes teria papel central na regulação foi contrariada com a criação desses dois índices: o CPC e o IGC para cumprir tal fim. Para os autores “a publicização de índices tem grande apelo popular” porque “eles [os índices] simplificam realidades complexas [...] sua legitimidade baseia-se no caráter técnico dos órgãos que fazem a medição”. Em suma, representam a realidade de forma mais simplista, mas considerada legítima pelo público em geral. Os autores entendem que o MEC, ao reduzir o número de cursos a receberem a avaliação externa in loco, parece “aligeirar o processo de reconhecimento de cursos, perdendo espaço a avaliação formativa e o rigor regulatório”.
Verhine (2008, p.1), em resposta à crítica contida no artigo de Cláudio Moura Castro24, explicita que o CPC foi criado pelo MEC para sanar a impossibilidade de realizar as visitas in loco, realizando a avaliação a partir de informações confiáveis e já existentes. Argumenta o autor que a utilização de índices é pertinente e “são comumente utilizados para sintetizar, em uma única escala, variáveis representativas de diferentes dimensões de um mesmo fenômeno”. As divergências permanecem quanto à utilização dos índices, especialmente pela perspectiva de que a avaliação institucional, pilar da avaliação formativa proposta pelo Sinaes, parece perder espaço de discussão e de debates, mais uma vez, para avaliações de desempenho de estudantes.
Dias Sobrinho (2008, p. 821) indica não se tratar apenas de mudança metodológica e sim de “uma mudança radical do paradigma de avaliação: da produção de significados e reflexão sobre os valores do conhecimento e da formação, para o controle, a seleção, a classificação em escalas numéricas”. Outros autores nesta mesma publicação analisam e discutem a trajetória, os desafios e as inserções que envolvem o sistema nacional de avaliação. Mais recentemente, Verhine (2010, p.14), visando a contribuir para a discussão sobre a instituição do conjunto de indicadores instituídos pelo MEC, rebate as críticas de que tais inovações representem uma distorção da proposta original do Sinaes. Ao contrário, a instituição dos indicadores visa a dar operacionalidade à plena vigência e à execução de um modelo tão complexo de avaliação, focalizando os fins de regulação, pois “permitem a implementação plena da concepção original, viabilizando a operacionalização de um modelo
extremamente complexo e dando conta da dimensão não adequadamente abordada na documentação norteadora - a da avaliação para fins de regulação”. O autor destaca que “o IDD, o CPC e o IGC devem ser compreendidos como inovações que servem para universalizar o processo avaliativo e para assegurar, minimamente, a objetivação dos julgamentos realizados”.
Os resultados da pesquisa realizada pela autora em 2008 colaboram na análise do Sinaes ao revelar a prática da autoavaliação na visão dos membros da CPA em uma IES da Rede Federal – o IFBA. Desde então, algumas fragilidades e problemas apontados foram sanados, mesmo assim cabe fazer o registro que colabora para verificar os avanços. Os representantes dos segmentos destacam como potencialidade a proposta de uma avaliação com o objetivo de melhoria da qualidade do ensino. Contudo, à época, identificaram fragilidades e limitações relacionadas: à utilização dos resultados para a tomada de decisão; ao uso da avaliação como forma de classificar as instituições; ao elevado número de indicadores que torna a avaliação ao mesmo tempo abrangente, muito extensa e, por vezes, impossível de ser avaliada por todos os segmentos da comunidade acadêmica. O alcance das ações da autoavaliação institucional restringe-se a poucos interessados, o que leva à inferência, por parte dos membros pesquisados, de que a prática da avaliação tem servido “meramente como documentos comprobatórios da realização de uma avaliação institucional”, visto que “os dados da avaliação não foram devidamente utilizados pelos setores para correção ou tomada de decisões [...] principalmente no plano acadêmico” (ARGOLLO; TENÓRIO, 2009b, p.119).
Tal resultado corrobora a presente pesquisa para averiguar se, passados seis anos, estão presentes as mesmas limitações detectadas nas instituições da Rede Federal, no que tange à aplicação dos resultados e recomendações para a tomada de decisão e ações de melhoria acadêmica ou administrativa na instituição. No que tange a estas IES, a limitação maior do Sinaes reside na elaboração do perfil da instituição, levando em conta apenas um nível de ensino, já que avalia apenas os cursos superiores e suas dimensões, quer dizer, não considera a singularidade da organização acadêmica destas instituições, que ofertam diversos níveis de ensino, desde o ensino técnico de nível médio aos cursos de pós-graduação.
De maneira geral, os aspectos negativos referentes à proposta não sobrepujam os apontados como promissores nesse longo caminho para a consolidação do Sinaes, especialmente o desafio de cada uma das IES em transformar a avaliação institucional em uma
prática contínua, cuja efetividade implica no uso dos resultados para a melhoria e o desenvolvimento institucional, como aponta o relatório de uma comissão especial25 designada para avaliar os Relatórios de Autoavaliação das IES.
O documento referente à análise dos relatórios de autoavaliação das IES aponta percentuais expressivos, quanto aos itens correspondentes a sugestões de melhorias decorrentes da avaliação, indicando que 61%, o que corresponde a 105 relatórios, sugerem às IES ações corretivas a partir da autoavaliação. Todavia, este percentual é de 25,6% dos que informaram a efetivação dessas ações de melhoria, o que indica que “as IES podem se apropriar ainda mais dos resultados do trabalho desenvolvido no âmbito das suas CPAs e utilizar a autoavaliação como instrumento de mudanças nas políticas institucionais”. As IES que apontam para evidências de uso dos resultados para o replanejamento representam um percentual de 37,2% (BRASIL, 2011, p.89).
No decorrer da implementação do Sinaes houve diversos incrementos no seu arcabouço legal, alguns ocasionados pelas dificuldades de implementação, como foi o caso dos indicadores criados para sanar a incapacidade de realizar as visitas in loco como previa o desenho inicial da legislação; outros buscando aperfeiçoar o sistema, sua aplicação no âmbito nacional, fazendo ajustes, atendendo a algumas demandas e às especificidades. Dentre os mais recentes e que expressam a preocupação de aliar os procedimentos avaliativos aos procedimentos de gestão conjuminando com a problemática apresentada na presente tese, destaca-se a reestruturação do instrumento de avaliação, ocorrida no ano de 2014, que contempla os seguintes eixos:
Eixo 1 – Planejamento e Avaliação Institucional: considera a dimensão 8 do Sinaes (Planejamento e Avaliação). Inclui também um Relato Institucional, que descreve e evidencia os principais elementos do seu processo avaliativo (interno e externo) em relação ao Plano de Desenvolvimento Institucional (PDI), incluindo os relatórios emanados pela Comissão Própria de Avaliação (CPA), do período que constituiu o objeto de avaliação.
Eixo 2 – Desenvolvimento Institucional: contempla as dimensões 1 (Missão e o Plano de Desenvolvimento Institucional) e 3 (Responsabilidade Social da Instituição) do Sinaes.
Eixo 3 – Políticas Acadêmicas: abrange as dimensões 2 (Políticas para o Ensino, Pesquisa e Extensão), 4 (Comunicação com a Sociedade) e 9 (Políticas de Atendimento aos Discentes) do Sinaes.
25 Comissão designada pela Portaria nº 202/2009 com o objetivo de realizar estudo qualitativo dos Relatórios de
Eixo 4 – Políticas de Gestão: compreende as dimensões 5 (Políticas de Pessoal), 6 (Organização e Gestão da Instituição) e 10 (Sustentabilidade Financeira) do Sinaes.
Eixo 5 – Infraestrutura Física: contempla a dimensão 7 (Infraestrutura Física) do Sinaes (BRASIL, 2014a, p.3).
Ainda, no ano de 2014, houve a emissão da Nota Técnica Inep/DAES/Conaes nº 62/2014 que trata da estrutura do Relato Institucional como uma inovação ao novo instrumento de avaliação, com o objetivo de “integrar as ações de avaliação interna e avaliação externa à gestão das IES”. O texto informa como perspectiva “ampliar e fortalecer a relação entre os processos de avaliação e os processos de gestão, bem como o autoconhecimento das IES e o consequente aprimoramento das atividades de ensino, pesquisa e extensão”, em consonância com a Dimensão VI do Sinaes, Organização e Gestão da instituição, a qual destaca a participação dos segmentos nos processos decisórios (BRASIL, 2014b).
Outra publicação recente do Inep refere-se à Nota Técnica Inep/DAES/Conaes nº 65/2014, que apresenta o roteiro para Relatório de Autoavaliação institucional, tendo como um dos objetivos “destacar a relevância da autoavaliação das IES para a educação superior” que, em consonância com o PDI, se constitui no processo de autoconhecimento, quer dizer:
É um processo de indução de qualidade da instituição, que deve aproveitar os resultados das avaliações externas e as informações coletadas e organizadas a partir do PDI, transformando-os em conhecimento e possibilitando sua apropriação pelos atores envolvidos. Afinal, as ações de melhoria a serem implementadas pela instituição dependem de sua própria compreensão, de seu autoconhecimento (BRASIL, 2014c, p.2).
A Nota chama atenção que o “Planejamento e Avaliação, especialmente os processos, resultados e eficácia da autoavaliação institucional” de que trata a Dimensão VIII da Lei nº 10.861/2004 que institui o Sinaes, “devem ser considerados nas ações de avaliação e de desenvolvimento institucional”, e elabora um roteiro tencionando colaborar com as IES na construção dos seus relatórios de autoavaliação institucional, em consonância com o novo instrumento de avaliação institucional externa, considerando os relatórios das IES postados
no e-MEC26 e os Seminários Regionais sobre Autoavaliação Institucional e CPA (BRASIL, 2014c, p.1).
Para finalizar a seção apresenta-se a Figura 10 que busca sintetizar a configuração do Sinaes com suas modalidades, índices e finalidades para o MEC.
Figura 10 – Sinaes: Modalidades, Finalidades e Indicadores
FONTE: Elaborada pela autora
Apresentadas cada uma das temáticas centrais do problema de pesquisa proposto nesta tese, no tocante aos aspectos teóricos e ao âmbito de atuação das IES tece-se a trama da gestão pública. A tessitura do próximo capítulo se apresenta como o cerne da tese. Assim, complementa aspectos e conceitos relevantes para apoiar a pesquisa, ao tempo em que delineia em um Modelo de Análise a perspectiva adotada para vincular os aspectos teóricos aos metodológicos que sustentam a pesquisa de campo e a análise de dados.
26 e-MEC, sistema eletrônico de fluxo de trabalho e gerenciamento de informações relativas aos processos de regulação,
avaliação e supervisão da educação superior no Sistema Federal de Educação, instituído pela Portaria Normativa nº 40, de 12 de dezembro de 2007, publicada no DOU nº 239, de 13 -12-2007, Seção 1, págs. 39 a 43, republicada para correção do original no DOU nº 249, seção 1, quarta-feira, 29 de dezembro de 2010, páginas 23/31
5 ARTICULAÇÃO ENTRE AVALIAÇÃO E PLANEJAMENTO
Indubitavelmente, os processos de avaliação institucional e de planejamentos institucionais colaboram para um caminhar da instituição voltado para o seu desenvolvimento. Não se pode negar a importância da avaliação como instrumento de gestão, pela possibilidade de fornecer um diagnóstico fidedigno e legítimo da instituição, a partir do olhar dos seus integrantes e especialistas sobre as ações realizadas, indicando o cumprimento da missão e os pontos que precisam ser melhorados. Nesse sentido, a efetividade da avaliação pode ser percebida em função do uso dos seus resultados ou recomendações, implica em subsidiar o processo de tomada de decisão e o compromisso com as mudanças necessárias. Por sua vez, a literatura sobre o planejamento, bem como sua prática consolidada nas mais diversas organizações ao longo das últimas décadas, inclusive nas IES, coloca-o como representante, nas suas diversas tipologias, da formalização/sistematização das decisões transcritas em objetivos, metas e ações que perseguem a melhoria do desempenho da instituição.
A esta seção compete um dos maiores desafios da tese: orquestrar a discussão dos capítulos anteriores para que se juntem, não literalmente, e criem uma harmonia, ainda que não perfeita, para demonstrar as possibilidades de conexões que podem parecer lugar comum na teoria, mas na prática nem sempre acontece. Assim, articular assume o sentido de unir, estabelecer uma conexão. Desse lugar, se retoma a problemática para estabelecer alguns pressupostos e elaborar um modelo teórico que contribua na construção e análise da base empírica. Com esse intento, a seção apresenta alguns pontos para reflexão sobre conceitos necessários à compreensão do lugar da pesquisa na perspectiva da pesquisadora, com uma breve explanação sobre os tipos de uso da avaliação, destacando o uso instrumental para tomada de decisão. Assim sendo, abre espaço para discorrer sobre o processo decisório nesse contexto. Finalmente, retoma brevemente aspectos discutidos sobre a avaliação e o planejamento institucionais para apresentar elementos que articulem os processos em análise, de modo a dar sentido a cada uma das práticas, como se encadeados se