Conclusões

Os resultados apurados, analisados e interpretados no capítulo 8 mostram que o quadro teórico-conceitual e a metodologia descritos nos capítulos 2 a 4 e 6 a 7, respectivamente, são adequados para os estudos empíricos necessários em uma meta-avaliação real, uma vez que eles permitiram a elaboração de articulações entre os dados das avaliações e os referenciais teóricos estabelecidos. Essas articulações levaram ao desvelamento de significados explícitos e implícitos nos documentos oficiais e técnicos analisados e permitiram responder às quatro questões de meta- avaliação colocadas com vistas a orientar a investigação da eficácia, da eficiência, da efetividade e da relevância dos instrumentos e do Processo de Avaliação dos Cursos de Graduação, executados na área de Administração em 2002, quais sejam:

• Os instrumentos e o Processo de Avaliação dos Cursos de Graduação exibem eficácia? Ou seja, eles geraram as informações que deveriam gerar, conforme as metas estabelecidas?

A ACE e o ENC de Administração, no ano de 2002, não produziram todas as informações requeridas em suas metas específicas, e, desse modo, esses instrumentos não se mostraram eficazes. Nesse sentido, a ACE não definiu nem explicitou claramente os níveis de qualidade pretendidos, a fim de avaliar as distorções a serem contornadas (superadas) pelo curso; não gerou informações sobre o cumprimento de metas estabelecidas pelo curso; não apresentou recomendações para corrigir distorções identificadas; e não verificou o processo de auto-avaliação do curso. O ENC, por sua vez, não gerou informações para subsidiar o processo de aprimoramento da formação do administrador como cidadão; e não gerou dados por município. No entanto, o Processo se mostrou eficaz, uma vez que os seus resultados mostraram que suas metas gerais foram atingidas, isto é: (i) gerou informações para o MEC avaliar os cursos superiores mediante a análise dos resultados do ENC e da ACE; (ii) gerou informações para o MEC avaliar: os principais indicadores de

desempenho global do sistema nacional de educação superior, por região e unidade da federação, segundo as áreas do conhecimento e a classificação das IES; e, o desempenho individual das IES. Essa incongruência entre os resultados específicos e gerais indica o Processo ser autocontraditório. Possivelmente porque o planejamento e a implementação dos instrumentos de avaliação que o compunham não tenham considerado adequadamente o seu arcabouço normativo. Dado o exposto, cabe ao gestor da avaliação fixar seu olhar e discernimento sobre as metas a serem alcançadas e sobre os obstáculos a serem superados para que tais metas estejam adequadas e possam ser atingidas, de forma a viabilizar uma avaliação que exiba utilidade e validade, considerando-se seus objetivos e finalidade estabelecidos em lei.

• Os instrumentos e o Processo de Avaliação dos Cursos de Graduação exibem eficiência? Ou seja, eles otimizam a relação custo-benefício?

Os dados disponíveis para a consecução desta pesquisa não permitiram inferências sobre o custo-benefício dos instrumentos e do Processo, tampouco sobre a eficiência deles.

• Os instrumentos e o Processo de Avaliação dos Cursos de Graduação exibem efetividade? Ou seja, as informações por eles geradas são empregadas para a consecução de seus objetivos, conforme previsto em lei?

A análise revelou que a ACE/2002 de Administração exibe efetividade, uma vez que os resultados e o seu uso foram congruentes com os objetivos específicos, estabelecidos em lei. Ou seja, essa avaliação refletiu a análise da organização didático-pedagógica, do corpo docente, das instalações físicas e da biblioteca, e os resultados foram usados pelo MEC para avaliar os cursos superiores. Ao contrário, não é possível dizer que o ENC/2002 de Administração seja efetivo, visto que ele não atingiu seus objetivos de (i) aferir os conhecimentos e as habilidades adquiridos pelos alunos em fase de conclusão de curso, com base nos conhecimentos mínimos estabelecidos; e (ii) o MEC utilizar os resultados do Exame para empreender ações no sentido de elevar a qualidade dos docentes. Igualmente, o Processo de Avaliação dos Cursos de Graduação também não se mostrou efetivo, uma vez que não foram identificadas, na documentação analisada, informações que permitissem o MEC determinar a eficiência das atividades de ensino pesquisa e extensão, como declarado em objetivo.

• Os instrumentos e o Processo de Avaliação dos Cursos de Graduação exibem relevância? Ou seja, os resultados deles satisfazem as necessidades de informação de seus stakeholders, sob o ponto de vista dos seus representantes no Poder Legislativo, conforme declarado na finalidade prevista em lei?

Há fortes indícios de a ACE, o ENC e o Processo de Avaliação dos Cursos de Graduação exibirem relevância, visto que eles produziram informações para a finalidade de orientar as ações do MEC no sentido de formular e avaliar a política nacional de educação, zelar pela qualidade do ensino e velar pelo cumprimento das leis que o regem. Observe-se que o MEC utilizou os resultados da ACE e do ENC para subsidiar os processos de reconhecimento e renovação de reconhecimento de cursos, que é uma forma de zelar pela qualidade do ensino.

Essas quatro respostas não mostram evidências suficientes para afirmar que o Processo de Avaliação dos Cursos de Graduação, empregado pelo MEC em 2002 para avaliar os cursos de Administração, seja um processo de avaliação com qualidade, visto que ele não se mostrou eficiente e efetivo, e, conseqüentemente, ele não exibiu mérito e valor. Os relatórios da ACE e do ENC também não exibiram qualidade, uma vez que diversos aspectos falhos foram identificados, tais como a não apresentação de conclusões e recomendações, o que implicou na ausência de juízos dobre o valor e o mérito dos cursos. Ademais, a disseminação desses relatórios se mostrou ineficaz e não foi localizado um Relatório-Síntese Geral do Processo de Avaliação dos Cursos de Graduação, que deveria ter sido gerado pelo MEC. Em suma, o Processo não tem qualidade e, conseqüentemente, na configuração que ele se apresenta, não é adequado para avaliar a qualidade de cursos de graduação.

A meta-avaliação da qualidade do Processo de Avaliação dos Cursos de Graduação, focada nos critérios de eficácia, eficiência, efetividade e relevância proporcionou uma visão global dele. Frente a isso, o quadro teórico de análise, desenhado sob tais critérios, com vistas ao valor e mérito de processos de avaliação de cursos de graduação, é fecundo e coerente para realizar meta-avaliações focadas na capacidade deles avaliarem a qualidade dos cursos. Conseqüentemente, a tese desta pesquisa mostrou-se verdadeira.