Avaliação do ensino superior

A avaliação institucional tem se tornado importante no ensino superior. As instituições de ensino superior cada vez mais estão sendo convocadas por consumidores e autoridades externas a demonstrar como elas ‘fazem a diferença’ e a fornecer evidências sobre maneiras pelas quais seus alunos têm aprendido.

Os países, preocupados em promover e sustentar a qualidade da educação oferecida a seus cidadãos e em favorecer a eficiência e a eqüidade em seus sistemas educacionais, segundo Castro (2001), reconhecem a avaliação educacional como mecanismo crucial de orientação e acompanhamento das reformas introduzidas pelas políticas públicas. Nestes contextos, são importantes tanto as avaliações institucionais, em suas diferentes dimensões – dos processos de gestão às condições de infra-estrutura física e acadêmica para a oferta de cursos –, quanto a aferição dos resultados educacionais, além das conexões reais entre os objetivos maiores do desenvolvimento socioeconômico nacional e as metas perseguidas pelo sistema educacional.

“A crescente preocupação com a qualidade, e a necessidade de ser accountable para a sociedade, têm feito da avaliação uma realidade inquestionável, abrangendo ensino, pesquisa, atividades de oferta de serviços ou atividades no nível institucional” (ROSA ET AL., 2001, p. 1012). Muitos países têm desenvolvido sistemas de avaliação do ensino superior que envolvem, em geral, a auto-avaliação inicial que é completada com a avaliação externa. Taylor (2001) afirma que o desenvolvimento e a aplicação de indicadores de performance tornaram-se parte integral da abordagem para a administração do sistema de ensino superior em diversos países, e alguns têm associado a concessão de fundos, principalmente para pesquisas, ao desempenho dos indicadores. No contexto do ensino superior, a avaliação pode ser aplicada em vários níveis de atividade – do curso, do programa, da faculdade, da instituição ou de um grupo de instituições.

Segundo Dill (2000), os três principais tipos de avaliação da qualidade, no ensino superior, atualmente utilizados no mundo, são a auditoria acadêmica, a acreditação e a avaliação ao nível do sujeito. Balogh e Filep (2001) consideram que

os modelos de avaliação existentes podem ser classificados da seguinte forma: de controle ou aperfeiçoamento (por objetivo); institucional ou por programa (por tipo); interno ou externo (por forma). Quanto ao processo de avaliação, cabe destacar também que

[...]a emissão de selos de qualidade institucional é uma enorme responsabilidade, devido à complexidade dos processos que respaldam, aos riscos que se incorre de cometer injustiças não- antecipadas e ao importante potencial que possui de servir como alavanca da qualidade e da auto-regulação, se for conduzida com sensibilidade para este fim (Castro, 2001, p. 7).

Os sistemas de avaliação exigem, segundo Kells (APUD CASTRO, 2001), uma estratégia de regulamentação em duas etapa:

passo seletivo que envolve algum tipo de autorização de funcionamento mediante o cumprimento de um patamar mínimo de padrões de qualidade, abaixo do qual não se tem direito de existir, nem de usar o termo de universidade ou IES, nem de oferecer certos cursos, emitir diploma e conferir grau (função do governo, em geral, denominada licenciamento)

‘acreditação’ ou credenciamento é um processo de regulação relativamente fraco, em comparação com o licenciamento – se livre da função de crivo – pode ser um mecanismo que encoraja e apóia esforços de melhoria genuína da qualidade.

As menções a critérios de avaliação encontradas na literatura, segundo Belloni (2000), não seguem um padrão uniforme de definições de conteúdo, porém estabelecem duas grandes referências, pois há:

(1) um conjunto de critérios substantivos, como qualidade, pertinência, relevância, eficácia social, importância e utilidade, que se referem a compromissos institucionais ante as necessidades políticas e culturais da sociedade e que estão associados a um construto denominado qualidade institucional; e,

(2) um conjunto de critérios instrumentais, como produtividade, eficiência, eficácia e efetividade, que se referem a objetivos e processos internos à instituição e que estão associados a um construto denominado desempenho organizacional.

A qualidade institucional, de acordo com Belloni (2000) diz respeito a atributos políticos e culturais (não formais) externos à instituição. Para avaliar a qualidade da instituição, o observador deve colocar-se em uma posição externa a ela e considerar referências e valores da sociedade. Esta avaliação associa os resultados das atividades universitárias com as exigências e necessidades político-culturais da

sociedade e depende de visões subjetivas do agente avaliador relativas às referências e valores sócio-culturais.

O processo de avaliação nas instituições de ensino superior precisa, conforme Nolli (2001), ser focalizado sobre processos, circunstâncias e conseqüências (e não sobre contribuições individuais), para que seja viabilizado o seu planejamento sem agredir a liberdade acadêmica, o comprometimento institucional e o elevado nível de desempenho individual e grupal. Estas, segundo Neiva (1999), são condições necessárias à sobrevivência de projetos intelectuais e ao desenvolvimento de uma ordem organizacional moderna, eficiente e eficaz, capaz de assegurar:

− Um alto nível de qualidade das relações formais e informais entre as pessoas, no seu interior.

− Um alto nível de interação entre a instituição e o seu exterior (afirmando sua autonomia institucional).

− Um elevado grau de modernização dos procedimentos administrativos de suporte ao funcionamento da instituição, suficiente para que os processos de transformação e de transferência do potencial intelectual disponível desenvolvam-se, centrada e ajustadamente, tanto em termos de eficiência quanto de qualidade.

− Um aumento na capacidade de gestão das atividades que se desenvolvem no interior da instituição.

− Maior rapidez na identificação de problemas e na apuração de resultados do trabalho realizado.

− Maior condição de decidir ao alocar recursos e eliminar desperdício.

Na Europa, segundo Neave (1988), houve nos anos 70-80 do século XX, “surgimento do Estado avaliativo”, o que significou a emergência de um novo tipo de relacionamento entre o Governo e as instituições de ensino superior européias. Por muitos anos, o Estado foi o elemento controlador do sistema de educação superior, definindo a priori tudo que constituía os principais inputs e os desejados outputs do sistema (estudantes, currículos, requisitos para concessão do grau, etc.), no denominado ‘Modelo de Controle do Estado’.

Rosa et al. (2001) destacam que, recentemente, os governos passaram a reconhecer amplamente que esse tipo de controle resultou em um sistema não flexível o suficiente para se adaptar às mudanças ambientais. Neave e Van Vught

(apud ROSA ET AL., 2001) argumentam que houve mudança do paradigma para avaliação de instituições de ensino superior, o que resultou em um novo modelo de relacionamento designado de ‘Modelo do Estado Supervisor’, onde o Governo assume um papel regulador, dando às instituições maior liberdade.

Nos Estados Unidos, a história do Sistema de Comprehensive Accreditation começou, no início século XX, em resposta à ofensiva dos governos estaduais de criar e interferir nas land-granted universities. As universidades particulares mais tradicionais tomaram a frente com o lema “deste negócio quem entende somos nós” e criaram um selo de qualidade regional. São cinco agências regionais, cada qual credenciando todo o espectro de instituições de ensino pós-secundário de suas regiões. Em 1966, o Congresso aprovou uma lei limitando o acesso das instituições credenciadas por este sistema a verbas federais.

De outro lado, desenvolveu-se um sistema de credenciamento de cursos – chamado de programatic ou specialized accreditation – por iniciativa de organizações não governamentais, em geral associações nacionais das profissões. O propósito destes sistemas de acreditação é obter o aumento da qualidade da educação oferecida por instituições de ensino superior. Com base na auto-avaliação, o processo de acreditação pode destacar as necessidades por mudança sem prejudicar a singularidade e a autonomia das instituições individualmente.

No Brasil, a partir da década de 80 algumas universidades começaram a elaborar seus próprios projetos de avaliação, e se delineou uma segunda vertente de metodologias de avaliação que tem a instituição universitária como objeto. Na década de 90, a maioria das universidades públicas brasileiras desenvolveu projetos próprios de avaliação, boa parte deles motivados e financiados pelo Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB) e executados dentro de sua proposta metodológica. Assim, “a avaliação institucional das Universidades é [...] reconhecida como uma necessidade por todos os setores envolvidos com a vida universitária (dirigentes, docentes, discentes, sindicatos e governo)” (MEC/PAIUB, 1994, p.5).

Segundo Freitas e Silveira (1997), reconhecendo a necessidade de incentivar, orientar e estabelecer critérios comuns para a avaliação do ensino superior, a Associação Nacional de Instituições Federais de Ensino Superior (ANDIFES)

instituiu o Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB) em 1993, com o objetivo de fornecer apoio técnico e financeiro aos processos de avaliação nestas instituições. Os indicadores são, basicamente, os seguintes:

(1) Em relação ao corpo docente - dimensão do corpo docente permanente, observada em relação ao número de alunos do curso e de disciplinas oferecidas; qualificação do corpo docente permanente, considerada em relação à atitude e à experiência na área; composição do corpo docente, segundo suas especialidades, de forma a atender às necessidades das áreas oferecidas pelos cursos; dedicação do corpo docente permanente; situação do curso em relação a professores visitantes e participantes; dependência de orientadores em tempo parcial; e, relação orientando - orientador.

(2) Em relação às atividades de pesquisa - relevância na área de conhecimento; coerência com a proposta do curso; adequação da quantidade ao corpo docente e discente.

(3) Em relação à produção docente - qualidade do veículo de divulgação; quantidade e regularidade; distribuição por docente; vinculação com a proposta do curso.

(4) Em relação à estrutura curricular - suficiência e regularidade das atividades de ensino desenvolvidas; adequação e coerência do elenco de disciplinas ou de atividades realizadas, em relação à proposta do curso e ao nível de mestrado e/ou doutorado.

(5) Em relação ao corpo discente - produção de dissertações, teses e outras produções desenvolvidas; fluxo do alunado e tempo médio de titulação.

O esforço de construção de modelos próprios de avaliação realizado pelas instituições de ensino superior, principalmente pelas federais, e o consenso que o tema alcançou no meio acadêmico e em órgãos governamentais, levaram ao surgimento.

Além de ter considerado a avaliação institucional como uma forma de rever e aperfeiçoar o projeto acadêmico e sócio-político da instituição, o documento básico do PAIUB adotou o pressuposto que a utilização eficiente, ética e relevante dos seus recursos, traduzida em compromissos sociais, assegura a qualidade e a importância dos seus resultados e a sua legitimação social. Em 1996, integravam o programa PAIUB cerca de 70% das universidades brasileiras reconhecidas (Carta de Recife, 1996). No período 1994-1997 o PAIUB financiou programas de avaliação em 138

instituições de ensino superior (MEC/PAIUB, 1998). Destacam-se os resultados desses processos, que com a estruturação e a implementação.

[...] de um sistema de avaliação e de estatísticas educacionais abrangendo a graduação, introduziram significativas mudanças na agenda de debates e na orientação das políticas públicas para o setor. Permitindo a produção de diagnósticos bem fundamentados dos problemas e deficiências, esse sistema colocou em evidência questões essenciais, como a eqüidade na distribuição dos recursos públicos, as condições necessárias à oferta de cursos, a qualidade do ensino ministrado, a qualificação dos professores e os modelos de gestão institucional, entre outras” (CASTRO, 2001, p.4 ).

Além dessas efetivas contribuições, ressalta-se a inovação do Programa de Avaliação Institucional da Universidades Brasileiras, propondo em sua metodologia o uso de um conjunto de indicadores “considerados básicos para a construção de uma metodologia comum de avaliação global”, a ser completado “no âmbito de cada IES e no sistema como um todo por outras informações substanciais” (Brasil/MEC, 1994).

A Lei de Diretrizes e Bases da Educação Nacional (LDB), nº 9394, de 20/12/1996, criou um sistema de autorização e reconhecimento de cursos, bem como de credenciamento e recredenciamento periódico das instituições de educação superior, precedido de um processo de avaliação que envolve três aspectos básicos: o rendimento dos alunos, o mérito do professor e a qualidade da instituição como um todo. As informações estatísticas e avaliações do ensino, da pesquisa e da extensão devem fornecer subsídios para um processo específico de avaliação institucional.

Essa LDB n. 9394/96, define, em seu artigo 9, as atribuições da União ‘autorizar, reconhecer, credenciar, supervisionar e avaliar os cursos da Instituições de Ensino Superior e dos Estabelecimentos Federais’. O Sistema de Avaliação Superior é composto de: Avaliação Institucional, Avaliação das Condições de Ensino e Exame Nacional de Cursos.

No ensino de graduação, ocorrem dois sistemas paralelos e complementares da avaliação: (1) um exame de final de curso, que visa estabelecer um indicador objetivo de qualidade do ensino através de uma medida de rendimento dos alunos; (2) uma avaliação dos cursos por área de conhecimento, efetuada por comissões de especialistas, a qual deve integrar os indicadores de insumos e de eficiência com os resultados dos exames de final de curso. Estas comissões de especialistas

desenvolvem um trabalho baseado na análise de indicadores (análise da infra- estrutura disponível, da qualificação do corpo docente, da estrutura curricular, das.taxas de repetência e evasão e do desenvolvimento de atividades de pesquisa) e nas visitas in loco ao conjunto de instituições brasileiras que oferece cursos em diferentes áreas.

Na pesquisa e pós-graduação, a avaliação das instituições de pesquisa, feita por instituições externas (agências de fomento à pesquisa e diferentes associações científicas) ao Ministério da Educação, que fazem parte do Sistema de Ciência e Tecnologia, incide sobre a qualidade dos projetos (para concessão de financiamento) e sobre a produção científica em diferentes áreas do conhecimento.

Para a pós-graduação existe um sistema de avaliação permanente, desenvolvido pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), que se baseia em parâmetros de eficiência e de qualidade tanto dos produtos dos cursos quanto dos insumos. Os principais parâmetros a destacar são os referentes: à qualidade do corpo docente, à infra-estrutura física de laboratórios, biblioteca, à estrutura curricular; e à organização do trabalho em linhas de pesquisa. A qualidade do produto é avaliada com base na produção científica (através das referências das publicações em livros ou revistas científicas) e na produção de dissertações e teses (avaliadas por bancas). A eficiência é avaliada pela taxa de conclusão dos cursos e pelo tempo médio para a obtenção do diploma. A CAPES instituiu, em 1977, o sistema de avaliação dos programas de pós-graduação com o objetivo de selecionar cursos de pós-graduação com vistas à alocação de recursos, mediante a concessão de bolsas de estudo e outros tipos de auxílios destinados a estimular a formação de recursos humanos qualificados. O sistema de avaliação da pós-graduação pela CAPES mantém, até hoje, a função classificadora dos cursos. Os procedimentos avaliativos nele adotados baseiam -se em comitês formados por acadêmicos e buscam identificar ações que levem os programas de pós-graduação a atingir padrões internacionais (MEC/CAPES, 1997).

As dimensões e as categorias de análise utilizadas na avaliação da pós- graduação são apresentadas em uma síntese no Quadro 10.

Dimensões Categorias de análise

Dimensão do corpo docente permanente em relação ao número de alunos do curso e de disciplinas oferecidas

Qualificação do corpo docente permanente considerada em relação à atitude e à experiência na área

Composição do corpo docente segundo suas especialidades de forma a atender às necessidades das áreas oferecidas pelos cursos

Dedicação do corpo docente permanente

Situação do curso em relação a professores visitantes e participantes Dependência de orientadores em tempo parcial

Corpo docente

Relação orientando - orientador Relevância na área de conhecimento Coerência com a proposta do curso Atividades de

pesquisa

Adequação da quantidade ao corpo docente e discente Qualidade do veículo de divulgação

Quantidade e regularidade Distribuição por docente Produção

Docente

Vinculação com a proposta do curso

Suficiência e regularidade das atividades de ensino desenvolvidas Estrutura

Curricular Adequação e coerência do elenco de disciplinas ou de atividades realizadas, em relação à proposta do curso e ao nível de mestrado e/ou doutorado

Produção de dissertações, teses e outras atividades desenvolvidas Fluxo do alunado

Corpo discente

Tempo médio de titulação

Quadro 10 – Dimensões e categorias de análise utilizadas na avaliação da pós- graduação

O campo do estudo sobre instituições de ensino superior é relativamente recente e, como uma nova área de pesquisa, modelos e estruturas têm sido propostos, pesquisadores têm coletado dados, testado hipóteses e aprofundado os estudos, várias escolas do pensamento tem emergido e ganho aceitação. Mas a literatura sobre as instituições de ensino superior é incipiente na abordagem específica dos fatores determinantes do sucesso dos cursos de graduação.

Grande parte dos modelos que buscam determinar os fatores-chave para o sucesso no ensino superior concentram seu foco na análise na instituição, seja ela uma faculdade ou uma universidade, não considerando os elementos específicos de um curso de graduação. Os cursos de graduação são, em geral, contemplados nos processos de avaliação para autorização, credenciamento ou recredenciamento realizados pelo Governo através da comissão de especialistas, em muitos países, inclusive no Brasil.

Observa-se que em cada uma das perspectivas usadas para interpretar o sucesso, a ênfase é dada à diferentes construtos unidimensionais, voltando-se ora para elementos intrínsecos às instituições de ensino superior (como a estrutura, as pessoas, o processo pedagógico, a avaliação) ora para elementos extrínsecos (como o governo, o background dos alunos, o mercado). Muitas tentativas não foram capazes de considerar, simultaneamente, os elementos intrínsecos e extrínsecos à instituição.

A busca contínua por novas fórmulas demonstra que nenhuma delas satisfez plenamente ao interpretar a prática no curso de graduação. Mesmo propostas que procuram reunir todas essas perspectivas também se mostram limitadas, dada a crescente complexidade das instituições de ensino superior. Tendo em vista que os modelos apresentados anteriormente refletem, cada um deles, uma parte da organização universitária e, ao mesmo tempo, não conseguem retratar a realidade integral dos cursos de graduação, estes podem ser estudados a partir de diferentes interpretações. Certamente, todos os modelos têm contribuições a oferecer levando, de alguma forma, à compreensão dos tipos de organização dos cursos.

Embora esses modelos multidimensionais já apresentem uma evolução significativa sobre as concepções passadas, a pura interação desses elementos pouco elucida os fatores críticos do sucesso para as instituições de ensino superior. Ao buscar compreender os fatores que limitam ou fomentam o sucesso destas instituições, tais pesquisas não têm sido sensíveis à perspectiva dos professores, os atores que, necessariamente, participam da construção dos cursos de graduação.

Segundo uma experiência prática, ao trabalhar como professora e como coordenadora de cursos de graduação, percebeu-se que a dinâmica do desenvolvimento destes cursos é afetada por elementos intrínsecos e extrínsecos a eles e à instituição de ensino superior. Na verdade, observou-se a importância de fatores intrínsecos ao curso (como aqueles contemplados pela avaliação das condições de ensino) e de fatores extrínsecos (como as condições de concorrência no mercado e o background dos alunos). Neste sentido, o presente trabalho tem como objetivo compreender os fatores determinantes do sucesso dos cursos de graduação a partir da ótica dos professores, sejam eles gestores, pesquisadores ou docentes.

Não se tem conhecimento de trabalhos que explorem o sucesso dos cursos de graduação, pois, em geral, abordam o sucesso em nível institucional. Da mesma forma, parece não haver trabalhos que explorem o sucesso a partir da perspectiva dos professores. Tendo em vista o papel dos professores nos cursos de graduação e, conseqüentemente, em seu desenvolvimento, é relevante conhecer o ‘olhar’ destes atores sobre os fatores críticos do sucesso de tais cursos.

O Quadro 11 reúne algumas modalidades de avaliações de cursos existentes e as respectivas dimensões contempladas, do Brasil (CAPES, PAIUB e INEP) e dos Estados Unidos (New England Association e US News e World Report).

profissional Composição segundo

Especilidade

Dedicação do corpo docente permanente Visitantes e participantes Visitantes e

participantes Produção

Produção de dissertações, teses e outras atividades

Fluxo do alunado Diplomado/ ingressante Taxa de titulação

Tempo médio de titulação Corpo

discente

Nº aluno/docente nº aluno/ funcionário Estrutura curricular Estrutura curricular

Adequação e coerência Suficiência e regularidade

das atividades

Administração acadêmica Organização e governo Projeto do curso Programas e instrução

Planejamento e avaliação Organização

didático- pedagógica

Articulação – graduação

Instalações gerais Recursos físicos/ Instalações Biblioteca Biblioteca Recursos de informação Instalações e laboratórios específicos Instalações

Serviços aos estudantes

Missão e objetivos Transparência Reputação acadêmica Integridade Seletividade dos alunos

Taxa de graduação e retenção dos alunos Recursos financeiros Recursos financeiros Gestão

Doação de ex-alunos Quadro 11 – Comparativo entre as diversas as diversas modalidades de avaliação de cursos – Perspectiva acadêmica

dos principais conceitos e modelos de sucesso e estado da arte sobre os fatores críticos do sucesso. O presente capítulo destaca a opção metodológica que norteou o desenvolvimento desta pesquisa empírica.