Modelos e Sistemas de Acreditação e Avaliação no Ensino Superior: abordagem sistêmica e sui generis no Brasil

(1)

1 Modelos e Sistemas de Acreditação e Avaliação no Ensino Superior:

abordagem sistêmica e sui generis no Brasil

Cleber Augusto Pereira¹ Maria de Lourdes Machado²

Joaquim Filipe Ferraz Esteves de Araújo³

Resumo

Estudo aplicado ao contexto da acreditação e avaliação do Ensino Superior (ES). São discutidas de forma sistêmica as recentes reformas no contexto do modelo de avaliação brasileiro. Foram apresentadas as mudanças propostas pelas novas resoluções publicadas em 2016 e realizado um mapeamento conceitual sui generis da aplicação dos novos indicadores de qualidade. Estudo relevante no contexto da percepção de desempenho e qualidade com foco no caso brasileiro. Os objetivos são explicar, longitudinalmente, as formas utilizadas pelas agências/órgãos de controle para medir o desempenho e garantir a qualidade do ES. A metodologia de investigação utilizou a triangulação, com combinação de múltiplos métodos qualitativos e quantitativos. Destaca-se a relevância do estudo para o desenvolvimento do ES, pretendendo contribuir para a melhoria da qualidade do ES, tomando-se como comparativo os achados das melhores práticas evidenciadas no modelo avaliado.

Palavras-Chave: Ensino Superior. Avaliação. Acreditação. Agência. Desempenho.

1 Introdução

As agências de acreditação e avaliação têm discutido e buscado o desenvolvimento da qualidade do ES através de iniciativas que procuram avaliar o desempenho dos cursos e dos estudantes. Pode-se exemplificar iniciativas como a da Organização Econômica para a Cooperação e Desenvolvimento (OECD) que avalia, mede a efetividade de sistemas de educação, elabora estratégias de auditoria, no sentido de legitimar sua atuação em todo o mundo (Barzelay, 2014; Morgan, Shahjahan, 2014; Hanushek, Link, & Woessmann, 2013;

Lenkeit & Caro, 2014; Soh, 2014).

Este estudo propõe avaliar e explicar, a partir do contexto brasileiro, a atuação e contribuição da agência/órgão de acreditação e avaliação. Este cenário vai em direção aos preceitos de Lamarra e Centeno (2016, p. 138), quando afirmam que os processos de garantia

1 Universidade do Minho, Portugal, kcleber@gmail.com

2 Centro de Investigação em Políticas do Ensino Superior (CIPES) e Agência de Avaliação e Acreditação do Ensino Superior (A3ES), Portugal, lmachado@cipes.pt

3 Universidade do Minho, Portugal, jfilipe@eeg.uminho.pt

(2)

2 de qualidade na América Latina têm sido fortemente influenciados pelos registrados anteriormente na América do Norte (Estados Unidos e Canadá) e na Europa.

A OECD (1999) menciona as diferentes culturas entre modelos de acreditação e avaliação e considera os diferentes padrões de garantia de qualidade entre Estados Unidos e Reino Unido. Em 2009, as discussões inerentes à qualidade e garantia da qualidade aplicadas ao ES continuam a ressaltar a necessidade de promover a cultura da qualidade. Harvey (2009, p.1) ressalta que a cultura da qualidade tende a ser entendida como resultado de melhores processos internos de qualidade: “There is increasingly a taken-for-granted view that quality culture is about the development of, and compliance with, processes of internal quality assurance”. Lanares (2008, p. 13) explica que dentre duas formas em que as IES podem desenvolver a qualidade como cultura, deve-se preferir a segunda forma, em que a continuidade da cultura tende a facilitar a mudança:

“In some cases, the institution will introduce quality assurance. This will imply new values which will have to be integrated in the organizational culture. In other ones, the creation of quality assurance will start from the existing quality culture. Once finalized, quality assurance will in turn influence and modify the quality culture.

As questões de partida aderem a este cenário e permitem o desenvolvimento das questões de acreditação, avaliação e qualidade do ES no Brasil: Que indicadores são utilizados pela agência/órgão de acreditação/avaliação para influenciar ou determinar o desempenho institucional e dos cursos de graduação?

Os objetivos são: a) rever as abordagens de responsabilização e a necessidade da qualidade no ES; b) explicar as principais características e a prática da garantia da qualidade no ES brasileiro; c) confrontar as práticas com as exigências legais das agências de acreditação; d) explicar o modelo brasileiro de ES, considerando as dimensões de avaliação institucional e de cursos.

Decidiu-se utilizar a estratégia de triangulação. Por fornecer múltiplas visões e métodos de obtenção de informações, sua utilização permite amenizar problemas de credibilidade em pesquisa (Tashakkori & Teddlie, 1998; Fielding & Schreier, 2001; Yauch &

Steudel, 2003; Hussein, 2009), pela combinação de métodos e fontes de dados em aspectos qualitativos e quantitativos.

(3)

3 2 O Modelo de Avaliação do ES de Brasil

Esta seção contextualiza o cenário contemporâneo de responsabilização e aumento de qualidade no ES e explica como ocorre o processo de garantia da qualidade em prática pelo Sis- tema Nacional de Avaliação da Educação Superior (SINAES).

2.1 A evolução da responsabilização e a coerção pela qualidade nos modelos de ES

Harvey e Askling (2003) afirmaram que nos anos 90, a busca pela qualidade emergiu no cenário do ES. Iniciando a busca por eficiência e efetividade nos serviços públicos, oriunda dos ideais da New Public Management (NPM) (Hood, 1989; Pollitt, 1993), não sendo possível a isenção das IES desta nova exigência de produzir mais com menos custos (Bleiklie, 1998). As IES passaram a incorporar estas mudanças (Askling, & Henkel, 1988) na tentativa de acompanhar a ascensão do “The Evaluative State” (Neave, 1988) cultivando a qualidade, eficiência e cultura empreendedora no ES.

Seguindo este status quo, Santos (2011) posiciona o ES como uma responsabilidade pública e ressalta a importância dos governos e sociedade de zelar pela qualidade do ES. Isto ocorreu pela necessidade de garantir a qualidade das IES através dos poderes públicos. Pode ser evidenciado em diversos modelos de acreditação baseados na auto-regulação. A abordagem de responsabilização dos governos pela qualidade do ES, sua acreditação e avaliação tem sido ressaltada nas diversas comunidades acadêmicas (Bleiklie, 1998; Cret, 2011; Deem, 1998; Neave, 1998; Stensaker, Langfeldt, Harvey, Huisman, & Westerheijden, 2011).

Têm-se assistido à evolução dos modelos e sistemas de avaliação e de garantia da qualidade de forma globalizada. O governo de cada país tem adaptado suas regras, melhorias e órgãos de controle de forma diferenciada. Por exemplo, o uso dos processos de avaliação na Comunidade Europeia (ENQA, 2005, 2007, 2009; Rosa, Cardoso, Dias, & Amaral, 2011), os processos de acreditação nos Estados Unidos (Eaton, 2009, 2012; Harvey, 1995, 2002;

Massy, 2005) e os sistemas de avaliação híbridos ou alternados na América Latina (Lamarra, 2006, 2007; Santos, 2011; Lei nº. 10.861⁴, 2004) e países do leste europeu.

4 Lei nº. 10.861 de 14 de abril de 2004 do Ministério da Educação. Presidência da República do Brasil que

instituiu o Sistema Nacional de Avaliação da Educação Superior (SINAES).

(4)

4 2.2 A reforma do modelo em busca ao estado da arte: bons SINAES

Polidori (2009, p.440-441) ressalta que as reformas ocorridas durante o governo de Fernando Henrique Cardoso (1995-2003), culminou na privatização ou concessão ao setor privado da execução de funções e serviços públicos, incluindo-se o ES. A partir do marco denominado por Felix (2008) de “construção da avaliação emancipatória”, a implantação do SINAES passou a ter o objetivo de desenvolver uma política de avaliação aderente à sua rea- lidade sui generis.

Estas mudanças tentaram ajustar o cenário do país às sugestões do relatório publicado pelo Observatory on borderless higher education: Priorizando o conhecimento para o desenvolvimento da nação; incluindo alterações de forma racional no ES; diminuindo relações de- siguais entre países em desenvolvimento; implantando políticas de democratização do acesso e qualidade do ES; combatendo a visão errônea de priorização da educação básica em detri- mento do ES (Naidoo, 2007, p.2-9).

Quanto ao crescimento desenfreado do ES na América Latina (Lamarra & Cóppola, 2007, p.18; Lamarra & Centeno, 2016, p.137) afirmam que foram criados diversos tipos de IES universitárias e não universitárias⁵, em sua maioria privadas, como tentativa de atender a demanda crescente do mercado e, que neste cenário, não foram pensados em critérios de qualidade e de pertinência institucional.

Estas iniciativas consolidaram a proposta de implantação de um modelo de qualidade no ES brasileiro que vai de encontro ao modelo de supervisão estatal, que segundo Neave e Van Vught (1994), reconhece que o estado tem dificuldade e ineficiência de controlar um sistema dinâmico de ES massificado, complexo e em constante mutação.

Em síntese, a proposta seguiu a tendência internacional de transformar o governo em um órgão regulador do ES, não mais atuando como controlador, para isto tendo idealizado a implantação do SINAES. Para Amaral e Magalhães (2001) este modelo de ES permite poucas intervenções nas decisões diárias das IES, devido a sua autonomia⁶, limitando-se ao governo a tarefa posterior de direção, supervisão e avaliação de desempenho.

5 No caso brasileiro, as instituições não universitárias são representadas pelos Institutos Federais.

6 No Brasil as universidades possuem autonomia para criar, alterar e extinguir cursos de ES dentre outras atribuições. Durham (2003, 276-277) afirma que a Universidade goza de autonomia para executar essas atividades que lhes são próprias, e que não são realizadas para seu interesse exclusivo, mas constituem um serviço que presta à sociedade. Como consequência, o reconhecimento da autonomia não exime as instâncias públicas mais amplas da verificação da prestação efetiva destes serviços. Esta prerrogativa de autonomia não é facilmente encontrada em outros cenários, cite-se por exemplo o caso da The Encyclopedia of Higher Education

(5)

5 Para entender o funcionamento do modelo de avaliação no contexto brasileiro, apre- sentaremos uma visão da composição estrutural da agência de avaliação/acreditação.

2.3 O modelo de avaliação exercido pela agência de avaliação / acreditação do ES.

A Lei nº. 10.861 (2004) do Ministério da Educação (MEC) do Brasil instituiu o SI- NAES. O SINAES (2009) tem o propósito de realizar uma avaliação diagnóstica, formativa e regulatória das IES. É composto por três componentes: a avaliação das IES, dos cursos e do desempenho dos estudantes.

Em suma, o SINAES avalia todos os aspectos em torno dos três eixos educacionais: o ensino, a pesquisa, a extensão. Considera para isto, a responsabilidade social, o desempenho dos alunos, a gestão da IES, o corpo docente, as instalações além de outros aspectos (INEP, 2010a, 2010b).

O MEC tem em sua estrutura funcional o INEP como autarquia federal vinculada (INEP, 2010a, 1-3) que é responsável por organizar e manter o sistema de informações e esta- tísticas educacionais, pelo desenvolvimento e coordenação dos sistemas e projetos de avalia- ção educacional, em todos os níveis e modalidades de ES no país.

Os resultados das avaliações coordenadas pelo SINAES possibilitam um panorama da qualidade dos cursos e das IES no país. Os processos avaliativos são coordenados e supervisi- onados pela Comissão Nacional de Avaliação da Educação Superior (CONAES). Segundo Polidori, Marinho-Araujo & Barreyro (2006) o CONAES tem como função estabelecer os parâmetros gerais e as diretrizes para a operacionalização do sistema de avaliação, ficando a operacionalização na responsabilidade do INEP.

(Schwartzman, Clark, & Neave, 1992) que não apresenta nenhum capítulo discutindo autonomia das universidades.

(6)

6 Figura 1. Mapeamento conceitual do modelo de avaliação do ES brasileiro. O mapeamento ilustra as funções dos principais órgãos responsáveis, MEC, INEP, SINAES, CONAES, destacados em negrito. Permite identificar e contextualizar as relações entre os principais componentes dos elementos de avaliação: CPA, ENADE, IGC, CPC e IDD. Fonte: Pereira, Machado & Araújo (2015).

Na Figura 1 o mapeamento conceitual elaborado por Pereira, Machado & Araújo (2015) permite o entendimento sistêmico do processo de avaliação da qualidade do ES no Brasil. Foi elaborado a partir da legislação do SINAES (Inep, 2009) e complementado com as contribuições de Pedrosa, Amaral e Knobel (2012) e Verhine, Dantas & Soares (2006).

Em um sistema massificado e complexo como no caso do Brasil, a utilização de um mapa conceitual permite facilitar o entendimento sistêmico de forma simplificada que em uma análise descritiva. Destaque-se que os três eixos educacionais⁷ do modelo de avaliação brasileiro, presentes na Figura 1, são geridos pelo SINAES através dos pilares avaliativos.

Passa-se a contextualizar a avaliação institucional interna e externa, apresentando as medidas da reforma de 2016.

Avaliação Institucional

A avaliação institucional mencionada na Figura 1 é um dos componentes do SINAES e ocorre através de processos de regulação e supervisão das instituições. É realizada para efei- to de credenciamento e recredenciamento das IES perante ao MEC.

O SINAES estabeleceu as dez principais dimensões para a avaliação institucional que estão ilustradas na Figura 2: Missão e PDI; Política para o ensino, pesquisa, pós-graduação e

7 Entenda-se como o ensino, a pesquisa e a extensão.

(7)

7 extensão; Responsabilidade social da IES; Comunicação com a sociedade; Políticas de pesso- al, carreiras do corpo docente e técnico-administrativo; Organização e gestão da IES; Infraes- trutura física; Planejamento de avaliação; Políticas de atendimento aos estudantes; e, Susten- tabilidade financeira (Lei nº 10.861, 2004, art.2º-3º).

Figura 2. Mapeamento conceitual da avaliação institucional no ES brasileiro. Permite identificar as dimensões avaliadas pelo SINAES e os tipos de avaliação: interna e externa. Fonte: Elaboração própria.

O §2º, art. 3º. da Lei nº 10.861 (2004) ressalta as duas formas em que devem ocorrer a avaliação institucional: “Para a avaliação das instituições, serão utilizados procedimentos e instrumentos diversificados, dentre os quais a auto avaliação e a avaliação externa in loco”.

Auto Avaliação (avaliação interna) e Avaliação Externa

A auto avaliação ocorre internamente em cada IES através da Comissão Própria de Avaliação (CPA). O art. 11º. da Lei nº 10.861 (2004) estabelece que a CPA tem como atribui- ção principal a condução dos processos de avaliação internos da IES, de sistematização e de prestação das informações solicitadas pelo INEP. Deve atuar de forma autônoma em relação a conselhos e demais órgãos colegiados existentes na IES (ver Figura 3).

Figura 3. Avaliação institucional Interna no modelo de avaliação do ES brasileiro. Permite identificar as responsabilidades da CPA. Fonte: Elaboração própria.

Para Ristoff e Giolo (2006, p.199) a autonomia da CPA, que lhe é conferida pela lei, permite tomar ações no âmbito interno de cada IES para que a auto avaliação efetivamente

(8)

8 aconteça. O roteiro de auto avaliação preparado pelo CONAES e pelo INEP estabelece quais aspectos de cada uma das dez dimensões (Lei nº 10.861, 2004, art.2º-3º) que devem ser consi- derados pela CPA no seu trabalho.

A avaliação externa é realizada por membros externos, nomeados pelo INEP. Sua co- missão é constituída por membros da comunidade acadêmica e científica, reconhecidos pela capacidade em sua área e com ampla compreensão das IES. Na avaliação externa são exigidos os padrões mínimos de qualidade para o ES (INEP, 2010c; Ristoff & Giolo, 2006) expressos nos instrumentos de avaliação específicos e nos relatórios das auto avaliações institucionais.

A Comissão Técnica de Acompanhamento da Avaliação (CTAA), ilustrada na Figura 4, é o órgão colegiado responsável pelo acompanhamento dos processos periódicos de avalia- ção institucional externa e de avaliação dos cursos de graduação das IES (Portaria nº. 386, 2016; Portaria nº 1.027, 2006).

Destaca-se a existência de um Banco de Avaliadores do SINAES (BASis), regulamen- tado pela Portaria nº 1.027 (2006, art.2º), que é um cadastro nacional de avaliadores do INEP para constituição de Comissão de Avaliação in loco. O BASis é composto por 4.495 avaliadores institucionais e 8.992 avaliadores de cursos (Portaria nº 1.751, 2006, p.17-67).

Figura 4. Avaliação Externa no modelo de avaliação do ES brasileiro. Permite identificar a CTAA e suas atribuições. Os padrões de qualidade são divididos em 5 eixos e estão estabelecidos nos instrumentos de avaliação.

São avaliados 51 indicadores de qualidade. Fonte: Elaboração própria.

Em maio de 2016, a Portaria nº. 208 (2016) estabeleceu um padrão para seleção dos avaliadores do SINAES. Foram criados dois índices específicos: o Índice de Seleção dos Ava- liadores de Curso (ISACURSO) e o Índice de Seleção dos Avaliadores Institucionais (ISAIES).

As variáveis que compõem os índices são explicadas na Tabela 1.

(9)

9 As duas variáveis que representam maior peso para a seleção dos avaliadores de curso (ver Quadro 1) são relativas à experiência na gestão de cursos (25%) e na participação no NDE (25%). Este critério ressalta a expectativa de seleção de profissionais com know-how acadêmico relevante para o desempenho destas atividades.

Nota-se que o mesmo critério foi adotado para a seleção dos avaliadores institucionais, no entanto, a experiência mais pontuada (30%) tem relação com gestão institucional como cargos de direção ou pró-reitoria. As outras duas maiores pontuações consideradas para esta seleção (20% cada) tem a ver com experiência em CPA e NDE.

Tabela 1

Variáveis que compõem os Índices de Seleção dos Avaliadores: ISACURSO e ISAIES

Notas: Explicação das variáveis: ExpAC - experiência em Avaliação de Cursos; ExpAI - experiência em Avalia- ção Institucional; ExpNDE – Experiência em Núcleo Docente Estruturante (Res. Conaes no. 1 (2010)⁸; ExpDOC - Docência no ES; ExpCPA – participação em CPA; ExpGC – Gestão de Curso; ExpGA – Gestão Acadêmica;

Pub - Produção científica; CC - Conceito de Curso; CI - Conceito Institucional. Fonte: Portaria nº. 208 INEP/MEC (2016).

Consideradas as variáveis e seus critérios, o modelo estatístico para cálculo dos índices ISACURSO e ISAIES é apresentado no Quadro 1. Será estabelecido um ranking com as distâncias entre os candidatos, os classificados serão capacitados e elegíveis para designação nas comissões de avaliação externa (Portaria nº. 208 (2016, p.5-8).

Quadro 1

8 O NDE é um componente obrigatório nos cursos de graduação, conforme definido pela Resolução CONAES no. 1 de 17 de junho de 2010. É composta por cinco docentes do curso, com elevada formação/titulação que passam a responder pela concepção, implementação e consolidação do Projeto Pedagógico do Curso.

(10)

10 Modelos estatísticos para cálculo dos índices ISACURSO e ISAIES

Fonte: Portaria nº. 208 (2016, p.5-8).

Evidencia-se na composição dos modelos, a priorização de competências de gestão para a avaliação. Em ambos os modelos, o peso é superior à metade do peso total de cada índice.

Por exemplo, no ISACURSO, verifica-se que o peso para ExpNDE é de 25% somado à ExpGC com peso de 25%, e ExpAC, peso de 10%, eleva a necessidade de competências de gestão para 60% do índice. No ISAIES, a proporção de competências de gestão chega a 80% do índice quando consideramos: ExpAI (10%) + ExpNDE (20%) + ExpCPA (20%) + ExpGA (30%).

As comissões de avaliação

Quanto a composição das comissões para a avaliação externa in loco, a Portaria nº 1.027 (2006, art.7) estabelece que as equipes serão compostas por três a oito avaliadores. O instrumento de avaliação institucional externa é público e subsidia os atos de credenciamento, recredenciamento e transformação acadêmica⁹. Neste instrumento estão organizados os cinco eixos (ver Quadro 2) que contemplam as dimensões avaliadas.

Quadro 2

Pesos para Credenciamento e Recredenciamento de IES

9 O instrumento, em sua versão atualizada (2015), encontra-se disponível no sítio do INEP em:

http://download.inep.gov.br/educacao_superior/avaliacao_institucional/instrumentos/2015/instrumento_instituci onal_072015.pdf

(11)

11 Fonte: INEP. http://portal.inep.gov.br/superior-avaliacao_institucional-instrumentos

Para cada dimensão avaliada existem, em média, dez indicadores específicos que são pontuados em escala Likert, de 1 a 5. Ao término do processo avaliativo, os avaliadores apre- sentam o parecer final, com os indicadores de cada dimensão totalizados.

Em síntese, o conceito final da avaliação externa quanto ao credenciamen- to/recredenciamento da IES, é calculado com base em 51 indicadores avaliados dentre os cinco eixos. A nota obtida deve ser a substância principal para o parecer final da comissão.

Nota-se no Quadro 2 que cada eixo apresenta pesos diferentes para atos distintos: Cre- denciamento ou Recredenciamento. Por exemplo, verifica-se que a infraestrutura física detém o maior peso (30) durante o credenciamento de uma IES, enquanto no ato de recredenciamen- to institucional, o peso maior (30) incide na adequação das políticas acadêmicas.

Figura 6. Síntese do modelo de avaliação do ES brasileiro. O mapeamento destaca como ocorre a avaliação interna nas IES através da CPA e a avaliação externa controlada pela CTAA. Destaca ainda como os 51

indicadores de avaliação são distribuídos dentre as dimensões da avaliação institucional realizadas pelo SINAES.

Fonte: elaborado pelos autores.

Os cinco eixos avaliativos, demonstrados no Quadro 2, contém e são inter- relacionados com as dez principais dimensões do SINAES para a avaliação institucional e encontram-se associados na Figura 6.

(12)

12 3 Resultados das ações avaliativas no País – uma visão sui generis

Nesta análise, foram utilizados os dados das avaliações realizadas pelo INEP relativos às avaliações institucionais e de curso realizadas em in loco fornecidas pela Coordenação Ge- ral de Avaliação de Cursos de Graduação e de Instituições de Educação Superior (CGA- CGIES) da Diretoria de Avaliação da Educação Superior (DAES) do INEP.

Buscando uma visão comparada, foram acrescidos os microdados do ENADE (INEP, 2004, 2005, 2006, 2007, 2008, 2009, 2010b, 2011, 2012, 2013, 2014ª). As informações foram filtradas, e em seguida, sintetizadas e ordenadas e são apresentadas na Tabela 2.

Tabela 2

Estatísticas Gerais da Avaliação da Educação Superior do Brasil entre 2004 e 2014

Fonte: Os dados relativos às avaliações institucionais e avaliações de curso foram fornecidos pela CGACGIES órgão da DAES do INEP.

Considere-se, por exemplo, os dados relativos ao ano de 2010. Enquanto o ENADE avaliou os estudantes de 4.281 cursos, foram avaliados in loco pelo INEP ao total, 4.100 ações, sendo 3.169 cursos de graduação e 931 IES. Apenas com estas informações, não é pos- sível inferir o conteúdo destas avaliações, sendo necessário o detalhamento das ações avaliativas. O Quadro 3 apresenta, por tipo, as ações in loco no processo de avaliação de cursos.

(13)

13 Quadro 3

Confrontação de ações de avaliação de curso no ano de 2010 realizadas pelo INEP

Fonte: Dados fornecidos pela CGACGIES/DAES/INEP relativos ao ano de 2010.

Verifica-se a partir da análise do Quadro 3 que o maior volume de ações de avaliação realizada pelo Inep foi concentrado nos cursos que obtiveram conceitos 3 (1197 ações) e 4 (1410 ações). Quanto às principais ações relacionadas aos cursos, verifica-se que, predominantemente, ocorreram avaliações in loco para primeiros reconhecimentos de cursos (1638), 937 autorizações de funcionamento de novos cursos e 563 renovações de reconhecimento de cursos.

Quadro 4

Confrontação de ações de avaliação institucional no ano de 2010 realizadas pelo INEP

Fonte: Dados fornecidos pela CGACGIES/DAES/INEP relativos ao ano de 2010.

Quanto às ações de avaliação institucional, notou-se a predominâncias de ações de recredenciamento de 719 IES, seguidas por 134 avaliações para novos credenciamentos de IES.

(14)

14 Figura 7. Análise longitudinal da evolução das avaliações in loco relativas à cursos superiores e de IES no País entre os anos 2000-2014. O gráfico destaca a quantidade superior de avaliações de cursos realizada de forma censitária pelo ENADE ao comparar com as ações de avaliação in loco de cursos de graduação realizadas pelas comissões de avaliação do INEP. Fonte: Os dados dos cursos de graduação avaliados pelo Enade são oriundos dos microdados do ENADE, todas as edições. INEP (2004, 2005, 2006, 2007, 2008, 2009, 2010b, 2011, 2012, 2013, 2014a).

A Figura 7 ilustra longitudinalmente a evolução das avaliações realizadas pelo INEP.

Permite uma visão sistêmica das variações entre avaliações in loco x avaliações censitárias do ENADE. Na representação gráfica consegue-se perceber que a política adotada pelo INEP, de dispensar de avaliação in loco os cursos que obtiveram conceitos 3 a 5 no ENADE, diminuiu o volume de avaliações e favoreceu o desempenho das ações avaliativas.

Em um sistema massificado, como é o caso do Brasil, com um universo de 32.878 cursos superiores em 2014, a política de avaliações in loco, entre 2004 e 2014 permitiu serem avaliados uma média anual de 3.089 cursos e 409 IES.

Justificou-se a criação do banco de avaliadores BASis e sua composição. A impressão inicial de que o volume de avaliadores de curso e institucionais anteriormente mencionada no país pudesse ser exagerada, é refutada ao considerar uma base anual média de 3.500 avalia- ções in loco. O BASis almeja garantir que a base de avaliadores selecionados esteja disponí- vel e preparada para as visitas de avaliação.

Quanto às avaliações censitárias do ENADE, a política de ciclos avaliativos estabele- cida define que, a cada ano, são avaliados um agrupamento de cursos distintos. Desta forma, longitudinalmente puderam ser avaliados por ano, uma média de 5.890 cursos através da prova do Enade (Figura 8).

11 21 109 198 422 670 931 539 243 732 628

1908 2628 3134

2302 2287

580

3161

4670 4317 3977

5019 2184

5511 5701

3238

7329 6804

4281

8814

7228

3701

9994

0 2000 4000 6000 8000 10000 12000

2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014

Avaliações realizadas entre 2004 e 2014

Instituições in loco Cursos de graduação in loco Cursos de Graduação avaliados pelo ENADE

(15)

15 Figura 8. Total de avaliações realizadas entre 2004 e 2014 no país. Fonte: elaborado pelos autores a partir dos dados fornecidos pela CGACGIES/DAES/INEP relativos ao período entre 2004-2014 e os microdados dos cursos de graduação avaliados pelo do ENADE, todas as edições. INEP (2004, 2005, 2006, 2007, 2008, 2009, 2010b, 2011, 2012, 2013, 2014a).

A Figura 8 demonstra que, na história das avaliações do realizadas pelo INEP, 63%

das avaliações dos cursos de graduação foram realizadas pela prova do ENADE, sem obriga- toriedade de avaliação pelas comissões in loco; 33% dos cursos foram avaliados in loco, para ações de autorização de novos cursos, reconhecimento ou renovação de reconhecimento e, em alguns casos, para reavaliação de cursos; e 4% das avaliações referem-se à avaliações institucionais, para credenciamento ou recredenciamento de IES.

5 Considerações Finais

O ES brasileiro, prioritariamente privado, apresenta-se como resposta ao crescimento desenfreado característico pela América Latina (Lamarra & Cóppola, 2007, p.18; Lamarra &

Centeno, 2016, p.137). O modelo do SINAES apresenta derivações do modelo de supervisão estatal (Neave & Van Vught, 1994). A política educacional de transformar o governo em um órgão regulador tem como desafio chave: adaptar mecanismos de controle de qualidade e efi- ciência a um ES dinâmico e com características mercenárias como massificação, complexidade e constante mutação.

Foi apresentado o SINAES, seu mapeamento conceitual de funções e responsabilidades. Dentre os três principais pilares da política de avaliação brasileira, o foco deste estudo foi a avaliação institucional e a avaliação de cursos, embora tenha se utilizado dos resultados da avaliação do desempenho dos estudantes para comparar o volume de ações avaliativas.

A política inovadora de seleção de avaliadores realizadas através de índices (ISAIES e

ISACURSO), sua normalização e operacionalização utilizando o BASis, apresenta-se como al-

4%

33%

63%

Avaliações in loco x ENADE realizadas entre 2004-2014

Instituições in loco Cursos de graduação in loco Cursos de Graduação avaliados pelo ENADE

(16)

16 ternativa viável para a garantia da qualidade do modelo de ES massificado em que ocorrem, em média, 3.500 ações avaliativas externas por ano.

Foram apresentados e discutidos como ocorrem, os procedimentos de avaliação in lo- co, tanto para a avaliação de cursos como para avaliações institucionais. Conhecidos seus principais indicadores e respectivos pesos na avaliação global de cada unidade avaliada.

Apresentado um mapeamento conceitual que tem a função de explicitar a inter-relação entre as dimensões avaliativas do SINAES e os 51 indicadores utilizados na avaliação institucional externa.

A combinação dos microdados da Educação Superior e do Censo do ES, associadas à regulamentação qualitativa e descritiva-documental das mudanças propostas no ES brasileiro, permitiram a apresentação de uma visão panorâmica dos resultados do modelo de avaliação brasileiro. Afinal, tratou-se de um sistema com composto por 2368 instituições de ensino, 32.878 cursos superiores, 383.386 docentes em exercício de funções, e que comportou 8 mi- lhões de estudantes no ano de 2014.

Foi destacada a atuação sui generis do SINAES e realizada uma análise longitudinal de 11 anos, cruzando os dados das avaliações in loco com microdados das avaliações do ENADE. Foi possível validar as políticas de dispensa de avaliação in loco e entender, como o modelo avaliativo no país tem lidado com a complexidade do ES.

(17)

17 Referências

Amaral, A., & Magalhães, A. (2001). On markets, autonomy and regulation the Janus Head revisited. Higher Education Policy, 14(1), 7-20.

doi:10.1057/palgrave.hep.8390166

Askling, B. & Henkel, M. (1988). Higher education institutions. In Kogan, M, Marianne Bauer, Ivar Bleiklie and Mary Henkel (1988). Transforming Higher Education.

A Comparative Study. London: Jessica Kingsley Publishers.

Barzelay, M. (2014). Instituições centrais de auditoria e auditoria de desempenho: uma análise comparativa das estratégias organizacionais na OCDE. Revista do Serviço Público, 53(2), 5-35.

Bleiklie, I. (1998). Justifying the evaluative state: New Public Management ideals in higher education. European Journal of Education. 33(3), 299–316.

Cret, B. (2011). Accreditations as local management tools. Higher Education, 61, 415–

429. doi:10.1007/s10734-010-9338-2

Deem, R. (1998). New managerialism and higher education: The management of performances and cultures in universities in the United Kingdom. International Studies in Sociology of Education, 8(1), 47-70.

DOI:10.1080/0962021980020014

Durham, E. R., (2003). Autonomia, controle e avaliação. Morhy, L. (Org). Universidade em Questão. Brasília: Universidade de Brasília, vol.1, 275-304.

Eaton, J. S. (2009). Accreditation in the United States. New directions for Higher Education, 2009(145), 79-86. doi:10.1002/he.337

Eaton, J. S. (2012). An Overview of US Accreditation-Revised. Council for Higher Education Accreditation, 2012. Washington, DC: ERIC.

European Association for Quality Assurance in Higher Education - ENQA. (2005).

Standards and guidelines for quality assurance in the European higher education area. Helsinki: ENQA.

European Association for Quality Assurance in Higher Education – ENQA. (2007).

Report on standards and guidelines for quality assurance in the European higher education area. Helsinki.

European Association for Quality Assurance in Higher Education – ENQA. (2009).

Current trends in European Quality Assurance, Workshop report 8. Helsinki.

Felix, G. T. (2008). Reconfiguração dos modelos de universidade pelos formatos de avaliação: efeitos no Brasil e Portugal. (Tese de Doutorado). Faculdade de Educação da Universidade Federal do Rio Grande do Sul, Porto Alegre, Brasil.

Fielding, N., & Schreier, M. (2001). Introduction: On the compatibility between qualitative and quantitative research methods. In Forum Qualitative Sozialforschung/Forum: Qualitative Social Research (Vol. 2, No. 1).

Hanushek, E. A., Link, S., & Woessmann, L. (2013). Does school autonomy make sense everywhere? Panel estimates from PISA. Journal of Development Economics, 104, 212–232. doi:10.1016/j.jdeveco.2012.08.002

Harvey, L. (1995). Beyond TQM. Quality in Higher Education, 1(2), 123–146.

doi:10.1080/1353832950010204.

Harvey, L. (2002). Evaluation for What? Teaching in Higher Education, 7(3), 245–263.

doi:10.1080/13562510220144761.

Harvey, L. (2009). Deconstructing quality culture. In Presentation given in a European Association for Institutional Research (EAIR). Annual Conference in Vilnius. August

(18)

18 Harvey, L., & Askling, B. (2003). Quality in higher education. In The dialogue between

higher education research and practice, 69-83. Springer Netherlands.

Hood, C. (1989). Public administration and public policy: Intellectual challenges for the 1990s. Australian Journal of Public Administration. 48(1), 346–358. doi:

10.1111/j.1467-8500.1989.tb02235.x

Hussein, A. (2009). The use of triangulation in social sciences research: Can qualitative and quantitative methods be combined. Journal of Comparative Social Work.

1(8), 1-12.

Instituto Nacional de Estudos e Pesquisas Educacionais Anisio Teixeira (INEP).

(2010a). A trajetória do Inep. Inep, Brasília. Brasil. Disponível em:

http://www.inep.gov.br/institucional. Acesso em 03.jul.2016.

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). (2004).

Censo da Educação Superior. Brasília, Brasil.

Informações Estatísticas: Microdados do Censo da Educação Superior 2003.

Brasília, Brasil. Disponível em: http://portal.inep.gov.br/basica-levantamentos- acessar Acesso em 02.ago.2016

Informações Estatísticas: Microdados do Censo da Educação Superior 2014.

Brasília, Brasil. Disponível em: http://portal.inep.gov.br/basica-levantamentos- acessar Acesso em 02.ago.2016

Informações Estatísticas: Microdados do Enade 2004. Brasília, Brasil.

Disponível em: http://portal.inep.gov.br/basica-levantamentos-acessar Acesso em 02.ago.2016

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP).

(2010b). Informações Estatísticas: Microdados do Enade 2010. Brasília, Brasil.

(19)

19 Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). (2012).

(2014a). Informações Estatísticas: Microdados do Enade 2014. Brasília, Brasil.

(2010c). Orientações gerais para o roteiro da auto-avaliação. Brasília, Brasil.

Instituto Nacional de Estudos e Pesquisas Educacionais Anisio Teixeira (INEP).

(2010b). SINAES. Inep. Disponível em: http://www.inep.gov.br/superior/sinaes.

Acesso em 03.jul.2016.

SINAES: da concepção à regulamentação. Brasília, Brasil. Disponível em www.publicacoes.inep.gov.br/detalhes.asp?pub=4389#. Acesso em: 10.jul.2016;

Lamarra, F. N. (2006). La evaluación y la acreditación de la calidad: Situación, tendencias y perspectivas. Informe sobre la Educación Superior en América Latina y el Caribe: La metamorfosis de la educación superior, 31-42.

Lamarra, N. F. (2007). La universidad en America Latina y Argentina: problemas y desafios políticos y de gestión. Revista Gestão Universitária na América Latina - GUAL, 1(1), 40-64.

Lamarra, N. F.; & Centeno, C. G. P. (2016). La educación superior latinoamericana en el inicio del nuevo siglo. Situación, principales problemas y perspectivas futuras.

Revista Española de Educación Comparada, 0(27), 123-148.

doi:10.5944/reec.27.2016.15044

Lamarra, N. F.; & Cóppola, N. (2007). Educación superior y calidad en América Latina y Argentina: los procesos de evaluación y acreditación. Buenos Aires: Eduntref, Lei nº. 10.861 de 14 de abril do Ministério da Educação. Presidência da República do

Brasil. (2004). Institui o Sistema Nacional de Avaliação da Educação Superior (SINAES) e dá outras providências. Diário Oficial da União: seção I, edição 72, p. 3-4. Acesso em 19.jan. 2015. Disponível em http://www.planalto.gov.br.

Lenkeit, J., & Caro, D. H. (2014). Performance status and change - measuring education system effectiveness with data from PISA 2000–2009. Educational Research and Evaluation, 20(2), 146–174. doi:10.1080/13803611.2014.891462

Massy, W. F. (2005). Academic audit for accountability and improvement. Achieving accountability in higher education: Balancing public, academic and market demands. San Francisco: Jossey-Bass, 173-197.

Naidoo, R. (2007). Higher education as a global commodity: The perils and promises for developing countries. The Observatory on Borderless Higher Education, London, United Kingdom.

(20)

20 Neave, G. (1988). On the cultivation of quality, efficiency and enterprise: an overview

of recent trends in higher education in Western Europe, 1986-1988. European journal of education, 7-23. doi: 10.2307/1502961

Neave, G., & Van Vught, F. A. (1994). Government and Higher Education

Relationships across Three Continents: The Winds of Change. Issues in Higher Education Series, v.2. Pergamon Press, Elsevier Science Ltd., United Kingdom.

OECD (1999) Quality and Internationalization in Higher Education. Programme on Institutional Management in Higher Education - IMHE. Paris. doi:

10.1787/9789264173361-en

Pedrosa, R. H. L.; Amaral, E.; Knobel, M. (2012). Assessing higher education learning out-comes in Brazil. Higher Education Management and Policy, 24(2), 55-71.

doi:10.1787/hemp-v24-2-en

Pereira, C. A.; Machado, M. L. Araújo, J. F. F. E. (2015). Acreditação do ensino superior na Europa e Brasil: mecanismos de garantia da qualidade. Revista de Políticas Públicas, 19(1) 61-75. Disponível em:

http://www.redalyc.org/articulo.oa?id=321143201004. Acesso em 11.jul.2015.

Polidori, M. M. (2009). Políticas de avaliação da educação superior brasileira.

Avaliação: Revista da Avaliação da Educação Superior, 14(2), 439-452.

Polidori, M. M.; Marinho-Araujo, C. M.; Barreyro, G. B. (2006). SINAES: perspectivas e desafios na avaliação da educação superior brasileira. Ensaio, 14(53), 425-436.

Pollitt, C. (1993) Managerialism and the Public Services. The Anglo-American Experiences. Oxford: Basil Blackwell.

Portaria nº 1.027 de 15 de maio do Ministério da Educação. Presidência da República do Brasil. (2006). Dispõe sobre banco de avaliadores do Sistema Nacional de Avaliação da Educação Superior - Sinaes, a Comissão Técnica de

Acompanhamento da Avaliação - CTAA e dá outras providências. Diário Oficial da União: seção I, edição 92, p. 16-67. Acesso em 11.ago.2016. Disponível em:

http://www.imprensanacional.gov.br

Portaria nº 1.751 de 27 de outubro do Ministério da Educação. Presidência da República do Brasil. (2006). Divulga, na forma dos Anexos I e II a esta Portaria, a relação nominal dos avaliadores de instituições de educação superior e de cursos de graduação, selecionados pela Comissão Técnica de Acompanhamento da Avaliação - CTAA, que passam a integrar o Banco de Avaliadores dos Sistema Nacional de Avaliação da Educação Superior - BASis. Diário Oficial da União:

seção I, edição 208, p. 16-67. Acesso em 11.ago.2016. Disponível em:

http://download.inep.gov.br/download/superior/institucional/Portaria_MEC_n17 51_27_outubro_2006.pdf

Portaria nº. 208 de 04 de maio do Instituto Nacional de Estudos e Pesquisas

Educacionais Anisio Teixeira. Ministério da Educação do Brasil. (2016). Institui o Índice de Seleção dos Avaliadores de Curso (ISACURSO) e o Índice de Seleção dos Avaliadores de Institucionais (ISAIES) do SINAES. Boletim de Serviço, INEP, volume 20, n.5, edição extra. Acesso em 10.ago.2016. Disponível em:

http://download.inep.gov.br/educacao_superior/avaliacao_cursos_graduacao/legi slacao_normas/2016/portaria_n208_04052016.pdf

(21)

21 Portaria nº. 386 de 11 de maio do Ministério da Educação. Presidência da República do

Brasil. (2016). Aprova, em extrato, os novos indicadores do Instrumento de Avaliação de Cursos de Graduação nos graus de tecnologia, de licenciatura e de bacharelado para as modalidades presencial e a distância, do Sistema Nacional de Avaliação da

Educação Superior - Sinaes. Diário Oficial da União: seção I, edição 89, p. 37-38.

Acesso em 11.ago.2016. Disponível em:

http://download.inep.gov.br/educacao_superior/avaliacao_cursos_graduacao/legislaca o_normas/2016/portaria_n386_2016.pdf.

Portaria Normativa nº 8 de 28 de abril do Ministério da Educação. Presidência da República do Brasil. (2016). Cria indicadores de qualidade para a Educação Superior e institui Grupo de Trabalho para elaboração e definição de metodologia para sua

implementação. Diário Oficial da União: Seção 1, edição 81, p. 11-12. Acesso em 06.ago.2016. Disponível em: http://www.semesp.org.br/site/assessorias/portaria- normativa-mec-n8-de-28-de-abril-de-2016/

Ristoff, D.; Giolo, J. (2006). O SINAES como Sistema. Revista Brasileira de Pós-Graduação.

3(6), 193-213. doi:10.21713/rbpg.v3i6.106

Rosa, M. J., Cardoso, S., Dias, D., & Amaral, A. (2011). The EUA Institutional Evaluation Programme: an account of institutional best practices. Quality in Higher Education, 17(3), 369-386, doi:10.1080/13538322.2011.625207

Santos, S. M. (2011). Análise comparativa dos processos europeus para a avaliação e certificação de sistemas internos de garantia da qualidade. Lisboa: Agência de Avaliação e Acreditação do Ensino Superior (A3ES).

Schwartzman, S., Clark, B. R., & Neave, G. (1992). The Encyclopedia of higher education.

The Encyclopedia of higher education.

Soh, K. (2014). Finland and Singapore in PISA 2009: similarities and differences in achievements and school management. Compare: A Journal of Comparative and International Education, 44(3), 455–471. doi:10.1080/03057925.2013.787286 Stensaker, B., Langfeldt, L., Harvey, L., Huisman, J., & Westerheijden, D. (2011). An in‐

depth study on the impact of external quality assurance. Assessment & Evaluation in Higher Education, 36(4), 465-478. doi:10.1080/02602930903432074

Tashakkori, A., & Teddlie, C. (1998). Mixed methodology: Combining qualitative and quantitative approaches. vol. 46. Thousand Oaks, CA, US: Sage Publications.

Verhine, R., Dantas, L.M.V. & Soares J.F. (2006). From “Provão” to Enade: a comparative analysis of national exams used in brazilian higher education. Ensaio: Aval. Pol. Públ.

Educ. 14(52), 291-310.

Yauch, C. A., & Steudel, H. J. (2003). Complementary use of qualitative and quantitative cultural assessment methods. Organizational Research Methods, 6(4), 465-481.