Modelos e Sistemas de Acreditação e Avaliação no Ensino Superior:
abordagem sistêmica e sui generis no Brasil
Cleber Pereira, Maria de Lourdes Machado, Joaquim Filipe Ferraz UFMA (Brasil), CIPES/A3ES (Porto), UMinho(Braga)
6.ª CONFERÊNCIA DA FORGES
UNICAMP, CAMPINAS, BRASIL 28 A 30 NOV 2016
SÍNTESE
• Abordagens de Acreditação e Avaliação no Ensino Superior;
• As reformas do modelo de avaliação Brasileiro (2016);
• Mapeamento conceitual do modelo de avaliação do Brasil;
• Objetivo: explicar, longitudinalmente, as formas utilizadas pelo SINAES para medir o desempenho e garantir a qualidade do ES.
• Metodologia de investigação: triangulação com combinação de métodos qualitativos e quantitativos.
Palavras-Chave: Ensino Superior. Avaliação. Acreditação. Agência. Desempenho.
A Garantia da Qualidade
“os processos de garantia de qualidade na América Latina são influenciados pelos registrados na América do Norte e na Europa”. (Lamarra e Centeno, 2016, p. 138)
Cultura da qualidade = resultado de melhores processos internos de qualidade: “There is increasingly a taken-for-granted view that quality culture is about the development of, and compliance with, processes of internal quality assurance”
(Harvey, 2009, p. 1)
Os modelos e sistemas de avaliação e de garantia da qualidade têm evoluído de forma globalizada. Cada país tem adaptado suas regras:
• uso dos processos de avaliação na Comunidade Europeia (ENQA, 2005, 2007, 2009;
Rosa, Cardoso, Dias, & Amaral, 2011);
• os processos de acreditação nos Estados Unidos (Eaton, 2009, 2012; Harvey, 1995, 2002; Massy, 2005), e;
• os sistemas de avaliação híbridos ou alternados na América Latina (Lamarra, 2006, 2007; Santos, 2011; Lei nº. 10.861 , 2004) e países do leste europeu.
O primeiro Mapeamento do Modelo de Avaliação Brasileiro
Ilustra as funções dos principais órgãos responsáveis, MEC, INEP, SINAES,
CONAES (em negrito). Identifica as relações entre os principais componentes da avaliação: CPA, ENADE, IGC, CPC e IDD. Pereira, Machado & Araújo (2015).
A Avaliação Externa e o destaque do Banco de Avaliadores (Basis)
O BASis é composto por 4.495 avaliadores institucionais e 8.992 avaliadores de cursos (Portaria nº 1.751, 2006, p.17-67).
Banco de Avaliadores (BASis) Novos índices foram criados:
• Índice de Seleção dos Avaliadores de Curso (ISAcurso)
• Índice de Seleção dos Avaliadores Institucionais (ISAies)
Variáveis de maior peso ISAcurso:
experiência na gestão de cursos (25%) e participação no NDE (25%). Ressaltando a expectativa de profissionais com know-how acadêmico.
Na seleção do ISAies: a experiência mais pontuada (30%) é com gestão institucional como cargos de direção ou pró-reitoria. As outras 2 maiores pontuações consideradas (20% cada) são experiência em CPA e NDE.
Banco de Avaliadores : variáveis e modelo estatístico (BASis)
Modelos estatísticos para cálculo dos índices ISACURSO e ISAIES
Fonte: Portaria nº. 208 (2016, p.5-8).
Síntese do Modelo de Avaliação do ES Brasileiro
O mapeamento da avaliação interna nas IES através da CPA e a avaliação externa controlada pela CTAA. Destaca como os 51 indicadores de avaliação são distribuídos dentre as dimensões da avaliação institucional realizadas pelo SINAES.
Resultados das Ações Avaliativas no país
Estatísticas Gerais da Educação Superior do Brasil em 2014
Fonte: Microdados do Censo da Educação Superior do Brasil. (Inep, 2014; Inep, 2015).
No mês de julho de 2016, existiam no Brasil:
• 2.368 IES que ofertam 32.878 cursos superiores
• 7.828.013 matrículas no Ensino Superior presencial (Inep, 2015)
• 1.027.092 concluintes de cursos de graduação
Resultados das Ações de Avaliação Externa no País
Avaliações Externas realizadas entre 2004 e 2014
Fonte: Dados das avaliações institucionais e de curso fornecidos pela CGACGIES, órgão da DAES/INEP.
Em síntese:
• Média de 3.500 ações avaliativas externas -> por ano
• Cada avaliação institucional externa com 51 indicadores de desempenho
• Cada comissão com 3 a 8 integrantes ≅ 𝑒𝑛𝑡𝑟𝑒 10.500 𝑎 28.000 avaliadores p| ano
• O cadastro do BASis tem ≅ 13.500 avaliadores (4.495 institucionais + 8.992 curso)
Resultados das Ações – AVALIAÇÕES DE CURSOS
Ações de avaliação de cursos, por conceito, realizadas pelo INEP
Fonte: Dados fornecidos pela CGACGIES/DAES/INEP relativos ao ano de 2010.
Resultados das Ações – AVALIAÇÕES INSTITUCIONAIS
Ações de avaliação institucional, por conceito institucional, realizadas pelo INEP
Fonte: Dados fornecidos pela CGACGIES/DAES/INEP relativos ao ano de 2010.
Resultados das Ações Avaliativas no país
11 21 109 198 422 670 931 539 243 732 628
1908 2628 3134
2302 2287
580
3161
4670 4317 3977
5019 2184
5511 5701
3238
7329 6804
4281
8814
7228
3701
9994
0 2000 4000 6000 8000 10000 12000
2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014
Avaliações realizadas entre 2004 e 2014
Instituições in loco Cursos de graduação in loco Cursos de Graduação avaliados pelo ENADE
Fonte: Os dados dos cursos de graduação avaliados pelo Enade são oriundos dos microdados do ENADE, todas as edições. INEP (2004, 2005, 2006, 2007, 2008, 2009, 2010b, 2011, 2012, 2013, 2014a).
Resultados das Ações Avaliativas no país
Fonte: elaborado pelos autores a partir dos dados fornecidos pela CGACGIES/DAES/INEP relativos ao período entre 2004-2014 e os microdados dos cursos de graduação avaliados pelo do ENADE, todas as edições. INEP (2004, 2005, 2006, 2007, 2008, 2009, 2010b, 2011, 2012, 2013, 2014a).
4%
33%
63%
Avaliações in loco x ENADE realizadas entre 2004-2014
Instituições in loco Cursos de graduação in loco Cursos de Graduação avaliados pelo ENADE
Considerações Finais
O ES brasileiro, prioritariamente privado, é uma resposta ao crescimento desenfreado característico pela América Latina (Lamarra & Cóppola, 2007, p.18;
Lamarra & Centeno, 2016, p.137).
O modelo do SINAES apresenta derivações do modelo de supervisão estatal (Neave & Van Vught, 1994). A política educacional de transformar o governo em um órgão regulador tem como desafio chave: adaptar mecanismos de controle de qualidade e eficiência a um ES dinâmico e com características mercenárias como massificação, complexidade e constante mutação.
Foi apresentado o mapeamento conceitual do SINAES. Dentre os três pilares da política de avaliação brasileira, o foco deste estudo foi a avaliação institucional e a avaliação de cursos, embora tenha se utilizado dos resultados da avaliação do desempenho dos estudantes para comparar o volume de ações avaliativas.
Considerações Finais
A política inovadora de seleção de avaliadores realizadas através de índices (ISAIES e ISACURSO), sua normalização e operacionalização utilizando o BASis, apresenta-se como alternativa viável para a garantia da qualidade do modelo de ES massificado em que ocorrem, em média, 3.500 ações avaliativas externas por ano.
Foram apresentados e discutidos como ocorrem, os procedimentos de avaliação in loco, tanto para a avaliação de cursos como para avaliações institucionais. Conhecidos seus principais indicadores e respectivos pesos na avaliação global de cada unidade avaliada.
O mapeamento conceitual tem a função de explicitar a inter-relação entre as dimensões avaliativas do SINAES e os 51 indicadores utilizados na avaliação institucional externa.
Considerações Finais
A combinação dos microdados do ES e do Censo do ES, associados à regulamentação qualitativa e descritiva-documental das mudanças propostas no ES brasileiro, permitiram a apresentação de uma visão panorâmica dos resultados do modelo de avaliação brasileiro. Afinal, tratou-se de um sistema com composto por 2.368 instituições de ensino, 32.878 cursos superiores, 383.386 docentes em exercício de funções, e que comportou 8 milhões de estudantes no ano de 2014.
Foi destacada a atuação sui generis do SINAES e realizada uma análise longitudinal de 11 anos, cruzando os dados das avaliações in loco com microdados das avaliações do ENADE. Foi possível validar as políticas de dispensa de avaliação in loco e entender, como o modelo avaliativo no país tem lidado com a complexidade do ES.
Como limitação do estudo, as regras de apresentação e tamanho dos artigos não permitiram abordar o 3º. pilar avaliativo: a avaliação dos Estudantes e seus novos indicadores, porém apresentamos o modelo completo no slide seguinte.
O Mapeamento Completo do Modelo
