UNIVERSIDADE FEDERAL DO CEARÁ - UFC FACULDADE DE EDUCAÇÃO – FACED
PROGRAMA DE PÓS-GRADUAÇÃO EM EDUCAÇÃO BRASILEIRA
INDICADORES DE GESTÃO DO TCU E O DESEMPENHO DOS CURSOS NO ENADE: UM ESTUDO DE CURSOS DE GRADUAÇÃO
DENISE MARIA MOREIRA CHAGAS CORRÊA
UNIVERSIDADE FEDERAL DO CEARÁ - UFC FACULDADE DE EDUCAÇÃO – FACED
PROGRAMA DE PÓS-GRADUAÇÃO EM EDUCAÇÃO BRASILEIRA
INDICADORES DE GESTÃO DO TCU E O DESEMPENHO DOS CURSOS NO ENADE: UM ESTUDO DE CURSOS DE GRADUAÇÃO
Tese de apresentada ao programa de Pós-Graduação em Educação Brasileira da Faculdade de Educação da Universidade Federal do Ceará como requisito final para obtenção do título de Doutora em Educação Brasileira
Orientador: Prof. Dr. Wagner Bandeira Andriola
Coorientadora: Profa. Dra. Márcia Martins Mendes De Luca.
DENISE MARIA MOREIRA CHAGAS CORRÊA
Dados Internacionais de Catalogação na Publicação Universidade Federal do Ceará
Biblioteca de Ciências Humanas
C841i Corrêa, Denise Maria Moreira Chagas.
Indicadores de gestão do TCU e o desempenho dos cursos no Enade : um estudo de cursos de graduação / Denise Maria Moreira Chagas Corrêa. – 2013.
252 f. : il. color., enc. ; 30 cm.
Tese (doutorado) – Universidade Federal do Ceará, Faculdade de Educação,Programa de Pós-Graduação em Educação Brasileira, Fortaleza, 2013.
Área de Concentração: Educação brasileira. Orientação: Dr. Wagner Bandeira Andriola.
Coorientação: Profa. Dra. Márcia Martins Mendes De Luca.
1.Avaliação educacional – Brasil. 2.Ensino superior – Avaliação – Brasil. 3.Universidades e faculdades – Brasil – Exames. 4.Análise de regressão. 5.Brasil.Tribunal de Contas da União.
6.Exame Nacional de Desempenho dos Estudantes. I. Título.
Ao Lourenço, à Amanda e à Larissa, maiores
AGRADECIMENTOS
A Deus, pois, sem Ele, nada sou.
Aos meus pais, por todos os ensinamentos e investimentos na minha formação pessoal e profissional.
Ao meu marido Lourenço, por todo amor, companheirismo e cumplicidade em todos os momentos que temos compartilhado ao longo destes vinte e oito anos de casados e às minhas filhas, Amanda e Larissa, pelo apoio permanente e incondicional em todas as jornadas.
Aos meus familiares e amigos, que compartilharam das minhas dificuldades, torceram pelo sucesso deste trabalho e compreenderam as minhas ausências.
Ao meu orientador, Prof. Wagner Bandeira Andriola e à minha coorientadora Profa. Márcia Martins, Mendes De Luca, pelas orientações seguras ao longo do desenvolvimento desta tese.
À minha amiga, Profa. Sueli Maria de Araújo Cavalcante, grande incentivadora desta pesquisa, e a todos os membros da banca examinadora, Prof. Jesualdo Pereira Farias, Profa. Jacqueline Veneroso Alves da Cunha e Prof. Raimundo Nonato Rodrigues, por terem aceitado participar da banca e pelas valiosas contribuições a este trabalho.
À Universidade Federal do Ceará, na pessoa do Magnífico Reitor, Prof. Jesualdo Pereira Farias, por ter autorizado o acesso aos dados desta pesquisa e aos amigos da Pró-Reitoria de Planejamento, aqui representados pelo Prof. Ernesto da Silva Pitombeira e Francisco Álcimo de Andrade, e da Pró-Reitoria de Administração, aqui representados pela amiga Emanuelda de Lima Medeiros Silva, que não mediram esforços para viabilizar o meu acesso aos dados que tornaram viável este trabalho.
À Diretora da Faculdade de Educação, Profa. Maria Isabel Filgueiras Lima Ciasca, e a todos os que fazem a coordenação do Programa de Pós-Graduação em Educação Brasileira da FACED-UFC, pelo apoio em todos os momentos.
A minha amiga Profa. Maria Naiula Monteiro Pessoa, pelo incentivo e pela torcida ao longo dessa trajetória, antes mesmo do meu ingresso no Programa e às minhas amigas e colegas de turma, Tânia Pinheiro, Suzete Pitombeira e Kílvia Sousa, com as quais dividi momentos enriquecedores que muito agregaram para esta conquista.
Ao meu amigo e cunhado, ‘escritor e blá-blá-blá’, Jorge Pieiro, por quem tenho grande carinho e admiração, pela revisão deste trabalho e a todos que, de uma forma ou de outra, contribuíram para que eu chegasse até aqui.
A alegria não chega apenas no encontro do achado, mas faz parte do processo da busca. E ensinar e aprender não pode dar-se fora da procura, fora da boniteza e da alegria.
RESUMO
ABSTRACT
Evaluation is a way to obtain feedback. The Audit Court (Tribunal de Contas da União – TCU) evaluates Federal Institutions of Higher Education (IFES)’ performances through nine management indicators and the Education and Culture Ministry (MEC) evaluates higher education institutions (IES)’ courses, among others indicators, through the courses Students National Survey (ENADE). Among various approaches on educational assessment, the CIPP evaluation model evaluates the institution in a systematic way, with the purpose of decision making, about four points of view: context, inputs, processes and products. This research aims at investigating the CIPP evaluation model perspective, if the TCU indicators management influence the courses ENADE performance. By this work objectives, it’s an explanatory research. By the problem approach, it’s quantitative because it employs multiple linear regression analysis to investigate the independent variables’ influence (indicators management TCU, per course) on the dependent variables (ENADE courses). As the techniques employed have to indirect documentation, including therein the literature and documents, as well as direct research, including therein the empirical research within the academic units FACED, FADIR and FEAAC, Federal University of Ceará (UFC) designed to test the research hypotheses. The results indicate that the courses object of analysis have different performances, however, the multiple regression analysis applied to the set of observations revealed that, among the nine TCU management indicators analyzed, only the gauge-equivalent employee per teacher-equivalent (FEPE) doesn’t influence ENADE outcomes, and the other indicators which influence ENADE outcomes, has four platforms CIPP model include variables that explain the behavior of the dependent variable.
RÉSUMÉ
Évaluer est un moyen d'obtenir un feedback. La Cour des comptes du gouvernement fédéral (Tribunal de Contas da União - TCU) évalue les Institutions fédérales d'enseignement supérieur (IFES) à travers neuf indicateurs de gestion, et le ministère de l'Éducation et de la Culture (MEC), parmi d'autres indicateurs, évalue les cours des Institutions d'enseignement supérieur (IES) par l'examen national des étudiants (ENADE) des cours. Parmi les approches de l'évaluation pédagogique, on a le modèle d’évaluation CIPP, qui évalue l'institution d'une manière systémique, en vue de la prise de décision, à partir de quatre points de vue: le contexte, les intrants, les processus et les produits. Cette recherche a comme but général d’investiguer, sous le point de vue du modèle d'évaluation CIPP, si les indicateurs de gestion TCU influencer la performance des cours dans l’ENADE. Par conséquent, quant aux objectifs de l'étude, la recherche est explicative. Quant à la façon d’aborder le problème, elle est de nature quantitative, car elle utilise une analyse de régression linéaire multiple pour investiguer l'influence des variables indépendantes (des indicateurs de gestion du TCU) sur la variable dépendante ( l’ENADE des cours). Quant aux techniques employées on a la documentation indirecte, y compris la recherche bibliographique et documentaire et aussi la recherche directe, y compris la recherche empirique, au sein des unités académiques de la Faculté d’Education (FACED), Faculté de Droit (FADIR) Faculté d'Économie, d'Administration, de Sciences Actuarielles et de Comptabilité (FEAAC) visant à tester les hypothèses de la recherche. Les résultats indiquent que les cours analysés ont des performances différentes, cependant, l'analyse de régression multiple qui s'applique à un ensemble d'observations ont révélé que parmi les neuf indicateurs de gestion analysés, seul l'indicateur fonctionnaire-équivalent par professeur-équivalent (FEPE) n'influence pas le résultat de l’ENADE, et les autres indicateurs du TCU qui influencent le résultat de l’ENADE s’inscrivent dans les quatre plates-formes du modèle CIPP.
LISTA DE SIGLAS
ABRUEM – Associação Brasileira de Reitores das Universidades Estaduais e Municipais
ACO – Análise das Condições de Oferta
AE – Alunos Equivalentes
AG – Alunos Matriculados na Graduação
AGE – Alunos Equivalentes de Graduação
AH – Análise Horizontal
AIFE – Aluno Tempo Integral por Funcionário Equivalente do curso
AIPE – Aluno Tempo Integral por Professor Equivalente do curso
AIT – Alunos em Tempo Integral
ANDIFES – Associação Nacional dos Dirigentes das Instituições Federais de Ensino Superior
ANUP – Associação Nacional das Universidades Particulares
APG – Alunos Matriculados na Pós-Graduação
APGTI – Alunos em Tempo Integral da Pós-Graduação
AR – Alunos Residentes
ARTI – Alunos em Tempo Integral da Residência Médica
AV – Análise Vertical
CAPES – Coordenação de Aperfeiçoamento de Pessoal de Nível Superior
CAPES/MEC – Conceito CAPES/MEC para a Pós-Graduação do Curso
CC – Custo Corrente
CCA – Centro de Ciências Agrárias
CCAE – Custo Corrente por Aluno Equivalente
CN – Comissão Nacional de Avaliação das Universidades Brasileiras
CNRES – Comissão Nacional para Reformulação da Educação Superior
CONAES – Comissão Nacional de Avaliação da Educação Superior
CPA – Comissão Própria de Avaliação
CRUB – Conselho de Reitores das Universidades Brasileiras
CT – Centro de Tecnologia
CVM – Comissão de Valores Mobiliários
DE – Dedicação Exclusiva
DPC – Duração Padrão do Curso
EM – Ensino Médio
ENADE – Exame Nacional de Desempenho dos Estudantes
ENC – Exame Nacional de Cursos
ENEM – Exame Nacional do Ensino Médio
FACED – Faculdade de Educação
FADIR – Faculdade de Direito
FAMED – Faculdade de Medicina
FEAAC – Faculdade de Economia, Administração, Atuária e Secretariado Executivo
FE – Funcionário Equivalente
FFOE – Faculdade de Farmácia, Odontologia e Enfermagem
GEDPG – Grau de Envolvimento Discente com a Pós-Graduação do Curso
GERES – Grupo Executivo para a Reformulação da Educação Superior
GPE – Grau de Participação Estudantil do Curso
HU – Hospitais Universitários
ICA – Instituto de Cultura e Arte
IEFES – Instituto de Educação Física e Esportes
IES – Instituições de Ensino Superior
IFES – Instituições Federais de Ensino Superior
IGC – Índice Geral de Cursos
INEP – Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira
IQCD – Índice de Qualificação do Corpo Docente do Curso
LABOMAR – Instituto de Ciências do Mar
LDB – Lei de Diretrizes e Bases
MEC – Ministério da Educação e Cultura
NC – Nota da unidade avaliada (curso) no ENADE
NCCE – Nota padronizada do curso na prova de conhecimentos específicos
NCFG – Nota padronizada do curso na prova de formação geral
NDI – Número de Alunos Diplomados
NI – Número de Alunos Ingressantes
PARU – Programa de Avaliação da Reforma Universitária
PDI – Plano de Desenvolvimento Institucional
PE – Professores Equivalentes
PRAD – Pró-Reitoria de Administração
PRAE – Pró-Reitoria de Assuntos Estudantis
PREX – Pró-Reitoria de Extensão
PROGEP – Pró-reitoria de Gestão de Pessoas
PROGRAD – Pró-Reitoria de Graduação
PRPL – Pró-Reitoria de Planejamento
PRPPG – Pró-Reitoria de Pesquisa e Pós-Graduação
SESU – Secretaria de Educação Superior
SIC – Sistema de Informação ao Cidadão
SINAES – Sistema Nacional de Avaliação da Educação Superior
SISU – Sistema de Seleção Unificado
TI – Tecnologia da informação
TCU – Tribunal de Contas da União
TSG – Taxa de Sucesso na Graduação
UFC – Universidade Federal do Ceará
LISTA DE FIGURAS
Pg.
Figura 1: Cursos de graduação ofertados pela UFC, por unidade acadêmica e por campus 30
Figura 2: Especificidades das unidades didáticas e dos cursos e seus efeitos 32
Figura 3: Componentes-chave do Modelo CIPP e relações associadas ao programa 54
Figura 4: Esquematização gráfica do Modelo CIPP de avaliação 94
Figura 5: Alocação do ENADE e dos indicadores de gestão do TCU nas quatro plataformas do
Modelo CIPP de Avaliação 94
Figura 6: Hierarquia das qualidades da informação contábil 98
Figura 7: Exemplos de níveis de atividades e seus custos em uma indústria 108
Figura 8: Exemplos de níveis de atividades e suas descrições em uma IES 109
Figura 9: Delineamento da pesquisa 123
Figura 10: Atividades da UFC e respectivas Pró-Reitorias 142
Figura 11: Amostra das observações possíveis dos cursos de Direito, Pedagogia, Administração,
Secretariado Executivo, Economia e Ciências Contábeis 154
Figura 12: Gráficos dos indicadores de gestão do TCU-UFC, de 2006 a 2011, nas Plataformas
do modelo CIPP 156
Figura 13: Gráficos dos indicadores de desempenho de 2006 a 2011 do Curso de Direito nas
Plataformas do modelo CIPP 161
Figura 14: Gráficos dos indicadores de desempenho de 2006 a 2011 do Curso de Pedagogia na
Plataforma CIPP 166
Figura 15: Gráficos dos indicadores de desempenho de 2006 a 2011 do Curso de Administração
Figura 16: Gráficos dos indicadores de desempenho de 2006 a 2011 do Curso de Economia na
Plataforma CIPP 176
Figura 17: Gráficos dos indicadores de desempenho de 2006 a 2011 do Curso de Ciências
Contábeis na Plataforma CIPP 181
Figura 18: Gráficos dos indicadores de desempenho de 2006 a 2011 do Curso de Secretariado
Executivo na Plataforma CIPP 186
Figura 19: Modelo para estimação do ENADE dos cursos e variáveis associadas aos fatores 199
LISTA DE QUADROS
Pg.
Quadro 1: Estágios do desenvolvimento da avaliação emancipatória de Saul (1988) 41
Quadro 2: Estágios do desenvolvimento da avaliação para o empoderamento de
Fetterman (1995) 42
Quadro 3: Análise comparativa entre as diferentes abordagens conceituais de avaliação 44
Quadro 4: Relação entre os princípios aplicáveis à avaliação institucional 50
Quadro 5: Modelo CIPP voltado para decisão: objeto e foco da avaliação 55
Quadro 6: Sistematização da avaliação de contextos, insumos, processos e produtos 58
Quadro 7: Avaliação formativa e somativa de contextos, insumos, processos e produtos 59
Quadro 8: Análise comparativa entre o PARU/CNRES/GERES/PAIUB/SINAES 73
Quadro 9: Presença de abordagens sobre avaliação educacional sob a ótica de autores clássicos
no PARU/CNRES/GERES/PAIUB/SINAES 74
Quadro 10: Indicadores de gestão do TCU para as IFES 82
Quadro 11: Custo Corrente com Hospital Universitário 83
Quadro 12: Custo Corrente sem Hospital Universitário 84
Quadro 13: Memória de cálculo AGE do curso de Direito da UFC, no ano de 2011 85
Quadro 14: Gastos na área Pública: abrangência e paralelo com a Contabilidade Privada 102
Quadro 15: Passos para o cálculo do custo por curso e por aluno em cada curso – UFC 111
Quadro 16: Método Argumentativo Indutivo X Método Argumentativo Dedutivo 115
Quadro 17: Demonstrativo de todas as avaliações do ENADE nos cursos da FACED, FADIR
Quadro 18: Valores de referência para interpretação da força de uma correlação 126
Quadro 19: Gastos de Custeio por grupo – Recursos Próprios de 2009 a 2011 133
Quadro 20: Custos Indiretos na UFC e seus direcionadores de custos, por nível de atividades 134
Quadro 21: Composição do cálculo das Despesas com Mão de Obra, por Unidade
Acadêmica/lotação 136
Quadro 22: Despesas com Energia Elétrica, Água e Telefonia no exercício 138
Quadro 23: Despesas com a Locação de Mão de Obra 139
Quadro 24: Bolsas e Assistência aos Estudantes de 2006 a 2011 140
LISTA DE TABELAS
Pg.
Tabela 1: Alocação das Notas do ENADE dos cursos nos Níveis do conceito ENADE 81
Tabela 2: Peso atribuível aos docentes para cálculo do número de professores equivalentes 88
Tabela 3: Peso atribuível aos servidores técnico-administrativos 89
Tabela 4: Peso atribuível à quantidade de docentes, consoante a maior titulação 92
Tabela 5: Gastos de Custeio – Recursos Próprios de 2006 a 2008 130
Tabela 6: Gastos de Custeio por grupo – Recursos Próprios de 2006 a 2008 131
Tabela 7: Gastos de Custeio – Recursos Próprios de 2009 a 2011 132
Tabela 8: Gastos de Custeio por grupo – Recursos Próprios de 2009 a 2011 132
Tabela 9: Papel de Trabalho para Coleta das Despesas com Pessoal por Unidade
Acadêmica/Lotação de 2006 a 2011 137
Tabela 10: Rateio do Valor das Despesas com Locação de Mão-Obra (Limpeza, Portaria e
Vigilância) da FEAAC, por curso, de 2006 a 2011 141
Tabela 11: Delineamento da apropriação das Despesas de Custeio (Custos) aos Cursos 143
Tabela 12: Dados para cálculo dos indicadores de gestão do TCU do Curso de Direito, no
período de 2006 a 2011 227
Tabela 13: Dados para cálculo dos indicadores de gestão do TCU do Curso de Pedagogia, no
período de 2006 a 2011 227
Tabela 14: Dados para cálculo dos indicadores de gestão do TCU do Curso de Economia, no
período de 2006 a 2011 228
Tabela 15: Dados para cálculo dos indicadores de gestão do TCU do Curso de Administração,
Tabela 16: Dados para cálculo dos indicadores de gestão do TCU do Curso de Ciências
Contábeis, no período de 2006 a 2011 229
Tabela 17: Dados para cálculo dos indicadores de gestão do TCU do Curso de Secretariado
Executivo, no período de 2006 a 2011 229
Tabela 18: Dados para cálculo dos indicadores de gestão do TCU do Curso de Ciências
Atuariais, no período de 2006 a 2011 230
Tabela 19: Quantidade de docentes por regime de carga-horária e por curso, de 2006 a 2011 231
Tabela 20: Número de professores equivalentes (PE), por curso, de 2006 a 2011 231
Tabela 21: Quantidade de servidores técnico-administrativos, por unidade de lotação, de 2006
a 2011 232
Tabela 22: Quantidade de servidores Técnico-Administrativos alocados na Diretoria da FEAAC
e alocados aos cursos, de 2006 a 2011 232
Tabela 23: Quantidade de funcionários equivalentes (FE), por curso, de 2006 a 2011 233
Tabela 24: AIPE, por curso, de 2006 a 2011 234
Tabela 25: AIFE, por curso, de 2006 a 2011 235
Tabela 26: FEPE, por curso, de 2006 a 2011 236
Tabela 27: GPE, por curso, de 2006 a 2011 237
Tabela 28: GEDPG, por curso, de 2006 a 2011 238
Tabela 29: CAPES/MEC com a Pós-Graduação, de 2006 a 2011 239
Tabela 30: Quantidade de Docentes, por titulação e por curso, de 2006 a 2011 240
Tabela 31: IQCD, por curso, de 2006 a 2011 240
Tabela 32: TSG, por curso, de 2006 a 2011 241
Tabela 34:Custo Corrente por curso e por aluno em 2007 243
Tabela 35:Custo Corrente por curso e por aluno em 2008 244
Tabela 36:Custo Corrente por curso e por aluno em 2009 245
Tabela 37:Custo Corrente por curso e por aluno em 2010 246
Tabela 38:Custo Corrente por curso e por aluno em 2011 247
Tabela 39:CCAE, por curso, de 2006 a 2011 248
Tabela 40: ENADE dos cursos de Direito, Pedagogia Administração, Ciências Contábeis,
Secretariado Executivo, Economia e Ciências Atuariais em todas as edições do EXAME 249
Tabela 41: CAPES/MEC, CCAE e IQCD dos cursos de Direito, Pedagogia Administração,
Ciências Contábeis, Secretariado Executivo, Economia e Ciências Atuariais, de 2006 a 2011 150
Tabela 42: AIPE, AIFE-Sem HU, FEPE-Sem HU e GPE dos cursos de Direito, Pedagogia
Administração, Ciências Contábeis, Secretariado Executivo, Economia e Ciências Atuariais,
de 2006 a 2011 151
Tabela 43: GEDPG, TSG e ENADE dos cursos de Direito, Pedagogia Administração, Ciências Contábeis, Secretariado Executivo, Economia e Ciências Atuariais, de 2006 a 2011 152
Tabela 44: Análise descritiva das observações dos indicadores: UFC 155
Tabela 45: Análise descritiva das observações dos indicadores: Direito 160
Tabela 46: Análise descritiva das observações dos indicadores: Pedagogia 166
Tabela 47: Análise descritiva das observações dos indicadores: Administração 171
Tabela 48: Análise descritiva das observações dos indicadores: Economia 176
Tabela 49: Análise descritiva das observações dos indicadores: Ciências Contábeis 180
Tabela 50: Análise descritiva das observações dos indicadores: Secretariado Executivo 185
Tabela 52: KMO e Teste de Bartlett com as nove variáveis explicativas 191
Tabela 53: Matriz anti-imagem com as nove variáveis explicativas 192
Tabela 54: Comunalidades com as nove variáveis explicativas 192
Tabela 55: KMO e Teste de Bartlett após a exclusão de FEPE e GEDPG 193
Tabela 56: Matriz anti-imagem após a exclusão de FEPE e GEDPG 194
Tabela 57: Comunalidades após a exclusão de FEPE e GEDPG 194
Tabela 58: Variância Total Explicada 195
Tabela 59: Matriz rotacionada de componentes dos fatores 196
Tabela 60: ANOVA da Regressão 197
SUMÁRIO
Pg.
1 INTRODUÇÃO 27
2 AVALIAÇÃO EDUCACIONAL E O MODELO CIPP DE AVALIAÇÃO 34
2.1 Abordagens conceituais sobre avaliação educacional 34
2.1.1 Avaliação centrada em objetivos 35
2.1.2 Avaliação para tomada de decisões 36
2.1.3 Avaliação orientada à negociação 38
2.1.4 Avaliação emancipatória e para o empoderamento 40
2.1.5 Síntese das várias abordagens sobre avaliação educacional 43
2.2 Classificações da avaliação educacional 45
2.2.1 Quanto ao escopo da avaliação: avaliação formativa e avaliação somativa 45 2.2.2 Quanto ao objeto avaliado: avaliação da aprendizagem, avaliação curricular e
avaliação institucional 46
2.2.3 Quanto ao âmbito do sujeito avaliador: avaliação interna e avaliação externa 47 2.2.4 Quanto às técnicas empregadas: avaliação qualitativa e avaliação quantitativa 48
2.3 Princípios aplicáveis à avaliação institucional 49
2.4 Autoavaliação institucional consoante o SINAES 52
2.5 Modelo CIPP de Avaliação 53
2.5.1 Definição do modelo 54
2.5.2 Sistematização da avaliação de contextos, insumos, processos e produtos 56
3 AVALIAÇÃO DO ENSINO SUPERIOR NO BRASIL: ENADE E INDICADORES
DO TCU 61
3.1 Evolução histórica da Avaliação do Ensino Superior no Brasil 61
3.1.1 Programa de Avaliação da Reforma Universitária (PARU) – 1983 a1986 61 3.1.2 Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB) – 1993
3.1.2.1 Fase intermediária: Comissão Nacional para Reformulação da Educação Superior (CNRES) e Grupo Executivo para a Reformulação da Educação Superior (GERES) 64
3.1.2.2 Vigência do PAIUB 67
3.1.3 Novas políticas para Avaliação do Ensino Superior 69
3.1.4 Sistema Nacional de Avaliação do Ensino Superior (SINAES) 70
3.1.5 Síntese da evolução histórica 73
3.2 O ENADE conforme o SINAES 76
3.2.1 Relação do ENADE com as abordagens conceituais de avaliação 77
3.2.2 Abrangência, obrigatoriedade e efeitos do exame 78
3.2.3 Aspectos procedimentais do exame 79
3.2.4 Metodologia de cálculo do conceito do ENADE 80
3.3 Os indicadores de gestão do TCU 82
3.3.1 Custo Corrente por Aluno Equivalente (CCAE) 83
3.3.2 Aluno Tempo Integral por Professor Equivalente por (AIPE) 86 3.3.3 Aluno Tempo Integral por Funcionário Equivalente (AIFE) 88 3.3.4 Funcionário Equivalente por Professor Equivalente (FEPE) 89
3.3.5 Grau de Participação Estudantil (GPE) 90
3.3.6 Grau de Envolvimento do Discente com a Pós-Graduação (GEDP) 91
3.3.7 Conceito CAPES/MEC (CAPES/MEC) 91
3.3.8 Índice de Qualificação do Corpo Docente (IQCD) 92
3.3.9 Taxa de Sucesso na Graduação (TSG) 93
3.4. O ENADE e os Indicadores de Gestão do TCU na plataforma do modelo CIPP de
avaliação 93
4 CUSTO COMO FERRAMENTA DE GESTÃO 96
4.1 Características qualitativas da informação contábil a partir da Estrutura
Conceitual Básica da Contabilidade 96
4.1.1 Objetivos da Contabilidade 97
4.2 Terminologias utilizadas pela Contabilidade de Custos 100
4.3 Classificação dos custos 104
4.3.1 Quanto à identificação do custo com o objeto custeado: Diretos ou Indiretos 104 4.3.2 Quanto à variabilidade do custo em relação ao volume de produção dos bens/serviços:
Fixos ou Variáveis ou ainda Semi-fixos ou Semi-variáveis 105
4.4 Métodos de Custeamento 105
4.4.1 Custeio Direto 106
4.4.2 Custeio Variável 106
4.4.3 Custeio Integral (RKW) 107
4.4.4 Custeio por Absorção 107
4.4.5 Custeio ABC 108
4.5 Cálculo do Custo por Curso e por aluno na UFC 110
5 METODOLOGIA DA PESQUISA 112
5.1 Classificação da pesquisa 112
5.1.1 Quanto à Abordagem do Problema 112
5.1.2 Quanto aos objetivos 112
5.1.3 Quanto às técnicas empregadas 113
5.1.4. Quanto aos métodos empregados 115
5.1.4.1 Método argumentativo indutivo e método argumentativo dedutivo 115
5.1.4.2 Método hipotético dedutivo na pesquisa de campo 117
5.2 População e Amostra 117
5.3 Hipóteses da pesquisa 119
5.4 Delineamento da pesquisa 122
5.4.1 Primeira Etapa - Coleta dos dados da variável explicada: ENADE dos cursos da
FACED, FADIR e FEAAC, de 2006 a 2011 124
5.4.2 Segunda Etapa - Cálculo das variáveis explicativas: indicadores de gestão do TCU,
por curso, na FACED, FADIR e FEAAC, de 2006 a 2011 124
5.4.4 Metodologia para a composição do Custo Corrente por curso e critérios de alocação 129 5.5 Identificação, classificação, coleta e cálculo das variáveis da pesquisa 144
6 ANÁLISE DE RESULTADOS 149
6.1 Compilação das variáveis independentes e dependente 149
6.2 Análise descritiva das observações dos cursos de 2006 a 2011 153
6.2.1 Indicadores de Gestão do TCU: Geral da UFC 155
6.2.2 Indicadores de Gestão do TCU: Curso de Direito 160
6.2.3 Indicadores de Gestão do TCU: Curso de Pedagogia 165
6.2.4 Indicadores de Gestão do TCU: Curso de Administração 170
6.2.5 Indicadores de Gestão do TCU: Curso de Economia 175
6.2.6 Indicadores de Gestão do TCU: Curso de Ciências Contábeis 180 6.2.7 Indicadores de Gestão do TCU: Curso de Secretariado Executivo 185
6.3 Análise da influência dos indicadores de gestão do TCU sobre o ENADE 190
6.3.1 Análise de Correlação entre as variáveis 190
6.3.2 Análise Fatorial 191
6.3.3 Regressão de Linear Múltipla 197
6.3.4. Síntese da análise de resultados 199
7 CONCLUSÕES 205
7.1 Alcance dos objetivos 205
7.2 Teste das hipóteses e resposta ao problema da pesquisa 207
7.3 Recomendações 210
7.4 Limitações da pesquisa 212
7.5 Sugestões para pesquisas futuras 213
REFERÊNCIAS 215
Apêndice A: Alunos-equivalentes e alunos em tempo integral por curso, de 2006 a 2011 227
Apêndice B: Professores-equivalentes por curso, de 2006 a 2011 231
Apêndice C: Funcionários-equivalentes por curso, de 2006 a 2011 232
Apêndice D: Cálculo do AIPE por curso, de 2006 a 2011 234
Apêndice E: Cálculo do AIFE por curso, de 2006 a 2011 235
Apêndice F: Cálculo do FEPE por curso, de 2006 a 2011 236
Apêndice G: Cálculo do GPE por curso, de 2006 a 2011 237
Apêndice H: Cálculo do GEDPG por curso, de 2006 a 2011 238
Apêndice I: CAPES/MEC por curso, de 2006 a 2011 239
Apêndice J: IQCD por curso, de 2006 a 2011 240
Apêndice K:TSG por curso, de 2006 a 2011 241
Apêndice L: CCAE por curso, de 2006 a 2011 242
Apêndice M:Resultado do ENADE por curso, de 2006 a 2011 249
ANEXOS 250
1 INTRODUÇÃO
Avaliar é uma das formas de se receber feedback. É por meio de uma avaliação que se obtêm respostas para indagações. Quando bem analisadas, essas respostas devem funcionar como um direcionador de condutas para ambas as partes: avaliador e avaliado.
Considerando que a avaliação deve direcionar condutas, fica patente que a contribuição da avaliação é subsidiar tomadas de decisões. Na área educacional, entre os modelos de avaliação, tem-se o Modelo CIPP proposto por Stufflebeam (1971) e Stufflebeam e Skinfield (2007), é um modelo sistêmico de avaliação concebido sob quatro óticas: a avaliação do contexto, dos insumos, dos processos e do produto. Tal modelo parte do pressuposto de que todos eles influenciam os desempenhos dos programas educacionais. Para os autores anteriormente mencionados, a avaliação com base no modelo CIPP é voltada para processos decisórios, daí a escolha deste modelo teórico para embasamento do presente trabalho.
Em se tratando das Instituições Federais de Ensino Superior (IFES), a avaliação de seus desempenhos pode ser acompanhada, externamente, pela sociedade e pelo governo e, internamente, pelos seus gestores. No primeiro caso, há anos a sociedade vem acompanhando a preocupação do poder público em conhecer como vai o desempenho, não só das IFES, mas também de todas as Instituições de Ensino Superior (IES), e os primeiros passos na avaliação da relação ensino-aprendizagem, por exemplo, ocorreram notadamente nos anos 90, com a realização dos primeiros “provões”, cujas avaliações se deram de 1996 a 2003. Atualmente, essa avaliação vem sendo aplicada aos alunos do ensino superior por meio do Exame Nacional de Desempenho dos Estudantes (ENADE), regulado pela Lei no. 10.861/04, que instituiu o Sistema Nacional de Avaliação da Educação Superior (SINAES).
Inobstante a isto, é sabido que uma avaliação institucional não se resume à análise do desempenho da relação ensino-aprendizagem. Ela é mais ampla e compreende a Instituição como um todo, partindo-se do pressuposto de que todos os que fazem esta Instituição são avaliados e avaliadores. Assim, pode-se afirmar que a Avaliação Institucional Interna é um processo que resulta em autoconhecimento, cuja importância é inegável na manutenção, alteração ou no abandono de condutas que envolvem as IES. Portanto, pode-se afirmar que as IFES podem ser avaliadas por indicadores qualitativos e quantitativos.
Relatórios de Gestão. São eles: o Custo-corrente por aluno-equivalente (CCAE), CAPES/MEC dos programas de pós-graduação (CAPES/MEC), Índice de qualificação do corpo docente (IQCD), Aluno em tempo integral por professor-equivalente (AIPE), Aluno em tempo integral por funcionário equivalente (AIFE), Funcionário-equivalente por professor-equivalente (FEPE), Grau de participação estudantil (GPE), Grau de envolvimento do discente com a pós-grqaduação (GEDPG) e a Taxa de sucesso da graduação (TSG). Tais indicadores são tomados pelos valores apurados pelas IFES em sua globalidade, considerando todos os gastos e todos os cursos, sem buscar conhecer o valor destes indicadores, caso fossem tomados cada um dos cursos de forma individual.
Por conta do caráter externo dessas avaliações, o cálculo proposto pelo TCU é justificável, pois busca avaliar o desempenho das IFES em sua totalidade. Entretanto, considerando, ainda, as peculiaridades de cada unidade didática em uma IFES e, a partir delas, as especificidades de cada curso e, somando-se a isso o pressuposto de que os colegiados em cada uma destas unidades possuem autonomia, resultando em possibilidade de heterogeneidade de contextos e processos pedagógicos – por exemplo – então, sob o foco interno da avaliação, ou ainda, da autoavaliação, seria desejável que as IFES pudessem conhecer o comportamento destes mesmos indicadores propostos pelo TCU, de forma individualizada, em cada um dos cursos ofertados na Graduação.
Tendo em vista que o ENADE, proveniente do SINAES, é realizado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), sendo aplicado aos alunos da graduação, por curso, selecionados por amostragem, gerando uma nota para o aluno e outra para cada curso, torna-se relevante investigar se os indicadores de gestão do TCU explicam o comportamento do ENADE dos cursos. Para que isso seja viável ser investigado, é imprescindível que sejam calculados os indicadores de gestão do TCU por curso e não considerando a globalidade da IFES. Sob este prisma, justifica-se a importância deste estudo pela utilidade da aplicação do modelo aqui proposto, uma vez que os resultados obtidos nesta pesquisa poderão ser aplicados às IFES, de uma maneira geral.
A UFC é uma IFES, com atuação no Ceará, e possui seis campi, sendo três na capital – Pici, Porangabuçu e Benfica – e três, no interior do estado – Cariri, Sobral e Quixadá. Nestes seis campi, estão contempladas dezesseis unidades acadêmicas, assim distribuídas: quatro no Pici – Centro de Tecnologia (CT), Centro de Ciências (CCi), Centro de Ciências Agrárias (CCA) e Instituto de Educação Física e Esportes (IEFES); duas em Porangabuçu – Faculdade de Medicina (FAMED) e Faculdade de Farmácia, Odontologia e Enfermagem (FFOE); quatro no Benfica – Faculdade de Educação (FACED), Faculdade de Direito (FADIR), Faculdade de Economia, Administração, Atuária e Secretariado Executivo (FEAAC) e Centro de Humanidades (CH), outras três, ainda em Fortaleza – Instituto de Cultura e Arte (ICA), Instituto de Ciências do Mar (LABOMAR) e Instituto UFC-Virtual (UFC-Virtual); e, por fim, três no interior do Estado – Sobral, Cariri e Quixadá.
Tendo em vista as peculiaridades de cada uma das unidades acadêmicas, bem como a heterogeneidade dos processos pedagógicos em cada um dos programas de gestão acadêmica destes cursos existentes nas respectivas unidades acadêmicas, isso faz com que os processos pedagógicos desenvolvidos em cada unidade guardem características peculiares, quando tomados em relação aos mesmos processos nas outras unidades acadêmicas.
Em face da peculiaridade de cada curso ofertado nas respectivas unidades acadêmicas, ainda existem desafios a serem superados para o cálculo dos indicadores por curso em todas as unidades acadêmicas. Um desses desafios diz respeito à dificuldade de mensuração do custo alocável aos cursos, quando as disciplinas que compõem a grade curricular do mesmo são ministradas por docentes de múltilplos departamentos.
Esta situação pode ser ilustrada pelo Centro de Ciências, que possui o Departamento de Matemática, o qual oferece disciplinas de Matemática a diversos cursos da UFC. Seria preciso que se tivesse o Sistema de Custos na Administração Pública, por Departamento, para que se pudessem ratear os custos deste Departamento pelas unidades de produto que se utilizam dos serviços prestados por cada Departamento, de forma específica.
custos com mão-de-obra alocáveis aos cursos ofertados nesta unidade acadêmica encontram-se, de forma preponderante, voltados para os cursos da própria FEAAC.
Segundo a PROGRAD (2013), ao longo dos três turnos, (manhã, tarde e noite), a UFC oferece 84 cursos de Graduação, sendo 82 deles vinculados a uma das 16 unidades acadêmicas e 2 deles, ligados diretamente à Pró-Reitoria de Graduação (PROGRAD). A figura 1 mostra os cursos de graduação ofertados, por unidade acadêmica e por campus.
Figura 1: Cursos de graduação ofertados pela UFC,por unidade acadêmica e por campus
Fonte: Elaborado a partir da PROGRAD/UFC (2013)
En fe rma g e m Fa rmá cia Od o n t o lo g ia
Fisio t e ra p ia FAMED
FFOE Bio t e cn o lo g ia (Ba ch a re la d o )
Ciê n cia s Bio ló g ica s (Ba ch a re la d o / Lice n cia t u Est a t íst ica
Física (Ba ch a re la d o ) CAM
P U S D O PO R A N G A B U Ç U CCi CA M P U S D O PI CI C A M P U S D O BE N F IC A CH
Bib lio t e co n o mia Fisio t e ra p ia
Me d icin a FAMED
Ge o lo g ia Física (Ba ch a re la d o ) Física (Lice n cia t u ra )
CA M P U S D O PO R A N G A B U Ç U CCi CA M P U S D O PI CI
Le t ra s Psico lo g ia
FEAAC
Ad min ist ra çã o (Diu rn o / No t u rn o )
C A M P U S D O BE N F IC A CH
Bib lio t e co n o mia
C iências Sociais ( Bachar elado / Licenciatur a)
Histór ia ( bachar elado / Licenciatur a) Ge o g ra fia (Ba ch a re la d o / Lice n cia t u ra )
Ge o lo g ia
Ma t e má t ica I n d u st ria l (Ba ch a re la d o ) Ma t e má t ica (Ba ch a re la d o ) Ma t e má t ica (Lice n cia t u ra ) Qu ímica (Ba ch a re la d o ) CCi CA M P U S D O PI CI FADIR
Pe d a g o g ia (Pe d a g o g ia d a Te rra ) FEAAC
Ad min ist ra çã o (Diu rn o / No t u rn o ) Ciê n cia s At u a ria is
Ciê n cia s Co n t á b e is (Diu rn o / No t u rn o ) Ciê n cia s Eco n ô mica s (Diu rn o / No t u rn o )
Se cre t a ria d o Fin a n ça s
C A M P U S D O BE N F IC A
Dire it o (Diu rn o / No t u rn o )
FACED Co mp u t a çã o
Ag ro n o mia Eco n o mia Do mé st ica En g e n h a ria d e Pe sca En g e n h a ria d e Alime n t o s
Zo o t e cn ia Qu ímica (Lice n cia t u ra ) Qu ímica (Ba ch a re la d o ) CCi CCA CA M P U S D O PI CI
Pe d a g o g ia (Pe d a g o g ia d a Te rra ) Pe d a g o g ia (Diu rn o / No t u rn o )
C A M P U S D O BE N F IC A FACED
Od o n t o lo g ia Psico lo g ia
En g e n h a ria d e So ft w a re (Ba ch a re la d o ) Re d e s d e Co mp u t a d o re s (Te cn o ló g ico )
Sist e ma s d e I n fo rma çã o Filo so fia (Ju a ze iro d o No rt e )
Ciê n cia s Eco n ô mica s En g e n h a ria d a Co mp u t a çã o
En g e n h a ria Elé t rica Fin a n ça s (Ba ch a re la d o )
Me d icin a Ag ro n o mia (Cra t o ) Ad min ist ra çã o (Ju a ze iro d o No rt e ) Bib lio t e co n o mia (Ju a ze iro d o No rt e )
De sig n d e Pro d u t o s (Ju a ze iro d o No rt e ) En g e n h a ria Civil (Ju a ze iro d o No rt e ) En g . d e Ma t e ria is (Ju a ze iro d o No rt e ) Co mu n ica çã o So cia l – Jo rn a lismo (Ju a ze iro
Ciê n cia s Amb ie n t a is Me d icin a (Ba rb a lh a )
mu n ica çã o So cia l (Pu b licid a d e e Pro p a g a n d Da n ça (Ba ch a re la d o )
Eng. de En. e Meio Ambiente (Eng. Ambiental)
Eng. de En. e Meio Ambiente (Eng. de Energia Renováveis)
IN S T IT U T O D E C U LT U R A E A R T E ( IC A )
Da n ça (Lice n cia t u ra ) Ed u ca çã o Mu sica l (Lice n cia t u ra )
Est ilismo e Mo d a Te a t ro (Lice n cia t u ra ) Cin e ma e Au d io visu a l (Ba ch a re la d o )
Co mu n ica çã o So cia l (Jo rn a lismo ) Ed u ca çã o Física (Ba ch a re la d o )
Ed u ca çã o Física (Lice n cia t u ra ) Eng. de En. e Meio Ambiente (Eng. de Petróleo)
En g e n h a ria Me câ n ica En g e n h a ria Me t a lú rg ica
En g e n h a ria Qu ímica
En g e n h a ria d e Te le in fo rmá t ica Zo o t e cn ia
Arq u it e t u ra e Urb a n ismo En g e n h a ria Civil En g e n h a ria Elé t rica
CAMPUS DO CARIRI
En g e n h a ria d e Pro d u çã o Me câ n ica
LABOMAR CCA CT IE F E S CA M P U S D O PI CI CAMPUS DE SOBRAL CAMPUS DE QUIXADÁ
Ciê n cia s Amb ie n t a is Oce a n o g ra fia Ges tão em Educa çã o Superi or
IN S T IT U T O D E C U LT U R A E A R T E ( IC A )
Est ilismo e Mo d a
Filo so fia (Ba ch a re la d o / Lice n cia t u ra ) Ga st ro n o mia (Ba ch a re la d o )
LABOMAR
PROGRAD Sist e ma s e Míd ia s Dig it a is (Ba ch a re la d o )
Ges tão em Educa çã o Superi or
Ges tã o em Hos pi tai s Uni vers itá ri os
IN S T IT U T O D E C U LT U R A E A R T E ( IC A )
Ga st ro n o mia (Ba ch a re la d o )
UFC-VIRTUAL
No que concerne ao horizonte temporal, pretende-se fazer um corte dos últimos seis anos (2006 a 2011) para o cálculo dos referidos indicadores de gestão.
Neste contexto, a presente pesquisa tem como tema a relação entre os indicadores de gestão do TCU e o desempenho dos cursos no ENADE e está delimitado aos cursos da FACED, FADIR e FEAAC da Universidade Federal do Ceará, nos anos de 2006 a 2011.
Ao longo da pesquisa, este trabalho busca apresentar uma resposta ao seguinte questionamento: sob a perspectiva do modelo CIPP de avaliação, os indicadores de gestão do TCU exercem influência sobre o desempenho dos cursos no ENADE, no âmbito das unidades acadêmicas da FACED, FADIR e FEAAC, da UFC?
Como objetivo geral, a pesquisa pretende investigar, sob a perspectiva do modelo CIPP de avaliação, se os indicadores de gestão do TCU influenciam o desempenho dos cursos no ENADE, no âmbito das unidades acadêmicas da FACED, FADIR e FEAAC, da UFC.
Quanto aos objetivos específicos, têm-se:
i) Identificar os aspectos conceituais do Modelo CIPP de Avaliação Educacional; ii) Apresentar a evolução da avaliação do Ensino Superior no Brasil
iii) Identificar a metodologia de cálculo do TCU para os indicadores de gestão das IFES;
iv) Apresentar a metodologia de cálculo dos indicadores do TCU, por curso;
v) Calcular os indicadores de gestão para cada um dos cursos de graduação das unidades acadêmicas da FACED, FADIR e FEAAC, da UFC; e
vi) Investigar, no âmbito dessas unidades acadêmicas da UFC e, sob a perspectiva do modelo CIPP, se existe relação de causa e efeito entre os indicadores de gestão do TCU e o desempenho dos cursos no ENADE, indicando ainda, se for o caso, se essa relação é direta ou inversa.
Figura 2: Especificidades das unidades didáticas e dos cursos e seus efeitos
Fonte: A utora
Face ao exposto, torna-se relevante, sob o foco interno da avaliação educacional, conhecer os desempenhos por curso, justificando-se assim, a busca por indicadores de desempenho, calculados por curso.
Como resposta provisória ao problema da pesquisa apresenta-se a seguinte tese: sob a perspectiva do modelo CIPP de avaliação, os indicadores de gestão do TCU calculados por curso influenciam o desempenho dos cursos no ENADE. No capítulo destinado à metodologia do trabalho, esta tese será operacionalizada em nove hipóteses, sendo uma para cada um dos nove indicadores de gestão do TCU objeto da análise.
No que concerne à metodologia da pesquisa, para Marconi e Lakatos (2003:83): “método é o conjunto das atividades sistemáticas e racionais que, com maior segurança e economia, permite alcançar o objetivo – conhecimentos válidos e verdadeiros – traçando o caminho a ser seguido, detectando erros e auxiliando as decisões do cientista”.
Como meio de se atingir os objetivos desta pesquisa, será empregado o método estruturalista de Lévi-Strauss, segundo o qual as variáveis não são analisadas em si, mas pelas relações estabelecidas entre elas, (já que as variáveis podem sofrer mutações, embora as relações entre elas permaneçam), e por fim, proceder-se-á uma análise de regressão múltipla, com fins de se investigar a existência de influência dos indicadores de gestão do TCU, calculados por curso sobre os resultados dos cursos no ENADE, no período de 2006 a 2011.
Quanto aos métodos de procedimento, utilizar-se-ão as técnicas de documentação indireta consistentes em pesquisas bibliográficas, tendo como principais fontes os livros e artigos publicados ou disponíveis em sites, bem como a pesquisa documental, que terá como principais fontes as normas que dão sustentação jurídica às exigências legais, bem como os documentos públicos dos resultados das avaliações dos cursos realizadas pelo INEP, bem como dos relatórios de gestão do TCU.
Utilizar-se-á, ainda, pesquisa empírica nos cursos de três unidades acadêmicas da Universidade Federal do Ceará (UFC). Como técnica de coleta de dados para a pesquisa empírica, será utilizada pesquisa documental, tendo como principais fontes documentos da própria UFC, que permitam identificar a sua estrutura organizacional e ainda os demais documentos que permitam calcular o custo por curso e por aluno nos cursos de graduação das três unidades acadêmicas da UFC, bem como todos os demais indicadores do TCU, por curso.
Para atingir o objetivo desta pesquisa, este trabalho segue estruturado em sete capítulos. O primeiro traz a introdução, com a delimitação do tema e sua contextualização, o problema da pesquisa, os objetivos e a justificativa.
O segundo capítulo traz o referencial teórico acerca da avaliação educacional, abordando as classificações e os princípios aplicáveis e, por fim, o modelo CIPP de avaliação, o qual servirá de referencial teórico da pesquisa.
O terceiro capítulo traz a evolução histórica da avaliação do Ensino Superior no Brasil, bem como uma abordagem dos seguintes indicadores: ENADE, consoante o SINAES e os indicadores de gestão do TCU, consoante a Decisão no. 408/2002 do TCU, apresentando, ao final, a relação dos referidos indicadores com as quatro plataformas do modelo CIPP de avaliação.
Considerando que um dos indicadores de gestão do TCU traz o Custo Corrente por Aluno-Equivalente (CCAE), no quarto capítulo tem-se o referencial teórico necessário para a compreensão da metodologia do cálculo do custo por curso e por aluno nas IFES, imprescindível para que se compreenda o cálculo do custo por curso proposto neste estudo. Para tanto, faz-se uma abordagem acerca das características qualitativas da informação contábil, a partir da Estrutura Conceitual Básica, as terminologias utilizadas pela Contabilidade de Custos, as classificações dos custos e os métodos de custeamento.
O quinto capítulo traz a metodologia da pesquisa, com as classificações do estudo, uma abordagem acerca da população e amostra, o delineamento do estudo, a classificação das variáveis da pesquisa e as hipóteses operacionais a serem testadas.
2 AVALIAÇÃO EDUCACIONAL E O MODELO CIPP DE AVALIAÇÃO
Avaliar significa determinar o mérito ou o valor de alguma coisa. Em se tratando de avaliação educacional, como se tem muitos atores envolvidos, muitos são os interessados em seus resultados, daí a complexidade do tema, que pode ter múltiplos objetos ou focos, com múltiplos resultados.
Este capítulo traz um estudo acerca de avaliação educacional, buscando mostrar algumas das variações de seu conteúdo e modelos dele decorrentes, bem como de suas classificações. Em seguida, apresenta-se uma abordagem sobre autoavaliação institucional ou avaliação institucional interna, encerrando-se com a apresentação dos pilares do Modelo CIPP de Avaliação proposto por Stufflebeam (1983), uma vez que o referido modelo conceitual é o utilizado como referencial teórico para a análise dos resultados desta pesquisa.
2.1 Abordagens conceituais sobre avaliação educacional
Muitos são os envolvidos nos processos educacionais. Os sujeitos deste processo vão desde os educadores, educandos, seus pais ou responsáveis, os gestores dos estabelecimentos de ensino, até os financiadores dos processos educacionais. Como financiadores dos processos educativos e, em se tratando de estabelecimentos de ensino privado, têm-se os responsáveis financeiros dos estudantes e, em se tratando de estabelecimentos de ensino público, o governo. Entre os interessados nos processos educacionais, pode-se afirmar que está ainda a sociedade, em seu sentido lato sensu, pois não se observa progresso e desenvolvimento social dissociados de um forte e eficiente processo educacional.
Como se pode observar, os interessados nos resultados dos processos educativos são múltiplos atores, de forma que os processos avaliativos devem considerar e contemplar o objetivo dos seus interessados, sob pena de os resultados dessas avaliações tornarem-se sem aplicação, uma vez que nascerão desprovidos de sua razão de ser, afinal de contas, uma avaliação educacional não representa um fim em si mesma. Ela é um meio para se conhecer a realidade a fim de que, a partir deste conhecimento, possam ser tomadas decisões inerentes aos processos educativos, visando a aperfeiçoá-los.
Para Worthen; Sanders; Fitzpatrick (2004), a diversidade de abordagens da avaliação educacional decorre da visão de mundo de seus autores, os quais possuem orientações filosóficas, predileções por metodologias e preferências práticas. Para os autores, isso explicaria a coexistência de várias concepções, bem como de métodos de coleta de dados e técnicas interpretativas diferentes. Observem-se a seguir algumas destas abordagens a partir de meados do século passado, consoante autores clássicos.
2.1.1 Avaliação centrada em objetivos
Até o início do século XX, as avaliações davam-se por meio de testes psicométricos. Segundo Escorza (2003), Tyler é considerado o pai da avaliação, por ter sido o pioneiro no desenvolvimento de uma visão metódica acerca da mesma.
De 1933 a 1941, Tyler dirigiu o denominado “eigth-year study”, o qual teve como foco o desenvolvimento de um estudo longitudinal destinado a analisar a eficiência de diferentes tipos de escolas, especialmente um comparativo entre a escola secundária tradicional e a progressista. O resultado desses estudos foi um dos seus principais legados, rompendo com os modelos até então vigentes de avaliação.
Para Tyler (1949) os resultados dos processos educacionais são medidos pelo grau de atingimento dos objetivos do programa. Sob esta concepção, a grande contribuição de Tyler no campo da avaliação educacional se deu para a avaliação curricular, pois esta foi a mais longa pesquisa no campo da avaliação curricular.
Segundo Tyler (1949), o desenvolvimento de um currículo ou plano de ensino deve levar em consideração quatro princípios: i) quais são os objetivos educacionais pretendidos pela escola; ii) que experiências educacionais devem ser ofertadas para alcançar estes objetivos; iii) como organizar de forma eficiente estas experiências e iv) como se assegurar de que esses objetivos estão sendo atendidos. Sob esta abordagem conceitual, qualquer dispositivo que fornece uma evidência válida sobre o progresso dos estudantes em direção aos objetivos educacionais é apropriado e a seleção das técnicas de avaliação deve ser feita em termos da adequação dessa técnica para o tipo de comportamento a ser avaliado.
comportamentos esperados, iii) escolha dos instrumentos apropriados de avaliação e iv) definição da confiabilidade e da objetividade das medidas.
O modelo proposto por Tyler é simples e parte do princípio de que educar consiste em mudar padrões antigos ou originar novos padrões de comportamento, devendo o currículo ser construído com base na especificação de habilidades desejáveis expressas em objetivos a serem atingidos. Segundo Vianna (2000), Tyler apresentou a avaliação como um processo de comparação entre os desempenhos e a concretização de objetivos instrucionais predefinidos.
Para Vianna (2000), o modelo tylerista de avaliação contribui para o processo decisório no qual estão inseridos professores, os administradores, os pais e os próprios alunos, os quais se pautam na eficiência da relação do sistema com a aprendizagem. Neste diapasão, avaliação e medida não podem ser entendidas como sinônimos, uma vez que a avaliação tem escopo de processo de investigação de valores, enquanto a medida funciona apenas como parte desse processo.
2.1.2 Avaliação para tomada de decisões
Ainda no século XX, Lee Cronbach, apresentou um enfoque crítico do modelo tylerista, segundo o qual a avaliação era centrada nos objetivos do programa. Para Cronbach (1963), esta concepção avaliativa era limitada, o que o levou a prosseguir defendendo a avaliação com enfoque direcionado a resultados multidimensionais, e, com isso, o desempenho do discente poderia ser analisado de várias maneiras e não com critério exclusivo na avaliação de um programa.
A proposta de Cronbach (1963) é sustentada em quatro pilares: i) a avaliação deve contribuir para o processo de tomada de decisão; ii) a avaliação educacional pode assumir diferentes papéis; iii) o desempenho dos discentes deve ser um dos critérios de avaliação dos cursos; iv) e o avaliador deve adotar várias técnicas de medida, as quais devem ser adequadas ao foco avaliativo.
Dado o foco multidimensional que a avaliação educacional deve assumir, Cronbach (1963) defendeu que o desempenho escolar do aluno não deveria ser utilizado como critério exclusivo para a avaliação de uma instituição ou de um programa, ou de um sistema de ensino, bem como a relevância das informações quantitativas e qualitativas no processo avaliativo.
úteis para tomada de decisão, devendo, portanto, tais resultados serem concebidos de forma livre e isenta de tendência, e considerando as variáveis que sejam necessárias à produção das referidas informações.
Neste sentido, para Cronbach (1963), o planejamento compreende a fase divergente e a fase convergente. Na primeira, o avaliador e o administrador formulam o máximo possível de indagações a serem consideradas no âmbito da avaliação e, na segunda, o foco é a priorização, escolha ou definição das questões a serem utilizadas no processo avaliativo.
Segundo Vianna (2000), a visão de Scriven acerca de avaliação aducacional converge em muitos aspectos com a concepção avaliativa de Cronbach. Para Scriven (1967, apud Vianna 2000), avaliar é o processo que visa a determinar o valor ou o mérito de alguma coisa, concluindo que a avaliação terá sempre um único objetivo, que é determinar o valor ou mérito do que está sendo avaliado.
Sob este prisma de o objetivo da avaliação estar voltado para emissão de juízo de valor, Sriven foi um dos precursores na preocupação com a formação do avaliador, chegando a fazer a distinção entre o avaliador profissional e avaliador amador e defendeu que apenas o primeiro estaria apto a emitir juízo de valor. Há controvérsias a esse respeito, pois, embora se reconheça que o avaliador gere conhecimentos válidos, nem sempre caberá a ele a tomada de decisões.
Scriven (1966) teceu uma abordagem acerca dos papéis da avaliação. Para ele, a avaliação pode desempenhar muitos papéis, os quais se relacionam com o uso que se faz dos resultados provenientes da avaliação. Estes papéis podem variar de um contexto para outro, e também no mesmo contexto. Scriven classificou os papéis da avaliação em dois tipos: avaliação formativa e avaliação somativa, adiante comentados.
Segundo Worthen, Sanders e Fitzpatrick (2004), Scriven foi um dos críticos do modelo tylerista de avaliação centrada nos objetivos, uma vez que, durante o processo de avaliação, podem surgir novos objetivos não previstos inicialmente e que se revelem mais relevantes que aqueles previamente determinados. Com isso, a avaliação orientada por objetivos, que foram definidos pelo coordenador do desenvolvimento do projeto, teria uma visão restrita e limitada da percepção do problema, impedindo o avaliador de verificar os resultados diretamente relacionados aos objetivos que não tiverem sido previamente determinados. A esse tipo de avaliação ele chamou de goal-free (independente de objetivos).
produtos do processo de aprendizagem, Scriven (2007) defendeu que, uma vez preenchido o
checklist, já estaria pronta a síntese avaliativa.
Segundo Teixeira (2006), no campo da avaliação educacional do século XX, também merecem destaque os estudos de Stufflebeam (1971). Para o autor, o processo avaliativo deve estar voltado para tomada de decisões, de modo que deve viabilizar a obtenção de informações legítimas, colhidas no contexto real em que ocorre o processo avaliativo. Neste sentido, o seu modelo de avaliação abrange os aspectos relacionados ao Contexto, Insumos, Processos e
Produtos, de modo que sua proposta é também conhecida como Modelo CIPP de avaliação, destinado a abranger decisões em quatro níveis: planejamento, estruturação, implementação e reciclagem (revisão). Cabe salientar que a importância da análise de contexto defendida por Stufflebeam teve em Cronbach suas primeiras sementes.
A avaliação, segundo a concepção de Stufflebeam (2000), consiste em um processo que busca delinear, obter e proporcionar informações úteis para o julgamento de decisões alternativas, isto é, permite oferecer informações úteis que possibilitem a melhoria da qualidade de um programa educacional.
Fortalecendo a relevância do papel formativo que a avaliação pode assumir, Vianna (2000) afirmou que o núcleo duro do modelo de Stufflebeam centra-se no dimensionamento da avaliação com objetivo de permitir a tomada de decisão, além de ser uma avaliação focada em “melhorar”, e não em “provar” algo.
Considerando que o Modelo CIPP proposto por Stufflebeam foi o escolhido por este trabalho para aplicação na pesquisa empírica, o mesmo será explanado de forma mais pormenorizada no item 2.5 deste capítulo.
2.1.3 Avaliação orientada à negociação
O modelo avaliativo para Stake (1967) é também conhecido como avaliação responsiva. Reconhecendo a complexidade do objeto de avaliação, Stake (1967) acreditava que dialogar com essa complexidade advinda do objeto deve ser o princípio embasador da avaliação. Para isso, segundo Worthen, Sanders e Fitzpatrick (2004), Stake concebeu a avaliação com dupla face: a descrição e o julgamento.
do processo, indo além dessa identificação, considerando as discrepâncias entre o que foi observado oriundo das transações e o que fora esperado oriundo dos objetivos antecedentes. Nestes termos, o modelo da avaliação responsiva preconizada por Stake (1967) deve agrupar as informações coletadas em três grupos, cuja análise deve realizar-se sob a perspectiva de elementos pretendidos com os observados (que efetivamente ocorreram):
i) Informações antecedentes: consistem naquelas que mostram as condições existentes antes
do ensino e da aprendizagem;
ii) Informações das interações: são aquelas relacionadas ao intercâmbio entre alunos, alunos
e professores, pais e orientadores;
iii) Resultados: ligado aos conhecimentos, habilidades e atitudes dos estudantes como
consequência da experiência educacional.
Sob esta concepção, Stake definiu avaliação responsiva como sendo:
[...] aquela que se volta mais diretamente para as atividades do programa do que para sua intenções; quando responde às exigências de informações dos interessados; e quando as diferentes perspectivas valorativas presentes são consideradas no relatório que fala do sucesso ou fracasso do programa. (STAKE, 1975, APUD WORTHEN, SANDERS E FITZPATRICK, 2004, p. 231)
Como se vê pelo conceito de Stake anteriormente mencionado, a essência da avaliação responsiva está na busca por respostas aos interesses e necessidades de diferentes grupos, isto é, na geração de respostas às informações demandadas pelos mais diversos usuários, levando-se em consideração as variações de perspectivas de valores que lhes são peculiares.
Outra contribuição de Stake (1978) aos processos avaliativos foi a proposta do estudo de caso, por reconhecer a complexidade do objeto avaliado, sobretudo em seus aspectos qualitativos, embora sem descartar os mecanismos quantitativos. Enfim, Stake (1978) defendeu que a avaliação deve ser realizada contemplando a dimensão qualitativa e quantitativa do objeto avaliado, uma vez que ambas as perspectivas se complementam na análise de um mesmo fenômeno.
Segundo Vianna (2000), a avaliação responsiva de Stake possibilitou o advento da avaliação naturalista, consoante a qual os sujeitos avaliados são observados em sua atividade habitual, seu habitat usual. Neste sentido, a linguagem adotada deve ser familiar aos avaliados.
valorizou o julgamento do avaliador no processo avaliativo, em contraposição ao objetivismo dos modelos então existentes.
Além da avaliação responsiva, voltada à negociação, outro modelo avaliativo voltado para a negociação é a avaliação iluminativa de Parlett e Hamilton (1976). Segundo Worthen, Sanders e Fitzpatrick (2004), este modelo avaliativo envolve o estudo intensivo de um programa como um todo, ou seja, o seu fundamento lógico e evolução, operações, realizações e dificuldades no contexto organizacional. Sob esse prisma, no processo avaliativo, deve-se levar em consideração a maneira como os objetivos estão sendo percebidos ou vivenciados por aqueles que são responsáveis pela execução.
Segundo Worthen, Sanders e Fitzpatrick (2004), a avaliação iluminativa tem como preocupação central a descrição e interpretação, e não a mensuração e a previsão. Nesse sentido, não cabe a manipulação ou o controle das variáveis. O complexo contexto educacional é considerado tal como existe e o papel do avaliador é a busca pela compreensão deste contexto.
Parlett e Hamilton (1976) entendem que, no contexto em que se encontram professores e alunos, estão presentes e interagindo diversas e complexas variáveis sociopsicoculturais e institucionais, as quais produzem, em cada sala de aula, um arranjo único de circunstâncias, pressões, hábitos, opiniões e estilos de trabalho, que influenciam os desempenhos de ensino e aprendizagem.
Nessa perspectiva, Parlett e Hamilton (1976) propõem um processo avaliativo que exige do avaliador uma convivência com o cotidiano escolar, no qual, a partir de uma estratégia metodológica, analisará as variáveis que atuam em uma situação e isolará suas características significativas, buscando iluminar a compreensão das relações entre crenças, práticas, padrões organizacionais e comportamentos apresentados pelos agentes e sujeitos da ação educativa. Daí o nome de avaliação iluminativa.
2.1.4 Avaliação emancipatória e para o empoderamento
prática. Sua avaliação emancipatória foi desenvolvida enquanto era aplicada, com êxito, ao programa de pós-graduação em que trabalhava.
Para Saul (1988), a avaliação emancipatória possui dois objetivos básicos: i) iluminar o caminho da transformação (indica a preocupação com o futuro, com as consequências da avaliação, a ser redefinido com base na análise crítica do que foi observado) e ii) beneficiar as audiências no sentido de torná-las emancipadas (ressalta o caráter emancipador da abordagem do modelo avaliativo).
Do ponto de vista metodológico, a avaliação emancipatória de Saul (1988) dá-se em quatro estágios: i) preparação da avaliação (que consiste em verificar o interesse dos avaliados que, na avaliação emancipatória, também são avaliadores. Essa verificação pode se dar por meio de entrevistas individuais ou encontros em grupo, por meio do emprego de técnicas qualitativas); ii) descrição da realidade (descreve-se o programa sendo avaliado, seu histórico, objetivos e características); iii) análise e crítica da realidade (destacam-se os pontos críticos e suas prioridades) e iv) criação coletiva (resulta em um plano de ação para transformar a realidade). Observa-se no Quadro 1 estes quatro estágios e as ações que os caracterizam.
Quadro 1: Estágios do desenvolvimento da avaliação emancipatória de Saul (1988) ESTÁGIOS DO DESENVOLVIMENTO DA AVALIAÇÃO EMANCIPATÓRIA DE
SAUL (1988)
Planejamento 1 Preparação da avaliação
Verifica-se o interesse dos avaliados que, na avaliação emancipatória, também são avaliadores. Essa verificação pode se dar por meio de entrevistas individuais ou encontros em grupo, por meio do emprego de técnicas qualitativas
Avaliação propriamente dita
2 Descrição da realidade Descreve-se o programa sendo avaliado, seu histórico, objetivos e características
3 Análise e crítica da realidade
Destacam-se os pontos críticos e suas prioridades
4 Criação coletiva Resulta em um plano de ação para transformar a realidade, o que contribuirá para a emancipação dos avaliados.
Fonte: Elaborado a partir de Saul (1988)
A avaliação para empoderamento defendida por Fetterman (1995) prevê o uso de
A avaliação para empoderamento é um enfoque avaliativo voltado para a autoavaliação. Para Fetterman (2001), esta metodologia pode ser aplicada na avaliação de indivíduos, organizações ou comunidades, com o objetivo de auxiliá-los a otimizar seus programas, por meio de reflexão oportunizada a partir da auto-avaliação.
Assim como a proposta de Saul (1988), Fetterman (1995) propõe que a avaliação educacional seja uma atividade colaborativa e destaca que o avaliador não tem a capacidade de dar poder a outras pessoas, elas é que devem empoderar a si mesmas. Do ponto de vista metodológico, Fetterman (1995) organiza a avaliação em três estágios: i) estabelecer a missão ou visão do programa, ii) identificar e priorizar as atividades mais significativas do programa, e iii) estabelecer um plano de objetivos e estratégias para empreender as mudanças desejadas, mostrados no Quadro 2.
Quadro 2: Estágios do desenvolvimento da avaliação para o empoderamento de Fetterman (1995)
ESTÁGIOS DO DESENVOLVIMENTO DA AVALIAÇÃO PARA O EMPODERAMENTO DE FETTERMAN (1995)
Planejamento 1 Estabelecer a missão ou visão do programa.
Utiliza-se um quadro quantitativo elaborado coletivamente. No quadro, os participantes, em conjunto, listam todos os itens considerados relevantes em uma lista única.
Avaliação propriamente dita
2 Identificar e priorizar as atividades mais
significativas do programa.
Cada participante avalia cada item atribuindo-lhe uma nota. O cálculo da média de todas as notas atribuídas a um item determina o julgamento coletivo daquele item
3 Estabelecer um plano de objetivos e estratégias para empreender as mudanças desejadas
Resulta em um plano de ação para transformar a realidade, empoderando os avaliados.
Fonte: Elaborado a partir de Fetterman (1995)
A análise comparada entre os estágios do desenvolvimento da avaliação emancipatória
cada item atribuindo-lhe uma nota. O cálculo da média de todas as notas atribuídas a um item determina o julgamento coletivo daquele item.
As propostas de construção coletiva da Avaliação para Empoderamento, assim como da Avaliação Emancipatória, conduzem às principais críticas a estes modelos. Entre elas tem-se a seguinte indagação: como viabilizar a aplicação destes modelos em avaliações em larga escala? Eis uma pergunta para a qual, até então, não se tem resposta.
2.1.5 Síntese das várias abordagens sobre avaliação educacional
Como se viu, no que concerne aos aspectos conceituais de avaliação educacional, para os autores clássicos contemporâneos do século XX, existem várias abordagens, as quais podem variar de conteúdo, segundo o seu autor e o contexto em que o mesmo buscou tal definição. No século XXI, o que se tem, até então, sobre as abordagens de avaliação educacional é uma tentativa de sintetizar aspectos já introduzidos nas abordagens anteriormente mencionadas nos itens 2.1.1 ao 2.1.4.
Observe-se, por exemplo, a análise do conceito de avaliação educacional para Andriola (2003, p. 258), “avaliação é um processo sistemático para coletar informações válidas, quantificadas ou não, sobre uma determinada realidade ou atividade, permitindo, assim, sua valoração e posterior tomada de decisões, objetivando sua melhoria ou aperfeiçoamento”.
Verifica-se em Andriola (2003) a presença dos seguintes aspectos presentes em abordagens de autores clássicos do século XX: i) métodos qualitativos e quantitativos defendidos por Stake (1967); ii) a atribuição do valor (ou mérito) do objeto avaliado prevista em Scriven (1966); iii) a contribuição da avaliação para a tomada de decisão defendida por Stufflebeam (1971), bem como o papel formativo da avaliação, preceituado por Scriven (1966).
