UNIVERSIDADE FEDERAL DO CEARÁ FACULDADE DE EDUCAÇÃO
PROGRAMA DE PÓS-GRADUAÇÃO EM EDUCAÇÃO BRASILEIRA
DENISE MARIA MOREIRA CHAGAS CORRÊA
INDICADORES DE GESTÃO DO TCU E O DESEMPENHO DOS CURSOS NO ENADE: UM ESTUDO DE CURSOS DE GRADUAÇÃO
FORTALEZA 2013
DENISE MARIA MOREIRA CHAGAS CORRÊA
INDICADORES DE GESTÃO DO TCU E O DESEMPENHO DOS CURSOS NO ENADE: UM ESTUDO DE CURSOS DE GRADUAÇÃO
Tese de Doutorado apresentada ao programa de Pós-Graduação em Educação Brasileira da Faculdade de Educação da Universidade Federal do Ceará como requisito final para obtenção do título de Doutora em Educação.
Orientador: Prof. Dr. Wagner Bandeira Andriola Coorientadora: Profa. Dra. Márcia Martins Mendes De Luca
FORTALEZA 2013
Dados Internacionais de Catalogação na Publicação Universidade Federal do Ceará
Biblioteca de Ciências Humanas C841i Corrêa, Denise Maria Moreira Chagas.
Indicadores de gestão do TCU e o desempenho dos cursos no Enade : um estudo de cursos de graduação / Denise Maria Moreira Chagas Corrêa. – 2013.
252 f. : il. color., enc. ; 30 cm.
Tese (doutorado) – Universidade Federal do Ceará, Faculdade de Educação, Programa de Pós-Graduação em Educação Brasileira, Fortaleza, 2013.
Área de Concentração: Educação brasileira. Orientação: Dr. Wagner Bandeira Andriola.
Coorientação: Profa. Dra. Márcia Martins Mendes De Luca.
1. Avaliação educacional – Brasil. 2. Ensino superior – Avaliação – Brasil. 3. Universidades e faculdades – Brasil – Exames. 4. Análise de regressão. 5. Brasil. Tribunal de Contas da União.
6. Exame Nacional de Desempenho dos Estudantes. I. Título.
DENISE MARIA MOREIRA CHAGAS CORRÊA
INDICADORES DE GESTÃO DO TCU E O DESEMPENHO DOS CURSOS NO ENADE: UM ESTUDO DE CURSOS DE GRADUAÇÃO
Tese de Doutorado apresentada ao programa de Pós-Graduação em Educação Brasileira da Faculdade de Educação da Universidade Federal do Ceará como requisito final para obtenção do título de Doutora em Educação.
Data da Aprovação: 22 / 07 / 2013.
BANCA EXAMINADORA
Ao Lourenço, à Amanda e à Larissa, maiores incentivadores das minhas conquistas.
AGRADECIMENTOS
A Deus, pois, sem Ele, nada sou.
Aos meus pais, por todos os ensinamentos e investimentos na minha formação pessoal e profissional.
Ao meu marido Lourenço, por todo amor, companheirismo e cumplicidade em todos os momentos que temos compartilhado ao longo destes vinte e oito anos de casados e às minhas filhas, Amanda e Larissa, pelo apoio permanente e incondicional em todas as jornadas.
Aos meus familiares e amigos, que compartilharam das minhas dificuldades, torceram pelo sucesso deste trabalho e compreenderam as minhas ausências.
Ao meu orientador, Prof. Wagner Bandeira Andriola e à minha coorientadora Profa. Márcia Martins, Mendes De Luca, pelas orientações seguras ao longo do desenvolvimento desta tese.
À minha amiga, Profa. Sueli Maria de Araújo Cavalcante, grande incentivadora desta pesquisa, e a todos os membros da banca examinadora, Prof. Jesualdo Pereira Farias, Profa. Jacqueline Veneroso Alves da Cunha e Prof. Raimundo Nonato Rodrigues, por terem aceitado participar da banca e pelas valiosas contribuições a este trabalho.
À Universidade Federal do Ceará, na pessoa do Magnífico Reitor, Prof. Jesualdo Pereira Farias, por ter autorizado o acesso aos dados desta pesquisa e aos amigos da Pró-Reitoria de Planejamento, aqui representados pelo Prof. Ernesto da Silva Pitombeira e Francisco Álcimo de Andrade, e da Pró-Reitoria de Administração, aqui representados pela amiga Emanuelda de Lima Medeiros Silva, que não mediram esforços para viabilizar o meu acesso aos dados que tornaram viável este trabalho.
A todos os docentes do Programa de Pós-Graduação em Educação Brasileira da Faculdade de Educação, da Universidade Federal do Ceará, aqui representados pelos Profs. André Haguette, Ana Elizabeth Bastos de Miranda e Tânia Vicente Viana – exemplos de seriedade, competência, ética e humildade, qualidades indispensáveis aos verdadeiros doutores na arte de ensinar a aprender – pelos ricos ensinamentos.
À Diretora da Faculdade de Educação, Profa. Maria Isabel Filgueiras Lima Ciasca, e a todos os que fazem a coordenação do Programa de Pós-Graduação em Educação Brasileira da FACED-UFC, pelo apoio em todos os momentos.
A minha amiga Profa. Maria Naiula Monteiro Pessoa, pelo incentivo e pela torcida ao longo dessa trajetória, antes mesmo do meu ingresso no Programa e às minhas
amigas e colegas de turma, Tânia Pinheiro, Suzete Pitombeira e Kílvia Sousa, com as quais dividi momentos enriquecedores que muito agregaram para esta conquista.
Ao meu amigo e cunhado, ‘escritor e blá-blá-blá’, Jorge Pieiro, por quem tenho grande carinho e admiração, pela revisão deste trabalho e a todos que, de uma forma ou de outra, contribuíram para que eu chegasse até aqui.
A alegria não chega apenas no encontro do achado, mas faz parte do processo da busca. E ensinar e aprender não pode dar-se fora da procura, fora da boniteza e da alegria.
RESUMO
Avaliar é uma forma de se obter feedback. O Tribunal de Contas da União (TCU) avalia as Instituições Federais de Ensino Superior (IFES) por meio de nove indicadores de gestão, e o Ministério da Educação e Cultura (MEC), dentre outros indicadores, avalia os cursos das Instituições de Ensino Superior (IES) por meio do Exame Nacional dos Estudantes (ENADE) dos cursos. Entre as abordagens sobre avaliação educacional, tem-se o modelo CIPP, o qual avalia a instituição de forma sistêmica, com vistas à tomada de decisão, sob quatro óticas: contexto, insumos, processos e produtos. Esta pesquisa tem como objetivo geral investigar, sob a perspectiva do modelo CIPP de avaliação, se os indicadores de gestão do TCU influenciam o desempenho dos cursos no ENADE. Portanto, quanto aos objetivos do trabalho, a pesquisa é explicativa. Quanto à abordagem do problema, é quantitativa, porque se utiliza de análise de regressão linear múltipla para investigar a influência das variáveis independentes (indicadores de gestão do TCU) sobre a variável dependente (ENADE dos cursos). Quanto às técnicas empregadas tem-se a documentação indireta, aí incluída a pesquisa bibliográfica e documental, bem como a pesquisa direta, aí incluída a pesquisa empírica, no âmbito das unidades acadêmicas da Faculdade de Educação (FACED), Faculdade de Direito (FADIR) e Faculdade de Economia, Administração, Atuária e Contabilidade (FEAAC) destinada ao teste das hipóteses da pesquisa. Os resultados indicam que os cursos analisados possuem desempenhos diferentes, entretanto, a análise de regressão múltipla aplicável ao conjunto de observações revelou que, entre os nove indicadores de gestão analisados, apenas o indicador funcionário-equivalente por professor-equivalente (FEPE) não influencia o resultado do ENADE e os demais indicadores do TCU que influenciam o resultado do ENADE se inserem nas quatro plataformas do modelo CIPP.
Palavras-chave: Modelo CIPP de avaliação. Indicadores de gestão do TCU. ENADE. Regressão linear múltipla.
ABSTRACT
Evaluation is a way to obtain feedback. The Audit Court (Tribunal de Contas da União – TCU) evaluates Federal Institutions of Higher Education (IFES)’ performances through nine management indicators and the Education and Culture Ministry (MEC) evaluates higher education institutions (IES)’ courses, among others indicators, through the courses Students National Survey (ENADE). Among various approaches on educational assessment, the CIPP evaluation model evaluates the institution in a systematic way, with the purpose of decision making, about four points of view: context, inputs, processes and products. This research aims at investigating the CIPP evaluation model perspective, if the TCU indicators management influence the courses ENADE performance. By this work objectives, it’s an explanatory research. By the problem approach, it’s quantitative because it employs multiple linear regression analysis to investigate the independent variables’ influence (indicators management TCU, per course) on the dependent variables (ENADE courses). As the techniques employed have to indirect documentation, including therein the literature and documents, as well as direct research, including therein the empirical research within the academic units FACED, FADIR and FEAAC, Federal University of Ceará (UFC) designed to test the research hypotheses. The results indicate that the courses object of analysis have different performances, however, the multiple regression analysis applied to the set of observations revealed that, among the nine TCU management indicators analyzed, only the gauge-equivalent employee per teacher-equivalent (FEPE) doesn’t influence ENADE outcomes, and the other indicators which influence ENADE outcomes, has four platforms CIPP model include variables that explain the behavior of the dependent variable.
Keywords: CIPP evaluation model. TCU Management indicators. ENADE. Multiple linear regression
RÉSUMÉ
Évaluer est un moyen d'obtenir un feedback. La Cour des comptes du gouvernement fédéral (Tribunal de Contas da União - TCU) évalue les Institutions fédérales d'enseignement supérieur (IFES) à travers neuf indicateurs de gestion, et le ministère de l'Éducation et de la Culture (MEC), parmi d'autres indicateurs, évalue les cours des Institutions d'enseignement supérieur (IES) par l'examen national des étudiants (ENADE) des cours. Parmi les approches de l'évaluation pédagogique, on a le modèle d’évaluation CIPP, qui évalue l'institution d'une manière systémique, en vue de la prise de décision, à partir de quatre points de vue: le contexte, les intrants, les processus et les produits. Cette recherche a comme but général d’investiguer, sous le point de vue du modèle d'évaluation CIPP, si les indicateurs de gestion TCU influencer la performance des cours dans l’ENADE. Par conséquent, quant aux objectifs de l'étude, la recherche est explicative. Quant à la façon d’aborder le problème, elle est de nature quantitative, car elle utilise une analyse de régression linéaire multiple pour investiguer l'influence des variables indépendantes (des indicateurs de gestion du TCU) sur la variable dépendante ( l’ENADE des cours). Quant aux techniques employées on a la documentation indirecte, y compris la recherche bibliographique et documentaire et aussi la recherche directe, y compris la recherche empirique, au sein des unités académiques de la Faculté d’Education (FACED), Faculté de Droit (FADIR) Faculté d'Économie, d'Administration, de Sciences Actuarielles et de Comptabilité (FEAAC) visant à tester les hypothèses de la recherche. Les résultats indiquent que les cours analysés ont des performances différentes, cependant, l'analyse de régression multiple qui s'applique à un ensemble d'observations ont révélé que parmi les neuf indicateurs de gestion analysés, seul l'indicateur fonctionnaire-équivalent par professeur-équivalent (FEPE) n'influence pas le résultat de l’ENADE, et les autres indicateurs du TCU qui influencent le résultat de l’ENADE s’inscrivent dans les quatre plates-formes du modèle CIPP.
Mots-clés: Modèle CIPP d’ évaluation. Indicateurs de gestion du TCU. ENADE. Régression linéaire multiple.
LISTA DE FIGURAS
Figura 1 Cursos de graduação ofertados pela UFC, por unidade acadêmica e por
campus... 26
Figura 2 Especificidades das unidades didáticas e dos cursos e seus efeitos... 28
Figura 3 Componentes-chave do Modelo CIPP e relações associadas ao programa.... 50
Figura 4 Esquematização gráfica do Modelo CIPP de avaliação... 89
Figura 5 Alocação do ENADE e dos indicadores de gestão do TCU nas quatro plataformas do Modelo CIPP de Avaliação... 89
Figura 6 Hierarquia das qualidades da informação contábil... 93
Figura 7 Exemplos de níveis de atividades e seus custos em uma indústria... 102
Figura 8 Exemplos de níveis de atividades e suas descrições em uma IES... 104
Figura 9 Delineamento da pesquisa... 118
Figura 10 Atividades da UFC e respectivas Pró-Reitorias... 136
Figura 11 Amostra das observações possíveis dos cursos de Direito, Pedagogia, Administração, Secretariado Executivo, Economia e Ciências Contábeis.... 148
Figura 12 Gráficos dos indicadores de gestão do TCU-UFC, de 2006 a 2011, nas Plataformas do modelo CIPP... 150
Figura 13 Gráficos dos indicadores de desempenho de 2006 a 2011 do Curso de Direito nas Plataformas do modelo CIPP... 155
Figura 14 Gráficos dos indicadores de desempenho de 2006 a 2011 do Curso de Pedagogia na Plataforma CIPP... 160
Figura 15 Gráficos dos indicadores de desempenho de 2006 a 2011 do Curso de Administração na Plataforma CIPP... 165
Figura 16 Gráficos dos indicadores de desempenho de 2006 a 2011 do Curso de Economia na Plataforma CIPP... 170
Figura 17 Gráficos dos indicadores de desempenho de 2006 a 2011 do Curso de Ciências Contábeis na Plataforma CIPP... 175
Figura 18 Gráficos dos indicadores de desempenho de 2006 a 2011 do Curso de Secretariado Executivo na Plataforma CIPP... 180
Figura 19 Modelo para estimação do ENADE dos cursos e variáveis associadas aos fatores... 192
LISTA DE QUADROS
Quadro 1 Estágios do desenvolvimento da avaliação emancipatória de Saul (1988).. 37
Quadro 2 Estágios do desenvolvimento da avaliação para o empoderamento de Fetterman (1995) ... 38
Quadro 3 Análise comparativa entre as diferentes abordagens conceituais de avaliação... 40
Quadro 4 Relação entre os princípios aplicáveis à avaliação institucional... 45
Quadro 5 Modelo CIPP voltado para decisão: objeto e foco da avaliação... 51
Quadro 6 Sistematização da avaliação de contextos, insumos, processos e produtos. 54 Quadro 7 Avaliação formativa e somativa de contextos, insumos, processos e produtos... 55
Quadro 8 Análise comparativa entre o PARU/CNRES/GERES/PAIUB/SINAES... 69
Quadro 9 Presença de abordagens sobre avaliação educacional sob a ótica de autores clássicos no PARU/CNRES/GERES/PAIUB/SINAES... 70
Quadro 10 Indicadores de gestão do TCU para as IFES... 77
Quadro 11 Custo Corrente com Hospital Universitário... 78
Quadro 12 Custo Corrente sem Hospital Universitário... 79
Quadro 13 Memória de cálculo AGE do curso de Direito da UFC, no ano de 2011... 80
Quadro 14 Gastos na área Pública: abrangência e paralelo com a Contabilidade Privada... 97
Quadro 15 Passos para o cálculo do custo por curso e por aluno em cada curso – UFC... 106
Quadro 16 Método Argumentativo Indutivo X Método Argumentativo Dedutivo... 111
Quadro 17 Demonstrativo de todas as avaliações do ENADE nos cursos da FACED, FADIR e FEAAC... 113
Quadro 18 Valores de referência para interpretação da força de uma correlação... 121
Quadro 19 Gastos de Custeio por grupo – Recursos Próprios de 2009 a 2011... 128
Quadro 20 Custos Indiretos na UFC e seus direcionadores de custos, por nível de atividades... 129
Quadro 21 Composição do cálculo das Despesas com Mão de Obra, por Unidade Acadêmica/lotação... 131
Quadro 22 Despesas com Energia Elétrica, Água e Telefonia no exercício... 132
Quadro 23 Despesas com a Locação de Mão de Obra... 133
Quadro 24 Bolsas e Assistência aos Estudantes de 2006 a 2011... 134
LISTA DE TABELAS
Tabela 1 Alocação das Notas do ENADE dos cursos nos Níveis do conceito
ENADE... 77
Tabela 2 Peso atribuível aos docentes para cálculo do número de professores equivalentes... 83
Tabela 3 Peso atribuível aos servidores técnico-administrativos... 84
Tabela 4 Peso atribuível à quantidade de docentes, consoante a maior titulação 87 Tabela 5 Gastos de Custeio – Recursos Próprios de 2006 a 2008... 125
Tabela 6 Gastos de Custeio – Recursos Próprios de 2009 a 2011 ... 126
Tabela 7 Gastos de Custeio por grupo – Recursos Próprios de 2006 a 2008 ... 126
Tabela 8 Gastos de Custeio por grupo – Recursos Próprios de 2009 a 2011... 127
Tabela 9 Papel de Trabalho para Coleta das Despesas com Pessoal por Unidade Acadêmica/Lotação de 2006 a 2011... 132
Tabela 10 Rateio do Valor das Despesas com Locação de Mão-Obra (Limpeza, Portaria e Vigilância) da FEAAC, por curso, de 2006 a 2011... 135
Tabela 11 Delineamento da apropriação das Despesas de Custeio (Custos) aos Cursos 137 Tabela 12 Dados para cálculo dos indicadores de gestão do TCU do Curso de Direito, no período de 2006 a 2011... 217
Tabela 13 Dados para cálculo dos indicadores de gestão do TCU do Curso de Pedagogia, no período de 2006 a 2011... 217
Tabela 14 Dados para cálculo dos indicadores de gestão do TCU do Curso de Economia, no período de 2006 a 2011... 218
Tabela 15 Dados para cálculo dos indicadores de gestão do TCU do Curso de Administração, no período de 2006 a 2011... 218
Tabela 16 Dados para cálculo dos indicadores de gestão do TCU do Curso de Ciências Contábeis, no período de 2006 a 2011... 219
Tabela 17 Dados para cálculo dos indicadores de gestão do TCU do Curso de Secretariado Executivo, no período de 2006 a 2011... 219
Tabela 18 Dados para cálculo dos indicadores de gestão do TCU do Curso de Ciências Atuariais, no período de 2006 a 2011... 220 Tabela 19 Quantidade de docentes por regime de carga-horária e por curso, de 2006 a 221
2011...
Tabela 20 Número de professores equivalentes (PE), por curso, de 2006 a 2011... 221
Tabela 21 Quantidade de servidores técnico-administrativos, por unidade de lotação, de 2006 a 2011... 222
Tabela 22 Quantidade de servidores Técnico-Administrativos alocados na Diretoria da FEAAC e alocados aos cursos, de 2006 a 2011... 222
Tabela 23 Quantidade de funcionários equivalentes (FE), por curso, de 2006 a 2011... 223
Tabela 24 AIPE, por curso, de 2006 a 2011... 224
Tabela 25 AIFE, por curso, de 2006 a 2011... 225
Tabela 26 FEPE, por curso, de 2006 a 2011... 226
Tabela 27 GPE, por curso, de 2006 a 2011... 227
Tabela 28 GEDPG, por curso, de 2006 a 2011... 228
Tabela 29 CAPES/MEC com a Pós-Graduação, de 2006 a 2011... 229
Tabela 30 Quantidade de Docentes, por titulação e por curso, de 2006 a 2011... 230
Tabela 31 IQCD, por curso, de 2006 a 2011... 230
Tabela 32 TSG, por curso, de 2006 a 2011... 231
Tabela 33 Custo Corrente por curso e por aluno em 2006... 232
Tabela 34 Custo Corrente por curso e por aluno em 2007... 233
Tabela 35 Custo Corrente por curso e por aluno em 2008... 234
Tabela 36 Custo Corrente por curso e por aluno em 2009... 235
Tabela 37 Custo Corrente por curso e por aluno em 2010... 236
Tabela 38 Custo Corrente por curso e por aluno em 2011... 237
Tabela 39 CCAE, por curso, de 2006 a 2011... 238
Tabela 40 ENADE dos cursos de Direito, Pedagogia Administração, Ciências Contábeis, Secretariado Executivo, Economia e Ciências Atuariais em todas as edições do EXAME... 239
Tabela 41 CAPES/MEC, CCAE e IQCD dos cursos de Direito, Pedagogia Administração, Ciências Contábeis, Secretariado Executivo, Economia e Ciências Atuariais, de 2006 a 2011... 144
Tabela 42 AIPE, AIFE-Sem HU, FEPE-Sem HU e GPE dos cursos de Direito, Pedagogia Administração, Ciências Contábeis, Secretariado Executivo, Economia e Ciências Atuariais, de 2006 a 2011... 145 Tabela 43 GEDPG, TSG e ENADE dos cursos de Direito, Pedagogia Administração,
Ciências Contábeis, Secretariado Executivo, Economia e Ciências
Atuariais, de 2006 a 2011... 146
Tabela 44 Análise descritiva das observações dos indicadores: UFC... 149
Tabela 45 Análise descritiva das observações dos indicadores: Direito... 154
Tabela 46 Análise descritiva das observações dos indicadores: Pedagogia... 159
Tabela 47 Análise descritiva das observações dos indicadores: Administração... 164
Tabela 48 Análise descritiva das observações dos indicadores: Economia... 169
Tabela 49 Análise descritiva das observações dos indicadores: Ciências Contábeis... 174
Tabela 50 Análise descritiva das observações dos indicadores: Secretariado Executivo 179 Tabela 51 Matriz de correlação entre as variáveis do estudo... 184
Tabela 52 KMO e Teste de Bartlett com as nove variáveis explicativas... 185
Tabela 53 Matriz anti-imagem com as nove variáveis explicativas... 186
Tabela 54 Comunalidades com as nove variáveis explicativas... 186
Tabela 55 KMO e Teste de Bartlett após a exclusão de FEPE e GEDPG... 187
Tabela 56 Matriz anti-imagem após a exclusão de FEPE e GEDPG... 187
Tabela 57 Comunalidades após a exclusão de FEPE e GEDPG... 188
Tabela 58 Variância Total Explicada... 188
Tabela 59 Matriz rotacionada de componentes dos fatores... 189
Tabela 60 ANOVA da Regressão... 191
Tabela 61 Análise de Regressão das variáveis independentes e dos fatores com o ENADE... 191
LISTA DE SIGLAS
ABRUEM Associação Brasileira de Reitores das Universidades Estaduais e Municipais
ACO Análise das Condições de Oferta
AE Alunos Equivalentes
AG Alunos Matriculados na Graduação
AGE Alunos Equivalentes de Graduação
AH Análise Horizontal
AIFE Aluno Tempo Integral por Funcionário Equivalente do curso AIPE Aluno Tempo Integral por Professor Equivalente do curso
AIT Alunos em Tempo Integral
ANDIFES Associação Nacional dos Dirigentes das Instituições Federais de Ensino Superior
ANUP Associação Nacional das Universidades Particulares
APG Alunos Matriculados na Pós-Graduação
APGTI Alunos em Tempo Integral da Pós-Graduação
AR Alunos Residentes
ARTI Alunos em Tempo Integral da Residência Médica
AV Análise Vertical
CAPES Coordenação de Aperfeiçoamento de Pessoal de Nível Superior CAPES/MEC Conceito CAPES/MEC para a Pós-Graduação do Curso
CC Custo Corrente
CCi Centro de Ciências
CCA Centro de Ciências Agrárias
CCAE Custo Corrente por Aluno Equivalente
CN Comissão Nacional de Avaliação das Universidades Brasileiras CNRES Comissão Nacional para Reformulação da Educação Superior CONAES Comissão Nacional de Avaliação da Educação Superior
CPA Comissão Própria de Avaliação
CRUB Conselho de Reitores das Universidades Brasileiras
CT Centro de Tecnologia
CVM Comissão de Valores Mobiliários
DPC Duração Padrão do Curso
EM Ensino Médio
ENADE Exame Nacional de Desempenho dos Estudantes
ENC Exame Nacional de Cursos
ENEM Exame Nacional do Ensino Médio
FACED Faculdade de Educação
FADIR Faculdade de Direito
FAMED Faculdade de Medicina
FEAAC Faculdade de Economia, Administração, Atuária e Secretariado Executivo
FE Funcionário Equivalente
FEPE Funcionário Equivalente por Professor Equivalente do curso
FFOE Faculdade de Farmácia, Odontologia e Enfermagem
GEDPG Grau de Envolvimento Discente com a Pós-Graduação do Curso GERES Grupo Executivo para a Reformulação da Educação Superior
GPE Grau de Participação Estudantil do Curso
HU Hospitais Universitários
ICA Instituto de Cultura e Arte
IEFES Instituto de Educação Física e Esportes
IES Instituições de Ensino Superior
IFES Instituições Federais de Ensino Superior
IGC Índice Geral de Cursos
INEP Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira IQCD Índice de Qualificação do Corpo Docente do Curso
LABOMAR Instituto de Ciências do Mar
LDB Lei de Diretrizes e Bases
MEC Ministério da Educação e Cultura
NC Nota da unidade avaliada (curso) no ENADE
NCCE Nota padronizada do curso na prova de conhecimentos específicos NCFG Nota padronizada do curso na prova de formação geral
NDI Número de Alunos Diplomados
NI Número de Alunos Ingressantes
PAIUB Programa de Avaliação Institucional da Universidade Brasileira PARU Programa de Avaliação da Reforma Universitária
PE Professores Equivalentes
PRAD Pró-Reitoria de Administração
PRAE Pró-Reitoria de Assuntos Estudantis
PREX Pró-Reitoria de Extensão
PROGEP Pró-reitoria de Gestão de Pessoas PROGRAD Pró-Reitoria de Graduação
PRPL Pró-Reitoria de Planejamento
PRPPG Pró-Reitoria de Pesquisa e Pós-Graduação
SESU Secretaria de Educação Superior
SIC Sistema de Informação ao Cidadão
SINAES Sistema Nacional de Avaliação da Educação Superior
SISU Sistema de Seleção Unificado
TI Tecnologia da informação
TCU Tribunal de Contas da União
TSG Taxa de Sucesso na Graduação
UFC Universidade Federal do Ceará
SUMÁRIO
1 INTRODUÇÃO... 23
2 AVALIAÇÃO EDUCACIONAL E O MODELO CIPP DE AVALIAÇÃO.. 30
2.1 Abordagens conceituais sobre avaliação educacional... 30
2.1.1 Avaliação centrada em objetivos... 31
2.1.2 Avaliação para tomada de decisões... 32
2.1.3 Avaliação orientada à negociação... 34
2.1.4 Avaliação emancipatória e para o empoderamento 36 2.1.5 Síntese das várias abordagens sobre avaliação educacional... 39
2.2 Classificações da avaliação educacional... 40
2.2.1 Quanto ao escopo da avaliação: avaliação formativa e avaliação somativa... 41
2.2.2 Quanto ao objeto avaliado: avaliação da aprendizagem, avaliação curricular e avaliação institucional... 42
2.2.3 Quanto ao âmbito do sujeito avaliador: avaliação interna e avaliação externa 43 2.2.4 Quanto às técnicas empregadas: avaliação qualitativa e avaliação quantitativa... 43
2.3 Princípios aplicáveis à avaliação institucional... 44
2.4 Autoavaliação institucional consoante o SINAES... 47
2.5 Modelo CIPP de Avaliação... 49
2.5.1 Definição do modelo... 49
2.5.2 Sistematização da avaliação de contextos, insumos, processos e produto ... 52
3 AVALIAÇÃO DO ENSINO SUPERIOR NO BRASIL: ENADE E INDICADORES DO TCU... 57
3.1 Evolução histórica da Avaliação do Ensino Superior no Brasil... 57
3.1.1 Programa de Avaliação da Reforma Universitária (PARU) – 1983 a1986... 57
3.1.2 Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB) – 1993 a 1994... 60
3.1.2.1 Fase intermediária: Comissão Nacional para Reformulação da Educação Superior (CNRES) e Grupo Executivo para a Reformulação da Educação Superior (GERES)... 60
3.1.2.2 Vigência do PAIUB... 63
3.1.3 Novas políticas para Avaliação do Ensino Superior... 65
3.1.5 Síntese da evolução histórica... 69 3.2 O ENADE conforme o SINAES... 72
3.2.1 Relação do ENADE com as abordagens conceituais de avaliação... 72
3.2.2 Abrangência, obrigatoriedade e efeitos do exame... 73
3.2.3 Aspectos procedimentais do exame... 75
3.2.4 Metodologia de cálculo do conceito do ENADE... 76
3.3 Os indicadores de gestão do TCU... 77
3.3.1 Custo Corrente por Aluno Equivalente (CCAE) ... 78
3.3.2 Aluno Tempo Integral por Professor Equivalente por (AIPE) ... 81
3.3.3 Aluno Tempo Integral por Funcionário Equivalente (AIFE) ... 83
3.3.4 Funcionário Equivalente por Professor Equivalente (FEPE) ... 84
3.3.5 Grau de Participação Estudantil (GPE) ... 85
3.3.6 Grau de Envolvimento do Discente com a Pós-Graduação (GEDP) 86
3.3.7 Conceito CAPES/MEC da Pós-Graduação (CAPES/MEC) ... 86
3.3.8 Índice de Qualificação do Corpo Docente (IQCD) ... 87 3.3.9 Taxa de Sucesso na Graduação (TSG) ... 87 3.4 O ENADE e os Indicadores de Gestão do TCU na plataforma do modelo
CIPP de avaliação... 88 4 CUSTO COMO FERRAMENTA DE GESTÃO... 91 4.1 Características qualitativas da informação contábil a partir da Estrutura
Conceitual Básica da Contabilidade... 91
4.1.1 Objetivos da Contabilidade... 92
4.1.2 Características qualitativas da informação contábil... 92 4.2 Terminologias utilizadas pela Contabilidade de Custos... 95 4.3 Classificação dos custos... 99
4.3.1 Quanto à identificação do custo com o objeto custeado: Diretos ou Indiretos.. 99
4.3.2 Quanto à variabilidade do custo em relação ao volume de produção dos
bens/serviços: Fixos ou Variáveis ou ainda Semi-fixos ou Semi-variáveis... 99
4.4 Métodos de Custeamento... 100
4.4.1 Custeio Direto... 100 4.4.2 Custeio Variável... 101 4.4.3 Custeio Integral (RKW) ... 101 4.4.4 Custeio por Absorção... 102
4.4.5 Custeio Baseado em Atividades (Custeio ABC) ... 102 4.5 Cálculo do Custo por Curso e por aluno na UFC... 104 5 METODOLOGIA DA PESQUISA... 107
5.1 Classificação da pesquisa... 107
5.1.1 Quanto à Abordagem do Problema... 107 5.1.2 Quanto aos objetivos... 108 5.1.3 Quanto às técnicas empregadas... 109 5.1.4 Quanto aos métodos científicos utilizados... 110 5.1.4.1 Método argumentativo indutivo e método argumentativo dedutivo... 110 5.1.4.2 Método hipotético dedutivo... 112 5.2 População e amostra... 112 5.3 Hipóteses da pesquisa... 114 5.4 Delineamento da pesquisa... 118
5.4.1 Primeira Etapa - Coleta dos dados da variável explicada: ENADE dos cursos
da FACED, FADIR e FEAAC, de 2006 a 2011... 119
5.4.2 Segunda Etapa - Cálculo das variáveis explicativas: indicadores de gestão do
TCU, por curso, na FACED, FADIR e FEAAC, de 2006 a 2011... 119 5.4.3 Terceira Etapa: Procedimentos de análise dos dados... 120
5.4.4 Metodologia para composição do Custo Corrente e critérios de alocação por
curso ... 124
5.5 Identificação, classificação, coleta e cálculo das variáveis da pesquisa... 138 6 ANÁLISE DE RESULTADOS... 143
6.1 Compilação das variáveis independentes e dependente... 143 6.2 Análise descritiva das observações dos cursos de 2006 a 2011... 147
6.2.1 Indicadores de Gestão do TCU: Geral da UFC... 149 6.2.2 Indicadores de Gestão do TCU: Curso de Direito... 154 6.2.3 Indicadores de Gestão do TCU: Curso de Pedagogia... 159 6.2.4 Indicadores de Gestão do TCU: Curso de Administração... 164
6.2.5 Indicadores de Gestão do TCU: Curso de Economia... 169
6.2.6 Indicadores de Gestão do TCU: Curso de Ciências Contábeis... 174
6.2.7 Indicadores de Gestão do TCU: Curso de Secretariado Executivo... 179
6.3 Análise da influência dos indicadores de gestão do TCU sobre o ENADE... 183
6.3.2 Análise Fatorial... 185 6.3.3 Regressão de Linear Múltipla... 190 6.3.4 Síntese da análise de resultados... 193 7 CONCLUSÕES E PERSPECTIVAS... 199 7.1 Alcance dos objetivos... 199 7.2 Teste das hipóteses e resposta ao problema da pesquisa... 201 7.3 Recomendações... 204 7.4 Limitações da pesquisa... 207 7.5 Sugestões para pesquisas futuras... 207 REFERÊNCIAS... 209 APÊNDICE A – ALUNOS-EQUIVALENTES E ALUNOS EM TEMPO INTEGRAL POR CURSO, DE 2006 A 2011... 217 APÊNDICE B – PROFESSORES-EQUIVALENTES POR CURSO, DE 2006 A 2011... 221 APÊNDICE C – FUNCIONÁRIOS-EQUIVALENTES POR CURSO, DE 2006 A 2011... 222 APÊNDICE D – CÁLCULO DO AIPE POR CURSO, DE 2006 A 2011... 224 APÊNDICE E – CÁLCULO DO AIFE POR CURSO, DE 2006 A 2011... 225 APÊNDICE F - CÁLCULO DO FEPE POR CURSO, DE 2006 A 2011... 226 APÊNDICE G – CÁLCULO DO GPE POR CURSO, DE 2006 A 2011... 227 APÊNDICE H – CÁLCULO DO GEDPG POR CURSO, DE 2006 A 2011.. 228 APÊNDICE I – CAPES/MEC POR CURSO, DE 2006 A 2011... 229 APÊNDICE J – IQCD POR CURSO, DE 2006 A 2011... 230 APÊNDICE K –TSG POR CURSO, DE 2006 A 2011... 231 APÊNDICE L – CCAE POR CURSO, DE 2006 A 2011... 232 APÊNDICE M – RESULTADO DO ENADE POR CURSO, DE 2006 A 2011... 239 ANEXO A – FATOR DE RETENÇÃO, DURAÇÃO PADRÃO DOS CURSOS E PESO DO GRUPO... 240
1 INTRODUÇÃO
Avaliar é uma das formas de se receber feedback. É por meio de uma avaliação que se obtêm respostas para indagações. Quando bem analisadas, essas respostas devem funcionar como um direcionador de condutas para ambas as partes: avaliador e avaliado.
Considerando que a avaliação deve direcionar condutas, fica patente que a contribuição da avaliação é subsidiar tomadas de decisões. Na área educacional, entre os modelos de avaliação, tem-se o Modelo CIPP proposto por Stufflebeam (1971) e Stufflebeam e Skinfield (2007), é um modelo sistêmico de avaliação concebido sob quatro óticas: a avaliação do contexto, dos insumos, dos processos e do produto. Tal modelo parte do pressuposto de que todos eles influenciam os desempenhos dos programas educacionais. Para os autores anteriormente mencionados, a avaliação com base no modelo CIPP é voltada para processos decisórios, daí a escolha deste modelo teórico para embasamento do presente trabalho.
Em se tratando das Instituições Federais de Ensino Superior (IFES), a avaliação de seus desempenhos pode ser acompanhada, externamente, pela sociedade e pelo governo e, internamente, pelos seus gestores. No primeiro caso, há anos a sociedade vem acompanhando a preocupação do poder público em conhecer como vai o desempenho, não só das IFES, mas também de todas as Instituições de Ensino Superior (IES), e os primeiros passos na avaliação da relação ensino-aprendizagem, por exemplo, ocorreram notadamente nos anos 90, com a realização dos primeiros “provões”, cujas avaliações se deram de 1996 a 2003. Atualmente, essa avaliação vem sendo aplicada aos alunos do ensino superior por meio do Exame Nacional de Desempenho dos Estudantes (ENADE), regulado pela Lei no. 10.861/04, que instituiu o Sistema Nacional de Avaliação da Educação Superior (SINAES).
Inobstante a isto, é sabido que uma avaliação institucional não se resume à análise do desempenho da relação ensino-aprendizagem. Ela é mais ampla e compreende a Instituição como um todo, partindo-se do pressuposto de que todos os que fazem esta Instituição são avaliados e avaliadores. Assim, pode-se afirmar que a Avaliação Institucional Interna é um processo que resulta em autoconhecimento, cuja importância é inegável na manutenção, alteração ou no abandono de condutas que envolvem as IES. Portanto, pode-se afirmar que as IFES podem ser avaliadas por indicadores qualitativos e quantitativos.
Quanto aos aspectos quantitativos, o Tribunal de Contas da União (TCU) estabeleceu, por meio de sua Decisão no. 408/2002 e alterações posteriores, nove indicadores que devem ser apresentados anualmente por todas as Instituições Federais de Ensino Superior
(IFES), em seus Relatórios de Gestão. São eles: o Custo-corrente por aluno-equivalente (CCAE), CAPES/MEC dos programas de pós-graduação (CAPES/MEC), Índice de qualificação do corpo docente (IQCD), Aluno em tempo integral por professor-equivalente (AIPE), Aluno em tempo integral por funcionário equivalente (AIFE), Funcionário-equivalente por professor-Funcionário-equivalente (FEPE), Grau de participação estudantil (GPE), Grau de envolvimento do discente com a pós-graduação (GEDPG) e a Taxa de sucesso da graduação (TSG). Tais indicadores são tomados pelos valores apurados pelas IFES em sua globalidade, considerando todos os gastos e todos os cursos, sem buscar conhecer o valor destes indicadores, caso fossem tomados cada um dos cursos de forma individual.
Por conta do caráter externo dessas avaliações, o cálculo proposto pelo TCU é justificável, pois busca avaliar o desempenho das IFES em sua totalidade. Entretanto, considerando, ainda, as peculiaridades de cada unidade didática em uma IFES e, a partir delas, as especificidades de cada curso e, somando-se a isso o pressuposto de que os colegiados em cada uma destas unidades possuem autonomia, resultando em possibilidade de heterogeneidade de contextos e processos pedagógicos – por exemplo – então, sob o foco interno da avaliação, ou ainda, da autoavaliação, seria desejável que as IFES pudessem conhecer o comportamento destes mesmos indicadores propostos pelo TCU, de forma individualizada, em cada um dos cursos ofertados na Graduação.
Tendo em vista que o ENADE, proveniente do SINAES, é realizado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), sendo aplicado aos alunos da graduação, por curso, selecionados por amostragem, gerando uma nota para o aluno e outra para cada curso, torna-se relevante investigar se os indicadores de gestão do TCU explicam o comportamento do ENADE dos cursos. Para que isso seja viável ser investigado, é imprescindível que sejam calculados os indicadores de gestão do TCU por curso e não considerando a globalidade da IFES. Sob este prisma, justifica-se a importância deste estudo pela utilidade da aplicação do modelo aqui proposto, uma vez que os resultados obtidos nesta pesquisa poderão ser aplicados às IFES, de uma maneira geral.
O estudo envolve a propositura de um modelo de mensuração de indicadores de gestão por curso e a verificação de sua viabilidade, o que pressupõe a aplicabilidade do modelo. Para demonstrar tal aplicabilidade, este trabalho utilizar-se-á de uma pesquisa empírica no âmbito de três unidades acadêmicas da Universidade Federal do Ceará (UFC).
A UFC é uma IFES, com atuação no Ceará, e possui seis campi, sendo três na capital – Pici, Porangabuçu e Benfica – e três, no interior do estado – Cariri, Sobral e Quixadá. Nestes seis campi, estão contempladas dezesseis unidades acadêmicas, assim
distribuídas: quatro no Pici – Centro de Tecnologia (CT), Centro de Ciências (CCi), Centro de Ciências Agrárias (CCA) e Instituto de Educação Física e Esportes (IEFES); duas em Porangabuçu – Faculdade de Medicina (FAMED) e Faculdade de Farmácia, Odontologia e Enfermagem (FFOE); quatro no Benfica – Faculdade de Educação (FACED), Faculdade de Direito (FADIR), Faculdade de Economia, Administração, Atuária e Secretariado Executivo (FEAAC) e Centro de Humanidades (CH), outras três, ainda em Fortaleza – Instituto de Cultura e Arte (ICA), Instituto de Ciências do Mar (LABOMAR) e Instituto UFC-Virtual (UFC-Virtual); e, por fim, três no interior do Estado – Sobral, Cariri e Quixadá.
Tendo em vista as peculiaridades de cada uma das unidades acadêmicas, bem como a heterogeneidade dos processos pedagógicos em cada um dos programas de gestão acadêmica destes cursos existentes nas respectivas unidades acadêmicas, isso faz com que os processos pedagógicos desenvolvidos em cada unidade guardem características peculiares, quando tomados em relação aos mesmos processos nas outras unidades acadêmicas.
Em face da peculiaridade de cada curso ofertado nas respectivas unidades acadêmicas, ainda existem desafios a serem superados para o cálculo dos indicadores por curso em todas as unidades acadêmicas. Um desses desafios diz respeito à dificuldade de mensuração do custo alocável aos cursos, quando as disciplinas que compõem a grade curricular do mesmo são ministradas por docentes de múltilplos departamentos.
Esta situação pode ser ilustrada pelo Centro de Ciências, que possui o Departamento de Matemática, o qual oferece disciplinas de Matemática a diversos cursos da UFC. Seria preciso que se tivesse o Sistema de Custos na Administração Pública, por Departamento, para que se pudessem ratear os custos deste Departamento pelas unidades de produto que se utilizam dos serviços prestados por cada Departamento, de forma específica.
Assim, para contornar esse obstáculo, esta pesquisa limita-se às seguintes Unidades Acadêmicas: Faculdade de Educação (FACED) e Faculdade de Direito (FADIR), uma vez que as mesmas possuem apenas um curso, cada uma, facilitando, assim, a identificação dos gastos alocáveis aos mesmos. Além destas, inclui-se na análise a Faculdade de Economia, Administração, Atuária, Contabilidade e Secretariado Executivo (FEAAC), uma vez que os custos com mão-de-obra alocáveis aos cursos ofertados nesta unidade acadêmica encontram-se, de forma preponderante, voltados para os cursos da própria FEAAC.
Segundo a PROGRAD (UNIVERSIDADE FEDERAL DO CEARÁ, 2013a), ao longo dos três turnos, (manhã, tarde e noite), a UFC oferece 84 cursos de Graduação, sendo 82 deles vinculados a uma das 16 unidades acadêmicas e 2 deles, ligados diretamente à
Pró-Reitoria de Graduação (PROGRAD). A figura 1 mostra os cursos de graduação ofertados, por unidade acadêmica e por campus.
Figura 1 – Cursos de graduação ofertados pela UFC, por unidade acadêmica e por campus
Fonte: Elaborado a partir da PROGRAD/UFC (2013) Fonte: (UNIVERSIDADE FEDERAL DO CEARÁ, 2013a).
No que concerne ao horizonte temporal, pretende-se fazer um corte dos últimos seis anos (2006 a 2011) para o cálculo dos referidos indicadores de gestão.
Enfermagem Farmácia Odontologia Fisioterapia FAMED FFOE Biotecnologia (Bacharelado)
Ciências Biológicas (Bacharelado/Licenciatura) Estatística Física (Bacharelado) CAM PU S D O PO R A N G A B U ÇU CCi CA M PU S D O P IC I CA M PU S D O B EN FI CA CH Biblioteconomia Fisioterapia Medicina FAMED Geologia Física (Bacharelado) Física (Licenciatura) CA M PU S D O PO R A N G A B U ÇU CCi CA M PU S D O P IC I Letras Psicologia FEAAC
Administração (Diurno / Noturno)
CA M PU S D O B EN FI CA CH Biblioteconomia
C iências Sociais (Bacharelado / Licenciatura) História (bacharelado / Licenciatura)
Geografia (Bacharelado/Licenciatura) Geologia
Matemática Industrial (Bacharelado) Matemática (Bacharelado) Matemática (Licenciatura) Química (Bacharelado) CCi CA M PU S D O P IC I FADIR
Pedagogia (Pedagogia da Terra) FEAAC
Administração (Diurno / Noturno) Ciências Atuariais
Ciências Contábeis (Diurno / Noturno) Ciências Econômicas (Diurno / Noturno)
Secretariado Finanças CA M PU S D O B EN FI CA Direito (Diurno/Noturno) FACED Computação Agronomia Economia Doméstica Engenharia de Pesca Engenharia de Alimentos Zootecnia Química (Licenciatura) Química (Bacharelado) CCi CCA CA M PU S D O P IC I
Pedagogia (Pedagogia da Terra) Pedagogia (Diurno / Noturno)
CA M PU S D O B EN FI CA FACED Odontologia Psicologia
Engenharia de Software (Bacharelado) Redes de Computadores (Tecnológico)
Sistemas de Informação Filosofia (Juazeiro do Norte)
Ciências Econômicas Engenharia da Computação Engenharia Elétrica Finanças (Bacharelado) Medicina Agronomia (Crato) Administração (Juazeiro do Norte) Biblioteconomia (Juazeiro do Norte)
Design de Produtos (Juazeiro do Norte) Engenharia Civil (Juazeiro do Norte) Eng. de Materiais (Juazeiro do Norte)
Comunicação Social – Jornalismo (Juazeiro do Norte)
Ciências Ambientais Medicina (Barbalha)
Comunicação Social (Publicidade e Propaganda) Dança (Bacharelado)
Eng. de En. e Meio Ambiente (Eng. Ambiental)
Eng. de En. e Meio Ambiente (Eng. de Energia Renováveis)
IN ST IT U TO D E CU LT U R A E A R TE ( IC A ) Dança (Licenciatura) Educação Musical (Licenciatura)
Estilismo e Moda Teatro (Licenciatura) Cinema e Audiovisual (Bacharelado)
Comunicação Social (Jornalismo) Educação Física (Bacharelado)
Educação Física (Licenciatura)
Eng. de En. e Meio Ambiente (Eng. de Petróleo)
Engenharia Mecânica Engenharia Metalúrgica Engenharia Química Engenharia de Teleinformática Zootecnia Arquitetura e Urbanismo Engenharia Civil Engenharia Elétrica CAMPUS DO CARIRI
Engenharia de Produção Mecânica
LABOMAR CCA CT IE FE S CA M PU S D O P IC I CAMPUS DE SOBRAL CAMPUS DE QUIXADÁ Ciências Ambientais Oceanografia Ges tã o em Educa çã o Superi or
IN ST IT U TO D E CU LT U R A E A R TE ( IC A ) Estilismo e Moda
Filosofia (Bacharelado / Licenciatura) Gastronomia (Bacharelado)
LABOMAR
PROGRAD
Sistemas e Mídias Digitais (Bacharelado)
Ges tã o em Educa çã o Superi or Ges tã o em Hos pi ta i s Uni vers i tá ri os
IN ST IT U TO D E CU LT U R A E A R TE ( IC A ) Gastronomia (Bacharelado) UFC-VIRTUAL PROGRAD
Neste contexto, a presente pesquisa tem como tema a relação entre os indicadores de gestão do TCU e o desempenho dos cursos no ENADE e está delimitado aos cursos da FACED, FADIR e FEAAC da Universidade Federal do Ceará, nos anos de 2006 a 2011.
Ao longo da pesquisa, este trabalho busca apresentar uma resposta ao seguinte questionamento: sob a perspectiva do modelo CIPP de avaliação, os indicadores de gestão do TCU exercem influência sobre o desempenho dos cursos no ENADE, no âmbito das unidades acadêmicas da FACED, FADIR e FEAAC, da UFC?
Como objetivo geral, a pesquisa pretende investigar, sob a perspectiva do modelo CIPP de avaliação, se os indicadores de gestão do TCU influenciam o desempenho dos cursos no ENADE, no âmbito das unidades acadêmicas da FACED, FADIR e FEAAC, da UFC.
Quanto aos objetivos específicos, têm-se:
a) Identificar os aspectos conceituais do Modelo CIPP de Avaliação Educacional; b) Apresentar a evolução da avaliação do Ensino Superior no Brasil
c) Identificar a metodologia de cálculo do TCU para os indicadores de gestão das IFES;
d) Apresentar a metodologia de cálculo dos indicadores do TCU, por curso; e) Calcular os indicadores de gestão para cada um dos cursos de graduação das
unidades acadêmicas da FACED, FADIR e FEAAC, da UFC; e
f) Investigar, no âmbito dessas unidades acadêmicas da UFC e, sob a perspectiva do modelo CIPP, se existe relação de causa e efeito entre os indicadores de gestão do TCU e o desempenho dos cursos no ENADE, indicando ainda, se for o caso, se essa relação é direta ou inversa.
O presente estudo se justifica, pois, consoante a metodologia de mensuração dos indicadores do TCU, a instituição é avaliada de modo global, na sua totalidade, sem destacar os desempenhos individualizados por curso, embora se observem peculiaridades em cada unidade didática, bem como especificidades por curso, os quais levam a heterogeneidade de contextos, bem como de processos pedagógicos, respectivamente, conforme mostrado na Figura 2.
Figura 2 – Especificidades das unidades didáticas e dos cursos e seus efeitos
Fonte: A utora
Fonte: Elaborada pela autora.
Face ao exposto, torna-se relevante, sob o foco interno da avaliação educacional, conhecer os desempenhos por curso, justificando-se assim, a busca por indicadores de desempenho, calculados por curso.
Como resposta provisória ao problema da pesquisa apresenta-se a seguinte tese: sob a perspectiva do modelo CIPP de avaliação, os indicadores de gestão do TCU calculados por curso influenciam o desempenho dos cursos no ENADE. No capítulo destinado à metodologia do trabalho, esta tese será operacionalizada em nove hipóteses, sendo uma para cada um dos nove indicadores de gestão do TCU objeto da análise.
No que concerne à metodologia da pesquisa, para Marconi e Lakatos (2003, p. 83): “ Método é o conjunto das atividades sistemáticas e racionais que, com maior segurança e economia, permite alcançar o objetivo – conhecimentos válidos e verdadeiros – traçando o caminho a ser seguido, detectando erros e auxiliando as decisões do cientista.”
Como meio de se atingir os objetivos desta pesquisa, será empregado o método estruturalista de Lévi-Strauss, segundo o qual as variáveis não são analisadas em si, mas pelas relações estabelecidas entre elas, (já que as variáveis podem sofrer mutações, embora as relações entre elas permaneçam), e por fim, proceder-se-á uma análise de regressão múltipla, com fins de se investigar a existência de influência dos indicadores de gestão do TCU, calculados por curso sobre os resultados dos cursos no ENADE, no período de 2006 a 2011.
Quanto aos métodos de procedimento, utilizar-se-ão as técnicas de documentação indireta consistentes em pesquisas bibliográficas, tendo como principais fontes os livros e artigos publicados ou disponíveis em sites, bem como a pesquisa documental, que terá como principais fontes as normas que dão sustentação jurídica às exigências legais, bem como os documentos públicos dos resultados das avaliações dos cursos realizadas pelo INEP, bem como dos relatórios de gestão do TCU.
Utilizar-se-á, ainda, pesquisa empírica nos cursos de três unidades acadêmicas da Universidade Federal do Ceará (UFC). Como técnica de coleta de dados para a pesquisa empírica, será utilizada pesquisa documental, tendo como principais fontes documentos da
Peculiaridades em cada unidade didática e especificidades por curso
Heterogeneidade de contextos Heterogeneidade de processos
própria UFC, que permitam identificar a sua estrutura organizacional e ainda os demais documentos que permitam calcular o custo por curso e por aluno nos cursos de graduação das três unidades acadêmicas da UFC, bem como todos os demais indicadores do TCU, por curso. Para atingir o objetivo desta pesquisa, este trabalho segue estruturado em sete capítulos. O primeiro traz a introdução, com a delimitação do tema e sua contextualização, o problema da pesquisa, os objetivos e a justificativa.
O segundo capítulo traz o referencial teórico acerca da avaliação educacional, abordando as classificações e os princípios aplicáveis e, por fim, o modelo CIPP de avaliação, o qual servirá de referencial teórico da pesquisa.
O terceiro capítulo traz a evolução histórica da avaliação do Ensino Superior no Brasil, bem como uma abordagem dos seguintes indicadores: ENADE, consoante o SINAES e os indicadores de gestão do TCU, consoante a Decisão no. 408/2002 do TCU, apresentando, ao final, a relação dos referidos indicadores com as quatro plataformas do modelo CIPP de avaliação.
Considerando que um dos indicadores de gestão do TCU traz o Custo Corrente por Aluno-Equivalente (CCAE), no quarto capítulo tem-se o referencial teórico necessário para a compreensão da metodologia do cálculo do custo por curso e por aluno nas IFES, imprescindível para que se compreenda o cálculo do custo por curso proposto neste estudo. Para tanto, faz-se uma abordagem acerca das características qualitativas da informação contábil, a partir da Estrutura Conceitual Básica, as terminologias utilizadas pela Contabilidade de Custos, as classificações dos custos e os métodos de custeamento.
O quinto capítulo traz a metodologia da pesquisa, com as classificações do estudo, uma abordagem acerca da população e amostra, o delineamento do estudo, a classificação das variáveis da pesquisa e as hipóteses operacionais a serem testadas.
O sexto capítulo traz a análise dos resultados da pesquisa empírica e o sétimo e último capítulo, as conclusões do trabalho, bem como as limitações da pesquisa e sugestões para estudos futuros.
2 AVALIAÇÃO EDUCACIONAL E O MODELO CIPP DE AVALIAÇÃO
Avaliar significa determinar o mérito ou o valor de alguma coisa. Em se tratando de avaliação educacional, como se tem muitos atores envolvidos, muitos são os interessados em seus resultados, daí a complexidade do tema, que pode ter múltiplos objetos ou focos, com múltiplos resultados.
Este capítulo traz um estudo acerca de avaliação educacional, buscando mostrar algumas das variações de seu conteúdo e modelos dele decorrentes, bem como de suas classificações. Em seguida, apresenta-se uma abordagem sobre autoavaliação institucional ou avaliação institucional interna, encerrando-se com a apresentação dos pilares do Modelo CIPP de Avaliação proposto por Stufflebeam (1983), uma vez que o referido modelo conceitual é o utilizado como referencial teórico para a análise dos resultados desta pesquisa.
2.1 Abordagens conceituais sobre avaliação educacional
Muitos são os envolvidos nos processos educacionais. Os sujeitos deste processo vão desde os educadores, educandos, seus pais ou responsáveis, os gestores dos estabelecimentos de ensino, até os financiadores dos processos educacionais. Como financiadores dos processos educativos e, em se tratando de estabelecimentos de ensino privado, têm-se os responsáveis financeiros dos estudantes e, em se tratando de estabelecimentos de ensino público, o governo. Entre os interessados nos processos educacionais, pode-se afirmar que está ainda a sociedade, em seu sentido lato sensu, pois não se observa progresso e desenvolvimento social dissociados de um forte e eficiente processo educacional.
Como se pode observar, os interessados nos resultados dos processos educativos são múltiplos atores, de forma que os processos avaliativos devem considerar e contemplar o objetivo dos seus interessados, sob pena de os resultados dessas avaliações tornarem-se sem aplicação, uma vez que nascerão desprovidos de sua razão de ser, afinal de contas, uma avaliação educacional não representa um fim em si mesma. Ela é um meio para se conhecer a realidade a fim de que, a partir deste conhecimento, possam ser tomadas decisões inerentes aos processos educativos, visando a aperfeiçoá-los.
A razão de ser ou essência do conceito de avaliação varia. Com isso, o foco e o sentido da avaliação podem variar, dependendo do interessado nos resultados da avaliação e do contexto em que se surge a intenção de avaliar.
Para Worthen, Sanders e Fitzpatrick (2004), a diversidade de abordagens da avaliação educacional decorre da visão de mundo de seus autores, os quais possuem orientações filosóficas, predileções por metodologias e preferências práticas. Para os autores, isso explicaria a coexistência de várias concepções, bem como de métodos de coleta de dados e técnicas interpretativas diferentes. Observem-se a seguir algumas destas abordagens a partir de meados do século passado, consoante autores clássicos.
2.1.1 Avaliação centrada em objetivos
Até o início do século XX, as avaliações davam-se por meio de testes psicométricos. Segundo Escorza (2003), Tyler é considerado o pai da avaliação, por ter sido o pioneiro no desenvolvimento de uma visão metódica acerca da mesma.
De 1933 a 1941, Tyler dirigiu o denominado “eigth-year study”, o qual teve como foco o desenvolvimento de um estudo longitudinal destinado a analisar a eficiência de diferentes tipos de escolas, especialmente um comparativo entre a escola secundária tradicional e a progressista. O resultado desses estudos foi um dos seus principais legados, rompendo com os modelos até então vigentes de avaliação.
Para Tyler (1986) os resultados dos processos educacionais são medidos pelo grau de atingimento dos objetivos do programa. Sob esta concepção, a grande contribuição de Tyler no campo da avaliação educacional se deu para a avaliação curricular, pois esta foi a mais longa pesquisa no campo da avaliação curricular.
Segundo Tyler (1986), o desenvolvimento de um currículo ou plano de ensino deve levar em consideração quatro princípios: i) quais são os objetivos educacionais pretendidos pela escola; ii) que experiências educacionais devem ser ofertadas para alcançar estes objetivos; iii) como organizar de forma eficiente estas experiências e iv) como se assegurar de que esses objetivos estão sendo atendidos. Sob esta abordagem conceitual, qualquer dispositivo que fornece uma evidência válida sobre o progresso dos estudantes em direção aos objetivos educacionais é apropriado e a seleção das técnicas de avaliação deve ser feita em termos da adequação dessa técnica para o tipo de comportamento a ser avaliado.
Para Escorza (2003) consoante a concepção tylerista, a avaliação deve considerar: i) proposta clara de objetivos, ii) determinação das situações em que devem manifestar-se comportamentos esperados, iii) escolha dos instrumentos apropriados de avaliação e iv) definição da confiabilidade e da objetividade das medidas.
O modelo proposto por Tyler é simples e parte do princípio de que educar consiste em mudar padrões antigos ou originar novos padrões de comportamento, devendo o currículo ser construído com base na especificação de habilidades desejáveis expressas em objetivos a serem atingidos. Segundo Vianna (2000), Tyler apresentou a avaliação como um processo de comparação entre os desempenhos e a concretização de objetivos instrucionais predefinidos.
Para Vianna (2000), o modelo tylerista de avaliação contribui para o processo decisório no qual estão inseridos professores, os administradores, os pais e os próprios alunos, os quais se pautam na eficiência da relação do sistema com a aprendizagem. Neste diapasão, avaliação e medida não podem ser entendidas como sinônimos, uma vez que a avaliação tem escopo de processo de investigação de valores, enquanto a medida funciona apenas como parte desse processo.
2.1.2 Avaliação para tomada de decisões
Ainda no século XX, Lee Cronbach, apresentou um enfoque crítico do modelo tylerista, segundo o qual a avaliação era centrada nos objetivos do programa. Para Cronbach (1963), esta concepção avaliativa era limitada, o que o levou a prosseguir defendendo a avaliação com enfoque direcionado a resultados multidimensionais, e, com isso, o desempenho do discente poderia ser analisado de várias maneiras e não com critério exclusivo na avaliação de um programa.
A proposta de Cronbach (1963) é sustentada em quatro pilares: i) a avaliação deve contribuir para o processo de tomada de decisão; ii) a avaliação educacional pode assumir diferentes papéis; iii) o desempenho dos discentes deve ser um dos critérios de avaliação dos cursos; iv) e o avaliador deve adotar várias técnicas de medida, as quais devem ser adequadas ao foco avaliativo.
Dado o foco multidimensional que a avaliação educacional deve assumir, Cronbach (1963) defendeu que o desempenho escolar do aluno não deveria ser utilizado como critério exclusivo para a avaliação de uma instituição ou de um programa, ou de um sistema de ensino, bem como a relevância das informações quantitativas e qualitativas no processo avaliativo.
Considerando que o planejamento é fundamental para o alcance dos resultados pretendidos, em se tratando de avaliação, os resultados que dela se esperam são informações úteis para tomada de decisão, devendo, portanto, tais resultados serem concebidos de forma
livre e isenta de tendência, e considerando as variáveis que sejam necessárias à produção das referidas informações.
Neste sentido, para Cronbach (1963), o planejamento compreende a fase divergente e a fase convergente. Na primeira, o avaliador e o administrador formulam o máximo possível de indagações a serem consideradas no âmbito da avaliação e, na segunda, o foco é a priorização, escolha ou definição das questões a serem utilizadas no processo avaliativo.
Segundo Vianna (2000), a visão de Scriven acerca de avaliação aducacional converge em muitos aspectos com a concepção avaliativa de Cronbach. Para Scriven (1967, apud VIANNA, 2000), avaliar é o processo que visa a determinar o valor ou o mérito de alguma coisa, concluindo que a avaliação terá sempre um único objetivo, que é determinar o valor ou mérito do que está sendo avaliado.
Sob este prisma de o objetivo da avaliação estar voltado para emissão de juízo de valor, Sriven foi um dos precursores na preocupação com a formação do avaliador, chegando a fazer a distinção entre o avaliador profissional e avaliador amador e defendeu que apenas o primeiro estaria apto a emitir juízo de valor. Há controvérsias a esse respeito, pois, embora se reconheça que o avaliador gere conhecimentos válidos, nem sempre caberá a ele a tomada de decisões.
Scriven (2007) teceu uma abordagem acerca dos papéis da avaliação. Para ele, a avaliação pode desempenhar muitos papéis, os quais se relacionam com o uso que se faz dos resultados provenientes da avaliação. Estes papéis podem variar de um contexto para outro, e também no mesmo contexto. Scriven classificou os papéis da avaliação em dois tipos: avaliação formativa e avaliação somativa, adiante comentados.
Segundo Worthen, Sanders e Fitzpatrick (2004), Scriven foi um dos críticos do modelo tylerista de avaliação centrada nos objetivos, uma vez que, durante o processo de avaliação, podem surgir novos objetivos não previstos inicialmente e que se revelem mais relevantes que aqueles previamente determinados. Com isso, a avaliação orientada por objetivos, que foram definidos pelo coordenador do desenvolvimento do projeto, teria uma visão restrita e limitada da percepção do problema, impedindo o avaliador de verificar os resultados diretamente relacionados aos objetivos que não tiverem sido previamente determinados. A esse tipo de avaliação ele chamou de goal-free (independente de objetivos).
Uma das importantes contribuições de Scriven para o desenvolvimento da avaliação educacional foi a introdução das listas de critérios (checklists) para apreciar a
qualidade dos produtos do processo de aprendizagem, Scriven (2007) defendeu que, uma vez preenchido o checklist, já estaria pronta a síntese avaliativa.
Segundo Teixeira (2006), no campo da avaliação educacional do século XX, também merecem destaque os estudos de Stufflebeam (1971). Para o autor, o processo avaliativo deve estar voltado para tomada de decisões, de modo que deve viabilizar a obtenção de informações legítimas, colhidas no contexto real em que ocorre o processo avaliativo. Neste sentido, o seu modelo de avaliação abrange os aspectos relacionados ao Contexto, Insumos, Processos e Produtos, de modo que sua proposta é também conhecida como Modelo CIPP de avaliação, destinado a abranger decisões em quatro níveis: planejamento, estruturação, implementação e reciclagem (revisão). Cabe salientar que a importância da análise de contexto defendida por Stufflebeam teve em Cronbach suas primeiras sementes.
A avaliação, segundo a concepção de Stufflebeam (2000), consiste em um processo que busca delinear, obter e proporcionar informações úteis para o julgamento de decisões alternativas, isto é, permite oferecer informações úteis que possibilitem a melhoria da qualidade de um programa educacional.
Fortalecendo a relevância do papel formativo que a avaliação pode assumir, Vianna (2000) afirmou que o núcleo duro do modelo de Stufflebeam centra-se no dimensionamento da avaliação com objetivo de permitir a tomada de decisão, além de ser uma avaliação focada em “melhorar”, e não em “provar” algo.
Considerando que o Modelo CIPP proposto por Stufflebeam foi o escolhido por este trabalho para aplicação na pesquisa empírica, o mesmo será explanado de forma mais pormenorizada no item 2.5 deste capítulo.
2.1.3 Avaliação orientada à negociação
O modelo avaliativo para Stake (1967) é também conhecido como avaliação responsiva. Reconhecendo a complexidade do objeto de avaliação, Stake (1967) acreditava que dialogar com essa complexidade advinda do objeto deve ser o princípio embasador da avaliação. Para isso, segundo Worthen, Sanders e Fitzpatrick (2004), Stake concebeu a avaliação com dupla face: a descrição e o julgamento.
Segundo Stake (1975 apud WORTHEN; SANDERS; FITZPATRICK, 2004), a avaliação responsiva não deve partir de objetivos predefinidos, mas, sim, buscar identificá-los no decorrer do processo, indo além dessa identificação, considerando as discrepâncias
