REFLEXÃO ACERCA DO ENADE, OS DISCENTES E OS INDICADORES DO SINAES
REFLECTION ABOUT ENADE, THE DISCIPLES AND THE SINAES INDICATORS
HOLANDA, M. Júlia B. de1
RESUMO
Este tema pretende de forma sucinta, analisar o processo de avaliação do Exame Nacional de Desempenho de Estudantes (ENADE) que compõe o tripé do Sistema Nacional de Avaliação da Educação Superior (SINAES). Para tanto, intentou-se investigar qual a eficácia do processo de avaliação concernente à aplicação do Enade nas turmas de formandos do curso de pedagogia de uma Instituição de Educação Superior2 no Distrito Federal, diante dos indicadores do SINAES? Tal questionamento buscou compreender algumas lacunas que foram encontradas ao longo das coletas dos dados adquiridos na aplicação de um dos simulados Enade no primeiro semestre de 2017. Estabeleceu-se uma metodologia de natureza baseada em dados estatísticos, mas de predominância qualitativa que teve por objeto especificamente: a pesquisa documental (Guia do Enade 2017 – IES/FQT); a pesquisa bibliográfica de cunho nacional (ENADE e SINAES); e a observação empírica seguindo com o método de análise de conteúdo. O estudo foi estruturado em três seções do Referencial Teórico, como segue: um breve estudo acerca do SINAES, a aplicação do instrumento de avaliação ENADE e a contribuição de ambos para qualidade da educação, bem como uma breve análise das responsabilidades dos atores que compõem o processo instituído no Guia do ENADE 2017 elaborado pela IES/FQT. Pretendeu-se com este estudo, apresentar um referencial para a IES e os professores que auxiliaram nestas atividades do Enade, bem como e, sobretudo, um norte para os discentes convocados para o referido Exame e participantes dos simulados.
Palavras-chave: ENADE; Discentes; Indicadores; SINAES.
ABSTRACT
This topic aims briefly to analyze the evaluation process of the National Student Performance Exam (ENADE), which is part of the National Higher Education Evaluation System (SINAES). In order to do so, it was tried to investigate the effectiveness of the evaluation process concerning the application of Enade in the classes of trainees of the pedagogy course of a Higher Education Institution in the Federal District, in view of the SINAES indicators? This questioning sought to understand some of the gaps that were found throughout the data collection acquired in the application of one of the simulated Enade in the first half of 2017. A methodology was established based on statistical data, but of qualitative predominance that was specifically aimed at: the documentary research (Enade guide 2017 - IES/FQT); the national bibliographic research (ENADE and SINAES); and the empirical observation followed by the content analysis method.
The study was structured in three sections of the Theoretical Framework, as follows: a brief study about SINAES, the application of the ENADE evaluation instrument and the contribution of both to quality of education, as well as a brief analysis of the responsibilities of the actors that make up the process set out in the Guide to ENADE 2017 prepared by the IES/FQT. The aim of this study was to present a reference for the HEI and the teachers who assisted in these activities of Enade, as well as, and above all, a north for the students called for the said Examination and participants of the simulated ones.
Keywords: ENADE; Students; Indicators; SINAES.
1 Mestrado em Educação da Universidade Católica de Brasília - UCB/DF. Membro do Grupo de Pesquisa ECOTRANSD - Ecologia dos saberes, Transdisciplinaridade e Educação - UCB/DF. Membro do Grupo de Pesquisa – UnB/CNPQ: Currículo: Concepções Teóricas e Práticas Educativas. Professora do Centro Universitário Projeção de Brasília, DF. E-mail: [email protected], CV Lattes: http://lattes.cnpq.br/4298961141386037.
2 A IES objeto de estudo desta pesquisa, foi denominada de FQT – Faculdade Qualidade Total (IES-FQT).
Introdução
Este tema “ENADE: os discentes e os indicadores do SINAES” pretende fazer de forma sucinta, uma análise do processo de avaliação do Exame Nacional de Desempenho de Estudantes (ENADE) que compõe o tripé do Sistema Nacional de Avaliação da Educação Superior (SINAES). Para tanto, intentou-se investigar qual a eficácia do processo de avaliação concernente à aplicação do Enade nas turmas de formandos do curso de pedagogia da IES/FQT, diante dos indicadores do SINAES?
Vale ressaltar a necessidade de analisar e compreender algumas lacunas que foram encontradas ao longo das coletas dos dados adquiridos na aplicação de um dos simulados Enade no primeiro semestre de 2017.
Para tanto, foi levado em conta um breve estudo sobre o SINAES e o instrumento de avaliação ENADE, como também, o Guia do ENADE 2017 elaborado pela IES/FQT onde o mesmo contempla as prioridades estratégicas de excelência acadêmica e crescimento, com isso, foram utilizados os dados coletados após a aplicação de um dos simulados feitos em junho/2017. Esta prova foi composta por itens do referido exame, selecionados especificamente da prova do curso de Pedagogia aplicada no ano de 2014 pelo Inep/MEC. A prova foi organizada em 27 (vinte e sete) questões objetivas da parte de Formação Específica que contemplou a especificidade da área pedagógica, observando o domínio dos conhecimentos dos alunos nas habilidades esperadas para o perfil profissional dos mesmos.
Diante do exposto, estabeleceu-se uma metodologia de natureza baseada em dados estatísticos, mas de predominância qualitativa que teve por objeto especificamente: a pesquisa documental (Guia do Enade 2017 - IES/FQT) onde analisou-se as responsabilidades dos atores que compõem o processo; a pesquisa bibliográfica de cunho nacional (ENADE e SINAES) para fundamentar alguns processos de controle e regulação do instrumento de avaliação em
estudo; e a observação empírica seguindo com o método de análise de conteúdo.
O estudo foi estruturado em três seções do Referencial Teórico, como segue: um breve estudo acerca do SINAES, a aplicação do instrumento de avaliação ENADE e a contribuição de ambos para qualidade da educação, bem como uma breve análise das responsabilidades dos atores que compõem o processo instituído no Guia do ENADE 2017 elaborado pela IES/FQT.
Assim, pretende-se com este estudo, apresentar um referencial para a IES e os professores que auxiliaram nestas atividades do Enade, bem como e, sobretudo, um norte para os discentes convocados para o referido Exame e participantes dos simulados.
Conforme já foi dito, este estudo foi estruturado em três seções neste Referencial Teórico, dividindo-se em: um breve estudo acerca do SINAES, a aplicação do instrumento de avaliação ENADE e a contribuição de ambos para qualidade da educação, bem como uma breve análise das responsabilidades dos atores que compõem o processo instituído no Guia do ENADE 2017 elaborado pela IES/FQT. Vejamos...
SINAES
Para dar inicio a este tema, faço uso da Lei 10.861/2004 que instituiu o Sistema Nacional de Avaliação da Educação Superior (SINAES) e em seu Art. 1 § 1º, diz que o SINAES
[...] tem por finalidades a melhoria da qualidade da educação superior, a orientação da expansão da sua oferta, o aumento permanente da sua eficácia institucional e efetividade acadêmica e social e, especialmente, a promoção do aprofundamento dos compromissos e responsabilidades sociais das instituições de educação superior, por meio da valorização de sua missão pública, da promoção dos valores democráticos, do respeito à diferença e à diversidade, da afirmação da autonomia e da identidade institucional.
Sendo assim, na mesma lei, no Art. 2 § Único diz:
Os resultados da avaliação referido no caput deste artigo constituirão referencial básico dos processos de regulação e supervisão da educação superior, neles compreendidos o credenciamento e a renovação de credenciamento de instituições de educação superior, a autorização, o reconhecimento de cursos de graduação.
Com isso, o SINAES “[...] defende os princípios da educação como um direito social e um dever do Estado [...]”
(BERNHARDT, 2015, p. 60). E isto deve implicar diretamente em valores sociais historicamente determinados. Com isso, a regulação e controle pertinentes ao SINAES devem ser entendidos como algo que não se esgota em si mesmo, mas que tem, sobretudo, um caráter educativo. E segundo Bernhardt, de “[...] respeito à identidade e à diversidade institucional em um sistema tão diversificado como o brasileiro [...]”, tendo em vista “[...] a avaliação como um processo educativo, democrático e participativo, com objetivos formativos e sociais.” (p. 60).
Sendo de essência de regulação e emancipação o Sistema Nacional de Avaliação da Educação Superior tem sua composição nos processos de Avaliação de Cursos de Graduação - Avaliação dos Cursos de Graduação (ACG) - e de Avaliação Institucional - Avaliação das Instituições de Ensino Superior (AVALIES) - que, junto com o Enade - Avaliação do Exame Nacional de Desempenho dos Estudantes -, formam um tripé avaliativo, que permite conhecer a qualidade dos cursos e instituições de educação superior (IES) de todo o Brasil.
Sendo este última, a qual este estudo deu ênfase.
Vale ressaltar que a avaliação institucional não pode e não deve reduzir-se apenas na elaboração de relatórios e de diagnósticos, com o julgamento de resultados e ações já predeterminadas. É necessário que este processo ultrapasse os muros de uma
avaliação contemplativa e se configure em ações e medidas transformadoras da realidade educacional.
Na visão de Ristoff e Giolo (2006), uma das percepções subjacentes ao SINAES, precisa estar vinculado com a ideia de que avaliar é mais do que somar, é mais do que o mero acúmulo de dados. Vai muito além da mensuração mecânica, deve ser educativa e desencadear um processo de reformulação profunda no sistema de educação das instituições de educação superior brasileira.
Para contemplar esta ruptura em uma mensuração mecânica, na avaliação da educação superior são observadas dez dimensões que o SINAES avaliava no campo interno e externo das IES, isto pode significar uma rede de relações, haja vista que cada uma dessas dimensões relaciona-se com as demais, estabelecendo e consolidando novas estruturas por meio de redes entre pessoas, ideias, acontecimentos e práticas vivenciadas e propagadas no interior da instituição.
Vale conhecer no Artigo 3° da Lei do SINAES as dimensões que são consideradas nesse processo de avaliação: 1) Missão e PDI;
2) Política para ensino, pesquisa, pós- graduação e extensão; 3) Responsabilidade social da IES; 4) Comunicação com a sociedade; 5) As políticas de pessoal, carreiras do corpo docente e de técnico- administrativo; 6) Organização de gestão da IES; 7) Infraestrutura física; 8) Planejamento de avaliação; 9) Políticas de atendimento aos estudantes; 10) Sustentabilidade financeira.
Ainda de acordo com o parágrafo terceiro da referida lei, o processo de avaliação da IES considera as dimensões de modo a respeitar a diversidade e as especificidades das diferentes organizações acadêmicas, respeitando suas culturas e peculiaridades.
Próximo estudo, uma breve análise sobre o instrumento de avaliação Enade.
ENADE
O Exame Nacional de Desempenho de Estudantes (ENADE) é um componente
curricular obrigatório que avalia o rendimento dos concluintes dos cursos de graduação, em relação aos conteúdos programáticos, habilidades e competências adquiridas em sua formação. O exame é obrigatório e a situação de regularidade do estudante no Exame deve constar em seu histórico escolar.
O ENADE é uma modalidade com características do antigo Provão, pois se estabelece neste processo como um componente curricular obrigatório. Além do mais, apresenta-se como um importante instrumento regulador no processo de avaliação institucional, pois oferece informações importantes em vários contextos, no caso das IES, ao fazerem uso de tais informações no processo de avaliação interna, no caso do sistema como um todo, proporcionando e fomentando a formulação de políticas públicas. Este instrumento tem periodicidade máxima de aplicação trienal.
Atualmente o ENADE é oferecido a partir da aplicação de uma prova aos alunos concluintes dos cursos. Com esse exame pretende-se proporcionar “[...] reflexões no interior do próprio curso e da instituição, na medida em que se constitui como um momento privilegiado de interlocução com os estudantes, visando a estimular a reflexão crítica e a avaliação de seus processos formativos [...]” (POLIDORI; MACHADO- ARAÚJO e BARREYRO, 2006, p.434 apud BERNHARDT, 2015, p. 62).
Assim, o objetivo do Enade segundo a Lei do SINAES, artigo 5°, parágrafo 1°é avaliar o desempenho dos estudantes com relação aos conteúdos programáticos previstos nas diretrizes curriculares dos cursos de graduação, o desenvolvimento de competências e habilidades necessárias ao aprofundamento da formação geral e profissional, e o nível de atualização dos estudantes com relação à realidade brasileira e mundial, integrando o Sistema Nacional de Avaliação da Educação Superior (SINAES).
Este é um exame aplicado pelo Instituto Nacional de Estudos e Pesquisas Educacionais (INEP).
Quanto aos procedimentos utilizados
para a aplicação do Exame o SINAES faz uso de: a) Teste composto de questões de múltipla escolha e discursiva; b) Questionário sobre a percepção dos alunos sobre o exame; c) Questionário socioeconômico educacional do aluno; e, d) Questionário respondido pelo coordenador do curso submetido à avaliação.
Diante desta estrutura, os resultados do Enade, compõem-se a partir de: Resumo técnico; Relatório do Curso; Relatório da IES;
Relatório Síntese; Boletim Individual de Desempenho; e por fim, o Conceito Preliminar de Curso (CPC). Toda este composição constituem-se insumos fundamentais para o cálculo dos indicadores de qualidade da educação superior, a saber:
Conceito Enade, CPC e Índice Geral de Cursos Avaliados da Instituição (IGC). Todos estes, normatizados pela Portaria nº 40, de 2007, republicada em 2010. Esses indicadores mensuram a qualidade dos cursos e das instituições do país. Devendo ser utilizados tanto para o desenvolvimento de políticas públicas para a educação superior quanto como fonte de consultas pela sociedade3.
Diante deste contexto, foi criado o Guia do Enade 2017 da IES/FQT, como veremos a seguir...
Guia do ENADE 2017
O Guia do ENADE 2017 elaborado pela IES/FQT, no qual contempla as prioridades estratégicas de excelência acadêmica e crescimento almejado, ressalta que o “[...] papel do Professor Sensibilizador como o responsável em mediar os conceitos, critérios e aplicabilidade do Enade/2017, enquanto exame de avaliação externa, despertando-lhes o interesse em aprimorar seu desempenho acadêmico com vistas à melhoria dos indicadores Enade de seu curso”. Pontua- se ainda que os professores sensibilizadores
“[...] devem contar com o apoio irrestrito de sua respectiva Coordenação de Curso e Direção de Escola Superior para cumprir suas
3 Dados retirados da fonte disponível em:<
http://portal.inep.gov.br/enade.> Acesso em: 25 JUL 2017.
atividades”. Bem como “[...] todos os professores associados às componentes curriculares das turmas Enade devem destinar 40% de todas as suas aulas, nos primeiro e segundo semestre de 2017 para articularem os conteúdos do Enade”.
O objetivo estratégico do planejamento para o ENADE 2017 prescrito no Guia se justifica em: Estimular o aluno a participar das atividades preparatórias pertinentes ao ENADE, de forma que os selecionados para a realização do referido exame alcancem desempenho satisfatório com a obtenção da nota 4.
O Guia também propõe alguns objetivos específicos e metas a serem atingidas
Sensibilizar os alunos sobre a importância de sua participação no Enade/2017.
Envolver professores na sensibilização dos alunos.
Preparar os alunos para a prova de conhecimentos gerais e específicos.
Preparar os alunos para responder conscientemente o Questionário do Estudante (QE).
Foi normatizado no Guia uma sistematização das responsabilidades pertinentes a cada um dos atores: do coordenador; do professor sensibilizador; do professor responsável pela turma no dia; do discente convocado para o Exame.
Vejamos...
- Do Coordenador
1. Conscientizar os professores de suas respectivas responsabilidades e comprometimento com todas as atividades propostas pertinentes ao bom andamento das atividades destinadas ao Enade 2/2017, bem como informa-los previamente de todas as datas em que as atividades irão ocorrer.
2. Realizar as devidas reservas de sala e recursos multimeios para a realização dos simulados e oficinas.
3. Dar apoio irrestrito de sua respectiva ao professor sensibilizador no cumprir de suas atividades.
4. Controlar a presença e as avaliações para a garantia do pagamento aos professores sensibilizadores, caso alcancem as metas estabelecidas e ao final de cada etapa encaminhar esta planilha para o Diretor da Unidade.
5. Definir a alocação dos temas às Aulas ENADE e oficinas vai variar em função do perfil das turmas de cada curso e de cada Unidade de Educação Superior.
6. Solicitar ao corpo docente do curso questões inédito, de comprovadas qualidade e complexidade, dentro dos moldes ENADE.
7. Consolidar as tabelas e enviar para a Direção EPROF para tratamento estatístico.
8. Realizar as devidas reservas de sala e recursos multimeios para a realização dos simulados e oficinas.
9. Alinhar as impressões dos simulados, junto às suas respectivas Direções de Unidade, com antecedência mínima de 07 dias.
10. Solicitar o pagamento em até 3 dias úteis após o prazo final de cada etapa prescrita no Guia do Enade 2017.
- Do Professor Sensibilizador
1. Mediar os conceitos, critérios e aplicabilidades do ENADE, enquanto exame de avaliação externa, despertando- lhes o interesse em aprimorar seu desempenho acadêmico com vistas à melhoria nos indicadores ENADE de seu curso.
2. Solicitar em cada simulado, que a cada questão, os estudantes destaquem as palavras e expressões que não conhecem.
3. Contar com o apoio irrestrito de sua respectiva coordenação de curso e direção de Escola Superior para cumprir suas atividades.
4. Realizar controle da frequência, a lista de chamada deve ser devidamente assinada
pelos alunos. (após cada aula, deverá ser entregue na Coordenação de Curso).
5. Utilizar as questões do ENADE 2014 para o primeiro simulado, de modo a viabilizar uma avaliação diagnóstica e perfil da turma.
6. Registrar todas as evidências dos encontros com fotos e lista de presença e entregar à Coordenação do Curso.
7. Tabular os resultados e enviá-los à sua coordenação de curso, em formulário específico.
- Do Professor Responsável pela Turma no Dia
1. Cabe a cada um dos Professores responsáveis pela turma no dia da atividade disponibilizar em seus planos de ensino, no mínimo dois dias para as atividades do ENADE conforme datas na tabela de cronograma de atividade Enade 2/2017, incluindo os respectivos professores de ambos os semestres 6º e 7º A/B.
2. Todos os professores associados às componentes curriculares das turmas ENADE devem destinar 40% de todas as suas aulas, nos primeiro e segundo semestres de 2017, para articularem os conteúdos ENADE.
3. Em 40% da aula serão trabalhados conceitos de outras componentes curriculares e de outros semestres, de forma interdisciplinar e transversal, utilizando itens nos moldes ENADE e sem prejudicar o conteúdo da componente curricular original.
4. Nos outros 60% da aula serão desenvolvidos conteúdos específicos da componente curricular original. A sistemática de avaliação será diagnóstica, formativa e processual, respeitando o que prevê a Resolução que trata da sistemática de avaliação na IES/FQT.
- Do Discente convocado para o Exame 1. Participar de todos os eventos oferecidos
pela IES, incluindo as Palestras de
Formação Geral, as Oficinas denominadas Aula Enade e os Simulados.
2. Empenhar-se para obter resultado representativo em todas as atividades das formações oferecidas ao longo do semestre.
3. Conhecer as condições de participação e as instruções para inscrição no Enade (descritos no Manual do Estudante).
4. Identificar sua condição de participação no Enade e sua inscrição no sistema.
5. Acompanhar a divulgação da lista de estudantes inscritos e, se for o caso, solicitar à IES: inscrição; retificação (por exemplo, nome com grafia equivocada);
alteração de local de prova; atendimento especial.
6. Acompanhar a divulgação eletrônica da lista de inscritos e convocados ao Enade.
7. Responder eletronicamente ao Questionário do Estudante, identificando seu local de prova.
8. Participar do Enade, atendendo às recomendações de: 1) chegar ao local de prova com uma hora de antecedência; 2) apresentar documento de identificação com foto e levar caneta preta; 3) não sair da sala antes de uma hora do início da prova; 4) empenhar-se para obter resultado representativo da formação recebida.
9. Acompanhar a divulgação do Relatório de Estudantes em Situação Regular junto ao Enade – conferir regularidade de presença e de resposta ao Questionário.
10. Acessar o Boletim de Desempenho do Estudante no sistema Enade.
Metodologia
Trata-se uma metodologia de pesquisa quanti-qualitativa. Quanti porque considerou os dados quantificados, que traduziram em números as informações que foram classificadas e analisadas. Quali porque envolveu a obtenção de dados descritivos, obtidos no contato direto do pesquisador com a situação. Portanto, esta natureza quanti- qualitativa apresentou-se nos seguintes
aspectos: a) Teoria Clássica dos Testes; b) analise de dados; c) pesquisa documental; d) a pesquisa bibliográfica; e) observação com base empírica; f) análise de conteúdo.
a) Teoria Clássica dos Testes (TCT), método estatístico utilizado para refletir e instigar e aferir sobre os exames multidisciplinares. Tal teoria TCT foi axiomatizada por Gulliksen (1950). Mesmo que breve, vale ressaltar que somente no século XIX, houve registros quanto à preocupação em se medir fenômenos psicológicos. Com isso, psicólogos, filósofos, estatísticos, etc., preocupavam-se em encontrar um meio de mensurar traços latentes como sensações, emoções e comportamentos humanos (PASQUALI;
PRIMI 2003).
Esta medição deu origem à ciência hoje reconhecida por psicometria, cuja origem encontra-se nos trabalhos do estatístico Spearman, o qual lançou os fundamentos da teoria clássica (PASQUALI; PRIMI 2003).
Desse modo, a psicometria utiliza-se da estatística e procura explicar o sentido das respostas dadas pelos indivíduos. No entanto, a psicometria é uma área da psicologia com uma concepção estatística, que explica os comportamentos e aptidões por meio de testes, cuja mensuração é feita a partir das respostas que os indivíduos fornecem aos itens. Neste sentido, a psicometria moderna tem duas vertentes: a teoria clássica dos testes (TCT) e a teoria da resposta ao item (TRI) (PASQUALI, 2003; 2007; 2009).
Este foi estudo foi estruturado com o objetivo investigar a eficácia do processo de avaliação concernente à aplicação do Enade em turmas de formandos diante dos indicadores do SINAES, deste modo, foi também priorizado a primeira das vertentes de Pasquali, a TCT que se preocupa em explicar o resultado final total, isto é, o que a soma dos itens diz sobre o sujeito.
b) analise de dados prova foi composta por itens do referido exame, selecionados especificamente da prova do curso de Pedagogia aplicada no ano de 2014 pelo Inep/MEC. A prova foi organizada em 27
(vinte e sete) questões objetivas da parte de Formação Específica que contemplou a especificidade da área pedagógica, observando o domínio dos conhecimentos dos alunos nas habilidades esperadas para o seu perfil profissional.
c) pesquisa documental por meio do Guia do ENADE 2017 elaborado pela IES/FQT que contempla as prioridades estratégicas de excelência acadêmica e crescimento, como também os dados coletados após a aplicação de um dos simulados feitos em junho/2017. Vale ressaltar que a pesquisa documental se constitui em uma técnica importante na pesquisa qualitativa, tanto para a complementação de informações obtidas por outras técnicas, quanto para desvelar aspectos novos de um tema ou problema (GIL, 2008;
LUDKE, ANDRÉ, 1986).
d) a pesquisa bibliográfica nacional sobre o SINAES e o instrumento de avaliação ENADE, que trouxe subsídios para o conhecimento sobre o tema, como e sob que enfoque e/ou perspectivas tem sido tratado o assunto apresentado na literatura científica (GIL, 2008; LUDKE, ANDRÉ, 1986);
e) observação com base empírica que é concebida e realizada em estreita associação com uma ação, experiência ou com a resolução de um problema, (GIL, 2008;
LUDKE, ANDRÉ, 1986; THIOLLENT, 1986) e neste caso, a pesquisadora, instituída pela IES, em seu papel de sensibilizadora do Enade;
f) seguindo com o método de análise de conteúdo entendido por um conjunto de técnicas de análise das comunicações, que utiliza procedimentos sistemáticos e objetivos de descrição do conteúdo das mensagens (BARDIN, 2011; GIL, 2008; LUDKE, ANDRÉ, 1986), que neste caso, envolve a análise documental e a própria base empírica da autora.
Procedimentos e Etapas da Pesquisa
Os procedimentos metodológicos ocorreram em 03 (três) etapas. Na primeira
realizamos a escolha das questões/produto baseada no Exame aplicado em 2014; na segunda foi aplicada a prova; e na terceira foi realizada a análise dos dados, documentos e bibliografias pertinentes; conforme descrito nos resultados e discussões a seguir.
Resultados e Discussão
Os dados a seguir referem-se ao Simulado do Enade aplicado no curso de Pedagogia da IES/FQT no primeiro semestre de 2017.
Ressalta-se aqui que esta prova é parte do processo de ensino e de aprendizagem com foco no ENADE. Nesse sentido, a prova foi composta por itens do referido exame, selecionados especificamente da prova do curso de Pedagogia aplicada no ano de 2014 pelo Inep/MEC. A prova foi organizada em 27 (vinte e sete) questões objetivas da parte de Formação Específica que contemplou a especificidade da área pedagógica, observando o domínio dos conhecimentos nas habilidades esperadas para o perfil profissional. A seguir os dados que foram apresentados para possíveis e relevantes decisões da coordenação do curso.
Participantes
Participaram da prova, os alunos do curso de Pedagogia que estavam no 5º, 6º e 7º semestres - levando em consideração a formação de egressos no final do primeiro semestre, os mesmos já se encontram respectivamente no 6º e 7º, lembrando que 7 (sete) destes 76 alunos atualmente são egressos -. Entre os convocados para a realização do exame apenas 76 alunos, dos 93 convocados, compareceram ao 1º Simulado.
Esses equivalem a 81,7% dos alunos
convocados. A participação por semestre seguiu conforme Tabela 1.
Turma Status de participação Total
PED 5AN Ausente 7
Presente 38
PED 6AN Ausente 7
Presente 33
PED 7AN Ausente 3
Presente 5
Total Geral 93
Tabela 1 – Participação no primeiro Simulado Enade, para alunos de Pedagogia, convocados para a prova ENADE 2017.
Correção da prova
Para correção da prova utilizou-se o gabarito oficial dos itens objetivos fornecido pelo Inep/Mec/2014. Inicialmente foram tabulados os acertos, considerando 1 (um) ponto para cada item correto e 0 (zero) para o item em discordância com o gabarito. Ao final, a soma dos acertos tabulada é denominada escore bruto. A prova foi composta por 27 (vinte e sete) itens objetivos e específicos ao conhecimento do curso, podendo o escore bruto máximo ser igual a 27 pontos.
Com o objetivo de estabelecer parâmetros com o cálculo do ENADE, ao escore bruto foi aplicado um peso de 0,25 para cada questão acertada, sendo que nota máxima do aluno 6,75.
Os resultados gerais e por turma estão apresentados a Tabela 2 como segue.
Tabela 2 – Resultados do Campus II por Escore Bruto e Cálculo Enade, por turmas e curso.
Análise pedagógica da prova para a turma de PED. 5AN, 6AN e 7AN
Antes a apresenta propriamente tal análise, faz-se necessário entender em que contexto foi analisado esta pesquisa. Para tanto, apresento as categorias criadas por Bernhardt (2015, p. 98) que explica claramente alguns pontos de considerável relevância. Bernhardt divide sua análise em sete categoria, a saber: Categoria 1) Os indicadores não consideram as diferenças regionais, sociais e econômicas; Categoria 2) Corpo Docente como indicador dos cursos de graduação; Categoria 3) Priorização do ENADE na prática do SINAES: onde fica a autoavaliação? Categoria 4) Discurso Pedagógico x Discurso Técnico de avaliação;
Categoria 5) Descompromisso do estudante com o ENADE na avaliação; Categoria 6) SINAES nas IES públicas e privadas;
Categoria 7) SINAES: contradições punição x emancipação.
Mas, para que esta pesquisa não ganhasse maior extensão, foi limitada apenas em um breve estudo das seguintes categorias:
3) Priorização do ENADE na prática do SINAES: onde fica a autoavaliação? 5) Descompromisso do estudante com o ENADE na avaliação. Veremos estas contextualizações posteriormente nas considerações finais.
A análise a seguir no Gráfico 1- itens de
9 a 22 e Gráfico 2-itens de 23 a 35, traz o percentual de alunos, suas marcações nas respectivas alternativas e as áreas de formação de cada questão. Estes dados apontam para um produto que deve ser analisado como uma referencia de estudo tanto de professores quanto de coordenadores onde os mesmos devem refletir sobre as questões e até que ponto suas competências compromisso e comprometimento com a IES e o conhecimento dado foram ou não utilizadas com eficiência e eficácia suficientes para que os alunos avaliados atingissem os objetivos almejados.
Vale ressaltar, porém, que nem sempre o erro do aluno é por falta de conhecimento.
Pode estar atrelado a um item mal formulado ou de difícil compreensão. Nesse sentido, é importante que o professor da área em que atua, utilize a análise gráfica, com o item em mãos, para dar um parecer pedagógico ao aluno.
O presente estudo objetivou analisar as questões objetivas da prova, simulado ENADE, compreendidas a partir da questão 9 até a questão 35 de acordo com os respectivos componentes curriculares. Tal análise se deu pela Teoria Clássica dos Testes (TCT), centrando a análise nas questões da prova e não na prova como um todo, e assim contribuir para o melhor entendimento do desempenho dos alunos quando submetidos a esse tipo de prova, como veremos a seguir.
Média = soma das notas de todos os indivíduos dividido pelo número de indivíduos Mínimo = menor nota no grupo
Máximo = maior nota no grupo
DP = Desvio-padrão = medida da dispersão dos dados em relação à média de uma sequência, o
“afastamento” em relação a essa média.
Mediana = o valor do meio de um conjunto de dados. Separa a metade maior e a metade menor de uma amostra, uma população ou uma distribuição de probabilidade.
Gráfico 1 – Percentual de alunos que marcaram a alternativa – itens de 9 a 22.
Gráfico 2 – Percentual de alunos que marcaram a alternativa – itens de 23 a 35.
Considerações finais
Esta análise trouxe átona uma profunda reflexão sobre qual a eficácia do processo de avaliação concernente à aplicação do Enade nas turmas de formandos do curso de pedagogia da IES/FQT, diante dos indicadores do SINAES. Isto me levou a considerar certos aspectos a partir de algumas das categorias elencadas por Bernhardt, conforme vimos no tópico acima.
Então com o objetivo de contemplar o problema proposto e para que esta pesquisa não ganhasse maior extensão, foi limitada apenas ao estudo das seguintes categorias: a) da priorização do ENADE na prática do SINAES: onde fica a autoavaliação? b) do descompromisso do estudante com o ENADE na avaliação.
Assim, sigamos...
Quanto à priorização do ENADE na prática do SINAES: onde fica a autoavaliação? Muitas falas apresentadas por Bernhardt foram reconhecidas pela vivencia da professora sensibilizadora ao longo do processo de conscientização da importância da participação do alunado neste processo.
Entende-se que o SINAES possui três componentes de avaliação que são: a Autoavaliação, o Exame Nacional de Avaliação do Desempenho do Estudante e a Avaliação in loco. No entanto, é possível perceber uma priorização no processo do ENADE, o que pode tornar a IES refém de determinados alunos descompromissados, bons exemplos disso são: as imposições políticas e ideológicas incutidas nas questões e que podem induzir o aluno ao erro; o dia e horário em que a prova é aplicada, impondo a obrigatoriedade do aluno em comparecer com a punição do não recebimento do diploma.
Estes são apenas dois dos exemplos entre tantos, o fato é que existe uma concepção germinada de punição e de recompensa nos sujeitos que pensam a avaliação.
Com isso, a política de avaliação perde a credibilidade quando prioriza a qualidade dos cursos a partir do desempenho do
estudante e atribui ao ENADE, o peso da avaliação da qualidade, não levando em conta todo o percurso e amadurecimento do aluno ao longo do curso, que muitas vezes já veio deficitário no contexto da aprendizagem, principalmente, nas instituições privadas.
Quanto ao descompromisso do estudante com o ENADE na avaliação, esta categoria implica em condição de risco para a manutenção da qualidade da IES. Na minha vivencia e de acordo com os dados aquém do simulado apresentado neste estudo foi possível perceber o grande desinteresse e até certa mágoa por parte do alunado em se sentir obrigado a participar de um processo de avaliação do qual se sentem ultrajados, alguns por não terem consciência do que ele significa outros por de certa maneira consideram punição e em contrapartida guardam a ideia de prejudicar a instituição.
O fato é que a avaliação como está posta hoje, não avalia a qualidade, pois a lei obriga o comparecimento do aluno no dia da avaliação, assim, o que o sistema exige é a presença, não vinculando essa obrigação a responder o exame. Porém, é precisa esclarecer que o bom desempenho na avaliação depende não somente do comparecimento do aluno no dia da prova, mas sim, do seu comprometimento com o aprendizado na IES a qual faz parte.
Portanto, para sanar tais contradições e erradicar esse descompromisso o ideal seria criar uma cultura de ENADE desde o início da graduação, assim, desde o primeiro semestre, o aluno, saber e reconhecerá o que é ENADE, seu objetivo e sua finalidade.
Por fim, a avaliação da qualidade de uma determinada IES deve ter, sobretudo, legitimidade técnica, política e social. Precisa ainda, ser considerada como uma possibilidade de transformação em todas as instâncias que envolvem a vida humana.
Referências
ABNT – Associação Brasileira de Normas
Técnicas. NBR 14724: Informação e documentação. Trabalhos Acadêmicos - Apresentação. Rio de Janeiro: ABNT, 2002.
BARDIN L. Análise de conteúdo. São Paulo:
Edições 70. 2011.
BERNHARDT, Cristiane Otilia Colossi.
Implicações do Sistema Nacional de
Avaliação da Educação Superior (SINAES) na qualidade dos cursos de graduação de uma instituição
privada. Cáceres/MT: UNEMAT, 2015.
BRASIL. LEI nº 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de
Avaliação da Educação Superior – SINAES e dá outras providências. Disponível em:
http://www.planalto.gov.br/ccivil_03/_ato200 4-2006/2004/lei/l10.861.htm. Acesso em: 12 Out. 2017.
GIL, Antonio Carlos. Como elaborar
projetos de pesquisa. 4. ed. São Paulo: Atlas, 2008.
GULLIKSEN, H. Theory of mental tests.
New York: Wiley, 1950.
INEP. Instituto Nacional de Estudos e Pesquisas Educacionais Anisio Teixeira.
ENADE: Exame Nacional de Desempenho dos Estudante - Manual do Enade. [S.l.], 2016. Disponível em:
http://download.inep.gov.br/educacao_superio r/enade/manuais/manual_do_enade_0107201 6.pdf. Acesso em: 12 Out. 2017.
INEP. Instituto Nacional de Estudos e Pesquisas Educacionais Anisio Teixeira.
Volume 1: Análise dos resultados do Enade das áreas avaliadas em 2005 e 2008, com ênfase nos curso de arquitetura e urbanismo, engenharia e pedagogia. In: SINAES:
Sistema Nacional de Avaliação da Educação Superior. Brasília: Inep, 2015.
LÜDKE, M.; ANDRÉ, M.E.D.A. Pesquisa em educação: abordagens qualitativas. São Paulo, EPU, 1986.
THIOLLENT, Michel. Metodologia da pesquisa - ação. São Paulo: Cortez, 1986.
PASQUALI, L. Psicometria: Teoria dos Testes na Psicologia e na Educação.
Petrópolis: Vozes, 2003.
RABELO, M. Avaliação Educacional:
Fundamentos, Metodologia e Aplicações no Contexto Brasileiro. Rio de Janeiro. SBM, 2013
PASQUALI, L. TRI - Teoria de Resposta ao Item: teoria, procedimentos e aplicações.
Brasília: LabPAM/UnB, 2007.
PASQUALI, L.; PRIMI, R. Fundamentos da teoria da resposta ao item - tri. Avaliação Psicológica, v. 2(2), dez 2003.
RISTOFF, Dilvo; GIOLO, Jaime (Org.) Educação superior brasileira 1991-2014.
Brasília: INEP, 2006.
