UNIVERSIDADE
CATÓLICA DE
BRASÍLIA
MESTRADO EM EDUCAÇÃO
AVALIAÇÃO DE PROFICIÊNCIA NO ENSINO MÉDICO E DE
ENFERMAGEM: EXAME NACIONAL DE CURSOS (PROVÃO)
VERSUS EXAME NACIONAL DO DESEMPENHO DOS ESTUDANTES
(ENADE).
Francisco de Assis Batista da Silva
Orientador: Professor Doutor Robert Kenyon Walker
FRANCISCO DE ASSIS BATISTA DA SILVA
AVALIAÇÃO DE PROFICIÊNCIA NO ENSINO MÉDICO E DE
ENFERMAGEM: EXAME NACIONAL DE CURSOS (PROVÃO)
VERSUS EXAME NACIONAL DO DESEMPENHO DOS ESTUDANTES
(ENADE).
Dissertação apresentada ao Programa de Pós-Graduação “Stricto Sensu” em Educação da Universidade Católica de Brasília, como requisito para obtenção do título de Mestre em Educação.
Orientador: Professor Doutor Robert Kenyon Walker
TERMO DE APROVAÇÃO
Dissertação defendida e aprovada como requisito parcial para obtenção do título de Mestre em Educação, defendida e aprovada em 26 de junho de 2007 pela banca examinadora constituída por:
Orientador: Professor Doutor Robert Kenyon Walker UCB
Examinador: Professora Doutora Carla Nunes de Araújo UCB
Examinador: Professor Doutor Rubens José do Nascimento MCT/FACESA
Ao meu pai Sebastião (In Memorian) e minha mãe Maria, pelo amor incondicional;
Externo meus sinceros agradecimentos:
• Ao Professor Robert K. Walker pelas orientações seguras, pela simplicidade e acima de tudo pela correção como ser humano;
• Aos docentes do Mestrado em Educação pela excelência das aulas ministradas e a correta postura profissional;
• Ao Professor Perseu Fernando dos Santos pelo norte;
• Aos Professores Dermeval de Sena Aires, David Aires Filhos, Josias Leite de Freitas Junior e Cláudio Martins de Oliveira, gestores da FACESA/Go pelo apoio;
• Ao meu amigo Humberto Faria, Enfermeiro na essência da palavra por acreditar, sempre, na educação como agente de transformação e por haver feito com que enxergasse a educação como um ato amoroso;
• Aos Enfermeiros João Bosco de Abreu e Maria Aurenir de Lavor Miranda pela colaboração na pesquisa;
Avaliar pode ser um empreendimento de sucesso, mas também de fracasso; pode conduzir a resultados significativos ou a respostas sem sentido; pode defender ou ameaçar.
LISTA DE ABREVIATURAS E SIGLAS
ABEM – Associação Brasileira de Educação Médica ABEn - Associação Brasileira de Enfermagem ACG – Avaliações de Cursos de Graduação AMB – Associação Médica Brasileira
AVALIES – Avaliação das Instituições de Educação Superior
CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior CFE – Conselho Federal de Educação
CNE - Conselho Nacional de Educação COFEn – Conselho Federal de Enfermagem
CONAES – Comissão Nacional da Avaliação da Educação Superior CPA – Comissão Própria de Avaliação
CRM – Conselho Regional de Medicina
DAC – Comitê de Assistência para o Desenvolvimento DCN – Diretrizes Curriculares Nacionais
DNSP - Departamento Nacional de Saúde Pública
ENADE – Exame Nacional de Desempenho dos Estudantes ENC - Exame Nacional de Cursos (Provão)
IBGE – Instituto Brasileiro de Geografia e estatística IDD – Indicador de Desempenho Observado e Esperado IES – Instituições de Educação Superior
INEP – Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira LDB - Lei de Diretrizes e Bases da Educação Nacional
OCDE – Organização para Cooperação e Desenvolvimento Econômico OECD – Organization for Economic Cooperation and Development OMS – Organização Mundial de Saúde
OPAS Organização Panamericana da Saúde
LISTA DE QUADROS
Quadro 3.1 - Relação Médico/Habitante por Região, Unidade da Federação –
Percentuais, Brasil, 2003... 68 Quadro 3.2 - Cursos medicina Brasil (Regiões), por regiões e categoria
Administrativa, 2004... 69 Quadro 3.3 - Cursos Medicina, Resultados do Exame Nacional de Cursos, por
Regiões: Brasil – 1999 a 2002...69 Quadro 4.1 - Evolução do Número de Cursos de Graduação Presenciais de
Enfermagem – Segundo Regiões Geográficas - Brasil: 1991 – 2004...84 Quadro 4.2 - Evolução do Número de Cursos de Graduação Presenciais de
Enfermagem Segundo a Categoria Administrativa - Brasil: 1991 – 2004...85 Quadro 4.3 - Evolução de Concluintes Nos Cursos de Graduação Presenciais de
Enfermagem, Segundo a Categoria Administrativa – Brasil: 1991 – 2004...86 Quadro 4.4 - Número de Cursos de Graduação em Enfermagem, Medicina e
Odontologia Oferecidos pelas Instituições de Educação Superior, Segundo a Região Geográfica, Situação Junto Ao Inep e ao Censo da Educação Superior, 2003...87 Quadro 4.5 – Empregos na Área de Saúde, Brasil (1980-2005)...93
Quadro 4.6 – Empregos por categorias profissionais, Brasil, 1992-2005...94
Quadro 8.1 – Coeficiência de Kappa, Curso de Medicina, ENC
2002...127 Quadro 8.2 – Coeficiência de Kappa, Curso de Medicina, ENC
2003... 128 Quadro 8.3 – Coeficiência de Kappa, ENADE – Curso de Medicina,
2004... 128 Quadro 8.4 – Coeficiência de Kappa, Curso de Enfermagem, ENC
2002...129 Quadro 8.5 – Coeficiência de Kappa, Curso de Enfermagem, ENC,
2003... 129 Quadro 8.6 – Coeficiência de Kappa, Curso de Enfermagem, ENADE,
2004...130 Quadro 8.7 – qui-quadrado Itens Objetivos ENC 2002/2003 – ENADE 2004,
Quadro 8.8 – qui-quadrado Itens Objetivos ENC 2002/2003 – ENADE 2004,
MEDICINA (Juiz M2)...132 Quadro 8.9 – qui-quadrado Itens Objetivos ENC 2002/2003 – ENADE 2004,
ENFERMAGEM (Juiz E1)... 133 Quadro 8.10 – qui-quadrado Itens Objetivos ENC 2002/2003 – ENADE 2004,
ENFERMAGEM (Juiz E2)...134 Quadro 8.11 – Resultados itens discursivos ENC 2002/2003 – ENADE 2004,
MEDICINA (Juiz M1)... 135 Quadro 8.12 – Resultados itens discursivos ENC 2002/2003 – ENADE 2004,
MEDICINA (Juiz M2)...135 Quadro 8.13 – Resultados itens discursivos ENC 2002/2003 – ENADE 2004,
ENFERMAGEM (Juiz E1)... 136 Quadro 8.14 – Resultados itens discursivos ENC 2002/2003 – ENADE 2004,
RESUMO
O objetivo do presente estudo foi o de analisar, comparar e fazer as devidas inferências das políticas de avaliação da educação superior no Brasil, centrada na comparação de dois programas formalmente adotados: o ENC – Exame Nacional de Cursos, ou Provão, e atualmente o ENADE – Exame Nacional do Desempenho do Estudante, através das provas dos cursos de Medicina e de Enfermagem, quanto ao conteúdo valorizado nos aspectos hospitalocêntricos ou holísticos. A pesquisa contou com a colaboração de dois médicos e dois enfermeiros (juízes) que fizeram a análise das questões das provas aplicadas nesses cursos nos anos de 2002, 2003 (ENC) e 2004 (ENADE), a fim de inferir se essas questões eram consideradas como sendo de caráter biologicista ou holístico, ou ambos. A correlação Kappa evidenciou uma confiabilidade boa entre os juizes nos três anos em ambos os cursos, de substancial a quase perfeita, e o teste qui quadrado mostrou uma diferença estatisticamente significativa entre as provas aplicadas nos três anos. Os resultados apontaram um relativo equilíbrio entre os dois tipos de questões nos dois cursos avaliados pelo ENC 2002 e 2003. Na prova do ENADE 2004 no curso de Enfermagem observou-se uma ruptura com o aspecto hospitalocêntrico, apresentando questões em maiores proporções com caráter holístico. Entretanto a Medicina não se pode afirmar que houve uma mudança, considerando-se o posicionamento discrepante dos dois juizes nas análises das provas e os resultados não estatisticamente significativos.
ABSTRACT
The aim of the present study was to analyze, compare and make proper inferences regarding higher education evaluation policy in Brazil, centering on two programs formally adopted: the National Examination of Courses of Study (ENC, or “Provão”) and, currently, the National Examination of Student Performance (ENADE), focusing on the medicine and nursing tests and the degree to which the item content values hospital-centered or holistic aspects. The researcher was assisted by two medical doctors and two nurses (raters), who analyzed the items included in these courses of study in 2002, 2003 (ENC) and 2004 (ENADE), in order to judge whether the questions were to be considered biologically or holistically oriented, or both. The Kappa correlation showed good inter-rater reliability between raters for all three years in both courses of study – from substantial to near perfect. The chi square test showed a statistically significant difference among the nursing tests administered in the three years. The results show a relative equilibrium between the two types of questions in both courses of study on the ENC 2002 and 2003. On the ENADE 2004 nursing test, a rupture with the hospital-centered aspect was observed, with more items of an holistic nature included. For medicine, there was no alteration, considering the discrepancy between the two raters and the non-significant results.
SUMÁRIO
INTRODUÇÃO………. 14
A Escola e a Avaliação: Sistemas Complexos ...14
REFERENCIAL TEÓRICO...23
CAPÍTULO 1 – A AVALIAÇÃO NO CONTEXTO HISTÓRICO E FILOSÓFICO .... 23
1.1 Conceituando Avaliação ... 23
1.2 A Avaliação no contexto histórico ... 26
CAPÍTULO 2 - A AVALIAÇÃO INSTITUCIONAL E A REGULAÇÃO PELO ESTADO-AVALIADOR ... 31
2.1 Avaliação e Regulação ... 31
2.2 O Exame Nacional de Cursos (ENC)... 35
2.3 O SINAES e o Exame Nacional de Desempenho dos Estudantes (ENADE)... 39
2.4 A Introdução do IDD: Indicador de Desempenho Observado e Esperado... 46
CAPÍTULO 3 – O ENSINO MÉDICO: CONTEXTUALIZAÇÃO ... 50
3.1 Ensino Médico – Aspectos Históricos ... 50
3.2 O Ensino Médico no Brasil... 53
3.3 O Ensino médico e as Diretrizes Curriculares Nacionais para a medicina – MEC. ... 60
3.4 O Ensino Médico no Brasil em números... 64
CAPÍTULO 4 – O ENSINO DE ENFERMAGEM: CONTEXTUALIZAÇÃO HISTÓRICA E FILOSÓFICA ... 74
4.1 A Enfermagem no contexto histórico... 74
4.2 A Enfermagem em números... ... 83
4.3 A Enfermagem e a Diretrizes Curriculares Nacionais... 88
CAPÍTULO 5: OS CRITÉRIOS CAD (COMITÊ DE ASSISTÊNCIA PARA O DESENVOLVIMENTO) NA AVALIAÇÃO... 95
5.1 Uma volta ao passado: O Relatório Flexner e suas implicações na educação médica contemporânea... 95
CAPÍTULO 6 - DESCRIÇÃO DOS OBJETIVOS... 115
6.1 - Geral...115
6.2 - Específicos...115
CAPÍTULO 7 – ABORDAGEM METODOLÓGICA... 116
7.1 O problema... 116
7.2 Hipóteses... 120
7.3 Método... 121
7.3.1 Juízes da Pesquisa ... 121
8 RESULTADOS... 127
8.1 Análise de concordância entre juízes das provas do ENC (2002 e 2003) e ENADE (2004) – Medicina e Enfermagem. Contingência Kappa...127
8.2 Resultados do Teste qui-quadrado – Medicina e Enfermagem...131
8.3 Itens Discursivos – Medicina e Enfermagem... 135
8.4 Discussão dos resultados das provas do ENC 2002/2003 e ENADE 2004 dos Cursos de Medicina e Enfermagem... 137
CONCLUSÃO... 141
REFERÊNCIAS BIBLIOGRÁFICAS... 146
INTRODUÇÃO
A Escola e a Avaliação: Sistemas Complexos.
A escola é o espaço institucional que tem como função social promover a aquisição, a transmissão e a ampliação do saber historicamente acumulado, visando a formação do indivíduo para a interpretação fundamentada e crítica do mundo e da sociedade, ou seja, para a instrumentalização de seu agir e pensar na qualificação das relações sociais e do homem. Nesse sentido, a educação formal, em qualquer dos níveis de ensino, deve passar por um processo avaliativo a fim de que possa exercer sua função educativa em sentido amplo.
Nenhuma instituição passa por tantos processos avaliativos como a escola; portanto, não há outra instituição mais habituada à avaliação do que ela, em qualquer dos seus níveis e independente de sua natureza jurídica. É no cotidiano das salas de aulas que a avaliação marca os momentos decisivos de sua práxis pedagógica.
“Avaliar pode ser um empreendimento de sucesso, mas também de fracasso; pode conduzir a resultados significativos ou a respostas sem sentido; pode defender ou ameaçar” (FIRME, 2006, p.1).
Os professores avaliam os alunos, que por sua vez avaliam os professores. Os gestores avaliam seus funcionários e estes avaliam os gestores, num eterno ciclo avaliativo; e por fim, a sociedade avalia a escola, quer de forma direta quer de forma indireta. O fato é que ninguém escapa da avaliação, assim como ninguém escapa da influência da educação.
A avaliação do aluno sempre foi algo que desafiou e continua desafiando os professores, na busca de um indicador ou critério para julgar o grau de aprendizado do aluno. Uma das definições que retrata o que vem a ser avaliação é a apresentada por BLOOM & COLS (1971, p. 8):
Avaliação é a coleta sistemática de evidências por meio das quais se
determinam mudanças que ocorrem nos alunos e como elas ocorreram.
Inclui uma grande variedade de evidências que vão além do tradicional
exame final de lápis e papel. É um sistema de controle de qualidade pelo
qual pode ser determinado, em certa etapa do processo
ensino-aprendizagem, a efetividade ou não do processo e, em caso negativo, que
mudanças precisam ser feitas para assegurar sua efetividade antes que
seja tarde.
A afirmativa de Bloom deixa transparecer que a avaliação é um sistema complexo e que esta deve ser uma seqüência de eventos cumulativos e não ocorrências desconexas. A avaliação então deve ser vista como fatos que se ordenam sequencialmente e não episódios isolados, muitas vezes confundidos com um instrumento particular, como a prova ou o teste escolar.
A avaliação, na perspectiva de STUFFLEBEAM et alii (1971), é um pouco diferente da apresentada anteriormente por BLOOM (1971). Stufflebeam tem em mente não o aluno, mas programas e produtos, sejam de instrução, seja de qualquer natureza de intervenção num contexto social. Entretanto, a despeito da diferença de foco, o conceito de avaliação desse autor é útil ao bom entendimento do processo de avaliação da aprendizagem.
Fica evidenciado na obra de Stufflebeam que sua concepção acerca do conceito de avaliação refere-se ao ato de tomar decisões; ou seja, na essência, avaliação vincula a informação à tomada de decisão.
Desse modo podemos inferir que a grande meta da avaliação em seus aspectos gerais deve ser ação. Seu significado maior está em fortalecer o movimento que leva à transformação, nele intervindo sempre que necessário para se atingir um objetivo delineado.
Ainda se pensa a avaliação em sua forma clássica de medir e tradicionalmente, quando pensamos a avaliação educacional, a tendência é imaginar que ela depende fundamentalmente da objetividade, sistematização, do quanto se aprendeu ou ensinou algo, bem como que mudanças de comportamento a ação educativa provocou.
Logo, pensamos na importância de se dominar técnicas e metodologias acertadas, eficientes e eficazes, racionais e competentes. “Avaliar é, pois, uma questão de medir e/ou saber como medir, controlar e julgar algo” (BENÍCIO, 2005).
Outra avaliação que suscita muita discussão é a Avaliação Institucional que, mesmo possuindo elementos congruentes com a avaliação escolar (processo ensino e aprendizagem) possui toda uma sistemática e legislação específica.
Segundo DIAS SOBRINHO (1993), os processos avaliativos, mesmo os que utilizam instrumentos mais tradicionais como as provas, devem ter sempre uma função que perpassa simplesmente medir e classificar.
DIAS SOBRINHO (2000) esclarece que a história dos sistemas de avaliação da Educação Superior no Brasil é recente. Embora tenham existido, de forma pontual, algumas experiências de avaliação a partir do final dos anos 70 do século XX, os processos de avaliação institucional iniciaram-se, com mais força, a partir do final dos anos 80 daquele século, por iniciativa das próprias Universidades que organizaram, internamente, suas próprias avaliações: a Universidade de Brasília (UnB), em 1987; a Universidade Federal do Paraná (UFPR) e a Universidade de São Paulo (USP), em 1988; e a Universidade Estadual de Campinas (Unicamp), em 1991.
Para BELLONI (2000), a Avaliação Institucional é um processo imerso em aspectos ideológicos, políticos, econômicos e culturais, além de problemas técnicos. Esse tema polarizou nos últimos anos debate sobre a filosofia que deveria inspirar a avaliação da educação superior no Brasil.
Exatamente por provocar tanta polêmica são inúmeros os estudos sobre o tema, dentro e fora do ambiente acadêmico. Essa polarização sobre a avaliação institucional naturalmente agrega simpatizantes, não simpatizantes, mas dificilmente há neutralidade.
estado-avaliador, notadamente no governo do então Presidente da República, Fernando Henrique Cardoso.
A Lei de Diretrizes e Bases da Educação Nacional (LDB) estabelece em seu bojo que todas as instituições de ensino de todos os níveis devem passar por ciclos avaliativos. O que a Lei de Diretrizes e Bases apresentou para a questão da avaliação, já tinha sido determinado no ano anterior pela Lei 9131/95, ou seja, avaliações periódicas das instituições e dos cursos de nível superior (art. 3º).
As instituições passaram a ser avaliadas quanto às condições de oferta, abrangendo critérios tais como a qualificação docente e o projeto pedagógico. A avaliação dos cursos previa a realização de exames nacionais, a cada ano para os alunos em fase de conclusão do curso de graduação (art.3º§ 1º).
Entretanto somente o Exame Nacional de Cursos (ENC), tendo ficado conhecido como “Provão”, repercutiu nacionalmente a ponto de criar um ranking das Instituições de Educação Superior (IES). Esses fatores no processo de avaliação nortearam a geração de estratégias e diretrizes das IES, trazendo uma série de modificações para os diversos cursos àquela época, fazendo com que os mesmos se adaptassem às exigências do ENC.
O Provão foi o instrumento de avaliação privilegiado, uma vez que os outros (Avaliação das Condições de Oferta, para os cursos, e Avaliação Institucional, para as IES) tinham menor destaque na divulgação oficial, sendo os seus resultados utilizados para efeitos regulatórios no reconhecimento de cursos de graduação.
Como cada avaliação afirma os valores que se prega num determinado governo ou sociedade, ela é veículo de mentalidades e filosofias educativas ali predominantes. Afinal, é com base em seus diagnósticos, que se elaboram as políticas públicas, se fixam determinados currículos, se valorizam programas e se legitimam saberes e práticas.
"Mesmo quando são os elementos técnicos que se tornam mais visíveis nas discussões, em realidade são valores políticos, filosóficos, éticos ou até mesmo interesses marcadamente mercantis que realmente estão em questão” (DIAS SOBRINHO, 2003, p. 23).
O ENC vigorou até meados de 2003. Com a assunção do presidente Luiz Inácio Lula da Silva, o mesmo deixou de ser aplicado, apesar de a Lei 10.861/2004, que introduziu uma nova sistemática, não haver extinguido-o.
Assim, a Lei 10.861/2004 foca o objeto da avaliação nas instituições através da Avaliação das Instituições de Educação Superior (AVALIES) que é desenvolvida em duas etapas: Auto-Avaliação Institucional promovida pela Comissão Própria de Avaliação (CPA) e a Avaliação Externa promovida pela Comissão Nacional da Avaliação da Educação Superior (CONAES); nos cursos através das Avaliações de Cursos de Graduação (ACG) e nos estudantes, através do Exame Nacional de Desempenho dos Estudantes (ENADE).
Desses instrumentos, o que mais se destaca é o ENADE, por apresentar uma similaridade com o ENC em sua instrumentalização e forma clássica de aplicação de prova.
exame uma amostra de estudantes previamente selecionados e não a população total dos respectivos cursos e avaliar os alunos no início e no término de seu curso, estabelecendo-se, assim, um valor agregado.
O ENADE, no que diz respeito às provas no primeiro e no último ano do curso, admite "a utilização de procedimentos amostrais" (art. 5º, §2º). O foco é o "desempenho dos estudantes dos cursos" (art. 5º). O ENADE, no entanto, não é um instrumento da avaliação institucional apenas e não é considerada uma avaliação do curso, como o Provão, senão um dos três componentes da avaliação das IES.
Como o ciclo completo da avaliação pelo ENADE ainda não foi concluído, uma vez que a sua primeira aplicação foi em novembro de 2004 e a ultima etapa se processará em novembro de 2007 para aqueles primeiros cursos que foram avaliados, como os cursos de Medicina e Enfermagem – ainda não se tem idéia exata de como esse instrumento alcançará ou não seus objetivos, tão ambiciosamente projetados por seus idealizadores.
No contexto da educação superior a flexibilização preconizada pela Lei de Diretrizes e Bases da Educação Nacional n.º 9394, de 20 de dezembro de 1996 (BRASIL, 1996), confere às Instituições de Educação Superior (IES) novos graus de liberdade que, se bem aproveitados, podem significar maior acesso da população a esse nível de ensino. Nesse particular, a substituição do currículo mínimo pelas diretrizes curriculares representa um grande avanço, pelo fato de que a sua implementação requer uma base social ampla, o que favorece, portanto, o aflorar da relevância da ação acadêmica neste contexto.
As IES deveriam incorporar à sua missão institucional a formação integral e terminal dos profissionais de saúde. As diretrizes curriculares propostas para os vários cursos de saúde apontam nessa direção. Alcançar os objetivos estabelecidos pelas diretrizes curriculares em vigor constituiria um enorme progresso. É necessário, entretanto, que sejam implementadas ações de médio e longo prazos, voltadas à melhoria da formação profissional. Para tanto, as IES, responsáveis por essa formação, deverão ter papel protagônico e serem os sujeitos dessa ação, e não mais um participante entre muitos outros (BRASIL, 2006).
Esses dois cursos fazem parte de um segmento cuja avaliação merece uma atenção maior, uma vez que seus egressos vão lidar com a vida do ser humano e pela sua importância no contexto geral da educação, além de apresentarem uma concorrência acima da média nacional na procura por curso superior no Brasil.
Esta ênfase avaliativa teve como cenário o que denomina-se de ensino hospitalocêntrico, baseado nas ciências biológicas, como a bioquímica, fisiologia, farmacologia clínica entre outras ou, ao contrário, procurou pautar-se por um cenário holístico, tendo como foco a saúde pública tão decantada na reforma sanitária e nos novos horizontes descortinadas pela Carta Magna de 1988 com a instituição do SUS.
Desse modo investigaram-se ao longo desta pesquisa estes enfoques, com a conveniente colaboração de quatro profissionais (dois médicos e dois enfermeiros) para que fosse possível fazer um juízo de valor sobre as provas analisadas e o que foi, efetivamente, valorizado pelos elaboradores das provas do ENC e do ENADE aplicadas aos acadêmicos de Medicina e Enfermagem nos anos de 2002, 2003 (ENC) e 2004 (ENADE).
REFERENCIAL TEÓRICO
CAPÍTULO 1 – A AVALIAÇÃO NO CONTEXTO HISTÓRICO E
FILOSÓFICO
No princípio Deus criou os céus e a terra e, ao observar o que havia feito,
disse: Vejam só como é bom o que fiz! E esta foi a manhã e a noite do sexto
dia.
No sétimo dia, Deus descansou. Foi então que seu arcanjo veio e lhe
perguntou:
- Senhor, como sabe se o que criou é bom? Quais são os seus critérios?
Em que dados baseia o seu juízo? Que resultados, mais precisamente, o
Senhor estava esperando? O Senhor por acaso não está por demais
envolvido em sua criação para fazer uma avaliação desinteressada?
Deus passou o dia pensando sobre estas perguntas, e à noite teve um sono
bastante agitado. No oitavo dia, Deus falou:
- Lúcifer, vá para o inferno! E assim nasceu iluminada de glória, a
avaliação.
(Texto atribuído por OLIVEIRA et alii, 2005, a Michael Patton).
1.1 Conceituando Avaliação
Para DIAS SOBRINHO (2003), a avaliação nunca será neutra, desinteressada ou objetiva, mas sim política, ideológica e trazendo uma opção de sociedade. Por isso, para o educador, é importante diagnosticar o sentido, que tipo de sociedade e educação se quer, a partir da percepção dentro das diversas políticas públicas.
Ainda DIAS SOBRINHO (2003), avaliação é capaz de mudar a educação e é um campo de disputa política. Por isso é importante se ter uma avaliação participativa, como instrumento de formação cidadã e desenvolvimento da sociedade democrática.
O termo avaliação encerra em sua etimologia o conceito de valor (FERREIRA, 1996). Portanto, em última análise, avaliar implica atribuir valor a algo ou aquilatar o valor de algo. Este dado traz à tona a questão dos valores assumidos pelo professor e pelas instâncias acadêmicas. É preciso ter-se presente que a avaliação, infalivelmente, reflete um quadro de valores, os quais devem, eles próprios, serem submetidos à avaliação.
Avaliar é um ato que exercemos constantemente no nosso cotidiano. Toda vez que se precisa tomar alguma decisão avalia-se prós e contras. Quando se avalia processos, atos, pessoas, instituições ou o rendimento de um aluno se está atribuindo valores. Pode-se fazê-lo através de um diálogo construtivo ou, ao contrário, transformar a avaliação num momento autoritário e repressivo. Esta ou aquela opção dependerá da nossa concepção educacional e dos objetivos que se deseja atingir.
A avaliação da aprendizagem não pode ser separada de uma necessária avaliação institucional, mesmo que elas sejam de natureza diferente: enquanto esta diz respeito à instituição, aquela se refere mais especificamente ao rendimento escolar do aluno. São distintas, mas inseparáveis.
O rendimento do aluno depende muito das condições institucionais e do projeto político-pedagógico da escola. Em ambos os casos a avaliação, numa perspectiva dialógica (ROMÃO, 1998), destina-se à emancipação das pessoas e não à sua punição, à inclusão e não à exclusão ou, como pondera Luckesi: “à melhoria do ciclo de vida e por isso, o ato de avaliar é, por si, um ato amoroso” (LUCKESI, 1998, p. 180).
última obra Pedagogia da Autonomia (FREIRE, 1996). Vejamos os conceitos seguintes sobre avaliação:
“Avaliar é processo formal para se verificar até que ponto os objetivos operacionais foram realmente alcançados” (TYLER, 1950, citado por RISTOFF, 2003).
"É a coleta sistemática de dados a fim de verificar se, de fato, certos mudanças estão ocorrendo no aprendiz, bem como verificar a quantidade ou grau de mudança ocorrido em cada aluno” (BLOOM & COLS, 1971).
Os autores citados se filiam a um veio da produção de avaliação da aprendizagem eminentemente positivista e tecnicista que impregnou a mentalidade educacional de nosso tempo. Para eles, avaliar é medir, com ênfase no aspecto quantitativo dessa concepção e na sua faceta de controle.
Parece normal criticar-se a avaliação centrada em definição de objetivos que dicotomiza a relação meios e fins, enfatizando um racional cuja neutralidade é questionada na medida em que se sabe que é muito difícil desvincular a avaliação dos valores que a fundamentam.
1.2 A Avaliação no contexto histórico
VIANNA (2000) esclarece que os estudos relativos à avaliação da aprendizagem começaram a se desenvolver de modo sistematizado no início do século XX, com Robert Thorndike, e tiveram como foco a elaboração de testes e medidas educacionais, tendo em vista a importância de se medir mudanças do comportamento humano. Essa concepção de avaliação prosperou nos Estados Unidos nas duas primeiras décadas do século XX, resultando no desenvolvimento de testes padronizados para medir habilidades e aptidões dos alunos.
SOUSA (2005) explica que na década de 1930, os estudos na área de avaliação passaram a incluir procedimentos mais abrangentes, ampliando a idéia de mensuração por meio de testes padronizados. Cabe destacar, dentre eles, o "Estudo de Oito Anos” implementado por TYLER & SMITH (1949), que introduziu vários procedimentos de avaliação para coletar informações referentes ao desempenho dos alunos, durante o processo educacional, com vistas aos objetivos curriculares.
A avaliação concebida por Tyler gradualmente se sistematizou, ganhando projeção com a publicação, em 1949, do trabalho intitulado Basic principles of curriculum and instruction. Nele, o autor expressa a concepção, bastante difundida no Brasil, de avaliação por objetivos, que se caracteriza como procedimento que permite verificar se os objetivos educacionais estão sendo atingidos pelo programa de ensino.
Tem, ainda, por finalidade fornecer informações sobre o desempenho dos alunos ante os objetivos esperados, que expressam as mudanças desejáveis nos padrões de comportamento.
avaliar a experiência de aprendizagem em associação com objetivos predefinidos. Nessa perspectiva, não há preocupação com os princípios normativos que regem a seleção, a organização e a distribuição do conhecimento, nem com o modo como o conhecimento se relaciona com o poder e o conflito.
Não há qualquer interesse pelas formas através do qual o princípio estrutural do currículo escolar e das práticas sociais de sala de aula articula-se com aqueles processos sociais capitalistas que caracterizam a sociedade mais ampla.
Observou-se a partir da obra de Tyler uma influência do pensamento norte-americano em relação à avaliação da aprendizagem no Brasil. No entanto, conforme SOUSA (2006), o desenvolvimento de uma teoria de avaliação de forma mais sistematizada aparece realmente com TYLER (1949). Avaliar consistia em comparar os resultados dos alunos com aqueles propostos em determinado plano.
Outros autores, posteriormente, como BLOOM (1971), GAGNÉ (1967), MAGER (1962), POPHAM (1973), ampliaram e aperfeiçoaram o paradigma avaliativo proposto por Tyler, sem, contudo modificar sua estrutura e pressupostos básicos.
Entretanto era natural que esse modelo sofresse resistência por parte de alguns educadores que não concebiam um modelo positivista da educação. Entre esses autores destacaram-se Michael SCRIVEN, Robert STAKE, Daniel STUFFLEBEAM, David HAMILTON, Malcom PARLETT, Barry MacDONALD entre outros.
Desses educadores, Scriven merece uma atenção especial, conforme SOUSA (2006):
Scriven (1967) propunha que, ao lado das aprendizagens predeterminadas,
estabelecidas em um programa de ensino, seria necessário considerar
ser não apenas "goal based", mas também "goal free". Não se deveria
então partir dos objetivos de um plano, mas chegar a eles através das
produções dos alunos, observadas em um dado contexto educacional. Mais
ainda, Scriven considerava que, além de avaliar os objetivos finais de um
curso, seria importante também analisar aqueles que se estavam
desenvolvendo no transcorrer do curso, o que possibilitaria intervenções
ainda durante o processo de execução de um plano (SOUSA, 2006, p. 2).
A partir dessas concepções de Scriven, começou-se a enxergar a avaliação não apenas como o resultado de respostas a uma avaliação focada exclusivamente em objetivos, e sim em um sentido mais amplo. Foi a partir daí que Scriven lançou a idéia de uma Avaliação Formativa.
A função formativa da avaliação, numa perspectiva ampla, supõe uma ação do avaliador em direção ao desenvolvimento e crescimento do avaliado. Essa avaliação possibilita a melhoria do desempenho educacional.
Para RIOS (2005), as funções de avaliação definiram a função formativa como processo de fornecimento de informações a serem utilizadas na melhoria do desempenho, ainda que esta melhoria estivesse sob o poder do avaliador.
STAKE (1967) iria ampliar a importância do processo de interpretação ao afirmar que a avaliação envolvia a emissão de juízos de valor não somente de especialistas em avaliação, mas também de professores, pais, entre outros.
Avaliar era, sobretudo uma questão de dizer se algo é bom ou mau e o avaliador, para Stake, deveria coletar argumentos que permitissem julgar o valor de um programa educacional ( RIOS, 2005).
que envolve análise de variáveis de entrada de processo, de contexto e de resultados, mas o dimensionamento de todas elas deveria ser dado pela relevância do processo de tomada de decisões.
Uma verdadeira avaliação, segundo Stufflebeam, seria aquela que permitiria subsidiar, em tempo hábil, o aperfeiçoamento de um programa. Daí a importância da escolha de informações úteis e relevantes que atendam às necessidades de quem toma decisões. Um estudo que não subsidiasse a revisão de ações, que não atendesse às audiências de um programa educativo, seria para ele uma pseudo-avaliação.
RIOS (2005) e SOUSA (2006) fazem um balanço das concepções de avaliação por parte de PARLETT & HAMILTON (1977). Estes compreendem que no contexto em que professores e alunos atuam está presente e interagindo um complexo de variáveis culturais, sociais, institucionais e psicológicas, que produz em cada sala de aula um arranjo único de circunstâncias, pressões, hábitos, opiniões e estilos de trabalho, que influencia o ensino e a aprendizagem que lá se realizam.
Desse modo, RIOS (2005) e SOUSA (2006) propõem, a partir desta compreensão, um processo avaliativo que exigirá do avaliador uma convivência com o cotidiano escolar, onde irá, a partir de uma estratégia metodológica, desemaranhar as variáveis que atuam em uma situação e isolar suas características significativas, buscando iluminar a compreensão das relações entre crenças, práticas, padrões organizacionais e comportamentos apresentados pelos agentes e sujeitos da ação educativa.
CAPÍTULO 2 - A AVALIAÇÃO INSTITUCIONAL E A REGULAÇÃO PELO
ESTADO-AVALIADOR
A avaliação vive um "conflito entre dois logos, dois registros de palavras,
duas falas: o da Ratio ('avaliar é ser justo, objetivo') e o do Pathos ('avaliar é
acompanhar, cumprir, amar')". Esses dois sistemas de idéias e práticas, ou
seja, paradigmas são distintos e contraditórios, porém não se excluem
mutuamente (VIAL, 2001, p. 41).
2.1 Avaliação e Regulação
Muitas têm sido as definições e os sentidos da avaliação e da regulação. Estas múltiplas interpretações que foram sendo construídas demonstram o amadurecimento e a importância do tema, não apenas para as IES, mas também aos órgãos governamentais que tem se preocupado com a regulação qualitativa dos processos avaliativos.
Portanto, verificar o mérito e a excelência dessas IES é tarefa da avaliação, enquanto a regulação tem como função a proposição de critérios que denotem o mérito acadêmico e a excelência dessas instituições educacionais (RECKTENVALD, 2005).
Regulação é classificada por FERREIRA (1996), como: “Ato ou efeito de regular. Relativo à regra. Que é ou que age conforme as regras, as normas, as leis, as praxes. Sujeitar a regra; dirigir, regrar”.
No Brasil, desde os anos 30, com o estabelecimento do estatuto das universidades brasileiras, passando pela Lei da reforma universitária de 1968, com as subseqüentes e detalhadas normatizações que vigoraram até a aprovação da LDB em 1996, o Estado veio regulando, de forma minuciosa, centralizadora e burocrática, a estrutura e o funcionamento das instituições de educação superior do país (SANTOS FILHO, In DIAS SOBRINHO, 2000).
Ainda SANTOS FILHO (2000):
Durante período considerável de sua história, à semelhança da
exigência francesa, as universidades públicas brasileiras vinculadas
ao governo federal funcionaram mais como departamentos de um
órgão público (o DASP) do que como instituições autônomas. A essa
longa trajetória de gestão burocrática de todo o sistema universitário
seguiram-se, durante o regime militar, mais de duas décadas de
submissão da universidade ao controle e ingerência direta do
Estado, impedindo-Ihe o exercício efetivo de qualquer tipo de
autonomia. O contraponto a este poder estatal foi, do lado
institucional, a criação e progressiva consolidação do Conselho de
Reitores das Universidades Brasileiras (CRUB) e, do lado docente, a
criação e rápido desenvolvimento do movimento docente
organizado, tanto no nível local/institucional como no nacional,
ampliando seu espaço de poder político e acadêmico (as ADs e a
ANDES). (SANTOS FILHO, citado por BELONNI, 2000, p. 132).
Portanto, o poder regulador do Estado na educação superior se faz sentir desde a sua criação no Brasil. Essa regulação passou por fases críticas, sendo mais evidente no período da ditadura militar, quando esse controle pelo Estado ficou mais estreito e, porque não, conturbado.
faça um aprofundamento do real significado da regulação, uma vez que no Brasil, tem sido atribuído ao termo um significado ligeiramente diferente do que internacionalmente tem se observado.
Quanto à avaliação da educação, correlacionado ao dia a dia no ambiente escola propriamente dito, como na Graduação ou na Educação Básica como um todo, segundo HADJI (1999, p.36) a regulação se refere ao processo de aprendizagem como um todo e não apenas à simples mensuração de resultados de testes e provas. Os seus objetivos são “compreender o percurso do aluno; descobrir a origem das dificuldades; apreciar o grau de obtenção dos objetivos pedagógicos; pilotar e aperfeiçoar o processo de aquisição”. Assim, a regulação é considerada como uma avaliação formativa (HADJI, 2001).
Tal compreensão é aceptada por alguns autores, como por exemplo, PERRENOUD, quando afirma que regulação é:
O conjunto das operações metacognitivas do sujeito e de suas
interações com o meio que modificam seus processos de
aprendizagem no sentido de um objetivo definido. Com efeito, não há
regulação sem referência a um estado almejado ou a uma trajetória
ótima. A regulação faz parte de uma causalidade teleonômica, com
anéis que modificam o presente em função de uma referência ao
futuro desejado(PERRENOUD 1999, p. 90).
PERRENOUD (1999) vai mais além e esclarece que “o conceito de regulação, em suas variantes mais simples, dá conta da manutenção de um estado estável. Aplica-se também à otimização de uma trajetória ou, mais globalmente, de um processo dinâmico finalizado”.
favoráveis, compreender exatamente por que aperfeiçoam a aprendizagem ou ainda guiá-las com precisão.
Para BONNIOL & VIAL (2001, p.315), “a regulação não é apenas um reajuste, mas também uma criação. Regular não significa somente se adequar a uma norma preestabelecida, mas inventar uma organização. Não é a resposta a uma orientação, mas a fundação de uma ordem”.
Desse modo, para atingir o equilíbrio desejado, a ação precisa ser constantemente corrigida, de tal modo que gestores, professores ou quaisquer outros segmentos envolvidos possam alinhar seus objetivos de modo que as ações sejam efetivas, conforme seu planejamento anterior.
Para CASTRO-ALMEIDA (1999), esse planejamento e replanejamento são de grande importância nesse processo avaliativo/regulador:
Cada vez que um dado sistema muda, quer devido a interações
internas (entre atores, por exemplo), quer devido à modificação de
condições exteriores ou contextuais. A regulação pretende
restabelecer o equilíbrio num dado sistema – e um projeto não é
mais do que um sistema de intervenção social – quando, por alguma
razão, este se encontra alterado. A regulação procura retificar ou
moderar as modificações perturbadoras através de medidas de
correção (CASTRO-ALMEIDA, 1999, p.125).
Percebe-se que a regulação, quando vinculada aos processos de aprendizagem, pode e deve estar associada à avaliação formativa (PERRENOUD, 1999; CASTRO-ALMEIDA, 1999; NÓVOA 1999; HADJI, 1999; BONNIOL & VIAL, 2001).
ser criticada por divergir da emancipação, ou por conflitar com a autonomia universitária, quando praticados na forma de controle coercitivo (BELLONI, 2000; RISTOFF, 2000; DIAS SOBRINHO, 2004).
A visão dos idealizadores de uma ação representa o seu ponto de vista. A verdade é a soma de algumas verdades. Na documentação que originou o SINAES (BRASIL, 2004) e documentos posteriores a sua implementação, o Estado deixa transparecer que o sistema atual é diferente, que enxergam a avaliação como sendo de caráter formativo e cidadão. Esse ponto de vista pretensioso ainda levará algum tempo para se confirmar ou se refutar.
Conceitualmente, no campo da avaliação institucional, a regulação pode ser entendida como:
Processo informado e periódico através do qual um sistema, uma
instituição, um programa ou procedimento é, com o passar do tempo,
colocado em sintonia com suas expectativas (intenções, padrões,
normas), através de escolhas e ações julgadas necessária pelo(s)
regulador(es), tendo como base o resultado de uma avaliação
formativa ou somativa (KELLS, 2000, p. 9).
2.2 O Exame Nacional de Cursos (ENC)
O exame nacional de cursos (ENC), introduzido pelo governo federal através da Lei 9.131/95, constituiu o principal instrumento do modelo brasileiro de avaliação das Instituições de Educação Superior (IES) até meados de 2004. Foi um dos mecanismos de interação direta entre o Estado e essas Instituições avaliadas. Essa interação nem sempre foi cercada de cordialidades e cortesias, ocorrendo numa vertente de caráter vertical.
Estado avaliador representou mais uma medida polêmica de política de educação superior que veio recolocar o problema da avaliação institucional das universidades na agenda nacional de discussão àquela época.
A introdução dos Exames Nacionais de Cursos provocou um importante processo de reordenação do modelo brasileiro de avaliação institucional, redefinindo sua política de ação nesse setor. Para o desenvolvimento desse modelo, não poderiam ser ignoradas as contribuições relevantes da experiência internacional, nem as experiências pioneiras de avaliação institucional realizadas pela UNB em 1987 e pela UNICAMP em 1992, e nem mesmo experiências de menor repercussão conduzidas por outras universidades brasileiras foram relevantes para sua práxis (BELONI, 2000).
De acordo com BELONI (2000), a avaliação de rotina realizada pelo Estado brasileiro até o final da década de 1980 se restringiu às tarefas de autorização e reconhecimento de cursos e credenciamento de instituições de educação superior. Em geral, inicialmente eram efetuadas avaliações preliminares, a partir de projetos ou relatórios, seguidas de visitas in loco por comissões de especialistas nomeadas pelo MEC.
Um segundo momento, a avaliação final cabia ao antigo Conselho Federal de Educação, que em todo este processo de expansão recente do ensino superior se enredou numa teia de tráfico de influência e de corrupção, o que em conseqüência levou à sua extinção na metade desta década e à criação de um novo Conselho, o Conselho Nacional de Educação (CNE).
modificou seu modelo de avaliação e passou a avaliar os programas de pós-graduação quase exclusivamente a partir de indicadores de desempenho de expressos em relatórios, alguns nem sempre completos e outros com certeza parcialmente verdadeiros.
A análise desses relatórios por comissões avaliadoras, na prática estabelecida pela CAPES, era seguida de visitas in loco para checagem, observação e entrevista com estudantes de pós-graduação e responsáveis pelo programa. Na mudança recente de sistemática, possivelmente em decorrência do elevado número de programas a serem avaliados e da pouca disponibilidade de recursos financeiros, a instituição dispensou esta segunda etapa importante do processo avaliativo e na apreciação de alguns programas e teve o trabalho de algumas de suas diferentes políticas de promoção de avaliação institucional e/ou de realização direta de avaliação externa do desempenho institucional através da avaliação do desempenho dos estudantes (exames de cursos) devem ser compreendidas, interpretadas, apreciadas e por meio de meta-avaliações (SANTOS FILHO, 2000).
Porém, o ENC foi o exame que mais se destacou nesse processo avaliativo/regulador da educação superior no Brasil. Foi alvo de intensas pesquisas e objeto de inúmeras reportagens pela mídia no Brasil. Numa análise documental do ENC, percebe-se um caráter regulador muito forte, notadamente pela sua metodologia de aplicação e principalmente pelo uso de seus resultados pelas IES e pela sociedade.
graduação após a conclusão do seu curso, sem levar em consideração vários aspectos, notadamente à particularização regional e os currículos adotados pelas IES nacionalmente (DIAS SOBRINHO, 2000).
Ainda, essa regulação fez-se sentir com mais força nas IES privadas, havendo uma verdadeira caça às bruxas em termos de qualificação do alunado, baseado apenas em um resultado de uma prova.
Apesar de ter provocado alguns efeitos positivos no sistema de educação superior, vários aspectos negativos e limitantes daquela forma de avaliação pelo extinto ENC não podem ser ignorados. Entre os principais, destacaram-se os abaixo elencados por BELLONI (2000):
1. Tendência à homogeneização dos currículos de cada tipo de curso; 2. Desconsideração do contexto local e institucional dos cursos;
3. Desconsideração da multiplicidade de fatores determinantes do desempenho do estudante;
4. Potencial pouco diagnosticador do sistema de exame,
5.Valorização da aprendizagem superficial em prejuízo da aprendizagem profunda;
6. Concepção tecnocrática de educação superior;
(...) A preocupação das instituições em se desempenharem bem nesses
exames pode levá-Ias equivocadamente a abandonar suas características
diferenciadas e originais e privilegiar as características demandadas pelos
exames nacionais, reforçando a homogeneidade do currículo e dos
profissionais formados. Perde-se a riqueza da diferença e da variedade de
perfis humanos e de profissionais em troca de melhor desempenho em
exames massificantes da pessoa humana. A preservação da pluralidade, da
diferença, do espírito criativo e inovador das instituições em suas propostas
curriculares e pedagógicas é até mesmo essencial à sua sobrevivência
como instituição educacional (BELLONI, 2000, p.167).
Não há dúvida que o ENC pautou-se por medidas notadamente regulatórias e verticalizadas. Isso é um fato razoável de se aceitar. Entretanto, há algumas ações merecedoras de louvor, pois no mínimo, retirou as IES do país do torpor acomodado em que se encontravam à época em que vigorou. Nesse sentido, foram mais eficientes para mobilizar as instituições do que o próprio processo por elas enfrentado para obter autorização e reconhecimento de seus cursos. Outro fato inegável é que o ENC proporcionou ao país um banco de dados em termos educacionais que nenhum outro país possui.
2.3 O SINAES e o Exame Nacional de Desempenho dos Estudantes (ENADE)
A equipe do Presidente empossado em 2003, com participação efetiva do Ministro da Educação, colocou em prática um novo mecanismo de avaliação da educação superior, denominado no geral de SINAES – Sistema Nacional de Avaliação da Educação Superior. Com a instituição do SINAES, discute-se quanto ao seu real sentido, seja de avaliação emancipatória ou regulação, ou ainda, se poderia manter ambas as bases conceituais, outrora consideradas dicotômicas por natureza.
O SINAES é um programa de avaliação da educação superior que tem por finalidade acompanhar da evolução da qualidade do ensino superior e permitir que o MEC conduza o processo de credenciamento ou renovação de credenciamento de instituições de educação superior, bem como de autorização, reconhecimento e renovação de reconhecimento de cursos de graduação, em consonância com o Art. 9º, inciso IX, da Lei nº 9.394, de 1996.
Sua coordenação se faz pela Comissão Nacional de Avaliação da Educação Superior (CONAES), órgão do âmbito do Ministério da Educação vinculado ao Gabinete do Ministro de Estado (BRASIL, 2004).
Ao promover a avaliação, o SINAES deve assegurar (BRASIL, 2004):
a) a avaliação institucional, interna e externa, contemplando a análise global e integrada das dimensões, estruturas, relações, compromisso social, atividades, finalidades e responsabilidades sociais das instituições de educação superior e de seus cursos;
b) o caráter público de todos os procedimentos, dados e resultados dos processos avaliativos;
d) a participação do corpo discente, docente e técnico administrativo das instituições de educação superior, e da sociedade civil, por meio de suas representações. Os resultados da avaliação constituirão referencial básico dos processos de regulação e supervisão da educação superior.
O SINAES compreende três modalidades de instrumentos, que devem ser aplicadas em diferentes momentos componentes principais, listados a seguir:
(1) Avaliação das Instituições de Educação Superior (AVALIES) – é o centro
de referência e articulação do sistema de avaliação que se desenvolve em
duas etapas principais:
(a) auto-avaliação – coordenada pela Comissão Própria de Avaliação (CPA)
de cada IES, a partir de 1° de setembro de 2004;
(b) avaliação externa – realizada por comissões designadas pelo INEP,
segundo diretrizes estabelecidas pela CONAES.
(2) Avaliação dos Cursos de Graduação (ACG) – avalia os cursos de
graduação por meio de instrumentos e procedimentos que incluem visitas in
loco de comissões externas. A periodicidade desta avaliação depende
diretamente do processo de reconhecimento e renovação de
reconhecimento a que os cursos estão sujeitos.
(3) Avaliação do Desempenho dos Estudantes (ENADE) – aplica-se aos
estudantes do final do primeiro e do último ano do curso, estando prevista a
utilização de procedimentos amostrais. Anualmente, o Ministro da
Educação, com base em indicação da CONAES, definirá as áreas que
participarão do ENADE (BRASIL, 2004, p.4-5).
Hoje temos a grande maioria das IES sob a égide do ensino privado. Nesse aspecto, vale a lei do mercado, onde sem dinheiro não há projetos e sem projetos adequados não há resultados substanciais. Na mesma retórica, o mesmo autor alega que aí, nesse caso, entra a avaliação como instrumento de medida e controle, ou seja, uma avaliação que responde às expectativas de eficiência e produtividade que os Estados controladores têm a respeito da educação superior.
Os sistemas educacionais superiores, massificados pela explosão de matrículas, são agora compelidos a se tornarem mais eficientes e produtivos, em situações de crescentes restrições orçamentárias. É verdade que a retórica oficial continua sendo a da qualidade e excelência, mas estes termos, em verdade, estão aí passando a idéia de produtividade segundo a lógica do mercado: aumentar a quantidade de rendimentos, com menores custos.
O SINAES foi regulamentado pela Portaria Ministerial 2.051 de 9 de julho de 2004 , tendo como principal objetivo avaliar as IES brasileiras, sejam de natureza pública ou particular, visando inferir o mérito do próprio sistema de educação superior. Como ainda é um procedimento relativamente novo, uma análise macro desse instrumento como um todo ainda poderá ser incompleto, pois o principal mecanismo de sua intrincada e ainda não totalmente dissecada coluna vertebral é o ENADE – Exame Nacional de Desempenho dos Estudantes, o qual começou a ser aplicado aos acadêmicos de graduação no final de 2004, mas ainda falta, na presente data (2007), a aplicação da segunda etapa, a qual será executada no final do ano de 2008, uma vez que a maioria dos cursos avaliados naquela data inicial tem uma duração de quatro anos.
haver garantia acerca da excelência das novas instituições educacionais criadas.
O ENADE é parte integrante do SINAES. Enquanto o SINAES tem por objetivo maior avaliar as instituições de educação superior e os seus cursos de graduação, o ENADE ocupa-se com o desempenho dos estudantes em relação a competências, saberes, conteúdos curriculares e formação em geral (BRASIL, 2004).
RISTOFF (2004), em pronunciamento oficial agora como integrante do governo federal, constante na página oficial do MEC/INEP, esclarece que o ENADE pode ser descrito como um exame construído por especialistas das diversas áreas do conhecimento, tomando por base não o perfil do concluinte, mas o perfil do curso. Sua construção tem, pois, por base a trajetória do estudante, não apenas o momento da conclusão; um continuum, não um ponto de chegada. Como os perfis que serviram de base para a elaboração das provas envolvem competências e saberes no seu cruzamento com os conteúdos aos quais os estudantes devem ser expostos durante a sua trajetória acadêmica, o ENADE explora conteúdos de todo o espectro das diretrizes nacionais e não apenas conteúdos profissionalizantes.
No Art. 5º da Lei 10861/2004 há a descrição do que será o ENADE; nele a norma legal estabelece seus parâmetros legais, conforme se observa abaixo, na íntegra:
ao âmbito específico de sua profissão, ligados à realidade brasileira e mundial e a outras áreas do conhecimento.
§ 2º O ENADE será aplicado periodicamente, admitida a utilização de procedimentos amostrais, aos alunos de todos os cursos de graduação, ao final do primeiro e do último ano de curso.
§ 3º A periodicidade máxima de aplicação do ENADE aos estudantes de cada curso de graduação será trienal.
§ 4º A aplicação do ENADE será acompanhada de instrumento destinado a levantar o perfil dos estudantes, relevante para a compreensão de seus resultados.
§ 5º O ENADE é componente curricular obrigatório dos cursos de graduação, sendo inscrita no histórico escolar do estudante somente a sua situação regular com relação a essa obrigação, atestada pela sua efetiva participação ou, quando for o caso, dispensa oficial pelo Ministério da Educação, na forma estabelecida em regulamento.
§ 6º Será responsabilidade do dirigente da instituição de educação superior a inscrição junto ao Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP de todos os alunos habilitados à participação no ENADE.
§ 7º A não-inscrição de alunos habilitados para participação no ENADE, nos prazos estipulados pelo INEP, sujeitará a instituição à aplicação das sanções previstas no § 2º do art. 10, sem prejuízo do disposto no art. 12 desta Lei.
§ 9º Na divulgação dos resultados da avaliação é vedada a identificação nominal do resultado individual obtido pelo aluno examinado, que será a ele exclusivamente fornecido em documento específico, emitido pelo INEP.
§ 10º Aos estudantes de melhor desempenho no ENADE o Ministério da Educação concederá estímulo, na forma de bolsa de estudos, ou auxílio específico, ou ainda alguma outra forma de distinção com objetivo similar, destinado a favorecer a excelência e a continuidade dos estudos, em nível de graduação ou de pós-graduação, conforme estabelecido em regulamento.
§ 11º A introdução do ENADE, como um dos procedimentos de avaliação do SINAES, será efetuada gradativamente, cabendo ao Ministro de Estado da Educação determinar anualmente os cursos de graduação a cujos estudantes serão aplicados.
Quanto ao SINAES, ainda carece de mais tempo para uma análise mais aprofundada. Entretanto, apresenta algumas diferenças significativas, comparadas com o ENC, notadamente no mecanismo de aplicação das provas do ENADE e na utilização de seus resultados. Mesmo apresentando significativas mudanças, ainda apresenta um componente regulador forte, especialmente na obrigatoriedade de os acadêmicos serem submetidos às provas (§ 5º), desde que selecionados na amostra, e pelas possíveis utilizações dos resultados do ENADE pelas IES (§ 8º) e pela sociedade, correndo o risco de haver novo ranqueamento institucional.
liberdade humana contra a opressão do Estado ou de grupos hegemônicos da sociedade.
Talvez o efeito positivo de tudo isso, especialmente das formas de regulação da educação pelo estado, seja mobilizar as instituições de educação superiores, tanto públicas como particulares, para repensarem os currículos de seus cursos e reverem suas práticas educativas e avaliativas.
2.4 A Introdução do IDD: Indicador de Desempenho Observado e Esperado
Se o ENADE já suscitou muitas e acaloradas discussões dentro e fora dos campi universitários, o MEC/INEP colocou mais lenha nessa fogueira, com a introdução de mais um quesito avaliativo da educação superior no Brasil. Trata-se do IDD: Indicador de Desempenho Observado e Esperado ou simplesmente Indicador de Desempenho Desejável.
De acordo com o MEC/INEP (BRASIL, 2007), que promoveu nos dias 30 e 31 de maio de 2007 em Brasília o Seminário Nacional para Coordenadores de Cursos de Saúde no Brasil, o IDD representa um ganho em termos de avaliação institucional, por apresentar elementos distintos dos até então analisados pelo estado avaliador, como a renda per capita de alunos, nível de escolaridade dos pais entre outros. Para se chegar à conclusão, se um IDD será positivo ou negativo, é necessária uma gigantesca conta estatística (um modelo linear). Os principais elementos do IDD seguem abaixo, retirados diretamente das Diretrizes desse instrumento oferecido pelo INEP, a saber:
O que é IDD?
O Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD) tem o propósito de trazer às instituições informações comparativas dos desempenhos de seus estudantes concluintes em relação aos resultados obtidos, em média, pelas demais instituições cujos perfis de seus estudantes ingressantes são semelhantes. Entende-se que essas informações são boas aproximações do que seria considerado efeito do curso.
O IDD é a diferença entre o desempenho médio do concluinte de um curso e o desempenho médio estimado para os concluintes desse mesmo curso e representa, portanto, quanto cada curso se destaca da média, podendo ficar acima ou abaixo do que seria esperado para ele baseando-se no perfil de seus estudantes.
Conceito IDD é uma transformação do IDD Índice, de forma que ele seja apresentado em cinco categorias (1 a 5) sendo que 1 é o resultado mais baixo e 5 é o melhor resultado possível no IDD Conceito.
Observe-se o seguinte gráfico:
Desempenho Observado
>
Desempenho
Esperado =
IDD +
Desempenho
Observado
<
Desempenho
-Curso Sem Conceito (SC) no “IDD Conceito”.
Podem existir 3 (três) motivos: • Menos de 11 ingressantes;
• Menos de 11 concluintes;
• Nota zero (boicote).
Assim...
O IDD de um curso é a diferença do desempenho observado dos seus concluintes e o desempenho esperado para os seus concluintes, tomando como base o perfil do desempenho dos seus ingressantes, dentre outras variáveis. Assim, conhecendo-se o desempenho dos estudantes que ingressam numa instituição, é possível extrair uma estimativa de qual seria o resultado esperado na avaliação de desempenho dos estudantes ao final do curso.
50
60
44 46 48 50 52 54 56 58 60
0 a 100
Desempenho Esperado para os Concluintes Desempenho Observado dos Concluintes
+10
IDD - Como é calculado o desempenho médio esperado
• Há um desempenho médio esperado para concluintes de cada área do
conhecimento (conjunto de cursos). Há, portanto, um desempenho médio esperado para Biologia e outro para Física, Matemática, Letras, etc.
• O desempenho médio esperado para cada área é calculado tomando por
base o desempenho médio do conjunto dos seus cursos e outras variáveis de ajuste (e.g., escolaridade dos pais e taxa de participação dos estudantes no exame);
• O IDD de um curso específico é a diferença entre o desempenho médio
esperado para os seus concluintes e o desempenho efetivamente
observado no curso.
Objetivos do IDD
1. Identificar informações sobre o que pode ser considerado efeito do curso na trajetória do estudante;
2. Trazer às instituições informações comparativas dos desempenhos de seus estudantes concluintes em relação aos resultados obtidos, em média, pelas demais instituições cujos perfis de estudantes ingressantes são semelhantes.
CAPÍTULO 3 – O ENSINO MÉDICO: CONTEXTUALIZAÇÃO
O primeiro buraco negro da educação diz respeito ao conhecimento. Naturalmente o ensino fornece conhecimento, fornece saberes. Porém,
apesar de sua fundamental importância, nunca se ensina o que é, de fato, o
conhecimento. E sabemos que os maiores problemas neste caso são o erro
e a ilusão (Edgar Morin).
3.1 Ensino Médico – Aspectos Históricos
O conceito de educação médica se desenvolveu nos últimos séculos em paralelo à evolução da medicina e uma reflexão sobre este processo será extremamente profícua e elucidativa justamente nesta fase da educação médica brasileira, caracterizada pela desordenada proliferação de escolas médicas e de um profundo questionamento do paradigma curricular vigente na maior parte destas faculdades (RAMB, 2004).
Um recorte sobre o tema (educação médica) passa necessariamente pela recuperação dos principais movimentos e tendências que influenciaram os modelos de formação do profissional médico no século XX.
enfático na tendência crescente da abertura de cursos, vinculados ou não a universidades e às suas características (PEREZ, 2004).
Flexner concluiu que, das 155 faculdades de medicina existentes, 120 apresentavam condições péssimas de funcionamento. Os alunos eram admitidos sem nenhum preparo, não existiam laboratórios, não havia relação entre a formação científica e o trabalho clínico, e os professores não tinham controle sobre os hospitais universitários. O relatório de Flexner, Medical Education in the United States and Canada, teve o efeito de um terremoto e nos anos seguintes a quase totalidade das instituições por ele criticadas fechou suas portas (ALMEIDA, 2000).
O relatório Flexner ficou na história como um exemplo da importância da avaliação e do controle de qualidade e sua história vêm muitas vezes à tona quando pensamos nas condições precárias de muitas de nossas instituições de educação superior.
Esse relatório teve uma repercussão política, institucional e social tão importante, que extrapolou os limites da medicina, com o fechamento de escolas, fusão entre elas e fechamento de vagas. Acentuou a discriminação entre os profissionais médicos, tornando-os uma categoria reservada às média-altas e alta classes sociais; escolas médicas destinadas a negros foram fechadas e o número de alunos negros matriculados nas escolas remanescentes foi significativamente reduzido.
Sem dúvidas o relatório Flexner provocou mudanças substanciais no ensino médico nos Estados Unidos, Canadá e na América Latina. A esse respeito, SCHWARTZMAN se expressa:
Que falta nos faz um Flexner, pensamos e, sobretudo que falta nos faz a
cumpram com os critérios mínimos e aceitáveis de qualidade!
(Schwartzman, 1993, p.1).
Alguns anos mais tarde, Flexner escreveria um livro comparando as universidades americanas, inglesas e alemãs, onde pregaria a superioridade do modelo da universidade humboldtiana, alemã, sobre o dos demais países.
Segundo SCHWARTZMAN (1993), Flexner pensava que as universidades modernas devem ser instituições dedicadas à cultura, à ciência e às profissões cultas - tudo aquilo que a expressão alemã Wissenschaft significava. Elas devem ser as guardiãs da tradição e o centro das formas mais avançadas de reflexão e conhecimento. Elas devem evitar a especialização excessiva e não abrir espaço para a educação secundária, técnica, popular, ou meramente profissional. Nesta perspectiva, o ensino superior nos Estados Unidos parecia especialmente lamentável.
O título de "universidade" era dado para instituições de qualquer tipo, não existia nenhuma noção sobre as diferenças entre a verdadeira cultura e a mera educação continuada ou a formação técnica e profissionalizante, e a venda de serviços educacionais de todo tipo, a quem quisesse, lhe parecia um verdadeiro escândalo. Era necessário, na visão de Flexner, fazer com a Universidade americana como um todo o que já tinha sido feito com o ensino médico.
3.2 O Ensino Médico no Brasil
HADDAD et alii (2006) fizeram uma extensa revisão para os Ministérios da Saúde e da Educação sobre os cursos de saúde no Brasil para fins de consolidação da parceria entre esses dois ministérios. Quanto ao ensino médico no país, o mesmo foi iniciado em 1808, com a chegada de Dom João VI, quando o doutor José Correia Picanço obteve autorização para a criação do Curso Cirúrgico Médico no antigo Hospital Militar da Bahia. Em seguida, foi criada a Escola de Anatomia e Cirurgia na cidade do Rio de Janeiro. Em 1832, essas instituições foram transformadas em faculdades de Medicina, adotando normas e programas da escola médica de Paris, já que foram criadas sob a inspiração da escola francesa, cuja influência perdurou até o final da segunda grande guerra, quando passou a prevalecer o modelo norte-americano.
Na evolução do ensino médico podem-se assinalar três grandes etapas: A primeira é a científica, iniciada no final do século XIX, quando os progressos da ciência e da tecnologia determinaram novos rumos da Medicina, inclusive imprimindo um grande desenvolvimento às especialidades.
A segunda é a relacionada à utilização de princípios pedagógicos no ensino médico, que obteve grande desenvolvimento nos Estados Unidos durante a década de 50 e, graças às Associações de Escolas Médicas, foi difundida para todo o continente americano.
Estas transformações foram adotadas, de modo integral ou parcial, por instituições de países da América Latina, dependendo das condições de cada uma delas.
No início, os cursos de Medicina no Brasil tinham a duração de quatro anos, com enfoque no ensino da Anatomia e Cirurgia. Em 1813, a duração desses cursos foi ampliada para cinco anos. Em 1832, as Escolas passaram a ser denominadas de Faculdades de Medicina, ampliaram seu tempo de estudo para 6 anos e enfatizaram a formação em Ciências Acessórias, o equivalente às Ciências Básicas, além das Ciências Médicas e Cirúrgicas (AMARAL, 2002).
A qualidade dos cursos de Medicina oferecidos sempre constituiu uma preocupação por parte dos administradores e educadores desta nação. Assim, a Resolução CFE n˚8/1969 fixou os conteúdos mínimos e a duração de seis anos letivos do curso médico, com o mínimo de cinco e máximo de nove anos. Definiu que o curso de graduação em Medicina abrangeria o estudo das bases doutrinárias e realização de exercícios práticos pertinentes às matérias do currículo mínimo.
As matérias foram distribuídas nos ciclos básico e profissional, perfazendo um mínimo de 4.500 horas, além de estágio obrigatório em hospitais e centros de saúde, em regime de internato, com o mínimo de dois semestres. Esta resolução foi alterada, sucessivamente, pelas Resoluções CFE n˚ 5/84 e CFE n˚ 01/89, atualmente revogadas pela Resolução CNE/CES n˚ 4/2001, que institui Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina.
