2 REVISÃO DA LITERATURA
2.6 Processos de Avaliação
Na perspectiva da educação, “avaliação” é um termo que abrange qualquer atividade em que a evidência de aprendizagem é recolhida de forma planejada
e sistemática, sendo utilizada para emitir um juízo sobre a aprendizagem. É importante, porém, considerar que este juízo deve servir a alguma finalidade e, no contexto educacional, as várias finalidades possíveis deveriam ter o propósito do incremento do aprendizado e do aperfeiçoamento do processo educacional.
(Panúncio-Pinto e Troncon, 2014)
A instrumentalização da Avaliação possibilita mensurar o processo de ensino aprendizagem. A avaliação pode ter foco no aluno e foco na instituição70.
A avaliação com foco no aluno pode ser: diagnóstica, formativa e somativa; a primeira pode ser realizada no início do curso para identificar os conhecimentos prévios dos discentes; a segunda se realiza durante o processo de ensino e aprendizagem; a terceira é aplicada ao final desse processo. Com relação ao foco institucional, seu objetivo é possibilitar duradoura reflexão sobre a missão, os objetivos e melhora da qualidade da Instituição de Ensino70.
Atividades de avaliação possibilitam conhecer as visões e opiniões dos estudantes e egressos acerca da formação que recebem/receberam por meio do projeto pedagógico formulado e implementado pelas IES e de como essa formação poderia ser melhor estruturada. Pesquisas têm ampliado o estudo e as análises da avaliação educacional para além dos espaços das instituições, possibilitando “uma visão de totalidade”71, quando ouvem discentes, docentes e seus egressos71.
O acompanhamento de egressos tem sido realizado por diversas IES brasileiras com a finalidade de obter o feedback necessário à avaliação do ensino ofertado, possibilitando realizar, periodicamente, as mudanças necessárias em seus currículos e processos de ensino-aprendizagem dos conteúdos ministrados, visando ao preenchimento de lacunas eventualmente existentes72,73. De modo geral, tais
pesquisas procuram levantar um conjunto amplo de informações, tais como: as perspectivas de formação buscadas pelos estudantes; os valores explicitados em relação ao currículo; as diferenças entre o que os estudantes valorizam como formação para o mundo do trabalho e o currículo desenvolvido pela Instituição; a opinião dos egressos sobre suas possibilidades no mercado de trabalho; e as
44
contribuições da educação geral, da abordagem interdisciplinar e formação humanística74,75.
A relevância do acompanhamento de egressos tem originado trabalhos como na Universidade Federal da Bahia76, na Unicamp74,77,78,e em outras Instituições de
Ensino nas quais cada vez mais querem ouvir seus atores79-85.
No Brasil, a linha do tempo que trata da educação superior, a partir da década de 1960, pode ser representada por meio de preceitos até a criação do Sistema Nacional de Avaliação da Educação Superior (Sinaes), em 2004, que já tinha o objetivo de desenvolver indicadores que possibilitassem acompanhar a evolução dos cursos de graduação86.
A trajetória da criação de instrumentos destinados à avaliação da educação superior brasileira iniciou em 1993, com o Programa Institucional das Universidades Brasileiras (Paiub). Era o início de ações direcionadas às políticas educacionais de educação superior. No ano de 1995, o Paiub foi substituído pelo Exame Nacional de Cursos (ENC) que ficou conhecido como “Provão” e foi aplicado até 200387.
À medida que a expansão82 das universidades brasileiras tornou-se uma
realidade, esse crescimento foi acompanhado por uma preocupação com a qualidade do ensino e, por consequência, com a adoção e ampliação dos modelos de avaliação da educação superior. Motivado por essa preocupação, o então Ministro da Educação, Cristovam Buarque submeteu texto de Medida Provisória87,89-91 em razão da urgência
da aplicação do novo sistema de avaliação92, o Sinaes, que se tornou o mais
importante marco legal da avaliação da educação superior79, instituído pela Lei n.
10.861, de 14 de abril de 200486. Desde então, a graduação tem sido avaliada
anualmente nas áreas de abrangência a cada três anos, por meio do Enade que passou a ter caráter censitário a partir de 2009. Até 2010, alunos ingressantes e concluintes realizavam a mesma prova, com o objetivo de avaliar as habilidades e competências adquiridas ao longo do curso86.
O ensino aprendizagem pode utilizar diferentes técnicas com o objetivo de avaliar a complexidade dos conceitos desenvolvidos nesse processo93. Para a
avaliação na área da saúde, a Taxonomia de Bloom apresenta e organiza um modelo para integrar as dimensões do conhecimento (Factual, Conceitual, Procedimental, Metacognitivo) com as dimensões dos processos cognitivos (Relembrar, Entender, Aplicar, Analisar, Avaliar, Criar)94. Dentre os métodos para a avaliação do estudante,
45
a Pirâmide de Miller é um dos modelos conceituais que mais representa a proposta de avaliação do ensino da área da saúde94.
Fonte: Miller apud Panúncio-Pinto e Troncon (2014)94
As avaliações na área da saúde implicam na demonstração do domínio de habilidades e competências desde a fase de formação acadêmica até a prática profissional94.
Avaliar é uma tarefa complexa no âmbito da educação superior. Além dos instrumentos internos de avaliação, as provas do Enade são aplicadas trienalmente a todos os egressos de escolas médicas, dentre os seus objetivos95, pretendem
avaliar competências necessárias à formação médica96-98.
Os resultados dos Exames de 2010 e 2013 (Gráfico 1) das duas Escolas Médicas apresentam percentuais superiores aos das médias brasileiras que, para os mesmos períodos foram: 44,9% e 58,9%, para formação específica e, 58,3% e 56,0% para formação geral99.
O Sinaes é um exemplo de avaliação institucional externa, mas não pode ser interpretada como única forma de avaliar, pois seu resultado estatístico é normalizado e o Enade não representa uma avaliação dos discentes86.
Fazer
Mostrar como faz
Saber como fazer
Saber
46
Gráfico 1. Desempenho Exame Nacional de Desempenho do Estudante por Instituição de Ensino Superior– 2010 e 2013
Fonte: Adaptado de Ministério da Educação (2014)
Em 2013, foi criada a Avaliação Nacional Seriada dos Estudantes de Medicina (Anasem)100 que consiste na avaliação específica das competências e habilidades
desenvolvidas pelos estudantes. A Portaria MEC n. 982/2016101 instituiu o caráter
sequencial e progressivo dessa avaliação que deve ser aplicada aos alunos do
segundo, quarto e sexto ano, com base nas DCN de 201419.
A Anasem é coordenada pelo Inep/MES e, em novembro de 2016, foi realizada a primeira edição da avaliação que contou com a adesão de 233 Escolas (Gráfico 2)
e 24.638 estudantes do segundo ano102.
Gráfico 2. Participação de Instituições segundo categoria administrativa na Avaliação Nacional Seriada para Estudantes de Medicina, 2016
Fonte: Adaptado de Ministério da Educação (2016) 0 10 20 30 40 50 60 70 2010 2013 2010 2013 UFBA UNICAMP
Formação geral Conhecimentos específicos
Especial Estadual Federal Municipal Particular Total Número de Instituições Previsto 5 32 71 3 145 256 Número de Instituições Aplicado 5 22 61 3 142 233 0 100 200 300 400 500 600
47
A prova é composta por 60 questões de múltipla escolha, com quatro alternativas de resposta e três dissertativas, com dois subitens cada uma. A análise de desempenho das questões objetivas baseia-se na Teoria da Resposta ao Item (TRI) que consiste na mesma metodologia aplicada ao Exame Nacional de Ensino
Médio (Enem)102. Foi elaborada uma Matriz de Referência do segundo ano de
Medicina e criada uma escala com níveis de proficiência (Básico < 85, Adequado 85
a < 120 e Avançado ≥ 120), cuja classificação e descrição são apresentadas no
Quadro 3.
Quadro 3: Classificação e Descrição dos Níveis de Proficiência da Avaliação Nacional Seriada para Estudantes de Medicina, 2016
Nível de Proficiência Descrição
Básico
Demonstrar ter adquirido conhecimentos, habilidades e atitudes mínimas para comunicar-se no contexto de atenção à saúde, pautados nos princípios éticos e humanísticos, aplicar conceitos biológicos e ambientais que permitam entender os fenômenos normais e alterados no processo de atenção em saúde, associar informações obtidas a partir de diferentes fontes para construir propostas de intervenção, em diversos contextos, na defesa da saúde, da cidadania e da dignidade humana.
Adequado
demonstram domínio pleno dos conteúdos, habilidades e atitudes para comunicar- se por meio de diferentes recursos e linguagens, identificar as interrelações entre estruturas macro e microscópicas do organismo humano e o funcionamento normal dos sistemas orgânicos no processo saúde-doença, buscar, relacionar e aplicar dados e informações, baseados em evidências científicas, para subsidiar o raciocínio clínico, para tomar decisões sobre procedimentos apropriados aos diferentes contextos, garantindo a segurança dos envolvidos no processo de atenção à saúde, associar informações obtidas a partir de diferentes fontes para construir argumentação consistente e propostas de intervenção, individualmente e em equipe, em diversos contextos, na defesa da saúde, da cidadania e da dignidade humana.
Avançado
Os alunos, neste nível, demonstram ter adquirido conhecimentos, habilidades e atitudes acima do requerido para aplicar conceitos biológicos que permitam entender os fenômenos normais e alterados no processo de atenção, de gestão e de educação em saúde, nos diversos ciclos de vida, e organizar dados e informações, baseado em evidências científicas, com vistas à solução de problemas e à tomada de decisões.
Fonte: Ministério da Educação102
Os resultados da primeira edição da Anasem comprovam que os alunos adquiriram habilidades de comunicação de forma a resolver as situações apresentadas, assim como identificar inter-relações das estruturas macroscópicas e microscópicas do organismo e o funcionamento normal dos sistemas orgânicos quando se encontre no processo saúde doença, construção de argumentos consistentes a partir de raciocínio clínico para propostas de intervenção, quer em
48
equipe quer individualmente, na defesa da saúde, da cidadania e da dignidade humana. De acordo com o Relatório da Anasem (2016), há necessidade de investigar o domínio de conteúdos relativos aos princípios de ética e bioética, a conceitos de vigilância em saúde e aos referenciais do SUS. Ainda segundo esse Relatório, 50,6% dos participantes informaram que estudaram e aprenderam os conteúdos solicitados na prova, mas 41,3% apontaram o desconhecimento do conteúdo como a dificuldade
ao responder a prova102.
As transformações pelas quais vem passando a sociedade, incluindo os avanços tecnológicos, especialmente nas áreas de informação e comunicação, o processo de globalização econômica e as novas exigências do mercado de trabalho com relação à preparação dos profissionais, têm imposto desafios técnicos, éticos e políticos que se refletem na formação universitária, com impactos na relação universidade sociedade e, portanto, no mundo do trabalho66.
Além das contribuições proporcionadas pelas avaliações externas, a avaliação interna é tanto quanto relevante. Como exemplo de avaliação interna, dar ouvidos à opinião de estudantes e recém-egressos, aqueles que efetivamente concluíram os estudos, receberam o diploma e estão aptos a atuar no mercado de trabalho, além de docentes, assessores pedagógicos e coordenadores de curso pode contribuir para as necessárias mudanças que atendam essas transformações62.
A Associação Brasileira de Educação Médica (Abem), criada em 1962 sempre se dedicou a promover a avaliação, tanto que em 1990 constituiu e coordenou a Comissão Interinstitucional Nacional de Avaliação das Escolas Médicas (Cinaem)9.
Esta comissão realizou diagnóstico em 1997 e identificou um currículo tradicional na maioria das Escolas Médicas9.
Refletir sobre as abordagens dos processos avaliativos nas instituições de ensino sugere o envolvimento de todos os seus atores: discentes, docentes, gestores e a sociedade. O que não está contemplado nos instrumentos dos examinadores externos e até mesmo nos das Comissões Próprias de Avaliação (CPA) pode contribuir para a revisão de estratégias educacionais, ou seja, “aquilo que é invisível também é aquilo que deixa viva uma proposta de ensino [...]”76.
Estudos que contam com a participação dos vários atores envolvidos no processo de avaliação do curso são essenciais e, por essa razão se tem incentivado a colaboração dos alunos já durante a graduação para que mantenham contato com a Instituição quando inseridos no mundo do trabalho66.
49
3 OBJETIVOS
3.1 Objetivo Geral
O objetivo geral foi analisar as percepções acadêmicas de discentes, docentes, assessores pedagógicos e coordenadores sobre o ensino na graduação em Medicina da Universidade Federal da Bahia (UFBA) e da Universidade Estadual de Campinas (Unicamp).
3.2 Objetivos Específicos
Verificar se discentes dos dois primeiros anos, do terceiro e quarto anos e do internato conhecem a estruturação de seu currículo, como a caracterizam e avaliam;
Conhecer o grau de satisfação dos alunos com o currículo atual;
Fazer análise qualitativa de como responsáveis pelo ensino das duas IES entendem, caracterizam e avaliam a estruturação do currículo de seu curso;
Discutir, a partir das percepções dos diferentes atores, se o curso médico dessas Escolas favorece uma formação geral para o futuro profissional;
Fornecer elementos para reflexão nestas IES sobre a avaliação do currículo por diferentes atores.
50
4 MATERIAL E MÉTODO
O estudo foi aprovado pelo Comitê de Ética em Pesquisa (CEP) das duas Escolas Médicas: Parecer CEP / UFBA 1.487.833 (Anexo 2) e Parecer CEP / Unicamp 1.459.139 (Anexo 3).
O caminho do estudo foi orientado na forma de estudo de caso103 que é
considerado uma estratégia metodológica exploratória, descritiva e interpretativa104- 106. Os dados foram analisados quantitativamente e qualitativamente103-111. Segundo
Duffy (1987)112, a interatividade entre dados qualitativos e quantitativos assegura
“credibilidade e validade aos resultados da pesquisa”112,114.
Houve triangulação112 das análises:
Triangulação metodológica: diferentes perspectivas que se complementam (abordagem quantitativa e qualitativa);
Triangulação de dados: diferentes atores (discentes, docentes, assessores pedagógicos e coordenadores de cada Escola Médica).
A população do estudo reuniu discentes, docentes e responsáveis pelo ensino de duas escolas médicas: Faculdade de Medicina da Bahia (Fameb), da Universidade Federal da Bahia e Faculdade de Ciências Médicas (FCM), da Universidade Estadual de Campinas.
A escolha das IES para o estudo de caso foi intencional, a UFBA foi selecionada em razão de ter sido a primeira escola brasileira e a Unicamp em razão de seu caráter inovador e de ambas apresentarem objetivos que vão ao encontro da educação liberal / geral. Além disto, porque as duas universidades têm programas que se aproximam da formação geral à semelhança dos colleges quer seja no Bacharelado Interdisciplinar (UFBA) e no Profis (Unicamp), denotando uma preocupação explícita com o tema.
Buscou-se conhecer as percepções dos atores envolvidos no processo de ensino e aprendizagem das duas escolas médicas. O questionário discente foi encaminhado aos 780 alunos da UFBA e aos 720 alunos da Unicamp.
Os discentes foram agrupados em três períodos: Básico, com alunos dos dois primeiros anos; Pré-clínico, com alunos do terceiro e quarto anos; e Clínico, com alunos dos últimos dois anos.
Para a análise foram criados dois núcleos: Discentes e Responsáveis pelo Ensino.
51
A expressão “Responsáveis pelo Ensino” foi utilizada para fins de classificação dos seguintes atores: docentes, assessores pedagógicos e coordenadores de curso. Esta nomenclatura, contudo, não exclui o reconhecimento de que discentes também sejam atores responsáveis no processo de ensinar.
Todos os participantes foram voluntários, assinaram e receberam uma cópia do Termo de Consentimento Livre e Esclarecido (Anexo 1). No caso dos docentes, os convites foram enviados, preferencialmente, aos docentes coordenadores ou gestores de disciplinas. Aos Assessores Pedagógicos e Coordenadores de Curso, uma vez que eram passíveis de serem identificados, solicitou-se autorização especial após a apresentação do texto das páginas aos mesmos.
A coleta de dados secundários iniciou em outubro de 2016 e estendeu-se até maio de 2017. Os questionários foram aplicados no primeiro semestre de 2017 e as entrevistas foram realizadas no mesmo período nas duas Escolas Médicas.
O roteiro das entrevistas semiestruturadas tanto dos Assessores Pedagógicos quanto dos Coordenadores, embora diferentes entre si, continham as questões feitas aos docentes.
As entrevistas semiestruturadas foram realizadas presencialmente, de acordo com a conveniência dos entrevistados, gravadas e transcritas pela entrevistadora.
Foi realizada leitura flutuante de cada entrevista das duas IES, segundo os objetivos e o referencial teórico114. Novas leituras foram realizadas sublinhando-se os
trechos correspondentes às categorias, identificando-se as subcategorias115-117.
Posteriormente, as transcrições das entrevistas foram inseridas no software NVivo 10118-119.
Os respondentes dos questionários eletrônicos e impressos receberam cópia do Termo em que autorizaram o uso das suas respostas, de acordo com Parecer dos Comitês de Ética de cada IES.
As categorias de análise dos questionários estruturados foram criadas previamente, com perguntas relacionadas à educação geral e perguntas relacionadas às Diretrizes Curriculares de Curso e ao Plano Pedagógico de Curso (Quadros 4 e 5). O processo de elaboração dos questionários (Figura 10) seguiu o modelo delineado por Schuman e Kalton (1985) citado por Günther (2003)120.
52
Figura 10. Principais estágios de um questionário
Fonte: Schuman e Kalton, 1985 apud Günter, 2003
4.1 Questionário Discente
A partir da literatura selecionada para o estudo, foi criado questionário piloto e aplicado a 40 alunos para avaliação da compreensão das perguntas e do tempo necessário para respondê-las, obtendo-se uma versão que foi aplicada online e, posteriormente, diagramada para o formato impresso. O questionário, segundo Lakatos e Marconi (2001)121, é o instrumento que coleta dados por meio de um
conjunto de perguntas. Neste estudo, o questionário estruturado reuniu 28 questões com perguntas para assinalar “sim” ou “não”, com espaço para justificativas; seis questões que apresentavam uma Escala de Atitudes122 e duas questões para
respostas abertas para indicação de características positivas e negativas, todas elas não obrigatórias. A adoção de Escala Likert (1932)137 com utilização de escalas
simétricas, associada a opções ímpares de alternativas, possibilita ao respondente assinalar um ponto médio. A inclusão de uma opção para atender àqueles que não souberam opinar ou não se sentiram informados para opinar, segundo Costa et al (2007), por meio da opção (NTO), permitem o balanceando as alternativas120,138,139.
O questionário dos alunos do internato continha todas as questões dos alunos do terceiro e quarto anos e este, todas as questões dos dois primeiros anos.
53
O desenvolvimento dos instrumentos do estudo resultou da experiência da pesquisadora em outros projetos. Foram dois estudos específicos sobre a educação superior junto ao Grupo de Estudos e Pesquisas em Educação Superior (Gepes) da Faculdade de Educação da Universidade Estadual de Campinas (FE): Tendências
Curriculares na formação do universitário: a visão dos docentes das instituições educacionais brasileiras, realizado entre 2009-2011 e o Tendências Curriculares na Formação do Universitário: a visão dos estudantes da Unicamp, realizada no período
de 2010/2011. Os dois trabalhos tiveram auxílio de agência de fomento, Fapesp e CNPq, respectivamente123,124. Esses trabalhos inspiraram o instrumento do estudo
realizado como requisito do doutorado na FE da Unicamp que levantou as dimensões de currículo recebido e desejado pelos alunos do curso de Direito que ingressaram nos quadros da Ordem dos Advogados do Brasil, durante o primeiro decênio do século XXI, segundo três ênfases: Formação Geral, Formação Básica e Formação Profissional79.
Reunindo conhecimentos anteriores às discussões realizadas no projeto do Programa do Observatório da Educação (Obeduc), coordenado pelo Prof. José Camilo dos Santos Filho125, na FE da Unicamp, no período de 2013 a 2017, foram
sendo construídos os instrumentos para coleta de dados, com sua adaptação às caraterísticas específicas para aplicação nas Escolas Médicas.
As questões formuladas no questionário discente (Apêndice 2) para identificar as percepções dos atores acerca da educação geral, das Diretrizes Curriculares e do Projeto Pedagógico de Curso estão listadas nos Quadros 4 e 5.
Quadro 4. Questões relacionadas à educação liberal / geral
Número Enunciado
Q. 04 Você tem (teve) contato com pacientes no 1º e 2º anos?
Q. 06 Você cursou disciplina em outro Instituto ou Faculdade, por escolha sua? Q. 11 Você participou de intercâmbio?
Como foi a experiência para sua formação cultural? Como foi a experiência para sua formação profissional? Q. 12 Você cursou disciplina de ética na ciência?
Q. 13 Você cursou disciplina de ética profissional?
Q. 14 Na sua percepção, qual é a MISSÃO que define sua universidade?
Q. 15 Na sua percepção, o objetivo de cada período do curso é familiarizar os estudantes com:
54
Número Enunciado
Q. 16 Assinale o nível de concordância acerca das habilidades aprimoradas em cada período do curso
Q. 24 Indique o nível de satisfação em relação à contribuição das disciplinas de cada período para as áreas indicadas
Q. 27 Na sua opinião, DEVERIA ser objetivo prioritário de cada período:
Quadro 5. Questões relacionadas às Diretrizes Curriculares e ao Projeto Pedagógico de Curso
Número Enunciado
Q. 07 Você conhece a Lei de Diretrizes e Bases da Educação Nacional (1996)? Q. 08 Você sabe que as Diretrizes Curriculares Nacionais (DCN) do curso de
graduação em Medicina foram instituídas em 2001 e que foram revisadas em 2014?
Já leu as DCN de seu curso?
Q. 09 Você conhece a estrutura curricular do seu curso?
Q. 10 Você sabe se o currículo da sua Instituição atende as DCN para o seu curso? Se sim, como atende?
Se não, por que não atende?
Q. 17 Quanto às disciplinas de cada período do curso, como visualiza o perfil do corpo