FACULDADE DE CIÊNCIAS MÉDICAS
RICARDO CORRÊA FERREIRA
RELAÇÃO ENTRE O DESEMPENHO NO TESTE DE PROGRESSO E NA SELEÇÃO PARA RESIDÊNCIA MÉDICA
CAMPINAS 2019
RICARDO CORRÊA FERREIRA
RELAÇÃO ENTRE O DESEMPENHO NO TESTE DE PROGRESSO E NA SELEÇÃO PARA RESIDÊNCIA MÉDICA
Tese apresentada à Faculdade de Ciências Médicas da Universidade Estadual de Campinas como parte dos requisitos exigidos para a obtenção do título de Doutor em Ciências, Área de concentração – Ensino em Saúde.
ORIENTADOR: PROF. DR. PAULO EDUARDO NEVES FERREIRA VELHO
ESTE EXEMPLAR CORRESPONDE À VERSÃO FINAL DA TESE DEFENDIDA PELO ALUNO RICARDO CORRÊA FERREIRA E ORIENTADO PELO PROF. DR. PAULO EDUARDO NEVES FERREIRA VELHO.
CAMPINAS 2019
BANCA EXAMINADORA DA DEFESA DE DOUTORADO
RICARDO CORRÊA FERREIRAORIENTADOR: PROF. DR. PAULO EDUARDO NEVES FERREIRA VELHO
MEMBROS:
1. PROF. DR. PAULO EDUARDO NEVES FERREIRA VELHO
2. PROFA. DRA. MARIÂNGELA RIBEIRO RESENDE
3. PROFA. DRA. RENATA FERREIRA MAGALHÃES
4. PROFA. DRA. SAMIRA YARAK
5. PROFA. DRA. CACILDA DA SILVA SOUZA
Programa de Pós-Graduação em CLÍNICA MÉDICA, ÁREA DE CONCENTRAÇÃO EM ENSINO EM SAÚDE da Faculdade de Ciências Médicas da Universidade Estadual de Campinas.
“Talvez não tenha conseguido fazer o melhor, mas lutei para que o melhor fosse feito. Não sou o que deveria ser, mas graças a Deus, não sou o que era antes”
A Deus, que em sua infinita bondade me sustentou em todo tempo, suprindo cada necessidade e trazendo a confiança necessária para que cada conquista fosse alcançada.
A meus filhos Samuel e seus irmãos, a caminho no ventre materno, símbolos do sublime e incondicional amor.
À Lorena, esposa e mãe amada, dedicada, companheira de toda vida, pelo amor e cumplicidade que se dedica a nossa família.
A meus pais Devanir e Joana, símbolos de luta e esforço dedicados a seus filhos, pela certeza de que a realidade de hoje é parte de tudo que se abdicaram por amor a nós.
Aos familiares e amigos pelo incentivo e apoio nas horas tão difíceis e aos irmãos metodistas pelas orações e a comunhão cristã.
Aos professores de hoje e outrora, que ao longo da vida estiveram ao meu lado incentivando e confiando em cada caminho que percorria, pelos ensinamentos que levo por toda a vida.
À Profa. Dra. Silvia Passeri, não somente pela contribuição estatística na análise dos dados desta pesquisa, mas por trazer um novo olhar para esta tese.
E, finalizando, ao Prof. Dr. Paulo Velho, pela oportunidade em me capacitar a ser um profissional melhor, por sua paciência, sabedoria e dedicação. Por toda sua disposição em me auxiliar em momentos tão difíceis desta caminhada.
Introdução: A avaliação do processo de ensino e aprendizagem pode ser diagnóstica, quando permite detectar se os estudantes apresentam conhecimentos prévios para prosseguir na sua formação; somativa, aplicada ao final de uma disciplina ou um ciclo, com propósito de avaliar a aquisição de competências; ou formativa, realizada no decorrer do processo pedagógico com a intenção de propiciar ao estudante condições de analisar seu desempenho no próprio processo educacional. No curso médico, o Teste de Progresso (TP) é uma ferramenta de avaliação formativa voltada ao raciocínio clínico e à identificação do progresso estudantil ao longo da graduação. Após a conclusão do curso, os egressos deparam com avaliações somativas de caráter classificatório ou seletivo. É o caso dos processos para o ingresso na Residência Médica (RM). Tanto o TP quanto a prova de seleção para RM objetivam avaliar conhecimentos necessários a um médico de formação geral.
Objetivo: Avaliar se o desempenho do estudante no TP está relacionado ao desempenho no processo seletivo da RM.
Métodos: Estudo analítico e transversal, em que todos os formandos dos anos de 2011 a 2014 do curso de graduação em medicina de uma universidade pública do Estado de São Paulo, Brasil, foram avaliados quanto à participação voluntária no TP ao longo do curso, ao desempenho no TP do último ano do curso, ao desempenho na prova de testes de múltiplas escolhas (ME) da RM ao se graduarem e à convocação na primeira lista classificatória, sendo estes considerados aprovados na seleção para a RM. Foram analisados os desempenhos nas questões das áreas de cirurgia geral, clínica médica, ginecologia e obstetrícia, pediatria e saúde coletiva de ambas as provas. Foram realizadas estatística descritiva, comparação de notas por meio do test t de Student para amostras independentes e amostras pareadas e coeficiente de correlação de Pearson, utilizando os softwares estatísticos GraphPad e SPSS.
Resultados: Dos 424 formandos, 374 (88,2%) participaram dos TPs durante toda graduação e do processo seletivo da RM na mesma instituição ao concluírem o curso. Esses egressos apresentaram desempenho no TP superior àqueles 22 (5,2%) que não prestaram a prova de RM (p<0,05). Os alunos que participaram regularmente do TP possuíam desempenhos superiores na prova de RM em relação àqueles 22 (5,2%) que não participaram regularmente (p< 0,0001). Entre os 374 formandos, a média no
desempenho na prova de ME da RM. Na análise por áreas de conhecimento, a correlação não foi demonstrada. Houve maior aprovação na RM entre os egressos que obtiveram na prova de ME da RM média acima da média no TP (p<0,0001). Conclusões: O desempenho no TP esteve relacionado ao desempenho no processo seletivo da RM no período estudado com forte correlação do desempenho dos estudantes no TP com a prova de ME da RM. Os estudantes com desempenho abaixo da média no TP na prova de ME da RM foram menos aprovados no processo seletivo da RM.
Introduction: The evaluation of the teaching and learning process can be diagnostic, when it allows to detect if the students present previous knowledge to continue in their formation; summation, applied to the end of a course or a cycle, with the purpose of evaluating the acquisition of competences; or formative, carried out throughout the course of the pedagogical process with the intention of providing the student with conditions to analyze their performance in the educational process itself. In the medical course, the Progress Test (PT) is a formative evaluation tool aimed at clinical reasoning and the identification of student progress throughout graduation. Upon completion of the course, the graduates are faced with summative evaluations of classificatory or selective character. This is the case of the procedures for admission to the Medical Residence (MR). Both the PT and the MR screening test aim to evaluate the knowledge needed by a general medical formation.
Objective: To evaluate if the student's performance in the PT is related to the performance in the MR selection process.
Methods: An analytical and cross-sectional study, in which all the students from the years 2011 to 2014 of the undergraduate medical course at a public university in the State of São Paulo, Brazil, were evaluated for their voluntary participation in PT throughout the course, performance in the PT of the last year of the course, the performance in the multiple choice test (MCT) of the MR when graduating and the call in the first classificatory list, being these considered approved in the MR selection. The performance in the areas of general surgery, medical clinic, gynecology and obstetrics, pediatrics and collective health of both tests were analyzed. Descriptive statistics, comparison of grades were made through Student's t test for independent samples and paired samples and Pearson's correlation coefficient, using the statistical software GraphPad and SPSS.
Results: Of the 424 graduates, 374 (88.2%) participated in the PTs during the entire graduation and in the MR selection process at the same institution at the end of the course. These graduates had a higher TP performance than the 22 (5.2%) who did not undergo the MR test (p <0.05). Students who participated regularly in the PT had higher MR scores than those 22 (5,2%) who did not participate regularly (p <0.0001). Among the 374 graduates, the average in the PT was lower than in the MR, viewed generally (p <0.05) or separately for years (p <0.0001) and there was a strong
demonstrated. There was greater approval in MR among those who had the MR test of average MR above the average in the PT (p <0.0001).
Conclusions: The performance in the PT was related to the performance in the MR selective process in the studied period with a strong correlation of students' performance in the PT with the MC test of the MR. Students with below-average PT scores on the MC test of MR were less approved in the MR selection process.
Figura 1 Distribuição dos estudantes participantes do Teste de Progresso e / ou Residência Médica... 32
Figura 2 Desempenho no Teste de Progresso dos estudantes que participaram ou não da Residência Médica... 33
Figura 3 Desempenho na prova teste de múltiplas escolhas da Residência Médica e participação no Teste de Progresso ao longo do curso... 34
Figura 4 Comparativo da média de desempenho dos estudantes no Teste de Progresso e na prova teste de múltiplas escolhas da Residência Médica... 36
Figura 5 Comparativo das médias de desempenho separadamente por anos no Teste do Progresso e na prova teste de múltiplas escolhas da Residência Médica... 37
Figura 6 Correlação entre as médias de desempenho dos estudantes no Teste de Progresso com o desempenho na prova teste de múltiplas escolhas da Residência Médica... 38
Figura 7 Comparativo da média de desempenho dos estudantes em cada área do conhecimento no Teste de Progresso e na prova teste de múltiplas escolhas da Residência Médica... 40
Figura 8 Desempenho dos estudantes no Teste de Progresso em relação à aprovação ou não na Residência Médica... 42
Tabela 1 Análise descritiva dos estudantes em relação ao desempenho no Teste de Progresso e na prova teste de múltiplas escolhas da Residência Médica... 35
Tabela 2 Matriz de correlação entre o desempenho dos estudantes no Teste de Progresso e na prova teste de múltiplas escolhas da Residência Médica... 39
Tabela 3 Análise descritiva do desempenho dos estudantes por área de conhecimento no Teste de Progresso e na prova teste de múltiplas escolhas da Residência Médica... 41
Tabela 4 Matriz de correlação entre o desempenho dos estudantes por área de conhecimento no Teste de Progresso e na prova teste de múltiplas escolhas da Residência Médica... 41
AB Área Básica
CG Cirurgia Geral
CM Clínica Médica
CNRM Comissão Nacional de Residência Médica
GO Ginecologia e Obstetrícia
ME Prova teste de múltiplas escolhas
MEC Ministério da Educação
PE Pediatria
RM Residência Médica
SC Saúde Coletiva
INTRODUÇÃO ... 16 OBJETIVOS ... 28 OBJETIVO GERAL ... 28 OBJETIVOS ESPECÍFICOS ... 28 MATERIAL E MÉTODO ... 29 TIPO DE ESTUDO ... 29 ASPECTOS ÉTICOS ... 29 COLETA DE DADOS ... 29 CASUÍSTICA ... 31 ANÁLISE ESTATÍSTICA ... 31 RESULTADOS ... 32 DISCUSSÃO ... 44 CONCLUSÃO ... 49 REFERÊNCIAS ... 50 APÊNDICE ... 56 ANEXO ...……….81
1. INTRODUÇÃO
A avaliação teve suas primeiras aplicações nos séculos XVI e XVII e foi inicialmente utilizada como ferramenta para verificar o processo de aprendizado dos estudantes, na perspectiva da hierarquização social e do controle e exercício do poder1. Com a ampliação dos processos sociais, políticos e econômicos, após o surgimento da sociedade burguesa, a pedagogia tradicional foi fortemente consolidada e difundida para exercer seletividade no âmbito escolar1.
No início do século XX, com a necessidade de relacionar o desenvolvimento econômico com os conhecimentos produzidos na sociedade, foi necessário estabelecer padrões e critérios de avaliação, assim como criar mecanismos para mensurar os conhecimentos estudantis e assim classificar seus desempenhos escolares2.
No processo de avaliação da aprendizagem, seja ela no ensino básico ou no ensino superior, o estudante deve identificar suas dificuldades para ter a possibilidade de superar suas falhas, assim como o professor deve utilizar esta ferramenta para aprimorar sua maneira de ensinar, utilizando como base o desempenho dos estudantes3.
Neste contexto, há três formas de avaliação do processo de ensino e aprendizagem no ensino superior4. A primeira é a diagnóstica ou pré-teste, realizada para se obter a dimensão cognitiva que os estudantes apresentam antes de iniciar um processo educacional e que define se os estudantes possuem conhecimentos básicos e necessários para seguir com novas aprendizagens4. Em um programa curricular, cujo planejamento das disciplinas é apresentado na sequência progressiva da complexidade dos conhecimentos, as disciplinas que necessitam de pré-requisitos podem utilizar a avaliação diagnóstica para identificar o domínio de conhecimentos necessários para que a mesma seja realizada, assim como determinar e corrigir inconsistências no plano de ensino curricular5.
A segunda forma de avaliação é a somativa, aplicada no final da disciplina ou do curso para identificar se os estudantes adquiriram as competências necessárias para as novas etapas da aprendizagem. A avaliação somativa, tradicionalmente realizada por meio de testes ou questões discursivas, é aplicada ao final de um período do processo e verifica se o estudante atingiu o patamar de excelência na formação5. Esta avaliação dimensiona o desempenho dos estudantes e tem a função essencial de ser classificatória, caracterizada por notas ou conceitos de satisfação em relação à aprendizagem5. Para Sacristán6,a avaliação somativa faz referência ao término de um processo de aprendizagem, sobre o qual se emite um valor final, com o objetivo de aprovar ou reprovar o estudante. Por conseguinte, a avaliação somativa tem como característica fundamental o julgamento do estudante, do professor ou do programa em relação à eficiência e à eficácia do processo de ensino e aprendizagem7.
A terceira avaliação é a formativa, realizada no decorrer de um período pedagógico e curricular, com intervenções puntuais8. Tem a finalidade de verificar se os estudantes estão compreendendo progressivamente cada etapa da proposta educacional ao relacionarem as dificuldades e as possibilidades de aprendizagem na construção cognitiva do conhecimento ao longo da graduação9.
Para Perreunoud10, a avaliação formativa objetiva mensurar o conjunto de ações metacognitivas do sujeito e suas interações com o meio que modificam seus processos de aprendizagem, dentro da perspectiva de se ter o objeto definido do conhecimento a ser alcançado no processo.
As vantagens da avaliação formativa se apresentam pela possibilidade de ser contínua, com realizações durante diferentes momentos de contato entre estudantes e professores e de visar o ensino11. Podem ser realizadas naturalmente em oportunidades de interação entre esses atores em diferentes cenários de ensino e aprendizagem11. Outras características são destacadas, como a de ser dinâmica, ao permitir adequações durante o curso, com o ajuste de eventuais dificuldades enfrentadas pelos estudantes, e não ser julgadora, pois considera a individualização no processo11. Este aspecto favorece a autoestima dos estudantes e o auxílio na aprendizagem curricular11.
Nesse processo, o ato de avaliar deve inserir em seu contexto o feedback, nos quais os docentes e os estudantes se relacionam bidirecionalmente com a finalidade de melhorar a formação, com foco no acompanhamento das falhas encontradas na aprendizagem e nas correções necessárias para o progresso educacional11,12.
Nesse momento importante da avaliação, o estudante detecta suas lacunas da formação, autorregula o processo de aquisição do conhecimento12. Já o professor identifica as dificuldades de aprendizagem e propõe melhorias no processo do ensino11,12. O feedback não necessita ser longo, mas deve ser claro e objetivo, estimulando o estudante à autorreflexão para corrigir suas deficiências e tendo o foco no crescimento cognitivo11,12.
Neste terceiro tipo, os modelos de avaliação se relacionam às provas escritas, que permitem aferir o domínio cognitivo por meio das questões dissertativas ou por questões de múltiplas escolhas 5,9. No último caso, pode-se utilizar grande número de perguntas na mesma prova e verificar, assim, amplamente o conhecimento, pois se trata de uma rápida avaliação objetiva do conhecimento5,9. Há também a possibilidade de feedback imediato ao se fornecer o gabarito das respostas corretas5. As questões escritas, por sua vez, avaliam a capacidade cognitiva e reflexiva dos estudantes, com necessidade de maior disponibilidade dos docentes para correção e interpretação das respostas apresentadas por eles5.
Há também, para os estudantes de medicina, a avaliação formativa com a realização de prova oral contendo a discussão de casos clínicos, assim como o portfólio elaborado pelos alunos individualmente. É possível então registrar elementos significativos da progressão de aprendizagem, estando a cargo dos docentes a avaliação deste instrumento de anotações e reflexões13.
No caso do internato médico, a avaliação das habilidades clínicas do estudante pode ser realizada a cada atendimento médico ao se observar como o aluno desempenha sua prática de realizar a anamnese, o exame físico, a construção de hipóteses diagnósticas e as propostas terapêuticas, sob a supervisão de um preceptor médico durante a rotina de um cenário real de atendimento, como ambulatórios e serviços de urgência e emergência5.
Em relação à avaliação do desempenho dos estudantes de medicina em ambientes simulados, utiliza-se o Objective Structured Clinical Examination (OSCE), com roteiros preestabelecidos (checklists), em que os estudantes interagem com recursos audiovisuais ou pacientes simulados e demonstram habilidades para determinar diagnósticos e condutas terapêuticas pertinentes aos casos apresentados durante estações de avaliação com pacientes, exames laboratoriais e de imagens radiológicas ou anatômicas (macro ou microscópicas)5,14.
Outra avaliação formativa é o Conceito Global, realizado na finalização de estágios. Ele avalia o conhecimento cognitivo, habilidades e atitudes utilizando categorias gerais de conceitos avaliativos, como o feedback do processo de ensino e aprendizagem vivenciado no período5,15. Modelos como avaliação por pares e autoavaliação exemplificam também a avaliação formativa, pois identificam a perspectiva de si ou do outro estudante que convive com as mesmas situações do curso ou do estágio. A limitação desta forma de avaliação é o envolvimento de proposições subjetivas, distantes da impessoalidade esperada nesses processos16.
Dentre as ferramentas de avaliação formativa no ensino médico, o Teste de Progresso (TP), por exemplo, é voltado para o raciocínio clínico e procura identificar o progresso do estudante ao longo da graduação17,18. Trata-se de uma avaliação que permite ao estudante o feedback necessário sobre seu progresso no processo de ensino e aprendizagem, identificando as dificuldades e fornecendo à instituição de ensino subsídios para a avaliação do modelo curricular utilizado19,20.
1.1 O TESTE DE PROGRESSO
O TP estabelece novas estratégias pedagógicas de autoavaliação, como mecanismo para melhorar o desempenho dos estudantes, sendo reconhecido e amplamente utilizado pelas escolas médicas que utilizam diferentes metodologias de ensino e aprendizagem19,21. Os Testes organizados de forma periódica e formativa, mostraram-se um importante instrumento para se contrapor às tradicionais avaliações puntuais do conteúdo20.
Na Maastricht Medical School, Holanda, a inserção do TP no currículo, em 1977, objetivou que o estudante não se preparasse para uma prova parcial22. Isto porque o TP não tem uma ligação direta com qualquer especialidade do curso médico e também pelo fato de a avaliação ser preparada a partir dos conteúdos gerais esperados para o egresso da graduação médica22.
Desde então, o TP vem sendo utilizado nos currículos de medicina em todo o mundo. É aplicado na Ásia, como exemplo a Indonésia23; em diversos países da Europa, como a Suécia, a Finlândia, a Alemanha, os países do Reino Unido e os Países Baixos; no Oriente Médio, como a Arábia Saudita; na Oceania, como a Nova Zelândia e a Austrália; na África, como a África do Sul; na América do Norte e do Sul, como os Estados Unidos17 e o Brasil23,24,25.
É utilizado como um complemento importante para a avaliação dos estudantes, na perspectiva da abordagem longitudinal e realizada em intervalos fixos17,18. Tem foco na avaliação do desenvolvimento dos conteúdos e das competências dos estudantes longitudinalmente e com o princípio da não substituição de outras formas de avaliação já utilizadas17,18. As avaliações seriadas devem estimular os estudantes a se preocuparem com seus desempenhos ao longo dos anos, e não somente em uma única avaliação22.
Na elaboração e na implementação do TP, é de suma importância a maneira como são construídos os testes17. Nesta fase, deve-se compreender inicialmente a construção da matriz dos conteúdos essenciais. São importantes também a construção das alternativas de respostas, a composição de um banco de itens, o estabelecimento de um comitê revisor destes itens e o estabelecimento de uma coordenação destes TPs17.
A elaboração da matriz do teste ou blueprint (conhecimentos a serem testados) é um requisito básico e fundamental para a validade e confiabilidade do TP, que representa as competências com base no domínio cognitivo e nas diretrizes curriculares nacionais da graduação em medicina que devem ser atingidas no final do curso pelos estudantes, permitindo que os docentes revejam criticamente as prioridades de conteúdo do currículo17,26.
Deve ser composta por uma amostra representativa e equilibrada do conteúdo a ser apreendido e deve estar de acordo com os objetivos de aprendizagem preestabelecidos que garantam a validade do teste, possibilitando que esta avaliação seja replicável ao longo dos anos17,26,27. Também deve especificar a frequência de itens para os vários níveis de dificuldade cognitiva, segundo a taxonomia de Bloom – conhecimento, compreensão, aplicação, análise, síntese e avaliação27. Idealmente, os itens precisam testar os níveis cognitivos mais elevados de aplicação do conhecimento e da resolução de problemas27.
Após a definição da matriz, são necessários docentes treinados na elaboração de itens e que preencham as lacunas que existam no banco de questões17,27. Os itens devem objetivar o conhecimento como um pré-requisito necessário para atuar em uma situação prática, relevante ao conhecimento médico, que formem a base de conceitos mais importantes do currículo e que possam ser referenciados na literatura17,27.
Na seleção das questões, é necessário criar uma comissão multidisciplinar para a construção do TP, distribuindo as questões em área básica (AB), cirurgia geral (CG), clínica médica (CM), ginecologia e obstetrícia (GO), pediatria (PE) e saúde coletiva (SC), com garantia do equilíbrio na avaliação dos conteúdos programáticos e do adequado nível de dificuldade das questões e sua capacidade de discriminar os
estudantes17,27.
Em relação a sua construção, o TP passou a se r produzido de forma colaborativa e multicêntrica, inclusive na sua gerência, reduzindo-se custos ao serem aplicados nas diferentes escolas parceiras concomitantemente17,18. Quando os TPs são realizados de forma multicêntrica, em consórcios de diversas escolas médicas, do mesmo ou de diferentes países, além da redução dos custos, aumenta-se a eficiência e elabora-se um extenso banco de dados de avaliações realizadas, sendo que consórcios de banco de dados como estes trazem para os estudantes feedbacks importantes na construção do conhecimento19,20.
A parceria entre as escolas tem contribuído para a confecção de questões com alta qualidade, pois compartilham elaboradores de questões, revisores e administradores dos testes25.
O TP na Holanda foi, desde o final dos anos 1990, preparado em colaboração por três escolas médicas20. Posteriormente, passou a ser produzido e administrado em conjunto, sendo, atualmente, administrado por cinco das oito escolas médicas do país, o que conduziu a um decréscimo substancial na quantidade de recursos gastos por cada escola participante na confecção destes testes20.
Neste processo, deve-se ter um bom planejamento das equipes para não se aumentar os custos, ter boa comunicação entre os membros das comissões do TP e se utilizar da Teoria da Resposta ao Item (TRI) na elaboração dos itens, que qualifica o item de acordo com três parâmetros, o poder de discriminação, que é a capacidade de um item distinguir os estudantes que têm a proficiência requisitada daqueles que não a têm para responder corretamente as questões, o grau de dificuldade, que qualifica as questões em fácil, média dificuldade ou difícil, e a possibilidade de acerto ao acaso18.
Vários modelos de construção de itens têm sido descritos, incluindo os de melhores respostas, escolha de alternativas, verdadeiro e falso, múltiplas escolhas, com diferentes opções de formatos e números17. Para Wrigley et al.17, as opções de verdadeiro e falso não são confiáveis, mas as de única opção de escolha são as de
maiores confiabilidades e menores probabilidades de suposições.
Para alguns especialistas da educação médica, o ideal é que os alunos não adivinhem as questões, muitas vezes incentivando-os a responderem somente as questões para as quais tenham os conhecimentos necessários22. Algumas escolas médicas, como as que compõem os consórcios holandês, alemão e canadense, utilizam a opção "não sei" entre as alternativas das questões e, como resultado, reduzem a frequência de se adivinhar17. Destaca-se que os resultados de estudos recentes forneceram o embasamento científico para a utilização de métodos de controle da adivinhação no TP com esta opção de “não sei”, reduzindo o pensamento dos estudantes de acreditarem que a sorte e a adivinhação foram os mais fortes contribuintes para o seu sucesso no TP17,19.
Entretanto, há especialistas da educação médica para quem, apesar da argumentação de que a opção “não sei” fornece aos estudantes a determinação de seus limites do conhecimento ao não praticarem a tentativa de adivinhar, esta opção traz a desvantagem da alta frequência do “não sei” entre os estudantes dos primeiros anos do curso médico, o que provoca uma reação negativa indesejada na motivação do progresso estudantil17.
Em relação ao número de itens utilizados no TP, há consórcios que utilizam 200 questões, como os consórcios holandeses e alemães, 180, como o canadense, 120 no Reino Unido, e variam em função da frequência que são realizados, sendo que, ao ser muito curtos, podem sub-representar os conteúdos curriculares, desabilitando a validade do conteúdo no TP17,18. No Brasil, esses testes geralmente são compostos por 120 questões de múltiplas escolhas, com quatro alternativas cada uma e apenas uma correta, em um tempo total de resolução de quatro horas24. As questões são elaboradas de acordo com o contexto da prática médica e aplicam princípios complexos do raciocínio, reflexão e julgamento na resolução das questões, evitando-se, assim, a simples memorização da informação25.
Este tipo de instrumento de avaliação requer bancos de itens e administradores que abriguem com segurança estas informações, classificando, verificando e revendo as questões recebidas e as já existentes, sendo a função do coordenador estar no
controle adequado e seguro da qualidade das mesmas17,18. O tamanho do banco de itens é influenciado pela frequência da realização do TP no ano letivo, assim como pelo número de itens no TP, pela política de reutilização e se os estudantes recebem ou não o caderno de prova e as respostas no momento posterior à realização da avaliação17. Embora não existam frequências predeterminadas para a realização e o número de itens incluídos no TP, a disponibilidade de recursos é considerada determinante na seleção do tamanho e da frequência dos testes, que podem variar de uma a quatro vezes ao ano a sua aplicação17,24,28.
Estudos com quatro TPs da Universidade de Maastricht de 2010 a 2011 demonstraram que a questão de confiabilidade dos testes é influenciada pelo maior número de vezes que o Teste é aplicado e uma menor quantidade de testes, assim como destaca a necessidade de encontrar um equilíbrio para que os estudantes sejam desencorajados a adivinhar as respostas do TP17. Também, recomendam como tempo útil para resolução de cada questão entre 75 a 85 segundos, com itens que não sejam apresentados com enunciados e respostas longas para ler17.
No consórcio holandês, os estudantes têm acesso às questões pós-realização do TP, assim como as suas respostas, auxiliando no controle de qualidade das questões e removendo itens malformulados. Isso leva à desvantagem dos itens do TP não permanecerem em segredo, reduzindo assim a sua utilidade no banco de dados, com a necessidade de confecção de novos itens para os testes subsequentes17.
Entre os principais pontos na elaboração das questões do TP, estão a confiabilidade e a validade do teste. Na confiabilidade, é necessário padronizar a qualidade do teste, com questões que não apresentem diferenças intrínsecas em suas dificuldades. A confiabilidade é perdida em respostas dadas ao acaso, assim como, se os estudantes responderem corretamente a muitas questões, subentende-se que os testes foram elaborados com respostas fáceis, reduzindo, também, a confiabilidade do mesmo22.
Na Universidade de McMaster, no Canadá, espera-se que os estudantes do primeiro ano não respondam 80% dos itens e que os estudantes do último ano acertem 70% das questões e, caso não atinjam, deve-se avaliar a construção dos
conteúdos adquiridos ao longo da graduação, ou então, avaliar as questões como malconstruídas, sem respostas corretas ou que estejam confusas22.
A validade do conteúdo das questões considera o grau pelo qual a questão traduz o conteúdo desejado. Este domínio é considerado importante para representar o conhecimento necessário para o término do curso médico, que geralmente é acordado entre as disciplinas do curso22.
Na conclusão do curso, o egresso deve ter recebido treinamento para a atuação geral dos médicos e deve ter a capacidade analítica e criativa de usar o conhecimento para a resolução de problemas. É necessário capacitar os profissionais para a autonomia e a tomada de decisões, assim como garantir o cuidado integral ao paciente, de forma humanizada e voltado para as famílias e comunidades29,30.
Nesta perspectiva de mudanças na educação médica, o médico egresso no Brasil, de acordo com o Ministério da Educação (MEC)31, deve ter realizado a graduação com formação humanista, generalista, crítica e reflexiva e ser capaz de atuar no processo saúde e doença, com vistas na prevenção de doenças, promoção de saúde, recuperação e reabilitação da saúde. Cabe às faculdades de medicina organizarem seus currículos para prepararem os futuros profissionais para dar respostas às necessidades de saúde da população31.
Desta forma, todo o processo de ensino e aprendizagem, incluindo as avaliações como o TP, deve contribuir para habilitar médicos de formação geral ao final do curso.
Concluído o curso, egressos do mundo todo deparam com a possibilidade ou a necessidade de se submeterem a avaliações somativas de caráter classificatório. Estas avaliações permitem, por exemplo, adquirir direito ao exercício da profissão ou obter vaga em processos seletivos, como os de acesso à Residência Médica (RM)32.
1.2 A RESIDÊNCIA MÉDICA
A RM, no modelo que é apresentada atualmente, surgiu em 1889, em Baltimore (EUA), na Universidade Jonh´s Hopkins, com William Healsted. Esse médico foi nomeado chefe do Departamento de Cirurgia e, percebendo que os pacientes acompanhados por médicos recém-formados apresentavam maior incidência de óbito, nomeou quatro egressos para trabalharem em forma de treinamento na área cirúrgica do hospital33. Durante quatro a seis anos de formação, estes residentes aumentavam o grau de responsabilidade ao longo do processo de formação33. Inicialmente, ficavam responsáveis pelo cuidado pré e pós-operatório dos pacientes, para então participarem dos atos cirúrgicos com o progresso dos anos de formação médica especializada33.
Em 1917, a Associação Médica Americana reconheceu a especialização médica em serviço, esta sob supervisão de um profissional experiente, sendo que, somente em 1927, houve o início do credenciamento dos programas de RM nos EUA34. A partir da década seguinte, a residência passou a ser exigida para os médicos americanos exercerem as especialidades médicas34.
No Brasil, em 1944, o Hospital das Clínicas da Universidade de São Paulo criou a especialização na área de ortopedia e, em 1947, o Hospital dos Servidores do Estado do Rio de Janeiro iniciou os programas de CG, CM, PE e GO, mas, até 1955, eram poucos os egressos médicos que participavam da RM35. Somente em 1977, houve a regulamentação da RM no Brasil e, em 1984, a criação da Comissão Nacional da Residência Médica (CNRM) para normatizar os fundamentos básicos dos programas de RM35.
Desde então, a RM como modalidade de pós-graduação para médicos acontece com o treinamento em serviço e é o mais importante modelo na formação dos especialistas no Brasil36. É considerada o padrão ouro da especialização médica, direcionada para o desenvolvimento de competências e habilidades em ambiente qualificado de trabalho. Confere ao médico residente, quando pertencente a um programa de RM credenciado pelo CNRM, o título de especialista na área de
realização do treinamento especializado de 2.880 horas anuais36,37.
Como grande parte dos formados em medicina procura o ingresso na RM, que conta com mais de cem programas de acesso direto ou com pré-requisitos, há, sobretudo em instituições conceituadas, um número de vagas menor quando comparadas ao número de candidatos38. Em 2018, foram oferecidas no Brasil 26.094 vagas para residentes de primeiro ano, sendo 3.587 para Medicina de Saúde da Família e Comunidade,e uma estimativa de 25 mil médicos formados no país no mesmo ano39.
Em determinadas áreas, a concorrência pela vaga é altamente disputada pelos candidatos, como áreas de neurocirurgia, dermatologia, oftalmologia, radiologia e diagnóstico por imagens38. Em outras áreas, há mais vagas oferecidas que demanda, chegando, em 2018, a 40% das vagas autorizadas, caracterizando uma desproporção entre as vagas procuradas com as vagas oferecidas39.
A legislação brasileira atual determina que os candidatos realizem uma avaliação somativa com prova teste ou dissertativa, condizente com a avaliação cognitiva, com peso mínimo de 50%, seguido de uma segunda fase opcional, composta por avaliação prática, no valor de 40% a 50%, e uma entrevista com peso de 10% da nota geral40.
Logo, ao considerar que a RM é o principal treinamento para a formação médica especializada e, ao longo dos anos, há um aumento na concorrência nos processos seletivos, destaca-se a importância de verificar se, durante o curso médico, há algum indicativo do desempenho do estudante correlacionado ao desempenho no processo seletivo da RM.
Portanto, é necessário estabelecer a relação desses dois instrumentos avaliativos, um formativo, representado pelo TP, e outro somativo, como é a seleção para a RM, já que ambos avaliam conceitos fundamentais para a formação do médico por ocasião da conclusão do curso.
28
2. OBJETIVOS
2.1. OBJETIVO GERAL
Avaliar se o desempenho no TP do estudante do último ano do curso médico se relaciona ao desempenho no processo seletivo da RM.
2.2. OBJETIVOS ESPECÍFICOS
Correlacionar o desempenho geral dos estudantes nas grandes áreas no TP com o desempenho geral na prova teste de múltiplas escolhas da seleção da RM.
Avaliar como estes desempenhos se apresentam em cada uma das cinco grandes áreas do conhecimento médico.
Verificar se os estudantes com desempenho abaixo da média no TP são aprovados ou não no processo seletivo da RM.
3. MATERIAL E MÉTODO
3.1. DESENHO DO ESTUDO
A presente pesquisa quantitativa caracterizou-se como um estudo analítico e transversal
3.2. ASPECTOS ÉTICOS
Esta pesquisa, atendendo aos procedimentos previstos na Resolução nº 466/2012 do Conselho Nacional de Saúde, foi avaliada e aprovada pelo Comitê de Ética em Pesquisa da instituição em que foi desenvolvida – CEP/Unicamp, com o CAAE: 41375614.2.0000.5404, parecer 1.017.046, e data de 02/04/2015 (ANEXO).
3.3. COLETA DE DADOS
Os dados de desempenho dos estudantes no TP e na prova de seleção para a RM foram solicitados aos responsáveis pelas informações e mantidos de forma ética e sigilosa, mediante a autorização prévia da instituição participante.
O desempenho dos estudantes no TP foi obtido com a coordenação do consórcio interinstitucional, constituído à época por nove cursos de medicina. O TP deste consórcio é aplicado uma vez ao ano, não sendo obrigatória a participação dos estudantes. É composto por 120 questões de múltiplas escolhas nas áreas de cirurgia geral (CG), clínica médica (CM), ginecologia e obstetrícia (GO), pediatria (PE), saúde coletiva (SC) e área básica (AB), com 20 questões divididas igualmente em cada área do conhecimento médico.
30
Foi analisado o desempenho geral dos estudantes no TP durante o último ano do curso e o desempenho nas questões de cada uma das cinco grandes áreas do conhecimento médico: CG, CM, GO, PE e SC. O desempenho na AB não foi considerado, uma vez que o estudo correlacionou os dados do TP com a prova de seleção da RM que não possuía questões específicas de conteúdos de AB do conhecimento.
Os dados sobre o desempenho na prova da RM foram obtidos com a coordenação da Comissão de Residência Médica da instituição. Esses processos seletivos foram preparados por professores da própria instituição e eram compostos por prova de testes de múltiplas escolhas (ME), semelhantes ao TP, prova dissertativa e prova prática das cinco grandes áreas. A ME constava de 80 questões e a dissertativa, de 20 questões, ambas divididas entre estas áreas. A prova prática constava de uma estação de cada área, totalizando cinco estações de simulações práticas41.
A primeira fase compreendia duas provas (ME e dissertativa) com peso total de 50, sendo o peso 25 para cada uma delas. A prova da segunda fase (prática) correspondia a peso 40, e a terceira fase, com peso 10, constituía-se de análise e arguição do curriculum vitae. Para participar da prova dissertativa e todas as demais fases, eram convocados os candidatos que ocupassem as primeiras colocações na ME, na proporção de cinco candidatos por vaga de cada um dos programas41.
No período estudado, as provas somativas dos processos seletivos para o acesso direto na RM selecionavam candidatos às vagas disponíveis para as especialidades: anestesiologia, cirurgia geral, clínica médica, dermatologia, genética médica, infectologia, medicina de família e comunidade, medicina do trabalho, medicina nuclear, medicina preventiva e social, neurocirurgia, neurologia, obstetrícia e ginecologia, oftalmologia, ortopedia e traumatologia, otorrinolaringologia, patologia, patologia clínica/medicina laboratorial, pediatria, psiquiatria, radiologia e diagnóstico por imagem e radioterapia41.
3.4. CASUÍSTICA
Este estudo analisou dados de todos os estudantes do curso de graduação em medicina de uma universidade pública do Estado de São Paulo formados nos anos de 2011 a 2014.
Neste estudo, foram considerados predominantemente os desempenhos dos estudantes na prova ME, uma vez que esta possui características semelhantes às do TP. Os dados foram analisados sob o ponto de vista do desempenho geral e do desempenho específico em cada uma das grandes áreas.
Foram identificados os números de acertos nas questões das cinco grandes áreas do TP do último ano da formação médica e da prova de ME da seleção da RM e, em seguida, estes números foram convertidos em notas de zero a dez, para facilitar a compreensão e a comparação dos desempenhos.
3.5. ANÁLISE ESTATÍSTICA
Os dados deste estudo foram analisados por meio de estatística descritiva, comparação de notas por meio do test t de Student para amostras independentes e amostras pareadas e coeficiente de correlação de Pearson, utilizando os software estatísticos GraphPad Prism, versão 7 de 2018 (GraphPad Software Inc., San Diego, CA, EUA)e Statistical Package for the Social Sciences versão 16.0 de 2007 (SPSS Inc., Chicago, IL, EUA) para apresentação dos dados.
32
4. RESULTADOS
Foram analisados os dados dos 424 médicos que se graduaram entre os anos de 2011 e 2014. Destes, 374 estudantes (88,2%) participaram todos os anos da graduação dos TPs e também do processo seletivo da RM na mesma instituição ao se graduarem. Vinte e dois estudantes (5,2%) participaram durante toda a graduação dos TPs, mas não do processo seletivo da RM na instituição ao se graduarem, 22 estudantes (5,2%) não participaram de todos os seis TPs, mas participaram do processo seletivo da RM. Por sua vez, seis estudantes (1,4%) não participaram de todos os TPs e também não participaram do processo seletivo para RM ao se graduarem (Figura 1).
Figura 1: Distribuição dos estudantes participantes do Teste de Progresso e/ou Residência Médica n= 424 participantes n=374 (88,2%) participaram do TP e da RM n=22 (5,2%) participaram somente do TP n=22 (5,2%) participaram somente da RM n=6 (1,4%) não participaram do TP e RM
No primeiro momento, foi feita a comparação das médias de desempenho no TP entre os estudantes que participaram da prova de RM ao se graduarem (média= 6,65) com aqueles que não participaram (média=6,20). Por meio do T-test com amostras independentes, foi possível observar que os estudantes que participaram da prova da RM possuíam desempenho no TP superior àqueles que não participaram da RM (p< 0,05) (Figura 2).
Figura 2: Desempenho no Teste de Progresso dos estudantes que participaram ou não da Residência Médica
Foi realizada a mesma comparação em relação ao desempenho na prova de ME da RM entre os estudantes que participaram de seis TPs (média=7,36) com aqueles que não participaram regularmente do TP durante o curso (média=6,35). Os estudantes que participaram regularmente do TP apresentaram desempenhos superiores na prova de ME da RM em relação àqueles que não participaram os seis anos do TP (p< 0,0001). A figura 3 apresenta as diferenças das médias encontradas.
34
Figura 3: Desempenho na prova teste de múltiplas escolhas da Residência Médica e participação no Teste de Progresso ao longo do curso
Ao se observarem os dados de desempenho dos estudantes que cumpriram os dois critérios, é possível identificar especialmente que os estudantes que não participaram regularmente do TP possuem médias inferiores na prova de ME da RM daqueles que participaram dos seis testes, representada pela amostra de 374 estudantes que durante o curso de graduação participaram anualmente do TP e também do processo seletivo para acesso direto à RM na mesma instituição ao se graduarem.
A análise descritiva da amostra estudada é apresentada na tabela 1, considerando como base o desempenho geral nas avaliações analisadas.
Tabela 1: Análise descritiva dos estudantes em relação ao desempenho no Teste de Progresso e na prova teste de múltiplas escolhas da Residência Médica
Teste de Progresso Prova teste de múltiplas escolhas da Residência Médica
Ano n Mín Máx Média Desvio
Padrão N Mín Máx Média Desvio Padrão 2011 91 4,5 8,3 6,7 0,7239 91 4,8 8,5 6,8 0,8173 2012 94 3,6 8,6 6,1 1,0440 94 5,6 9,5 7,6 0,9091 2013 93 4,7 8,3 6,6 0,7370 93 5,1 8,9 7,3 0,8302 2014 96 5,2 8,4 7,1 0,6847 96 4,6 9,0 7,5 0,9435
36
Utilizando o Test T de amostras pareadas, foi possível observar, conforme apresentado na figura 4, que a média de desempenho de todos os estudantes das turmas egressas de 2011 a 2014 no TP foi significativamente inferior à média de desempenho na prova de ME da RM (p<0,05).
Figura 4: Comparativo da média de desempenho dos estudantes no Teste de Progresso e na prova teste de múltiplas escolhas da Residência Médica
É possível observar também que a média de desempenho no TP de todos os estudantes dessa amostra foi significativamente inferior à média de desempenho na prova de ME da RM (p<0,05), quando analisamos os dados das turmas egressas de 2011 a 2014 separadamente (Figura 5).
Figura 5: Comparativo das médias de desempenho separadamente por anos no Teste do Progresso e na prova teste de múltiplas escolhas da Residência Médica
Em seguida, utilizou-se o coeficiente de correlação de Pearson para identificar se havia correlação entre o desempenho dos estudantes no TP com o da prova ME do processo seletivo da RM. Foi realizada também a análise de regressão da correlação desses dados.
38
Considerando os dados gerais de todos os estudantes da amostra, foi possível afirmar que houve correlação estatisticamente significativa (p<0,0001) entre essas variáveis (Figura 6).
Figura 6: Correlação entre as médias de desempenho dos estudantes no Teste de Progresso com o desempenho na prova teste de múltiplas escolhas da Residência
A seguir, foi realizada a mesma análise de correlação dos dados, mas, desta vez, separadamente para cada turma egressa de 2011 a 2014 (tabela 2).
Tabela 2: Matriz de correlação entre o desempenho dos estudantes no Teste de Progresso e na prova teste de múltiplas escolhas da Residência Médica
É possível observar que houve correlação entre o desempenho geral no TP com o desempenho na prova de ME da RM em todas as turmas egressas de 2011 a 2014 analisadas.
Realizou-se ainda a análise em relação ao desempenho dos estudantes das turmas egressas de 2011 a 2014 em cada uma das cinco grandes áreas do conhecimento médico, CG, CM, GO, PE e SC, com o objetivo de se identificar a correlação entre as avaliações também ocorria entre as questões específicas das áreas de conhecimento. 2011 2012 2013 2014 r (Pearson) 0,5884 0,6097 0,6705 0,4756 95% CI 0,4352 a 0,7085 0,4645 a 0,7230 0,5406 a 0,7691 0,3042 a 0,6173 R squared 0,3462 0,3718 0,4495 0,2262 P (two-tailed) <0,0001 <0,0001 <0,0001 <0,0001 N pares 91 94 93 96
40
A figura 7, abaixo, apresenta a comparação das médias obtidas nas questões do TP e na RM em cada uma das cinco grandes áreas.
Figura 7: Comparativo da média de desempenho dos estudantes em cada área do conhecimento no Teste de Progresso e na prova teste de múltiplas escolhas da
A seguir, na tabela 3, é apresentada a análise descritiva do desempenho dos estudantes das turmas egressas de 2011 a 2014 por áreas de conhecimento médico no TP e na ME da RM.
Tabela 3: Análise descritiva do desempenho dos estudantes por área de conhecimento no Teste de Progresso e na prova teste de múltiplas escolhas da
Residência Médica CG CM GO PE SC TP RM TP RM TP RM TP RM TP RM Média 6,7 7,0 6,1 7,3 6,6 6,9 6,5 7,9 6,3 7,5 Desvio Padrão 1,396 1,250 1,367 1,518 1,321 1,337 1,486 1,223 1,373 1,213 Mínimo 1,5 2,5 2,0 3,1 1,5 3,8 2,0 3,8 1,5 2,5 Máximo 9,5 10,0 9,0 10,0 9,5 10,0 9,5 10,0 9,0 10,0
A tabela 4 apresenta a matriz de correlação entre o desempenho dos estudantes das turmas egressas de 2011 a 2014 por áreas de conhecimento no TP, assim como na ME da RM.
Tabela 4: Matriz de correlação entre o desempenho dos estudantes por área de conhecimento no Teste de Progresso e na prova teste de múltiplas escolhas da
Residência Médica CG CM GO PE SC r (Pearson) 0,0700 0,1648 0,1426 0,3710 0,2541 95% CI -0,0316 a 0,1702 0,0644 a 0,2618 0,0418 a 0,2405 0,2801 a 0,4553 0,1567 a 0,3466 R squared 0,0049 0,0271 0,0203 0,1376 0,0645 P (two-tailed) =0,1766 =0,0014 =0,0057 <0,0001 <0,0001 N pares 374 374 374 374 374
42
Observa-se, pela análise das questões por áreas de conhecimento médico, que a correlação entre as áreas não repete o resultado encontrado entre o desempenho geral dos estudantes da amostra no TP e na prova ME da RM e entre as turmas 2011 a 2014 separadamente, apresentados na tabela 5. Em todas as áreas do conhecimento, o coeficiente de correlação de Pearson (r) é fraco.
Foi analisado, então, o desempenho dos estudantes da amostra no TP em relação aos convocados na primeira lista classificatória, considerados aprovados, e aos reprovados no processo seletivo da RM ao se graduarem. Conforme pode ser observado na figura 8, a maioria dos reprovados apresentava desempenho abaixo da média no TP.
Figura 8: Desempenho dos estudantes no Teste de Progresso em relação à aprovação ou não na Residência Médica
Observa-se, portanto, que, de uma forma geral, os estudantes da amostra estudada que apresentaram um bom desempenho no TP apresentaram também um bom desempenho nas questões de ME da prova de acesso direto da RM ao se graduarem.
Dos 374 médicos que prestaram a seleção para RM e haviam realizado as seis provas do TP, 253 que obtiveram média na ME maior ou igual à média do TP foram aprovados e 38, reprovados. Dos que obtiveram média menor, 30 foram aprovados e 53, reprovados. Houve significância estatística entre o desempenho no TP, na prova de ME da RM e na prova de seleção para a RM (p<0,0001).
44
5. DISCUSSÃO
Como em outras partes do mundo, no Brasil, o processo seletivo para vagas de acesso à RM é bastante concorrido, sobretudo em instituições renomadas. Encontrar um parâmetro avaliativo do curso médico que tenha correlação com o desempenho na prova de seleção para RM é relevante para as instituições formadoras.
Este estudo correlaciona o desempenho entre o TP e a prova de seleção para RM. Embora o TP e a prova de seleção para RM tenham finalidades diferentes, a primeira prioritariamente formativa e a segunda somativa e classificatória, as duas provas pretendem avaliar a formação geral do médico.
A análise foi feita prioritariamente correlacionando a nota obtida nas cinco grandes áreas do TP com a prova de ME da RM, pois ambas avaliam, por meio de questões objetivas, o conhecimento em CG, CM, PE, GO e SC.
A grande maioria dos formados nas turmas deste estudo (93,4%) participou do processo para acesso às vagas de RM da própria instituição, considerada uma entre as melhores do país, e destes, apenas 5,2% não fizeram o TP todos os anos, permitindo as análises apresentadas e reforçando o interesse dos formandos de se especializarem e a qualidade da RM oferecida pela instituição.
O desempenho dos estudantes tanto no TP quanto na seleção para a RM demonstra a importância da construção cognitiva ao longo do curso, a fim de capacitá-los ao raciocínio diagnóstico e à proposição de condutas diagnósticas e terapêuticas adequadas para as situações do processo de saúde e doença apresentadas nas questões destas provas. Assim, a avaliação seriada do conhecimento e o fornecimento de "curvas de crescimento" dos estudantes apoiam a reestruturação dos currículos e suas melhorias contínuas3,27, o que é desejável também para o melhor desempenho dos egressos nas provas somativas, por vezes classificatórias, a que médicos precisarão se submeter.
O TP possibilita a análise crítica do desempenho estudantil no curso médico, pois, ao ser aplicado regularmente ao longo da graduação, permite a identificação pelo estudante de suas fortalezas e fragilidades ao longo de sua formação acadêmica42. Esse caráter longitudinal pode ser uma das justificativas para os estudantes que realizaram todos os seis TPs ao longo da graduação apresentarem médias maiores e desempenhos melhores na prova de ME da RM, comparados com os que não realizaram regularmente os testes, conforme apresentado na figura 2. O melhor desempenho pode ser também observado nas diferentes áreas, ainda que a correlação não tenha sido estatisticamente demostrada (tabela 4). Estes resultados ressaltam a importância da participação regular dos graduandos nos TPs, ainda que voluntariamente, como ocorre em várias escolas médicas22, inclusive naquela em que foi realizada a pesquisa.
Entre as expectativas e os aspectos práticos do TP, está a redução da ansiedade estudantil perante as avaliações somativas18. Esse elemento foi inicialmente destacado na Universidade de McMaster ao se evidenciar o estímulo que os graduandos apresentavam ao estudarem de forma contínua para se prepararem para os futuros exames médicos após o término do curso, como para as provas de licenciamento para o exercício da profissão que ocorre em vários países18. Não há documentação do mesmo efeito no desempenho de provas de seleção para RM, embora os resultados encontrados apontem um melhor desempenho na prova de ME da RM entre os alunos que fizeram os TPs regularmente ao longo do curso.
Pesquisas demonstram que os TPs valorizam o estilo de aprendizagem dos estudantes, assim como sua avaliação reflete o domínio de todo conhecimento médico necessário para a graduação26. Devem, também, ser seguidos de adequadas devolutivas sobre as respostas corretas e, dessa forma, permitir a reconstrução do hábito de memorizar os conteúdos das avaliações e a revisão do comportamento de estudo dos universitários, com foco nas correções das lacunas do conhecimento26. Este raciocínio não se restringe às escolas com exclusiva metodologia ativa de ensino e aprendizagem26. A instituição onde a pesquisa foi desenvolvida, por exemplo, utiliza um currículo modular, com integração intra e intermódulos de ensino.
46
O TP mostra-se como uma ferramenta importante na avaliação da aprendizagem dos estudantes, sendo capaz de apontar fragilidades dos currículos que poderiam não ser visíveis, utilizando outro instrumento avaliativo17. Ainda assim, algumas limitações podem ser identificadas, como o fato de ser um instrumento complexo, que exige a formação de uma equipe realmente comprometida com a execução do mesmo17. Essa é uma tarefa desafiadora e que requer dos docentes a produção de itens que não são diretamente relacionados com uma disciplina, mas que sejam produzidos para mensurar objetivos finais da formação em medicina17,27. Este deve ser também o papel das comissões que elaboram as provas de seleção da RM na instituição na qual o estudo foi realizado e em outras escolas médicas, a fim de construírem um instrumento que avalie com potencialidade os egressos que dominam habilidades e os conhecimentos cognitivos necessários para a prática médica de excelência.
A prova de RM, por sua vez, seleciona os melhores classificados para o ingresso na especialização médica desejada pelos egressos. Esse processo seletivo avalia conhecimentos, habilidades e atitudes dos estudantes e, de certa forma, como esses candidatos têm sido formados nas escolas médicas de origem. Como os TPs na instituição estudada são preparados por um consórcio e a RM por professores da própria escola, a correlação das provas poderia trazer, ainda, o benefício de diagnosticar possíveis deficiências na formação dos alunos ou na elaboração da prova de RM. No período do estudo havia blueprint para o TP, mas não havia para a prova de RM.
É importante ressaltar que a equipe que elabora os TPs realizados pelos estudantes avaliados nesta pesquisa foi composta por professores de nove escolas médicas e que os representantes da instituição nesse consórcio não são necessariamente os mesmos que atuam na comissão responsável por preparar os processos seletivos da RM. Apesar disso, este estudo identificou que houve correlação entre o desempenho dos estudantes no TP e na ME da RM. A correlação observada entre o desempenho nas duas avaliações reforça a qualidade das provas de seleção para RM preparadas pela comissão de diferentes professores da instituição renovada parcialmente a cada ano.
Muitos estudos sobre o raciocínio clínico demonstram que o conhecimento é um fator importante na construção da competência médica, por isso é necessário que as escolas médicas desenvolvam uma abrangente e sólida base dos conhecimentos essenciais à prática dos graduados17,20. O presente estudo ateve-se principalmente ao desempenho em provas objetivas, o TP e a prova ME da RM. Mesmo assim, observou-se que a maioria dos reprovados na prova de seleção da RM possuía um desempenho no TP abaixo da média, mesmo considerando as demais fases do processo seletivo para a RM (prova dissertativa, prova prática e avaliação do currículo).
Para avaliar a eficácia da estrutura e conteúdo dos currículos médicos, é importante identificar como o conhecimento dos estudantes progride no decorrer de sua formação médica. Apesar de muito se saber sobre o crescimento da aquisição dos conhecimentos curriculares, há poucos estudos que analisam o desenvolvimento do conhecimento sobre o currículo médico como um todo. Da mesma forma, há somente um estudo alemão43 que observou longitudinal e transversalmente os diferentes impactos que há na aquisição do conhecimento cognitivo entre os currículos que utilizam os TPs.
Quanto à comparação entre TP e provas somativas para graduados, esse estudo alemão43 correlacionou a evolução dos Testes com exames seriados necessários para a obtenção da licença profissional. Os autores demonstraram que os estudantes de medicina que apresentaram crescimentos ascendentes entre os TPs realizados durante a graduação apresentavam também melhores desempenhos nos exames nacionais do final de ciclos de formação de licenciamento da profissão médica. A correlação com o TP foi estabelecida, mesmo havendo provas orais no final do primeiro e no último dos três ciclos avaliativos43.
Segundo o estudo43, a importância na realização dos TPs deve ser valorizada na construção e na formação do conhecimento dos estudantes, entretanto, outras influências devem ser destacadas no sucesso do alto nível nestes tipos de exame, como a escola formadora, a influência de determinado docente na sua construção do conhecimento e a eficiência do currículo escolar.
48
A correlação de desempenho observada neste estudo entre o TP e a prova de seleção para a RM ressalta o caráter potencialmente somativo dos Testes como já ocorre em algumas instituições, embora outras utilizem os Testes simplesmente para monitorarem seus currículos ou para oferecer feedback formativo aos estudantes44.
O presente estudo envolvendo uma escola médica brasileira ressalta que os estudantes que participaram regularmente do TP, 88,2% dos egressos das quatro turmas estudadas, apresentaram desempenhos superiores na prova de ME da RM em relação aos que não participaram regularmente. Aqueles com participação regular apresentaram médias na prova de ME da RM superiores, quando comparadas com as provas do TP, mesmo quando comparado por áreas, corroborando com o estudo alemão que se refere à influência do TP em exames posteriores a sua realização.
É provável que outros fatores, como maior dedicação à avaliação de caráter seletivo e a dedicação aos estudos no período entre o TP, realizado no início do segundo semestre, e o processo seletivo para a RM, realizado no final do semestre, estejam também relacionados ao melhor desempenho na prova de ME da RM.
O desempenho no TP foi um indicador do desempenho na prova da RM, entretanto, destaca-se que na análise dos estudantes reprovados na prova de seleção da RM, muitos apresentavam médias maiores que a média geral, e, mesmo assim, não obtiveram vaga no programa de RM. Possivelmente, isso está relacionado à disputa por vagas muito concorridas na RM. Observa-se também que alguns foram aprovados na RM com médias menores que a média geral, fato possivelmente relacionado à baixa concorrência destas vagas de acesso direto.
6. CONCLUSÃO
O desempenho no TP realizado no último ano da formação médica pelos estudantes que participaram dessa avaliação regularmente, ao longo do curso, esteve relacionado ao desempenho no processo seletivo da RM.
Houve forte correlação do desempenho geral dos estudantes no TP e a prova de ME da RM, o que não pode ser igualmente demonstrado na análise por áreas.
Os estudantes com desempenho abaixo da média no TP foram mais reprovados no processo seletivo da RM.
50
7. REFERÊNCIAS
1. Luckesi CC. Avaliação da Aprendizagem Escolar. 19 ed. São Paulo, SP: Editora Cortez; 2008. 180 p.
2. Vianna HM. Avaliação educacional nos cadernos de pesquisa. Cadernos de Pesquisa [Internet]. 1992 [Acesso em: 13 Jan. 2018]; 80(fevereiro): 100-5. Disponível em:
http://publicacoes.fcc.org.br/ojs/index.php/cp/article/view/1008/1017
3. Hadji C. Avaliação desmistificada. Porto Alegre, RS: Editora Artmed; 2001. 136 p.
4. Depresbiteris L. O Desafio da Avaliação da Aprendizagem: dos fundamentos a uma proposta inovadora. São Paulo, SP: Editora Epu; 1989. 100 p.
5. Zeferino AMB, Passeri SMRR. Avaliação da aprendizagem do estudante. Cadernos Abem. 2007; 3:39-43.
6. Gimeno Sacristán J. La evaluación en la enseñanza. In: Gimeno Sacristán J, Pérez Gómez E. Comprender y transformar la enseñanza (334-397). 5ª ed. Madrid: Morata; 1996. P.334-97.
7. Carvalho RBF. Avaliação para aprendizagem: a articulação entre ensino, aprendizagem e avaliação (Mato Grosso - Brasil) [Internet]. [Lisboa]: Universidade de Lisboa; 2013 [Acesso em: 4 Mar. 2017]. Disponível em: http://repositorio.ul.pt/handle/10451/10699
8. Allal L, Cardinet J, Perrenoud P. A avaliação formativa num ensino diferenciado. Coimbra: Livraria Almedina; 1986. 306 p.
9. Moreno LR, Batista NA. Avaliação da aprendizagem em medicina: concepções e práticas docentes. In: Batista NA, Batista SH, Abdalla IG. Ensino em saúde:
visitando conceitos e práticas. 1ª ed. Ed. São Paulo: Arte & Ciência; 2005. p.303-16.
10. Perrenoud P. Avaliação: da excelência à regularização das aprendizagens: entre duas lógicas [Internet]. 1998 [Acesso em: 9 Fev. 2018]. Disponível em: https://www.google.com.br/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rj a&uact=8&ved=0ahUKEwiL7MrIydnTAhUCg5AKHSP7BHMQFggiMAA&url=http %253A%252F%252Fwww.aedmoodle.ufpa.br%252Fpluginfile.php%253Ffile%25 3D%25252F190343%25252Fmod_folder%25252Fcontent%25252F
11. Borges MC, Miranda CH, Santana RC, Bollela VR. Avaliação formativa e feedback como ferramenta de aprendizado na formação de profissionais da saúde. Medicina (Ribeirão Preto) [Internet]. 2014 [Acesso em: 17 Fev. 2018]; 47(3):324-31. Disponível em:
http://revista.fmrp.usp.br/2014/vol47n3/11_Avaliacao-formativa-e-feedback-como-ferramenta-de-aprendizado-na-formacao-de-profissionais-da-saude.pdf
12. Cruz E, Lopes B, Costa N. Avaliação formativa das aprendizagens e feedback na Formação Pós-Graduada de Professores em Portugal – articulando a investigação e práticas de formação. Indagatio Didactica [Internet]. 2015 [Acesso em: 28 Fev. 2017]; 7(1):176-95. Disponível em:
http://revistas.ua.pt/index.php/ID/article/view/3462
13. Holmboe ES. Faculty and observation of trainees’clinical skills: problems and opportunities. Acad Med. 2004; 79(1):16-22.
14. McMullan M, Endacott R, Gray MA, Jasper M, Miller CML, Scholes J, et al. Portfolios and assessment of competence: a review of the literature. J Adv Nurs. 2003; 41(3): 283-94.
15. Domigues RCL, Amaral E, Zeferino AMB. Autoavaliação e avaliação por pares: estratégias para o desenvolvimento profissional médico. Rev Bras Educ Med. 2007; 31(2):173-5.
52
16. Davis JD. Comparison of faculty, peer, self and nurse assessment of obstetrics and gynecology residentes. Obstet Gynecol. 2002; 99(4): 657-61.
17. Wrigley W, Van der Vleuten CPM, Freeman A, Muijtjens A. A systemic framework for the progress test: Strengths, constrains and issues: AMEE Guide nº 71. Med Teach. 2012; 34:683-97.
18. Van der Vleuten CPM, Schuwirth LWT. The use of progress testing. Perspect Med Educ. 2012; 1:24-30.
19. Swanson D, Holtzman K, Butler A, et al. Collaboration across the pond: the multi-school progress testing project. Med Teach. 2010; 32:480–5.
20. Verhoeven BH, Verwijnen GM, Scherpbier AFFA, Van der Vleuten CPM. Growth of medical knowledge. Med Educ. 2002; 36:711-17.
21. Norman G, Neville A, Blake JM, Mueller B. Assessment steers learning down the right road: impact of progress testing on licensing examination performance. Med Teach. 2010; 32(6):496-9.
22. Albanese M, Case SM. Progress testing: critical analysis and suggested practices. Adv in Health Sci Educ. 2016; 21:221-34.
23. Plessas A. Validity of progress testing in healthcare education. Int J Hum Soc Sci Educ. 2015; 2(8):22-33.
24. Sakai MH, Ferreira Filho OF, Almeida MJ, Mashima DA, Marchese MC. Teste de progresso e avaliação do curso: dez anos de experiência da medicina da Universidade Estadual de Londrina. Rev Bras Ed Med. 2008; 32(2):254-63.
25. Schuwirth L, Bosman G, Henning RH, Rinkel R, Wenink ACG. Collaboration on progress testing in medical schools in the Netherlands. Med Teac. 2010; 32:476-9.
26. Agrawal S, Norman GR, Eva KW. Influences on medical students´self-regulated learning after test completion. Med Educ. 2012; 46:326-35.
