Teste de Progresso incluído no calendário da Faculdade de Medicina:

Teste de Progresso incluído no calendário da Faculdade de Medicina:

Atividades didáticas no horário do Teste suspensas para que todos os estudantes participem

Coordenação do Teste de Progresso na

UFRJ

– Profa. Lúcia Azevedo

TESTE DE

2013

• 09 de outubro

2014

• 10 de setembro

2015

• 30 de setembro:

Teste de Progresso Nacional

organizado pela ABEM (Associação Brasileira de

Educação Médica), com participação do INEP

2016

• 01 de junho (passou p/ o 1

º

_{semestre p/ não}

coincidir com ANASEM e ENADE no 2

_semestre

2017

• 31 de maio

2018

• 23 de maio

UFRJ no Teste de Progresso - Núcleo RJ/ES

Grupo Gestor Regional

do TP RJ/ES (GGR)

Reuniões mensais

presenciais

(duração: 8-10 horas)

Coordenadora do TP

na UFRJ

• 8 Professores

(representantes

das 8 primeiras

faculdades a se

filiarem ao núcleo

TP RJ/ES)

• Prof. Lúcia Azevedo

(membro do GGR)

Teste de Progresso: o que é?

•

Prova anual

•

Múltipla escolha

•

120 questões (4 horas de duração)

•

Nível das questões: aluno ao final do curso médico

•

Todos os alunos (M1 a M12) fazem a mesma prova

M12 M11 M10 M9 M8 M7 M6 M5 M4 M3 M2 M1 _{30% de acertos} 80% de acertos

Teste de Progresso:

como é elaborada a prova?



A cada ano são formuladas 120 questões de múltipla escolha

(20 / área de conhecimento)



A escolha dos temas baseia-se numa

MATRIZ DE CONTEÚDOS (grandes

temas)

essenciais para o médico recém-formado.



Matriz elaborada em oficinas com professores de todas as áreas, das

faculdades integrantes do núcleo RJ/ES (2012-2013).

CLÍNICA

PEDIATRIA

CIRURGIA

GINECO/

OBSTETRÍCIA

SAÚDE

COLETIVA

CIÊNCIAS

BÁSICAS

ÉTICA MÉDICA inserida nas outras áreas



Questões formuladas por professores das 10 faculdades do núcleo TP-RJ/ES.



Discutidas inicialmente com os coordenadores nas respectivas faculdades.



Discutidas e selecionadas pelo Grupo Gestor do TP-RJ/ES (1 representante de

cada faculdade), ao longo de vários meses.

Características do Teste de Progresso:



Temas relevantes para a atividade profissional.



Questões no formato de casos clínicos (mesmo na área Básica).



Aborda situações práticas, com as quais o estudante se defrontará na vida

profissional.



Não há questões "de rodapé de

livro“.



Exige raciocínio clínico, aplicação de conhecimentos e não apenas

memorização.



O aluno entra em contato com questões diferentes daquelas com que está

acostumado, mobilizando recursos cognitivos.

Sabe

Sabe como

Demonstra

Faz

Teste de Progresso

Pirâmide de Miller



Gabarito Comentado

pretende:



fornecer informações que sejam assimiladas por alunos de todos os

períodos (mesmo que as questões sejam direcionadas ao aluno no final

do curso).



evidenciar conexões entre diferentes áreas do conhecimento.



O processo de elaborar e discutir questões (e o gabarito comentado)

contribui

para a qualidade do Teste e estimula o

desenvolvimento e integração docente

nas faculdades participantes.



Após a realização do Teste, a

discussão dos resultados

e a análise das

questões da prova

pelas coordenações de ensino

oferecem informações

valiosas para a

melhoria do Curso.

O Teste de Progresso como instrumento de

Avaliação do Estudante de Medicina

OBJETIVOS

 Medir

ganho de conhecimento e

habilidades (Avaliação Somativa)

 Oferecer subsídios

para o

estudante melhorar seu processo de

aprendizagem (Avaliação Formativa)

ATRIBUTOS

 Confiabilidade

:



Conteúdo abrangente e

representativo



Aplicado em várias fases do

estudante ao longo do curso



Questões formuladas e revistas em

conjunto por professores de diversas

faculdades

 Validade

: conteúdos relevantes para

a futura prática profissional.

 Impacto educacional

: maior, quanto

maior for o envolvimento de alunos e

professores

Para que serve o

Teste de Progresso?

Estudante

Faculdade

Feedback

Feedback

para o estudante

…



O teste é, em si, uma experiência de aprendizagem para o estudante: durante a

realização da prova, ao reler o caderno de prova, ao acessar o gabarito comentado,

ao discutir as questões com colegas e professores ...



Mesmo em um currículo com pouca ou nenhuma integração entre disciplinas, o

aluno estabelece conexões entre conhecimentos de diferentes áreas.

 Os alunos identificam seus

pontos fortes e fracos

e situam-se em relação aos

colegas do mesmo período.

 Estimula-se a

autocrítica

saudável e o

planejamento dos estudos.

 A cada ano que fazem o Teste, os alunos

avaliam a retenção de conteúdos

e

acompanham o progresso do seu conhecimento

.

...

durante

o processo de aprendizagem

e

não apenas ao final

do módulo, disciplina, curso

Feedback

para o estudante

 Alunos do 1

_{período acertam em média 30% do TP; no 12}

_{espera-se 80%}



Apesar de frustrante para muitos alunos dos períodos iniciais não saber

responder à maioria das questões da prova, é uma oportunidade de entrar em

contato com o universo profissional e vislumbrar a amplitude do

conhecimento a adquirir ao longo do curso, além de perceber seu

protagonismo neste processo de construção do conhecimento.



Alunos dos períodos intermediários conseguem responder a um número

progressivamente maior de questões, mas ainda se deparam com questões

que "quase" sabem responder.

F

eedback

para o estudante



Q

uando são abordados em aulas temas que

“caíram” no TP, os alunos

reconhecem este contato prévio, o que estimula a aprendizagem.



Alunos dos últimos períodos muitas vezes esquecem conteúdos

aprendidos anteriormente e resgatam este conhecimento no TP.

 Fazer o TP anualmente favorece a retenção e a conexão de

conhecimentos (quanto mais precocemente começarem a fazer o TP, mais

Feedback

para o estudante

do 12

o

_período

 Os alunos do 12

_{período não terão tempo de corrigir todas as deficiências}

eventualmente detectadas, antes de se formarem:

 deveria ter sido feito ao longo do curso,

 mas podem direcionar ações para minimizá-las.

•

Concursos para Residência Médica:

•

desempenho no TP pode situar o aluno em relação aos concorrentes.

•

Pontuação pela participação no TP em algumas instituições (p. ex.

Unicamp): 0,1 ponto / ano (6 anos = 0,6 pt)

Feedback

para a Faculdade

Planejamento de ações ao longo do curso

Pontos fortes e fragilidades do Currículo

Alunos que necessitam de reforço

Desempenho dos alunos no TP

A cada semestre, nossa Faculdade de Medicina diploma cerca de

Sem avaliação

Slide cedido pelo Prof. Valdes Bollela

1 Método de Avaliação

Slide cedido pelo Prof. Valdes Bollela

Sistema de Avaliação

Slide cedido pelo Prof. Valdes Bollela

Desempenho dos

estudantes

33,30% 32,08% 39,62% 42,78% 48,14% 51,03% 53,22% 55,49% 58,72% 64,51% 65,70% 66,38% 34,50% _35,18% 37,90% 40,20% 43,94% _43,53% 52,79% 54,33% 57,98% 57,93% 60,10% 63,06% 0,00% 10,00% 20,00% 30,00% 40,00% 50,00% 60,00% 70,00% 80,00% 90,00% 100,00% 0 1 2 3 4 5 6 7 8 9 10 11 12 13

Teste de Progresso Regional RJ/ES 2017 (UFRJ-FUNDÃO)

Evolução das Médias de Acerto% conforme o Ano da Graduação (Prova Total)

Médias 2016 Médias 2017 32,77% 35,55% 34,62% 37,19% 39,84% 40,61% 44,24% _44,49% 46,03% 47,25% 50,00% 53,65% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 0 1 2 3 4 5 6 7 8 9 10 11 12 Períodos da graduação

Teste do Progresso - 2017 (todas as faculdades do núcleo RJ/ES)

Evolução das Médias de Acerto% conforme o Ano da Graduação

TP

2017 Questões

M1 M2 M3 M4 M5 M6 M7 M8 M9 M10 M11 M12

25 alunos 14 alunos 66 alunos 45 alunos 86 alunos 62 alunos 51 alunos 37 alunos 28 alunos 65 alunos 74 alunos 55 alunos

BÁSIC 20 8,20 8,71 9,30 10,07 10,86 11,23 12,82 11,30 12,46 11,83 12,89 12,82 S COL 20 7,40 7,64 8,41 9,24 10,03 9,87 10,31 9,86 10,79 11,54 12,18 12,31 CLÍNIC 20 6,56 7,14 7,15 7,31 8,08 8,58 11,69 12,00 12,50 11,60 12,72 13,33 PEDIAT 20 4,88 4,93 5,50 5,47 5,95 5,77 8,51 9,27 10,57 10,05 10,32 11,98 GO 20 7,32 7,57 7,74 8,38 9,40 8,50 10,25 11,05 12,89 13,45 13,11 14,02 CIRUR 20 7,04 6,21 7,38 7,78 8,41 8,29 9,76 11,70 10,36 11,06 10,91 11,22 Prova Total 120 41 42 45 48 52 52 63 65 69 69 72 75 Média arredondada do no de questões corretas na Prova Inteira (120 questões), em cada período

100% 34,50% 35,18% 37,90% 40,20% 43,94 43,53% 52,79% 54,33% 57,98% 57,93% 60,10% 63,06% Média % de acertos na prova inteira, em cada período

Amplitude

%* 24 a 47% 26 a 45% 29 a 48% 19 a 55% 30 a 58% 30 a 53% 38 a 71% 43 a 65% 39 a 70% 36 a 81% 39 a 77% 42 a 78%

* _{Amplitude do % de acertos na Prova Inteira, em cada período}

Teste de Progresso 2017 - Média de acertos por área e na prova inteira (n

_{e %)}

0%

10%

20%

30%

40%

50%

60%

70%

80%

M1

M2

M3

M4

M5

M6

M7

M8

M9

M10

M11

M12

M9- Ginecologia e Obstetrícia M7 – Clín. Pediatr I M8 – Clín. Pediatr II M8- Cirurgia/ Ortopedia M9- Oftalmo/ Otorrino M4 - Propedêutica M5 – Med Interna I M6 – Med Interna II M7 – Med Interna III

M9- DIP M3 - AIS M5 – Epidemiol M6- Saúde e Trabalho M8- Administração e Planejamento em Saúde

TP RJ/ES -

2016

- UFRJ - DESEMPENHO POR PERÍODO POR ÁREA

M1 - Anatomia/ Biofísica/ Bioquímica/ Histologia/ Embriologia

M2 – Genética/ PCIs Sist Nervoso/ Cardiov e Resp

M3 - PCIs Digest/ Urinário/ Endócrino e Reprodutor/ M4- Microbiol/ Imuno/ Parasito/ Patologia M5 - Farmacologia M6 - Farmacologia II M6 – Psicologia Médica M7 – Patologia Forense

M9- Psiquiatria e Saúde mental / Medicina Legal No rodapé, disciplinas correlatas às áreas do TP e respectivos períodos em que são ministradas na UFRJ ( em 2016, antes da compactação curricular)

UFRJ - M12

média % de acertos por área do TP

2013

2014

2015

2016

2017

BÁSICA S COLET CLÍNICA PEDIATRIA GIN/OBST CIRURGIA Prova Total

2013 78,20% 77,50% 85,25% 77,05% 80,45% 75,45% 78,98% 2014 73,65% 78,40% 76,80% 72,95% 77,50% 56,35% 72,62% 2015 0,00% 73,00% 74,79% 72,54% 69,42% 73,50% 72,65% 2016 60,70% 64,20% 66,30% 63,90% 65,20% 78% 66,38% 2017 64,10% 61,55% 66,65% 59,90% 70,10% 56,10% 63,06% 0,00% 10,00% 20,00% 30,00% 40,00% 50,00% 60,00% 70,00% 80,00% 90,00%

TP NACIONAL 2015

ÍNDICE DE

AUSÊNCIA

Para ver todas as faculdades participantes , sair do modo apresentação

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% Faculdade

PARTICIPANTES:

Brasil inteiro (56 faculdades): 24.313 estudantes

Núcleo RJ/ES (8 Faculdades _ 11 campi): 3.933 estudantes (16,17% do total)

Pontuação em seleções p/ Residência Médica:

0,1 ponto por ano de participação no TP (6 anos =

0,6 pt): UFES, UNICAMP, Joinville, Botucatu,

algumas faculdades do Nordeste, entre outras.

Algu as fa uldades ofere e ô us

pela participação no TP, como por

exemplo, pontuação em:

• disciplina

• atividade complementar

• monitoria

M1

M2

M3

M4

M5

M6

M7

M8

M9 M10 M11 M12

TOTA

L

2013

5

14

21

24

9

43

18

52

36

16

40

22

300

2014 10

8

2

14

10

22

43

12

21

28

19

22

211

2015

0

24

36

20

2

5

22

39

8

14

30

44

244

2016 23

3

29

35

26

29

14

22

46

33

38

53

351

2017 26

15

68

48

90

63

54

37

29

65

74

55

624

0

100

200

300

400

500

600

700

26,01%

20,04%

23,50%

30,67%

52,00%

TESTE DE PROGRESSO INTERINSTITUCIONAL RJ/ES

PARTICIPAÇÃO DOS ESTUDANTES DA

UFRJ

2013

2014

2015

2016

2017

Aumentar a participação discente e o envolvimento docente é

fundamental para a Faculdade aproveitar as potencialidades do TP

Feedback

para a Faculdade



Desde 2016, coordenadores dos Internatos têm estimulado a participação dos

internos no TP (independente de a nota ser computada ou não):



com a participação mais expressiva dos internos foi possível identificar

temas da prova com menor número de acertos, fornecendo informações sobre:

•

a

qualidade

das

questões

(feedback

fundamental

para

o

aprimoramento do próprio Teste de Progresso)

•

temas que precisariam ser reforçados no curso (não apenas no



Acesso ao gabarito e resultados do TP no portal da edudata:

– Área do estudante (acesso com senha): apenas os resultados individuais do próprio

aluno e as médias do grupo.

– Área exclusiva do coordenador do TP em cada instituição (acesso com senha):

resultados de cada aluno da instituição.

Empresa de suporte ao Teste:

Teste de Progresso Interinstitucional:

• Impressão dos cadernos de prova, leitura óptica dos cartões de resposta,

resultados, psicometria, certificado de participação

Ref. Bibliográficas

1. Alves R, Aragão J, Azevedo L , Resende R, Vasconcelos C, Vianna M. Teste de Progresso Interinstitucional -

Grupo Gestor Regional ABEM RJ/ES. Anais do 51º Congresso Brasileiro de Educação Médica 2013. Recife.

2. Azevedo L, Vasconcellos; C, Aragão J, Vianna M, Aranha M, Rezende R, Herbert P, Alves R. Teste de

Progresso Interinstitucional. ABEM Regional RJ/ES: 1a. Edição. Anais do 52º Congresso Brasileiro de Educação Médica 2014. Joinville.

3. Azevedo L, Vasconcellos C, Angotti-Neto H, Sieiro L, Miranda M, Vianna M, Onofre P, Alves R. Elaboração de

itens: uma questão para o Teste de Progresso. Anais do 53º Congresso Brasileiro de Educação Médica 2015. Rio de Janeiro.

4. Brame C, Biel R. Test-Enhanced Learning: The Potential for Testing to Promote Greater Learning in

Undergraduate Science Courses. CBE—Life Sciences Education 2015; 14: 1–12.

5. Coombes L, Ricketts C, Freeman A, Stratford J. Beyond assessment: Feedback for individuals and institutions

based on the progress test. Med Teach 2010; 32: 486–490.

6. Pastura PSVC, Santoro-Lopes G. O aprendizado melhorado por provas. REBEM 2013; 37(3):429-433.

7. Perrenoud P. Avaliação: da excelência à regulação das aprendizagens. Entre duas lógicas. São Paulo: Artmed;

1999.183 p.

8. Pinheiro OL, Spadella MA, Moreira HA, Ribeiro ZMT, Guimarães APC, Almeida Filho OM, Hafner MLMB. Teste de

Progresso: uma ferramenta avaliativa para a gestão acadêmica. REBEM 2015; 39(1): 68-78.

9. Sakai M, Ferreira Filho OF, Almeida MJ, Mashima DA, Marchese MC. Teste de progresso e avaliação do curso:

dez anos de experiência da medicina da Universidade Estadual de Londrina. REBEM 2008; 32(2): 254-63.

10. Sakai MH, Ferreira Filho OF, Matsuo T. Avaliação do crescimento cognitivo do estudante de medicina: Aplicação do Teste de Equalização no Teste de Progresso. REBEM 2011; 35(4): 493-501.

11. Schuwirth LWT , Van der Vleuten CPM. The use of progress testing. Perspect Med Educ 2012; 1:24-30.

12. Tibério IFLC, Daud-Gallotti RM, Troncon LE, Martins MA. Avaliação de Habilidades Clínicas em Medicina. São Paulo: Atheneu; 2012. 315p.

13. Troncon LEA. Avaliação do estudante de medicina. Med Ribeirão Preto 1996; 29: 429-439.

14. Van der Vleuten CPM, Verwijnen GM. Fifteen years of experience with progress testing in a problem-based learning curriculum. Med Teach 1996; 18(2):103-9.

15. Wrigley W, van Der Vleuten, Muijtjens F. A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71. Med Teach 2012; 34: 683-97.

16. Yielder J, Wearn A, Chen Y et al. A qualitative exploration of student perceptions of the impact of progress tests on learning and emotional wellbeing. BMC Medical Education 2017; 17:148-157.

TESTE DE

PROGRESSO