Relação Prova Objetiva e Mini-CEX

Quadro 12 – Estrutura de correlação canônica.

Mini-CEX Prova Objetiva

Variáveis Coef. Variáveis Coef.

Q1 0,5990 DHSR 0,7269 Q2 0,1070 Sexualidade 0,1190 Q3 0,1176 Violência Institucional 0,0971 Q4 -0,2288 Gênero -0,0936 Q5 0,5657 Violência Sexual 0,1726 Q6 -0,0764 Concepção -0,1413 DES_GLOBAL 0,2275 Contracepção -0,0826 - - Aborto/Interrupção legal 0,5575 - - Mortalidade Materna 0,1492 - - DSTs_HIV -0,0477 % Var, Explicada 100,0 77,4

Realizada a análise dos coeficientes que compõem as variáveis canônicas do quadro 12, evidenciou-se que na metodologia Mini-CEX ela ponderou mais fortemente as questões Q1 (Anamnese = 0,5990) e Q5 (Relação Médico-Paciente = 0,5657), adicionando uma razoável carga do Desempenho Global (0,2275). Quanto à prova objetiva, a sua variável canônica destacou o tema DHSR (0,7269) e Aborto / Interrupção Legal (0,5575). Analisando a figura 10 observou-se uma significativa correlação positiva (r = 0,83, p<0,001) entre as duas variáveis canônicas. Portanto, é plausível afirmar-se que o aluno que obteve com alto escore (variável canônica) na Prova Objetiva tendeu a obter alto escore no Mini-CEX. Esta tendência foi verificada tanto no grupo SR quanto no grupo não SR.

SR Não SR -3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0

Escore Prova Objetiva

-3.5 -3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 E s c o re M IN I- C E X r=0,83 p<0,0001

Figura 10 – Correlação entre as principais variáveis canônicas do Mini-CEX e da prova objetiva. Observa-se uma significativa correlação positiva,onde quanto maior o escore obtido na prova objetiva, maior o escore obtido noMini-CEX.

5.2.6 Avaliação do componente curricular “Saúde Reprodutiva”

Durante o período de 2006.2 a 2011.2, 331 alunos cursaram o componente curricular eletivo Saúde Reprodutiva. Desse contingente, 234 alunos (70,7%) responderam o formulário de autoavaliação quanto a sua participação na disciplina de saúde reprodutiva.

Os dados apresentados na figura 11 representam as impressões dos estudantes acerca de sua autoavaliação quanto ao conhecimento sobre os diversos temas abordados no componente curricular “Saúde Reprodutiva”, antes e depois de cursá-lo. Para fins de análise estatística, foi aplicado o teste de Wilcoxon com o objetivo de comparar a existência de diferença significativa entre as informações fornecidas pelos alunos. Para todas as temáticas consideradas, observou-se

diferenças estatísticas significantes (p<0,05) entre as informações prestadas pelos estudantes em relação ao conhecimento antes e depois de cursar a disciplina.

A diferença na autoavaliação dos alunos sobre seu conhecimento antes e depois de cursar o componente curricular “Saúde Reprodutiva” pode ser percebida claramente na figura 11 onde as frequências de alunos que avaliaram seu conhecimento “baixo” ou “regular” antes de cursar o componente curricular “Saúde Reprodutiva” decresceram significativamente, ao passo que as frequências de “bom” e “excelente” aumentaram após a participação na disciplina.

Figura 11 – Autoavaliação dos estudantes em relação ao conhecimento sobre as diversas temáticas abordadas na disciplina “Saúde Reprodutiva”, antes e após a participação.

Tomando-se por base as respostas dos estudantes nas entrevistas semiestruturadas sobre a avaliação da disciplina “Saúde Reprodutiva”, realizamos uma análise exploratória e semiquantitativa utilizando a ferramenta “Wordle” para construção de nuvens de palavras. Do total de 234 alunos no período 2006-2011, um total de 207 respondeu o questionário, sendo esse o conjunto de respostas empregado para análise através do “Wordle”. As figuras 12 e 13 apresentam as nuvens de palavras relativas aos “pontos positivos” e “pontos negativos” da disciplina, respectivamente, conforme as opiniões dos estudantes.

Figura 12 – Demonstração visual com a ferramenta Wordle sobre os pontos positivos mais frequentemente relatados pelos estudantes, em relação ao componente curricular “Saúde Reprodutiva”.

Observa-se um destaque significativo para os “professores” e questões relativas aos processos pedagógicos utilizados na “disciplina”, como os “temas abordados”, “avaliação” formativa, “debates”, “discussão”, “pesquisa” e os “trabalhos” realizados. Isso reforça a importância do adequado planejamento didático- pedagógico para o êxito da implementação de componentes curriculares inovadores. Adicionalmente, sobressai o reconhecimento dos alunos acerca da importância da disciplina para a discussão de temas como “humanização”, “violência”, “gênero” e “realidade”, o que vem corroborar os objetivos da proposta da disciplina “Saúde Reprodutiva” e do modelo pedagógico escolhido.

Figura 13 – Demonstração visual com a ferramenta Wordle sobre os pontos negativos mais frequentemente relatados pelos estudantes, em relação ao componente curricular “Saúde Reprodutiva”.

Já em relação aos aspectos considerados negativos na visão dos estudantes, a representação visual das opiniões mais frequentemente relatadas demonstra um nítido contraste com a representação acerca dos pontos positivos. Percebe-se que os aspectos relacionados à “participação” dos “alunos” assume importância central nessa análise. Além de “descompromisso”, os estudantes destacam aspectos relacionados à operacionalização da disciplina e que certamente poderiam contribuir para o envolvimento considerado insatisfatório. Dentre esses aspectos aparecem o “horário” desfavorável em que acontecem as atividades (período intermediário), existência de poucas atividades “práticas”, “repetição” de alguns temas (como “gênero”) e insuficiente discussão de outros (como saúde “masculina”).

No instrumento de avaliação, foi também solicitado aos estudantes que falassem sobre suas impressões gerais acerca da disciplina “Saúde Reprodutiva”, além de sugestões para uma melhor operacionalização da mesma. Sobre esses dois tópicos, procedemos a análise exploratória do conjunto das falas também com a ferramenta Wordle, resultando nas representações apresentadas nas figuras 14 e 15.

Figura 14 – Demonstração visual com a ferramenta Wordle sobre as impressões mais frequentemente relatadas pelos estudantes, em relação ao componente curricular “Saúde Reprodutiva”

Observa-se novamente um destaque para a importância dos temas abordados no componente curricular optativo para a formação e aquisição de habilidades necessárias à prática profissional, destacando-se: sexualidade, aborto, gênero, violência e humanização na atenção à saúde. Por fim, enaltece a iniciativa como produtiva, importante e a recomendação para ser cursada por outros colegas do curso de medicina.

Figura 15 – Demonstração visual com a ferramenta Wordle sobre as sugestões apresentadas pelos estudantes, em relação ao componente curricular “Saúde Reprodutiva”.

Como sugestão para uma melhor operacionalização da disciplina de saúde reprodutiva sobressai a recomendação para mudança do horário da atividade como uma medida que irá contribuir com a diminuição do cansaço dos alunos ao mesmo tempo em que aumentaria o rendimento, o interesse e a participação deles nas atividades desenvolvidas. Adicionalmente, sugeriu-se aumentar o número de atividades práticas com o objetivo de fortalecer o desenvolvimento de habilidades, tornando o processo de ensino em saúde sexual e reprodutiva mais interessante. Por fim, identifica-se a sugestão de tornar o componente optativo em obrigatório durante a graduação de medicina.

5.2.7 Avaliação de satisfação com o método avaliativo OSCE

Dos 121 alunos do internato de tocoginecologia que participaram das sessões de OSCE, 74 alunos (61,15%) responderam o formulário de avaliação da prova prática.

A figura 16 apresenta as frequências de respostas de acordo com a Escala Likert de cinco pontos (1 – Péssimo; 2 – Ruim; 3 – Regular; 4 – Bom e 5 – ótimo), em relação aos seguintes parâmetros avaliados: organização geral da prova, instruções para as tarefas a serem cumpridas, adequação das tarefas solicitadas, complexidade das tarefas, tempo disponível para as tarefas, dificuldades das questões, qualidade do feedback fornecido.

Figura 16 – Avaliação dos estudantes quanto à operacionalização do método OSCE.

Analisando-se a figura acima, observa-se que, para todos os parâmetros considerados, a avaliação foi considerada boa ou excelente por mais de 75% dos estudantes. A despeito da avaliação satisfatória, percebe-se que alguns parâmetros necessitam ser aprimorados, como é o caso da orientação prévia sobre as instruções da prova, melhor adequação das tarefas solicitadas e avaliação do grau de dificuldade das estações, parâmetros que foram avaliados como regular ou ruim por cerca de 18% dos estudantes.

Na figura 17 são apresentadas as respostas dos estudantes acerca da satisfação com a participação nas sessões de OSCE e sobre o grau de estresse percebido, de acordo com as três dimensões avaliadas e utilizando a escala Likert de cinco pontos (1-mínimo e 5-máximo).

Figura 17 – Avaliação da satisfação dos estudantes com o método OSCE e nível de estresse percebido durante a prova.

Os estudantes declararam elevada satisfação em participar da avaliação com o método OSCE, a despeito dos níveis significativos de estresse percebidos durante a prova e de cerca de metade deles declararem insatisfação com seu desempenho no exame.

Na avaliação qualitativa sobre os aspectos positivos detectados em relação ao método OSCE, utilizando-se como estímulo “o que de fato foi bom e relevante para a sua formação”, sobressaíram duas categorias relacionadas ao processo de ensino-aprendizagem e à organização da avaliação.

Quadro 13 – Análise qualitativa das respostas dos estudantes sobre “aspectos

positivos” em relação ao método OSCE.

Categorias Subcategorias Unidades de

Análise

Processo de ensino- aprendizagem

Método que permite verificar as

competências técnicas e relacionais do aluno

14

Método que favorece o

desenvolvimento de atitudes e tomada de decisões

18

Vivência de situações reais do cotidiano médico

10 Promove capacitação para processos

seletivos que utilizam avaliação prática

24 Promove feedback oportuno para guiar

o aprendizado

8

Processo de

organização da prova

Atuação dos atores 5

Escolha dos temas e elaboração das estações

16

Comprometimento da equipe 4

Em relação à primeira categoria, os estudantes percebem o método OSCE como adequado para verificar as competências técnicas e relacionais, além de favorecer o desenvolvimento de atitudes e a tomada de decisões durante o atendimento. Esses aspectos estão ilustrados nas seguintes falas:

“A prova abordou assuntos de grande relevância ..., possibilitando a avaliação dos conhecimentos adquiridos ao longo da faculdade. Esse tipo de prova tem uma sensibilidade maior para avaliar vários aspectos do conhecimento do aluno, incluindo ... o comportamento, a ética e a postura diante de determinadas situações, o que geralmente não é avaliado nas provas tradicionais (estudante ♀, 25 anos)”.

“É uma prova na qual mostramos o que fazemos todos os dias, ou seja, atender pacientes. Então é o local ideal para vermos em que aspectos ainda estamos errando. Estava bastante organizado e as informações que nos passaram em cada estação foi o suficiente para desenvolvê-la(estudante ♀, 24 anos)”

“...foi muito relevante para minha formação ter participado... tive a oportunidade de colocar em prova os pontes fortes e fracos do meu próprio

aprendizado, de modo tal a apontar os assuntos que deveria aprofundar em meu estudo individual(estudante ♂, 23 anos)”

Outros aspectos também destacados foram o potencial da prova de suscitar a discussão e a vivência sobre situações reais da prática médica, com ênfase no feedback imediato. Tais aspectos favorecem a aprendizagem mais significativa, conforme destacado nas falas seguintes:

“Os assuntos abordados nos fizeram pensar em aspectos práticos nos quais muitas vezes não pensamos. A discussão final foi muito útil para sedimentar alguns conhecimentos e adquirir outros(estudante ♀, 25 anos)”.

“A atividade nos põe em situações que iremos nos deparar durante o exercício da profissão. Isso é um aspecto positivo. Sabemos que estamos em uma situação fictícia, mas que estamos sendo avaliados e orientados para que quando situação semelhante ocorra de fato, saibamos como lidar da melhor forma possível(estudante ♂ 27 anos)”

“Avaliação muito bacana e essencial à formação do médico. Os temas foram muito criativos e de fato compatíveis com situações reais do cotidiano(estudante ♀, 26 anos)”.

Um ponto amplamente destacado pelos estudantes diz respeito ao potencial do método de favorecer a capacitação para a participação futura em processos seletivos, como o da Residência Médica. Tal observação adquire importância crucial no contexto em que foi desenvolvida a pesquisa, visto que a obtenção de sucesso na seleção para a Residência Médica constitui-se, atualmente, no objetivo mais almejado por estudantes do Internato, conforme se observa nas seguintes falas:

“Oportunidade para fazer raciocínio clínico e ter controle emocional para as provas de residência (estudante ♂, 25 anos)”.

“Permite um treinamento para as provas práticas e para a vida (estudante ♀, 26 anos)”.

“A oportunidade de por em prática meus conhecimentos, simulando situações que eu poderei me deparar no dia a dia como profissional médico. Além disso, esse estilo de avaliação é cobrado em concursos de residência, já nos orientando para o que poderemos nos deparar em tais concursos. Também é interessante a interação com os pacientes estimulando nossa reflexão sobre nossas dificuldades, medos, e o que pode ser melhorado nesse relacionamento (estudante ♂, 24 anos)”.

Na avaliação qualitativa sobre os aspectos negativos detectados em relação ao método OSCE, utilizando-se como estímulo “o que poderia ter sido melhor”, emergiu uma categoria relacionada ao processo de organização da prova, com diversas subcategorias relacionadas à escolha dos temas, conforme apresentado no quadro seguinte.

Quadro 14– Análise qualitativa das respostas dos estudantes sobre “aspectos

negativos” em relação ao método OSCE.

Categoria Subcategorias Unidades de

análise

Processo de

organização da prova

Escolha dos temas abordados 13 Grau de dificuldade das estações 7 Orientação e tempo para as tarefas 22 Capacitação dos atores e avaliadores 22 Feedback pouco produtivo 5

Em relação às estações do OSCE, os alunos chamam a atenção para a escolha dos temas abordados, enfatizando que alguns deles não são prevalentes na programação prática do internato. Esses aspectos estão ilustrados a seguir:

“Os casos avaliados no OSCE não são bem trabalhados durante o rodízio, apesar de serem casos importantes para nossa formação (estudante ♂, 26 anos)”.

“Creio que o assunto cobrado não foi visto na prática. Isso não diminui sua importância e necessidade (estudante♀, 25 anos)”.

“Achei que os assuntos abordados não fazem parte dos mais comuns encontrados na prática médica, e alguns saíram um pouco do foco do médico generalista (...a estação sobre infertilidade ... exigia conhecimento específico e ampliado sobre o assunto) (estudante♀, 24 anos).”

Com relação ao desempenho das tarefas nas estações, alguns alunos chamaram a atenção para algumas dificuldades, como:

“Um pouco mais de clareza em alguns comandos, que devem ser apresentados de forma sucinta, da forma mais objetiva possível (estudante ♀, 23 anos)”.

“Pouco tempo para o desenvolvimento das tarefas. Por exemplo, não consigo considerar nenhum profissional dando a notícia a uma gestante, em um serviço de pré-natal, de que ela é HIV positivo, com todas as demais informações necessárias e respostas às dúvidas, em apenas 5 minutos (estudante ♀, 25 anos).”

“Acho que um intervalo um pouco maior entre as estações ajudaria a acalmar mais, e dar tempo de parar um pouco antes de se concentrar em outro caso (estudante ♂, 24 anos)”.

“Sete minutos para ler o caso e fazer tudo o que os professores querem que você faça na ficha de avaliação. Lembrando que os tópicos solicitados nem sempre são realizados na rotina dos ambulatórios (estudante ♀, 32 anos).”

Um aspecto também destacado pelos alunos foi relacionado à orientação sobre as tarefas e os comandos antes da avaliação, argumentando eles que o adequado esclarecimento antes do exame poderia favorecer um melhor desempenho dos mesmos:

“Poderia ser dado mais esclarecimento ou deixar um pouco mais de tempo para ler o caso clínico, pois ajudaria bem mais no raciocínio clínico (estudante♀, 26 anos)”.

“A orientação poderia ser melhor (estudante♂, 28 anos)”.

“Orientação antes da prova poderia ser mais emocional, digo, mais completa e esclarecedora (estudante♀, 27 anos)”.

Outras questões enfatizadas pelos estudantes disseram respeito à capacitação dos atores, avaliadores e a posição dos avaliadores em algumas estações de frente para o aluno. Tal observação adquire importância para o aprimoramento da operacionalização dessa metodologia avaliativa no internato:

“Alguns atores poderiam ter sido mais bem instruídos (estudante ♀, 28 anos)”.

“Os atores não são muito bem preparados para a situação. As instruções muitas vezes não são claras ou completas (estudante ♂, 27 anos)”.

“Melhor preparo de alguns atores (alguns perguntavam repetidas vezes sobre informações que já foram fornecidas, outros não estavam nem prestando atenção ao que o avaliando estava dizendo) (estudante ♂, 26 anos)”.

“A presença do avaliador ainda precisa ser revista, uma vez que ao entrar na sala ainda estamos vendo ele. O ideal seria ele estar escondido e somente após começar a consulta se posicionar de forma silenciosa atrás do candidato...Além disso, faz-se necessário um treinamento mais específico com os ‘atores’ para deixar o contexto situacional ainda mais parecido com a nossa futura realidade (estudante ♂, 26 anos)”.

“Acho que o ideal seria os avaliadores estarem escondidos, simulando uma situação real, se possível (estudante ♀, 25 anos)”.

No que tange à forma como foi dado o feedback, os alunos chamaram a atenção para alguns aspectos:

“Não tenho muito que criticar, mas talvez um ‘feedback’ mais organizado, com mais calma (estudante ,♀, 25 anos)”.

“Poderia ser dado um feedback rápido em cada estação imediatamente após a realização da mesma (estudante ,♀, 24 anos)”.

“Acho que o único ponto negativo foi o feedback ao final. Apesar das estações terem sido discutidas, acho que deveríamos ter acesso à nossa avaliação para saber onde poderíamos ter ido melhor (estudante ♂, 23 anos)”.

“Talvez uma melhor abordagem durante a explanação do feedback pudesse engrandecer ainda mais o processo (estudante ♂, 29 anos)”.

5.2.8 Avaliação de satisfação com o método avaliativo Mini-CEX

Conforme já anteriormente destacado, 61 alunos foram avaliados com o Mini-CEX, em dois momentos distintos. Nas duas ocasiões, tanto os alunos como os avaliadores forneceram uma nota a respeito do grau de satisfação com a avaliação empregada, sendo os resultados apresentados a seguir.

Na tabela seguinte observa-se que o grau de satisfação dos avaliadores com a aplicação do Mini-CEX foi significativamente superior no grupo de estudantes que cursou o componente curricular “Saúde Reprodutiva”, em relação ao grupo não SR. Por outro lado, quando se considerou a percepção dos estudantes sobre a satisfação com o Mini-CEX, não foram observadas diferenças estatisticamente significativas entre os grupos SR e não SR.

Tabela 15 – Autoavaliação dos estudantes e escores de satisfação dos avaliadores

de acordo com a satisfação com o método Mini-CEX, de acordo com os grupos SR e não SR. Satisfação com a Avaliação Grupo SR (n = 46) Grupo não SR (n = 15) p Avaliador 8,24 ± 0,09 (8,07 -8,41) 7,71 ± 0,20 (7,33 -8,10) 0,012 Estudante 8,00 ±0,10 (7,80 -8,20) 7,47 ± 0,23 (7,01 -7,93) 0,062

Grupo SR (estudantes que cursaram o componente curricular optativo Saúde Reprodutiva) e grupo não SR (estudantes que não cursaram o componente curricular citado). Resultados apresentados como média ± erro padrão (intervalo de confiança 95%).