RESIDENTS
Gleisse Aguiar Silva De Almeida a,*, Teresa Neumann B. Dantas Fabricio a,
Josair Custodio De Mesquita b, Robinson Dias De Medeirosb, Beatriz Aguiar Da Silva Carvalho,c Ana Katherine Gonçalvesa,b
a
Programa de Pós graduação em Ensino na Saúde - Universidade Federal do Rio Grande do Norte – UFRN. Natal (RN), Brasil.
b
Departamento de Toco-ginecologia - Universidade Federal do Rio Grande do Norte – UFRN. Natal (RN), Brasil.
c
Estudante do Curso de Medicina da Universidade Federal do Rio Grande do Norte – UFRN. Natal (RN), Brasil.
*
Autor Correspondente
Gleisse Aguiar Silva De Almeida
Rua Santa Luzia, 1074, Casa 35 – Nova Parnamirim - Parnamirim RN, Brazil Zip code 59151-400, Brasil.
Phone: 55-84-99985-5314 Fax: 55-84-32224131 E-mail: gleisseaguiar@hotmail.com
40 RESUMO
OBJETIVO: Analisar e aplicar o Operative Performance Rating System (OPRS) como instrumento de avaliação em cenários reais de prática cirúrgica ginecológica a fim de avaliar alunos da graduação em medicina e residentes, como complementação dos métodos avaliativos já existentes. METODOLOGIA: Estudo transversal, descritivo, quantitativo que avaliou o desempenho de estudantes e residentes de ginecologia obstetrícia, durante a execução de cirurgias ginecológicas em hospital universitário. Os alunos foram avaliados de acordo com os escores obtidos nos itens do OPRS (anatomia; instrumental cirúrgico; fluxo da cirurgia, interação com a equipe e desempenho global). O software Statistical Package for the
Social Sciences, versão 21, foi utilizado para análise dos dados, aplicando Análise
de Variância, teste de Tukey e teste t de student. RESULTADOS: Comparando as médias das variáveis dos itens do OPRS, observou-se uma diferença entre as médias nos itens da avaliação com o período de graduação e residência (p < 0,001). Entre os graduandos, evidenciou-se diferença nas médias dos itens da avaliação (p < 0,05), exceto para interação (p < 0,108). Para os residentes, a análise apresentou diferença nas médias dos itens da avaliação relacionadas ao tempo de residência médica (p<0,001). CONCLUSÃO: O uso do OPRS no processo de avaliação de residentes e graduandos possibilita uma diferenciação entre os níveis de conhecimento, permitindo a monitorização do progresso de acordo com o tempo de estudo oferendo ainda um feedback imediato sobre o desempenho na prática cirúrgica.
PALAVRAS-CHAVE: Avaliação Educacional; Internato e Residência; Centros cirúrgicos; Procedimentos Cirúrgicos em Ginecologia.
41 ABSTRACT
OBJECTIVE: To analyze and apply the Operative Performance Rating System (OPRS) as a tool of evaluation in real scenarios of surgical practice, to evaluate undergraduate students and residents, as a complement to the existing evaluation methods. METHODS: Cross-sectional, descriptive, quantitative study that assessed the performance of students and residents during the execution of gynecological surgeries in a university hospital. The students were evaluated according to the scores obtained in the OPRS items (anatomy, surgical instruments, surgery flow, interaction with the team and overall performance). The software Statistical Package for the Social Sciences, version 21, was used to analyze the data, applying Analysis of Variance, Tukey test and student t-test. RESULTS: Comparing the means of the variables of the OPRS items, a difference was observed between the methods in the evaluation items according to to the graduation and residence period (p <0.001). Among the undergraduates, there was a difference in the means of the evaluation items (p <0.05), except for interaction (p <0.108). For the residents, the analysis showed a difference in the means of the evaluation items related to the medical residence time (p <0.001). CONCLUSION: The use of OPRS in the evaluation process of residents and undergraduates allows a differentiation between levels of knowledge, allowing the monitoring of progress according to the study time and offering immediate feedback on the performance in the surgical practice.
42 INTRODUÇÃO
O desenvolvimento das habilidades necessárias para a formação médica é um processo que requer tempo e desenvolvimento gradual de melhorias no desempenho individual através do exercício da prática clínica ou cirúrgica.1 Um ponto fundamental para o processo de aprendizado consiste não apenas em ensinar, mas, sobretudo, em saber avaliar o aprendizado dos estudantes.2 A avaliação de desempenho e habilidades é considerada como o principal fator que induz os estudantes à aprendizagem,3 fornecendo direcionamento e motivação para os estudos, como também, proteção às pacientes.2
O processo de avaliação faz parte de todas as fases do desenvolvimento profissional e é essencial para qualquer nível de aprendizado, desde os acadêmicos, até os médicos residentes,2 visto que os estudantes tendem a aprender principalmente os assuntos sobre os quais serão avaliados.4 No contexto do ensino da Ginecologia e Obstetrícia, não é diferente: os métodos avaliativos também são essenciais, uma vez que, não apenas conhecimentos clínicos devem ser avaliados, mas também, habilidades para procedimentos e comportamento no centro cirúrgico.5,6
Na perspectiva do ensino atual, baseado em competências, a avaliação dos estudantes se torna mais importante ainda, visto que estas competências não são conquistas, mas sim, hábitos de aprendizagem ao longo da vida.7 E essa aprendizagem, por sua vez, é guiada pela avaliação,2 cujos objetivos são pré- definidos de acordo com as Diretrizes Curriculares Nacionais para o Curso de Medicina (DCN)8 e a Comissão Nacional de Residência Médica (CNRM)9.
Nesse contexto, a CNRM apresenta algumas competências e habilidades que servem de guia para as Residências Médicas em Tocoginecologia, como por exemplo, para o residente do primeiro ano (R1): procedimentos cirúrgicos em afecções benignas no trato genital inferior e urinário, cirurgias vaginais e abdominais eletivas de pequeno e médio porte, incluindo situações de urgência. Para os residentes do segundo ano (R2), acrescentam-se as cirurgias mamárias de pequeno porte, o auxílio em cirurgias para o tratamento de neoplasias malignas de mama, cirurgias de pequeno e médio porte no tratamento doenças ginecológicas malignas e procedimentos diagnósticos e terapêuticos laparoscópicos e histeroscópicos. O residente do terceiro ano (R3), por sua vez, deve atuar, além dos procedimentos
43 anteriores, em cirurgias por via vaginal, cirurgias vaginais e aabdominais para correção de incontinência urinária e em cirurgias para o tratamento do câncer ginecológico em estádios iniciais, bem como, devem fazer o seguimento pós- tratamento.9
Em relação aos graduandos, as Diretrizes Curriculares Nacionais apresentam apenas competências gerais tais como atenção à saúde, tomada de decisões, comunicação, liderança, etc, ou seja, não são detalhadas nas DCNs, as habilidades e competências em tocoginecologia necessárias para o estudante em formação.8
Todavia, não basta apenas seguir essas diretrizes e ensinar, é preciso avaliar. Habilidades básicas devem ser avaliadas e checadas após cada procedimento, fato este que pode auxiliar muito na prevenção de omissões e erros, bem como, permitir a correção de imperfeições de imediato.10,11
A avaliação desempenha, portanto, um papel fundamental para auxiliar os médicos e estudantes de medicina a identificar e responder às suas próprias necessidades de aprendizagem.2 Entretanto, o maior desafio para os educadores médicos ainda é avaliar o desempenho dos estudantes durante os procedimentos cirúrgicos.12,13 Momentos de ensino de qualidade só serão realizados quando a ênfase for colocada na preparação, instrução útil durante o procedimento e feedback pós-operatório.14
A avaliação seguida de feedback encoraja os estudantes e professores a trabalharem juntos para melhorar o entendimento de um conteúdo, pois um feedback efetivo é positivamente relacionado com o sucesso, entretanto, se for de má qualidade, poderá não ter o efeito esperado ou mesmo prejudicar o aluno.15
Apesar de várias metodologias terem sido implantadas no processo ensino- aprendizagem em cirurgia, atualmente não existe uma ferramenta padronizada de avaliação do desempenho operatório de estudantes nos centros cirúrgicos dos hospitais universitários16. A implantação de uma ferramenta apropriada parece ser essencial para a avaliação objetiva de competências desses estudantes.17,18
É essencial a adoção de um método avaliativo de habilidades cirúrgicas com critérios objetivos e, neste trabalho, é proposto de forma inicial o uso do Operative
Performance Rating System (OPRS), um sistema de avaliação de desempenho
durante procedimentos cirúrgicos. Esta ferramenta avaliativa inclui um conjunto de instrumentos específicos e métodos recomendados para a avaliação de estudantes em treinamento, com o propósito de permitir ao professor observar e julgar o
44 desempenho individual dos alunos em diferentes cirurgias.19 Além disso, permite avaliá-los de acordo com as competências de cada nível de aprendizado. Neste estudo, tais competências estão em conformidade com as DCN e as orientações da CNRM (Resolução nº 02/2006), para cada nível em que o estudante se encontra.8,9
O objetivo deste trabalho foi analisar e aplicar o OPRS em cenários reais de prática cirúrgica ginecológica, tendo como propósito a avaliação dos alunos da graduação em medicina e residentes, complementando os métodos avaliativos já existentes em cada serviço universitário ou de residência médica.
MÉTODOS
Estudo de corte transversal, descritivo, quantitativo, realizado com estudantes de graduação em medicina e residentes em tocoginecologia, durante a execução de cirurgias ginecológicas em hospital universitário no período de outubro de 2016 a outubro de 2017. Foram incluídos graduandos de ginecologia do quinto (G1) e sexto (G2) ano do curso de medicina e residentes de ginecologia do primeiro (R1), segundo (R2) e terceiro (R3) ano, que participaram de cirurgias ginecológicas e que aceitaram voluntariamente participar do estudo; sendo, portanto, uma amostra por conveniência – baseada no número de graduandos e residentes que estagiavam pelo setor. Foram excluídos os graduandos abaixo do décimo período e residentes que estivessem em estágio no setor do centro cirúrgico provenientes de outra instituição.
Foi utilizado o instrumento avaliativo Operative Performance Rating System (OPRS), que é um sistema de avaliação do desempenho operatório, desenvolvido e refinado pelo Departamento de Cirurgia da Southern Illinois University School of
Medicine, Springfield (USA) e inclui um conjunto de métodos recomendados para
avaliação do desempenho de estudantes durante procedimentos cirúrgicos, independentemente do seu nível de formação.18,19,20,21,22 Este instrumento baseia-se no Objective Structured Assessment of Technical Skill (OSATS), um sistema de avaliação objetiva e estruturada de habilidades técnicas para cirurgia. O OSATS é um método de avaliação e pontuação confiável, validado na Universidade de Toronto, para avaliar as habilidades de estudantes em treinamento; composto por uma Escala de Likert de 5 itens (1 = ruim; 2 = razoável; 3 = bom; 4 = muito bom e 5 = excelente), e com parâmetros para avaliação comportamental descritos nos itens 1, 3 e 5.23
45 No OPRS, adaptação do OSATS, cada instrumento inclui quatro itens específicos de habilidades técnicas referentes ao procedimento, o que representa competências cirúrgicas gerais, como Conhecimentos de Anatomia e dos Tempos Operatórios; Conhecimento e Manuseio do Instrumental Cirúrgico; Fluxo da Cirurgia; Interação com Seus Pares, Anestesiologista, Equipe de Enfermagem, Paciente e Familiares19. O escore total deste instrumento de avaliação varia de 4 a 20 pontos,onde quanto mais próximo de 20, melhor será o aluno.18, 20, 22, 23
O instrumento permite, ainda, o registro de circunstâncias atenuantes que podem dificultar a realização do procedimento cirúrgico (o que diminuiria o escore de cada item de habilidade) como por exemplo: cirurgias prévias, obesidade, se a cirurgia foi de emergência ou de revisão.19 O OPRS deve ser preenchido por cirurgiões após observação de um residente ou graduando participante das cirurgias.
As avaliações não deverão ser concluídas mais de 72 horas após observado o desempenho, pois sua precisão é questionada após esse período. Os índices de desempenho cirúrgico devem refletir: habilidade técnica, planejamento cirúrgico e outras decisões intra-operatórias.19 O benefício ótimo será atingido quando, após completada a avaliação do desempenho operatório, ocorra o feedback com o estudante,24 por isso, explica-se a relevância do OPRS como ferramenta de avaliação formativa: o feedback identifica pontos fortes e fracos de um aluno individualmente, e usa essas informações para melhorar a aprendizagem e maximizar a competência operatória.25
O instrumento foi aplicado em mais de um momento para o mesmo residente: foram avaliados mais de uma vez por serem em menor número e por permanecerem por longos períodos no centro cirúrgico. Enquanto que, entre os graduandos, o instrumento foi aplicado apenas uma vez, por serem em maior número e terem uma maior rotatividade no setor.
Foi criado banco de dados em planilha de software Excel/Office® 2010, com todas as variáveis descritas em item anterior. Os casos foram relacionados cronologicamente, atribuindo a cada um deles variáveis inerentes. As análises foram desenvolvidas no software Statistical Package for the Social Sciences – SPSS, versão 21. O estudo avalia se existe diferença significativa entre as médias do instrumento OPRS quanto aos grupos de graduandos e residentes. Inicialmente, foram construídas tabelas de frequência absoluta e relativa para caracterização dos indivíduos do estudo quanto ao instrumento.
46 Para análise dos dados coletados, utilizou-se a Análise de Variância (ANOVA), para verificar diferença entre os itens do instrumento quanto aos grupos (G1, G2, R1, R2, R3) e, também, entre os residentes (R1, R2, R3). O teste t de
student foi utilizado na análise de amostras independentes, com o intuito de verificar
a diferença entre os índices do instrumento em relação aos graduandos (G1 e G2). O estudo utilizou o nível de significância α = 5%.O teste de Tukey foi aplicado com intuito de observar quais as médias dos itens se diferenciavam quanto aos grupos estudados.
O estudo foi submetido à avaliação pela Gerência de Ensino e Pesquisa da instituição e pelo Comitê de Ética em pesquisa do Hospital Universitário
(HUOL/UFRN), tendo recebido aprovação sob o número
CAAE=42469315.5.0000.5182. Foram seguidas as normas preconizadas pela “Declaração de Helsinki” e suas modificações26
e pela Resolução 466/12 do Conselho Nacional de Saúde27.
RESULTADOS
No presente estudo, participaram 8 residentes do primeiro ano (R1), 8 residentes do segundo ano (R2), 8 residentes do terceiro ano (R3), 77 graduandos do quinto (G1) e 46 do sexto (G2). A coleta de dados ocorreu entre outubro de 2016 e outubro de 2017. O OPRS foi apresentado a 4 preceptores do centro cirúrgico pela pesquisadora, sendo esses médicos ginecologistas treinados e capacitados na realização das avaliações, que totalizaram 218 (Tabela 1). As cirurgias realizadas e contempladas na avaliação, 218 cirurgias, foram as que fazem parte da rotina cirúrgica do serviço: histerectomia abdominal (58,3%), histerectomia vaginal (19,7%), ooforoplastia bilateral (6,4%), miomectomia (6,0%), entre outras.
A população estudada totalizou 218 avaliações, sendo 56,4% pertencentes a estudantes de medicina e 43,6% a residentes de tocoginecologia. Em relação ao gênero e faixa etária, 52,8% eram do sexo feminino e 47,2% do sexo masculino; 47,2% estavam em uma faixa etária entre 18 e 25 anos e 52,8% de 26 a 38 anos. Em se tratando do estado civil, 75,2% se disseram solteiros e 24,8% casados (Tabela 1).
47 Relacionando e comparando, através do teste ANOVA, as médias das variáveis dos itens do OPRS segundo o período de graduação e residência (G1, G2, R1, R2, R3), obtivemos os resultados apresentados na Tabela 2. Para um nível de significância maior ou igual a 5%, rejeita-se a hipótese das diferenças; nessa análise, todavia, p < 0,05, ou seja, há evidências de que existe diferença entre as médias dos itens da avaliação (anatomia, material cirúrgico, fluxo, interação e global) entre o período de graduação e residência.
Quando avaliamos cada item de habilidade técnica, evidenciou-se, quanto a anatomia, diferença apenas para o período de residência (R1, R2 e R3); mas em relação ao material cirúrgico e o índice global do instrumento, a diferença foi observada para todos os grupos avaliados. Para o fluxo, as médias foram iguais entre os graduandos e residentes do primeiro ano, e as diferenças foram notadas entre esses grupos e os residentes do segundo e terceiro ano. Por fim, para o item interação, a diferença ocorreu apenas entre o período R1 e os graduandos e residentes de segundo e terceiro anos (Tabela 2).
Se avaliarmos os grupos graduandos e médicos residentes isoladamente, observamos pelo resultado do teste t de student que, entre os graduandos G1 e G2, há evidências de que existe diferença entre as médias da maioria dos itens da avaliação: anatomia, material cirúrgico, fluxo e avaliação global. Todavia, para o item interação, não houve diferença entre as médias quanto aos alunos de graduação, p ≥ 0,05 (Tabela 3).
Entre os residentes, os resultados do teste ANOVA apresentaram evidências de que existe diferença entre as médias dos itens da avaliação (anatomia, material cirúrgico, fluxo, interação e avaliação global) com o período de residência. Através do teste de Tukey, evidenciou-se diferença entre os períodos de residência R1, R2 e R3 quanto à anatomia, material cirúrgico, fluxo e instrumento global. O teste de Tukey apresentou diferenças das médias para quase todos os períodos de residência, com exceção da interação, em que a única média estatisticamente diferente é a do R1 (Tabela 3).
De forma geral, observa-se que quanto maior for o período de estudo, melhor o desempenho do estudante no escore de avaliação, o que justifica os anos de formação na Residência Médica para atuação como especialista (Figura 1).
48 DISCUSSÃO
As avaliações de técnica cirúrgica entre graduandos e residentes são, em geral, realizadas ao vivo pelo cirurgião principal, dentro de um processo que pode ser tendencioso e subjetivo.28 Entretanto, estas devem fornecer dados válidos e confiáveis relacionados ao desempenho da prática cirúrgica.14,28 A avaliação no sistema operatório não é apenas um modo de credenciamento de cirurgiões individuais, mas, também, permite a auditoria coletiva de unidades cirúrgicas e programas de treinamento de residência.28
Nesse contexto, em um estudo realizado com residentes de urologia, o OPRS já se mostrou um método avaliativo viável para estudantes durante procedimentos cirúrgicos, sobretudo porque permite distinguir os diferentes níveis de formação.24 Além disso, possibilitou oferecer aos residentes um feedback imediato e objetivo sobre o desempenho cirúrgico e viabilizou o monitoramento do progresso individual do médico residente pelo diretor do programa.24 Esse sistema pode ajudar a reduzir o tempo necessário para a avaliação de habilidades técnicas e, posteriormente, levar a auditoria precisa e eficiente e credenciamento de cirurgiões para prática independente.24
Em outro trabalho28, também em concordância com nossa pesquisa, foi utilizado um sistema semelhante, baseado no OSATS, porém com avaliação do desempenho em cirurgia laparoscópica. Os resultados desse estudo e de outro que também analisou o OPRS em cirurgias laparoscópicas indicaram confiabilidade para o método, sendo portanto, considerado um modo de avaliação instantâneo, objetivo, válido e confiável do desempenho laparoscópico.28,29
Ferramentas de avaliação objetiva podem ser úteis para direcionar a intervenção precoce.30 Alguns trabalhos que utilizam a Direct Observation of Procedural Skills (DOPS), um método avaliativo de observação direta de habilidades durante procedimentos, semelhante ao OPRS, consideram esse tipo de método avaliativo formativo, sobretudo pelo feedback precoce.31,32 Essas avaliações objetivas permitem que os formandos que estejam abaixo do nível dos seus pares possam receber mais ensino prático, enquanto os mais graduados possam ser encorajados a progredir na realização de cirurgias de forma mais independente, com supervisão passiva.30
49 Nessa análise específica, há evidências de que existe diferença entre as médias dos itens da avaliação com o período de graduação e residência. Semelhante a estudos prévios,24,28,30,33 observou-se uma relação significativa entre o tempo de estudo e a pontuação obtida no escore de avaliação. Em relação ao item fluxo, as médias dos doutorandos G2 e dos residentes do primeiro ano não apresentaram diferença significativa, talvez, pela inexperiência desses médicos nos tempos cirúrgicos.
Por outro lado, não observamos relação na literatura das variáveis estudadas, a saber: sexo, faixa etária e estado civil em relação ao escore obtido através da aplicação do instrumento OPRS, diferentemente do grau de formação, onde é necessário tempo de estudo para desenvolvimento de competências operatórias, semelhante a estudos anteriores realizados nos Estados Unidos da América.24,28,30,33
Quando avaliamos e comparamos os resultados dentro de cada grupo populacional (graduandos ou residentes), visto que esses grupos possuem propósitos de ensino diferentes, observamos para os estudantes G1 e G2 também uma diferença entre as médias, sendo maior a média daqueles com maior tempo de estudo, exceto para o item interação. Provavelmente, essa exceção está relacionada ao fato de que esse item específico envolve muito mais questões sociais, educacionais e culturais do que o próprio ensino médico; além da falta de experiência em lidar com a equipe cirúrgica (a grade curricular geralmente valoriza mais o ensino clínico) e com o paciente em pré-operatório imediato e suas dúvidas em relação ao procedimento. As médias mais baixas observadas foram em anatomia e instrumental cirúrgico, podendo alertar para a necessidade de melhorar a qualidade do ensino desses assuntos na grade curricular acadêmica.
Já na avaliação dos residentes, as médias de todos os itens apresentaram diferença significativa, inclusive, com aumento dos valores dos escores da avaliação quanto maior o período de estudo. A maior carga horária destinada ao estudo da especialidade ao longo de cada ano de residência pode ser reflexo desse melhor desempenho no escore do OPRS. Nessa análise específica, destaca-se ainda, que não foi evidenciada diferença entre R2 e R3 para o item interação; contudo, o R1