Desempenho do sistema de avaliação de competências operatórias entre graduandos e residentes de ginecologia e obstetrícia

Texto

(1)MINISTÉRIO DA EDUCAÇÃO UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE CENTRO DE CIÊNCIAS DA SAÚDE PROGRAMA DE PÓS-GRADUAÇÃO EM ENSINO NA SAÚDE MESTRADO PROFISSIONAL EM ENSINO NA SAÚDE (MPES). DESEMPENHO DO SISTEMA DE AVALIAÇÃO DE COMPETÊNCIAS OPERATÓRIAS ENTRE GRADUANDOS E RESIDENTES DE GINECOLOGIA E OBSTETRÍCIA. GLEISSE AGUIAR SILVA DE ALMEIDA. NATAL/RN 2017.

(2) GLEISSE AGUIAR SILVA DE ALMEIDA. DESEMPENHO DO SISTEMA DE AVALIAÇÃO DE COMPETÊNCIAS OPERATÓRIAS ENTRE GRADUANDOS E RESIDENTES DE GINECOLOGIA E OBSTETRÍCIA. Dissertação apresentada ao Programa de Pós-Graduação em Ensino na Saúde da Universidade Federal do Rio Grande do. Norte. como. requisito. para. a. qualificação para obtenção do título de Mestre em Ensino na Saúde.. Orientador: Ana Katherine da Silveira Gonçalves de Oliveira. NATAL/RN 2017.

(3) FICHA CATALOGRÁFICA. Universidade Federal do Rio Grande do Norte – UFRN Sistema de Bibliotecas – SISBI Catalogação da Publicação na Fonte - Biblioteca Central Zila Mamede Almeida, Gleisse Aguiar Silva de. Desempenho do sistema de avaliação de competências operatórias entre graduandos e residentes de ginecologia e obstetrícia / Gleisse Aguiar Silva de Almeida. - 2018. 75 f.: il. Dissertação (mestrado profissional) - Universidade Federal do Rio Grande do Norte, Centro de Ciências da Saúde, Programa de Pós-Graduação em Ensino na Saúde. Natal, RN, 2018. Orientadora: Prof.ª Dr.ª Ana Katherine da Silveira Gonçalves de Oliveira. 1. Ginecologia - Dissertação. 2. Obstetrícia Dissertação. 3. Avaliação educacional - Dissertação. 4. Internato e residência - Dissertação. 5. Centros cirúrgicos Dissertação. I. Oliveira, Ana Katherine da Silveira Gonçalves de. II. Título. RN/UF/BCZM 618.2:378.126. CDU.

(4) MINISTÉRIO DA EDUCAÇÃO UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE CENTRO DE CIÊNCIAS DA SAÚDE PROGRAMA DE PÓS-GRADUAÇÃO EM ENSINO NA SAÚDE. Coordenadora do Programa de Pós-Graduação em Ensino na Saúde. Curso de Mestrado Profissional em Ensino na Saúde: Prof.ª Dra. Marise Reis de Freitas.

(5) GLEISSE AGUIAR SILVA DE ALMEIDA. DESEMPENHO DO SISTEMA DE AVALIAÇÃO DE COMPETÊNCIAS OPERATÓRIAS ENTRE GRADUANDOS E RESIDENTES DE GINECOLOGIA E OBSTETRÍCIA. Aprovado em: _07_/_12_/ 2017__. Banca examinadora:. Presidente da Banca:. Prof.a Dra.: Ana Katherine da Silveira Gonçalves de Oliveira – UFRN. Membros da Banca:. Profª. Dra.: Tecia Maria de Oliveira maranhão – UFRN. Profª. Dra. Ana Carla Gomes Canário – Faculdade Maurício de Nassau.

(6) AGRADECIMENTOS Agradeço primeiramente Deus, por permitir o término deste trabalho. Agradeço pelos obstáculos e conquistas até o momento adquiridas que levarão à vitória. Que Ele continue sendo minha fortaleza, me concedendo sabedoria e discernimento em toda minha caminhada. À minha família, em nome do meu esposo Valeriano Almeida, pelo incentivo, pela compreensão em momentos de angústia, ausência, renúncia e esteve sempre ao meu lado me apoiando. Aos meus queridos filhos, Tobias e Thiago pelo amor, compreensão e por sempre acreditarem em minha capacidade. Aos meus pais, Adilson e Ilma, por todo amor e apoio em todos os momentos, juntamente com minhas irmãs, meu porto seguro. À minha sobrinha Beatriz por toda dedicação, incentivo, carinho e apoio nas revisões bibliográficas, formatações ,pelas noites insones. A ela todo meu amor e admiração. A Igor pelo apoio e pelo abstract. Ao querido amigo Josair, grande incentivador, sempre ao meu lado com sua ajuda inestimável, juntamente com a amiga querida Aparecida, por estar presente no meu caminhar, compartilhando experiências e ajudando nas coletas da pesquisa. Ao. dedicado. e. querido. Tházio. Henrique. pela. colaboração. ímpar,. disponibilidade e carinho. Sempre pronto para discutir as análises estatísticas. À minha orientadora Dra. Ana Katherine pela confiança e oportunidade de trabalhar ao seu lado, pela paciência, disponibilidade em todos os momentos, apoio, incentivo à pesquisa, que foram fundamentais para progressão deste estudo. Agradeço imensamente pelas discussões, críticas construtivas, reflexões, incentivo à superação de meus limites e pelo exemplo de ser humano que é, compartilhando toda sua experiência de vida e de educadora. A ela todo meu apreço e admiração. Aos professores do Mestrado Profissional de Ensino na Saúde e aos meus amigos de turma sempre presentes, grandes incentivadores, em especial à amiga Teresa Neumann, verdadeira companheira nesta caminhada, me apoiando nos momentos difíceis, sempre com uma palavra acolhedora e grande incentivadora nos.

(7) momentos de vitória. Nossos laços com certeza se fortaleceram; a ela minha amizade verdadeira. À equipe do centro cirúrgico ginecológico da Maternidade Escola Januário Cicco pelo acolhimento e apoio a esta pesquisa, principalmente por parte dos preceptores, residentes e graduandos do curso de Medicina. Aos queridos residentes, minha gratidão, sempre prontos a participarem da pesquisa e sempre prontos ao aprendizado. Aos graduandos também agradeço pela participação e vontade de aprender, mesmo com toda inexperiência do ponto de vista cirúrgico. À Simone Souza, pelo apoio, companheirismo em todas as horas e orações. À Vitória Melo pela colaboração inestimável..

(8) RESUMO. INTRODUÇÃO: Ensinar habilidades em técnica cirúrgica é uma das tarefas mais importantes na área de ensino em tocoginecologia e requer a presença de um tutor capacitado e de um método avaliativo disponível, de fácil aprendizagem e que seja capaz de abranger as diversas etapas do ensino. OBJETIVO: Analisar e aplicar o Operative Performance Rating System (OPRS) como instrumento de avaliação em cenários reais de prática cirúrgica ginecológica a fim de avaliar alunos da graduação em medicina e residentes, como complementação dos métodos avaliativos já existentes. METODOLOGIA: Estudo transversal, descritivo, quantitativo que avaliou o desempenho de estudantes e residentes de ginecologia obstetrícia, durante a execução de cirurgias ginecológicas em hospital universitário. Os alunos foram avaliados de acordo com os escores obtidos nos itens do OPRS (escala de Likert de 5- anatomia; instrumental cirúrgico; fluxo da cirurgia, interação com a equipe e desempenho global). O escore do instrumento varia de 4 a 20 pontos. O software Statistical Package for the Social Sciences, versão 21, foi utilizado para análise dos dados, aplicando Análise de Variância, teste de Tukey e teste t de student. RESULTADOS: Foram realizadas 218 avaliações, sendo composta por 24 residentes e 123 graduandos de medicina. Comparando as médias das variáveis dos itens do OPRS, observou-se uma diferença entre as médias nos itens da avaliação com o período de graduação e residência (p < 0,001). Entre os graduandos, evidenciou-se diferença nas médias dos itens da avaliação (p < 0,05), exceto para o item interação (p < 0,108). Para os residentes, a análise apresentou diferença nas médias dos itens da avaliação relacionadas ao tempo de residência médica (p<0,001). CONCLUSÃO: O uso do OPRS no processo de avaliação de residentes e graduandos possibilita uma diferenciação entre os níveis de conhecimento, permitindo a monitorização do progresso de acordo com o tempo de estudo oferendo ainda um feedback imediato sobre o desempenho na prática cirúrgica.. PALAVRAS-CHAVE: Avaliação Educacional; Internato e Residência; Centros cirúrgicos; Procedimentos Cirúrgicos em Ginecologia.. 8.

(9) ABSTRACT INTRODUCTION: Teaching skills in surgical technique is one of the most important tasks in the area of teaching gynecology, and requires the presence of a trained tutor and an available evaluative method, easy to learn and capable of covering the various stages of teaching. OBJECTIVE: To analyze and apply the Operative Performance Rating System (OPRS) as a tool of evaluation in real scenarios of surgical practice, to evaluate undergraduate students and residents, as a complement to the existing evaluation methods. METHODS: Cross-sectional, descriptive, quantitative study that assessed the performance of students and residents during the execution of gynecological surgeries in a university hospital. The students were evaluated according to the scores obtained in the OPRS items (Likert scale of 5- anatomy, surgical instruments, surgery flow, interaction with the team and overall performance). The instrument score ranges from 4 to 20 points. The software Statistical Package for the Social Sciences, version 21, was used to analyze the data, applying Analysis of Variance, Tukey test and student t-test. RESULTS: Comparing the means of the variables of the OPRS items, a difference was observed between the methods in the evaluation items according to to the graduation and residence period (p <0.001). Among the undergraduates, there was a difference in the means of the evaluation items (p <0.05), except for the item interaction (p <0.108). For the residents, the analysis showed a difference in the means of the evaluation items related to the medical residence time (p <0.001). CONCLUSION: The use of OPRS in the evaluation process of residents and undergraduates allows a differentiation between levels of knowledge, allowing the monitoring of progress according to the study time and offering immediate feedback on the performance in the surgical practice.. KEY-WORDS: Educational Measurement, Internship and Residency, Surgicenters, Gynecologic Surgical Procedures.. 9.

(10) LISTA DE ABREVIATURAS E SIGLAS. ANOVA......................................................................................... Análise de Variância CAAE............................................Certificado de apresentação para Apreciação Ética CNRM.........................................................Comissão Nacional de Residência Médica DCNs..........................................................................Diretrizes Curriculares Nacionais HUOL.................................................................. Hospital Universitário Onofre Lopes MEJC.....................................................................Maternidade Escola Januário Cicco MPES........................................................Mestrado Profissional em Ensino na Saúde OSATS..........................................Objective Structured Assessment of Technical Skill OPRS………………………...............................Operative Performance Rating System RM....................................................................................................Residência Médica R1...........................................................................Médico Residente do Primeiro Ano R2..........................................................................Médico Residente do Segundo Ano R3............................................................................Médico Residente do Terceiro Ano SPSS…………………………………………Statistical Package for the Social Sciences Toco 1...........................................................Graduandos de Medicina do 10º Período Toco 2...........................................................Graduandos de Medicina do 11º Período. UFRN....................................................Universidade Federal do Rio Grande do Norte. 10.

(11) LISTA DE TABELAS. TABELA 1 Número de graduandos e residentes avaliados. 64. TABELA 2 Frequência de avaliações de graduandos e residentes. 65. TABELA 3 Caracterização das cirurgias ginecológicas. 66. TABELA 4 Características sócio demográficas da população estudada. 67. TABELA 5 Frequência média dos itens do instrumento da avaliação segundo o período de graduação e residência (Toco 1, Toco 2, R1, R2 e R3). 68. TABELA 6 Frequência média dos itens do instrumento da avaliação segundo os alunos de graduação (Toco 1 e Toco 2) TABELA 7. 69. Frequência média dos itens do instrumento da avaliação segundo os residentes do período R1, R2 e R3. 70. 11.

(12) LISTAS DE FIGURAS. FIGURA 1. Boxplot da avaliação do item anatomia segundo o período de graduação e residência. FIGURA 2. Boxplot da avaliação do item material cirúrgico segundo o período de graduação e residência. FIGURA 3. 73. Boxplot da avaliação do item interação segundo o período de graduação e residência. FIGURA 5. 72. Boxplot da avaliação do item material cirúrgico segundo o período de graduação e residência. FIGURA 4. 71. 74. Boxplot da avaliação global segundo o período de graduação e residência. 75. 12.

(13) SUMÁRIO. 1. INTRODUÇÃO ..................................................................................................... 14 2. OBJETIVOS ........................................................................................................ 21 3. MÉTODOS ........................................................................................................... 22 Desenho do Estudo. ........................................................................................................... 22 Critérios de inclusão e de exclusão. ................................................................................ 22 Instrumento ......................................................................................................................... 22 Caracterização da amostra. ............................................................................................... 24 Armazenamento e análise estatística dos dados. .......................................................... 25 Aspectos éticos. ................................................................................................................. 25. 4.. RESULTADOS E DISCUSSÃO ........................................................................ 26. 5.. APLICAÇÕES PRÁTICAS NA FORMAÇÃO DOS PROFISSIONAIS DE SAÚDE ............................................................................................................................. 31. 6.. CONSIDERAÇÕES FINAIS .............................................................................. 32. 7.. REFERÊNCIAS ................................................................................................. 33. 8.. PRODUTOS DO MESTRADO ........................................................................... 38 8.1.. Artigo escrito para submissão na RBGO (Gynecology & Obstetrics):. DESEMPENHO DO SISTEMA DE AVALIAÇÃO DO SISTEMA DE COMPETÊNCIAS OPERATÓRIAS ENTRE GRADUANDOS E RESIDENTES DE GINECOLOGIA E OBSTETRÍCIA ...................................................................................................................... 38 8.2.. Trabalho apresentado no 55º Congresso Brasileiro de Educação Médica em Porto. Alegre – RS/2017: IMPLANTAÇÃO DE UM SISTEMA AVALIATIVO DE COMPETÊNCIAS OPERATÓRIAS DE GRADUANDOS EM MEDICINA E RESIDENTES EM TOCOGINECOLOGIA NO CENTRO CIRÚRGICO GINECOLÓGICO DE UM HOSPITAL UNIVERSITÁRIO .................................................................................................................. 59. 9.. ANEXOS, TABELAS E FIGURAS .................................................................... 60. 13.

(14) 1. INTRODUÇÃO. O maior desafio dos educadores médicos é avaliar o desempenho dos estudantes no “fazer real”,1,2,3 sendo a observação direta das habilidades dos estudantes essencial para assegurar o alcance do nível de competência necessário para determinada etapa do seu aprendizado.3 No entanto, raras são as oportunidades em que os alunos são avaliados durante os procedimentos realizados, apesar da disponibilidade de inúmeros métodos avaliativos. 3 Não se avalia por interesses acadêmicos ou por curiosidade intelectual, porém por um sentido utilitário e prático, direcionado ao propósito de aperfeiçoar e não somente provar a eficiência das atividades desenvolvidas. Avaliar faz parte do processo ensino-aprendizagem e, desta forma, é indicado que toda instituição avalie as metodologias que adentram em seu ambiente educacional, antes mesmo de sua solidificação. 4 A avaliação de competência, um tema atual e polêmico, presente em todo debate institucional, tem permitido aprofundamento nas discussões sobre o processo de ensino-aprendizagem e avaliação nos cursos médicos, buscando a sintonia entre o ganho cognitivo, a competência e consciência ética.5 Vários aspectos do ensino da tocoginecologia devem ser analisados. Um deles é o ensino da cirurgia ginecológica. O treinamento cirúrgico é um aspecto fundamental, entretanto, não tem havido discussões mais aprofundadas do que deve ser ensinado, como e até onde deve ir a competência de um graduando de medicina e de um médico residente na execução dos procedimentos cirúrgicos.. 6. Nesse contexto, a Resolução nº 02/2006, do Conselho Nacional de Residência Médica (CNRM) apresenta algumas competências e habilidades que servem de guia para as Residências Médicas em Tocoginecologia, como por exemplo, para o residente do primeiro ano (R1): procedimentos cirúrgicos em afecções benignas no trato genital e urinário inferior e cirurgias vaginais e abdominais eletivas de pequeno e médio porte, incluindo situações de urgência. Para os residentes do segundo ano (R2), acrescentam-se as cirurgias mamárias de pequeno porte, o auxílio em cirurgias para o tratamento de neoplasias malignas de. 14.

(15) mama, cirurgias de pequeno e médio porte no tratamento doenças ginecológicas malignas,. e. procedimentos. diagnósticos. e. terapêuticos. laparoscópicos. e. histeroscópicos. O residente do terceiro ano (R3), por sua vez, deve atuar, além dos procedimentos anteriores, em cirurgias por via vaginal, cirurgias vaginais e abdominais para correção de incontinência urinária e em cirurgias para o tratamento do câncer ginecológico em estádios iniciais, bem como, devem fazer o seguimento pós-tratamento.7 Em relação aos graduandos, as Diretrizes Curriculares Nacionais (DCNs) apresentam, apenas, competências gerais como atenção à saúde, tomada de decisões, comunicação, liderança, ou seja, não são detalhadas nas DCNs as habilidades e competências em tocoginecologia necessárias para o estudante em formação.8 O estudante necessita ter uma avaliação que analise os mais amplos aspectos relacionados à sua capacitação como profissional e que desperte nele o poder de descobrir comportamentos variados e que envolvam todas as competências.9 Todavia, não basta apenas seguir essas diretrizes e ensinar, sendo necessário sua avaliação. As habilidades básicas precisam ser analisadas após cada procedimento, fato este que pode contribuir na prevenção de omissões e erros, bem como permitir a correção de imperfeições de imediato. 6, 10 No Brasil, são escassos os estudos abordando o ensino da Obstetrícia e da Ginecologia nos programas de RM. Aspectos do ensino desta especialidade, especialmente na cirurgia ginecológica, devem ser analisados. Este é um questionamento presente não só no Brasil, mas em muitos outros países, onde estudos sobre a competência adquirida de médicos residentes são feitos em maior quantidade, sendo este assunto uma preocupação constante do ensino médico.. 11,12. O conteúdo programático de uma especialização possui a necessidade do residente. adquirir. habilidades. cirúrgicas. para. o. tratamento. das. doenças. ginecológicas benignas e malignas, incluindo urgências e emergências; aquisição de habilidades em procedimentos especializados em Ginecologia, como por exemplo, laparoscopia e histeroscopia, tanto diagnósticas quanto cirúrgicas; diagnosticar e tratar as complicações cirúrgicas mais frequentes em Ginecologia. Faz parte dos requisitos mínimos do programa, a atuação em unidades ambulatoriais, serviços de urgência e emergência, unidades de internação, centro cirúrgico e unidades de acompanhamento de pacientes graves, de forma a dar visão ampla e treinamento. 15.

(16) sobre os diferentes aspectos da cirurgia ginecológica, bem como contato com procedimentos em Mastologia, Uroginecologia e Oncologia Ginecológica. 11 É notório que o desenvolvimento da cirurgia ginecológica mudou a face da especialidade.11,12 Os tratados de ginecologia operatória existem há mais de um século, buscando acompanhar os avanços da ciência e da abordagem cirúrgica. Em todo este tempo, houve muita mudança: fístulas se tornaram mais raras, procedimentos não realizados há dez ou vinte anos agora fazem parte do repertório da cirurgia ginecológica11,12, sobretudo com o advento das cirurgias minimamente invasivas (em 1985 com a cirurgia laparoscópica e em 2005 com a robótica). 13,. 14. Essas cirurgias diminuem a perda sanguínea, o tempo de internação e a morbidade quando comparadas aos procedimentos abertos, possibilitando o melhor cuidado e a intervenção em muitos problemas que afetam a saúde da mulher. 14 Estes avanços requerem um grau de habilidade não facilmente obtido nas possibilidades atuais de treinamento.11, 12 A necessidade do desenvolvimento das habilidades cirúrgicas durante os anos de treinamento na RM é, portanto, confirmada a cada avanço da medicina. O treinamento prático na execução da técnica cirúrgica, bem assessorado e supervisionado, permitirá a realização correta do procedimento, e orientará o necessário acompanhamento pós-operatório, sem o qual, muitas vezes, o bom trabalho pré e intra-operatório acaba sendo prejudicado, bem como a saúde da paciente, algumas vezes de forma significativa e definitiva. 11 O campo da cirurgia pélvica padece dos mesmos problemas relacionados ao treinamento de todas as outras especialidades. Não é possível ensinar tudo: os residentes saem preparados para realização de uma variedade limitada de procedimentos, com raras exceções.11 As pacientes, entretanto, continuarão tendo anomalias de desenvolvimento, prolapsos, fístulas, hemorragias, tumores, que precisarão ser tratados e, por isso, é necessário definir o que o médico residente deve saber, em termos cirúrgicos, para que possa atuar satisfatoriamente.11 Em outros países, muitos educadores em Obstetrícia e Ginecologia estão preocupados com esta questão, e destacam que o treinamento cirúrgico de residentes não é suficiente para preencher as necessidades dos futuros especialistas. Cada vez menos casos estão disponíveis para o ensino de técnicas operatórias: as doenças que antes eram tratadas apenas cirurgicamente, agora, apresentam possibilidade de tratamento conservador, muitas vezes escolhido pelos. 16.

(17) pacientes; além das cirurgias minimamente invasivas, que requerem um maior período de treinamento.11,15 Para o Colégio Americano de Obstetrícia e Ginecologia, um dos principais objetivos para o início deste milênio foi o debate sobre a necessidade da ampliação da formação do residente dessa especialidade, a fim de que ele possa adquirir condições para atuar desde o nível primário até a realização de procedimentos cirúrgicos mais complexos.16 Nos Estados Unidos da América, os programas de RM em Obstetrícia e Ginecologia têm duração de quatro anos, com 80 horas semanais de atividades.11 O treinamento do ginecologista em cirurgia requer ensino de habilidades básicas para atingir competência. Embora ninguém discorde que a melhor forma de aprender a operar é realizando cirurgias em pacientes em situações reais, o treinamento de muitas habilidades básicas do cirurgião ginecológico poderia ser feito utilizando. outras. estratégias,17. tais. como:. vídeos,. manequins,. programas. computadorizados, etc. Laboratórios de habilidades, já existentes para algumas especialidades, deveriam ser rotineiramente incorporados à prática cirúrgica, permitem ao médico residente, ao mesmo tempo em que observa os procedimentos, a aquisição e o aperfeiçoamento de habilidades básicas, como por exemplo, realizar nós e suturas, o que poderia melhorar seu desempenho no campo operatório. 18 Outra dificuldade encontrada é saber quando o residente estará apto para executar determinado procedimento cirúrgico com segurança. Alguns tentam apontar que um número mínimo de procedimentos poderia indicar esta aptidão. Entretanto, avaliar tal aptidão considerando o número de procedimentos realizados pode não ser adequado, pois a qualidade não pode ser avaliada ou julgada. 11 Alguns instrumentos mais completos que avaliam a competência do cirurgião estão disponíveis e poderiam ser testados no Brasil, como é o caso do Objective Structured Assessment of Technical Skill (OSATS).11,19 Outras qualidades mais difíceis de avaliar, porém fundamentais, como ética, profissionalismo, comunicação e liderança, também devem ser buscadas e avaliadas durante o treinamento. Não basta adquirir conhecimentos e habilidades. É preciso também desenvolver atitudes. Os cirurgiões ginecológicos devem compreender os aspectos psicossociais da doença ginecológica, reconhecendo a importância que cada mulher dá às suas funções orgânicas, sexuais e reprodutivas. É necessário ainda que eles dediquem seu tempo em avaliar as pacientes apropriadamente, selecionando para cirurgia. 17.

(18) apenas as que realmente necessitam dela, e optando por procedimentos que atendam mais adequadamente às necessidades de cada uma, aprendendo a preservar funções e oferecendo alternativas ao tratamento cirúrgico, caso seja possível. Destaca-se ainda a grande importância de um bom diálogo com a paciente e sua família.7 Isto deve estar presente na ação dos preceptores e no cenário de ensino.11 Por outro lado, uma avaliação seguida de feedback encoraja os estudantes e professores a trabalharem juntos para melhorar o entendimento de um conteúdo, pois um feedback efetivo é positivamente relacionado com o sucesso, entretanto se for de má qualidade, poderá não ter o efeito esperado ou mesmo prejudicar o aluno. 4 Apesar de várias metodologias terem sido implantadas no processo ensinoaprendizagem em cirurgia,11 atualmente não existe uma ferramenta padronizada de avaliação do desempenho operatório de estudantes nos centros cirúrgicos dos hospitais universitários. A implantação de uma ferramenta apropriada parece ser essencial para a avaliação objetiva de competências desses estudantes.12, 20, 21 O desenvolvimento das habilidades necessárias para a formação médica é um processo que requer tempo e desenvolvimento gradual de melhorias no desempenho individual através do exercício da prática clínica ou cirúrgica. 22,23 Um ponto fundamental para o processo de aprendizado consiste não apenas em ensinar, mas, sobretudo, em saber avaliar o aprendizado dos estudantes. 24 A avaliação de desempenho e habilidades é considerada como o principal fator que induz os estudantes à aprendizagem,25 fornecendo direcionamento e motivação para os estudos, como também, proteção às pacientes.24 A avaliação faz parte de todas as fases do desenvolvimento profissional e é essencial para qualquer nível de aprendizado (desde os acadêmicos, até os médicos residentes)24 visto que os estudantes tendem a aprender principalmente os assuntos sobre os quais serão avaliados.26 No contexto do ensino da Ginecologia e Obstetrícia, não é diferente: os métodos avaliativos também são essenciais, uma vez que, não apenas conhecimentos clínicos devem ser avaliados, mas também, habilidades para procedimentos e comportamento no centro cirúrgico. 27,28,29 Na perspectiva do ensino atual, baseado em competências, a avaliação dos estudantes se torna mais importante ainda, visto que estas competências não são conquistas, mas sim hábitos de aprendizagem ao longo da vida. 30 Entretanto, o maior desafio para os educadores médicos ainda é avaliar o desempenho dos. 18.

(19) estudantes durante os procedimentos cirúrgicos.3,31 Momentos de ensino de qualidade só serão realizados quando a ênfase for colocada na preparação, instrução útil durante o procedimento e feedback pós-operatório.32 Ensinar habilidades em técnica cirúrgica é uma das tarefas mais importantes na área de ensino em cirurgia. 28. , por isso, a adoção de um método para avaliação é. essencial e, neste trabalho, está proposto o uso do Operative Performance Rating System (OPRS), um sistema de avaliação de desempenho durante procedimentos cirúrgicos, como forma de complementação de métodos avaliativos já existentes. Esta ferramenta avaliativa inclui um conjunto de instrumentos específicos e métodos recomendados para a avaliação de estudantes em treinamento, com o propósito de permitir ao professor observar e julgar o desempenho individual dos alunos em diferentes cirurgias.33 O objetivo deste estudo é analisar e aplicar o OPRS como instrumento de avaliação em cenários reais de prática cirúrgica ginecológica a fim de avaliar alunos da graduação em medicina e residentes, como complementação dos métodos avaliativos já existentes na Maternidade Escola Januário Cicco (MEJC). Por ser um instrumento dinâmico, que reproduz a rotina da atividade no centro cirúrgico, pode ser aplicado durante cirurgias eletivas e, principalmente, isenta a paciente de um possível constrangimento em ser objeto de práticas avaliativas.. 19.

(20) 20.

(21) 2. OBJETIVOS Objetivo geral Analisar e aplicar o Operative Performance Rating System (OPRS) como instrumento de avaliação em cenários reais de prática cirúrgica ginecológica a fim de avaliar alunos da graduação em medicina e residentes, como complementação dos métodos avaliativos já existentes.. Objetivos específicos Detectar e quantificar as deficiências apresentadas pelos estudantes durante os procedimentos cirúrgicos; Avaliar o desempenho operatório e a evolução dos graduandos e residentes em habilidades cirúrgicas.. 21.

(22) 3. MÉTODOS Desenho do Estudo – Estudo de corte transversal, descritivo, quantitativo, realizado. com. estudantes. de. graduação. em. medicina. e. residentes. em. tocoginecologia, durante a execução de cirurgias ginecológicas na Maternidade Escola Januário Cicco (MEJC). Critérios de inclusão e de exclusão – Foram incluídos graduandos e residentes. que. participaram. de. cirurgias. ginecológicas. e. que. aceitaram. voluntariamente participar do estudo. Foram excluídos os graduandos abaixo do décimo período e estudantes que estivessem em estágio no setor do centro cirúrgico provenientes de outra instituição. Todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido (Anexo II). Instrumento – Foi utilizado o instrumento avaliativo Operative Performance Rating System (OPRS), que é um sistema de avaliação de desempenho operatório, não disponível na língua portuguesa, nunca utilizado na Ginecologia anteriormente, sendo uma proposta inicial de avaliação. Este inclui um conjunto de métodos recomendados para observação e avaliação direta do desempenho de estudantes em treinamento durante procedimentos cirúrgicos, independentemente do seu nível de formação.33 Este instrumento foi desenvolvido e refinado pelo Departamento de Cirurgia da Southern Illinois University School of Medicine, Springfield (USA).21,34,35,36,37,38,39 Baseia-se no Objective Structured Assessment of Technical Skill (OSATS), um sistema de avaliação objetiva e estruturada de habilidades técnicas para cirurgia. O OSATS é um método de avaliação e pontuação confiável, validado na Universidade de Toronto para avaliar as habilidades de estudantes em treinamento; composto por uma Escala de Likert de 5 itens (1 = ruim; 2 = razoável; 3 = bom; 4 = muito bom e 5 = excelente), e com parâmetros para avaliação comportamental descritos nos itens 1, 3 e 5.19 No OPRS, adaptação do OSATS, cada instrumento inclui quatro itens específicos de habilidades técnicas referentes ao procedimento, o que representa competências cirúrgicas gerais, como Conhecimentos de Anatomia e dos Tempos Operatórios; Conhecimento e Manuseio do Instrumental Cirúrgico; Fluxo da Cirurgia; Interação com Seus Pares, Anestesiologista, Equipe de Enfermagem, Paciente e Familiares.33 (Anexo III). O escore total deste instrumento de avaliação varia de 4 a 20 pontos, sendo essa maior pontuação referente à melhor avaliação .19, 21, 34, 39. 22.

(23) O primeiro item de habilidade técnica diz respeito ao conhecimento de anatomia e dos tempos operatórios: o aluno receberá pontuação igual a 1 se for familiarizado com a anatomia e as etapas da cirurgia, e incapaz de recordar ou descrever muitos passos operacionais; pontuação igual a 3 se o aluno souber e puder explicar a anatomia e a maioria das etapas da cirurgia, mas se não tiver certeza de algumas; e pontuação 5 quando o mesmo tem conhecimento total da anatomia e de todas as etapas da cirurgia, capaz de dar detalhes sem hesitação. Caso o avaliador entenda que o estudante se encontra entre a pontuação 1 e 3 por exemplo, a nota recebida seria 2 pontos, caso julgue que o estudante esteja entre a pontuação 3 e 5, sua nota seria 4.33 O segundo item de habilidade técnica avalia conhecimento e manuseio do instrumental cirúrgico onde o aluno receberá nota 1 caso o mesmo faça uso inadequado do instrumental cirúrgico e tenha movimentos inábeis; pontuação 3 quando conhece a maioria dos instrumentos e é competente em seu uso, mas de vez em quando se apresenta desajeitado; nota 5 quando possui conhecimento total dos instrumentos e os usa de forma fluida sem constrangimento. Obterá nota 2 ou 4, caso o preceptor julgue que o mesmo se encontra entre as pontuações 1 e 3 ou 3 e 5, respectivamente.33 O terceiro item de habilidade técnica comporta o fluxo de cirurgia, onde o aluno terá nota 1 quando interromper com frequência a cirurgia e parecer inseguro do próximo tempo; pontuação 3 quando demonstrar algum planejamento na cirurgia com progressão razoável do processo e pontuação 5 quando planejar todo o curso de cirurgia com fluxo natural de um tempo para outro. Caso o avaliador-preceptor julgue que o estudante se encontra entre o item 1 e 3, terá pontuação 2; e entre 3 e 5, a pontuação 4.33 O quarto item de habilidade é um item em que vai ser avaliado como é o relacionamento do estudante durante os procedimentos cirúrgicos com o seu residente par, com o anestesiologista e equipe de enfermagem. Também será avaliada a relação do estudante com a paciente que será submetida ao procedimento: cuidado humanizado, identificação pessoal e apresentação da equipe, além de explicar o tipo de cirurgia. Em relação aos familiares, será analisado o relacionamento do estudante com estes no que diz respeito a dar orientações quanto ao procedimento cirúrgico realizado.33. 23.

(24) O instrumento permite, ainda, o registro de circunstâncias atenuantes que possam dificultar a realização do procedimento cirúrgico, o que diminuiria o escore de cada item de habilidade, como por exemplo: cirurgias prévias, obesidade, se a cirurgia foi de emergência ou de revisão.33 O OPRS deve ser preenchido por cirurgiões após observação de um residente ou graduando participante das cirurgias. As avaliações não deverão ser concluídas mais de 72 horas após observado o desempenho, pois sua precisão é questionada após esse período. Os índices de desempenho cirúrgico devem refletir: habilidade técnica, planejamento cirúrgico e outras decisões intra-operatórias.33 O benefício ótimo será atingido quando, após completada a avaliação do desempenho operatório, ocorra o feedback com o estudante,40 por isso, explica-se a relevância do OPRS como ferramenta de avaliação formativa: o feedback identifica pontos fortes e fracos de um aluno individualmente, e usa essas informações para melhorar a aprendizagem e maximizar a competência operatória, pois a prática é importante para melhorar a competência.41 Os cirurgiões avaliadores devem encorajar o estudante a ter independência na execução do procedimento cirúrgico, tomando decisões intra-operatórias, bem como, conduzir a equipe cirúrgica para um melhor desfecho.33 Caracterização da amostra – No presente estudo, participaram 8 residentes do primeiro ano (R1), 8 residentes do segundo ano (R2), 8 residentes do terceiro ano (R3), 77 graduandos do décimo período (Toco 1) e 46 do décimo primeiro (Toco 2), conforme a Tabela 1. A coleta de dados ocorreu entre outubro de 2016 a outubro de 2017. O OPRS foi apresentado a 4 preceptores do centro cirúrgico pela pesquisadora, sendo esses médicos ginecologistas treinados e capacitados para realização das avaliações, que totalizaram 218, sendo, portanto, uma amostra por conveniência, baseada no número de graduandos e residentes que estagiaram pelo setor. O instrumento foi aplicado em mais de um momento para o mesmo residente: foram avaliados mais de uma vez por serem em menor número e por permanecerem por longos períodos no centro cirúrgico, em especial o R3, que atua como cirurgião principal na maioria das vezes. Enquanto que, entre os graduandos, o instrumento foi aplicado apenas uma vez por serem em maior número e terem uma maior rotatividade no setor (Tabela 2).. 24.

(25) As cirurgias realizadas e contempladas na avaliação foram as que fazem parte da rotina cirúrgica do serviço: histerectomia abdominal, histerectomia vaginal, ooforoplastia bilateral, miomectomia, entre outras, conforme a Tabela 3. Armazenamento e análise estatística dos dados – Foi criado banco de dados em planilha de software Excel/Office® 2010, com todas as variáveis descritas em item anterior. Os casos foram relacionados cronologicamente, atribuindo a cada um deles variáveis inerentes. As análises foram desenvolvidas no software Statistical Package for the Social Sciences – SPSS, versão 21. O estudo avalia se existe diferença significativa entre as médias do instrumento OPRS quanto aos grupos de graduandos e residentes. Inicialmente, foram construídas tabelas de frequência absoluta e relativa para caracterização dos indivíduos do estudo quanto ao instrumento. Para análise dos dados coletados, utilizou-se a Análise de Variância (ANOVA), para verificar diferença entre os itens do instrumento quanto aos grupos (Toco 1, Toco 2, R1, R2, R3) e, também, entre os residentes (R1, R2, R3). O teste t de student foi utilizado na análise de amostras independentes, com o intuito de verificar a diferença entre os índices do instrumento em relação aos graduandos (Toco 1 e Toco 2). O estudo utilizou o nível de significância α = 5%. O teste de Tukey foi aplicado com intuito de observar quais as médias dos itens se diferenciaram quanto aos grupos estudados. Aspectos éticos – O estudo foi submetido à avaliação pela Gerência de Ensino e Pesquisa da MEJC/UFRN, e para aprovação pelo Comitê de Ética em pesquisa do Hospital Universitário Onofre Lopes (HUOL/UFRN), tendo recebido aprovação sob o número CAAE=42469315.5.0000.5182 (Anexo I). Foram seguidas as normas preconizadas pela “Declaração de Helsinki” e suas modificações (DECLARAÇÃO DE HELSINKI, 2000) e pela Resolução 466/12 do Conselho Nacional de Saúde (BRASIL, 2012).. 25.

(26) 4. RESULTADOS E DISCUSSÃO A população estudada totalizou 218 avaliações, sendo composta por 24 residentes e 123 graduandos de medicina. Os residentes do primeiro ano foram avaliados 14 vezes, os R2 foram avaliados 35 vezes e os R3, 46 vezes (Tabelas 1 e 2). As cirurgias realizadas para avaliação foram: Histerectomia abdominal (58,3%), Histerectomia vaginal (19,7%), Ooforoplastia bilateral (6,4%), Miomectomia (6,0%), outras (9,6%) – Tabela 3. Em relação aos dados sócio demográficos, quanto ao grau de formação, 56,4% eram estudantes de medicina e 43,6%, residentes de tocoginecologia. Em relação ao gênero e faixa etária, 52,8% eram do sexo feminino e 47,2% do sexo masculino; 47,2% estavam em uma faixa etária entre 18 e 25 anos e 52,8% de 26 a 38 anos. Em se tratando do estado civil, 75,2% se disseram solteiros e 24,8% casados (Tabela 4). Relacionando e comparando, através do teste ANOVA, as médias das variáveis dos itens do OPRS segundo o período de graduação e residência (TOCO 1, TOCO 2, R1, R2, R3), obtivemos os resultados apresentados na Tabela 5. Para um nível de significância maior ou igual a 5%, rejeita-se a hipótese das diferenças; nessa análise, todavia, p < 0,05, ou seja, há evidências de que existe diferença entre as médias dos itens da avaliação (anatomia, material cirúrgico, fluxo da cirurgia, interação e global) entre o período de graduação e residência. Quando avaliamos cada item de habilidade técnica pelo teste de Tukey (Tabela 5), evidenciou-se, quanto a anatomia, diferença apenas para o período de residência (R1, R2 e R3); mas em relação ao material cirúrgico e o índice global do instrumento, a diferença foi observada para todos os grupos avaliados. Para o fluxo, as médias foram equivalentes entre os graduandos e residentes do primeiro ano, e as diferenças foram notadas entre esses grupos e os residentes do segundo e terceiro ano. Por fim, para o item interação, a diferença ocorreu apenas entre o período R1 e os graduandos e residentes de segundo e terceiro anos. Se avaliarmos os grupos graduandos e médicos residentes isoladamente, observamos pelo resultado do teste t de student que, entre os graduandos Toco 1 e Toco 2 (Tabela 6), há evidências de que existe diferença entre as médias da maioria dos itens da avaliação: anatomia, material cirúrgico, fluxo e avaliação global (p < 0,05). Todavia, para o item interação, não houve diferença entre as médias quanto aos alunos de graduação (p < 0,108).. 26.

(27) Entre os residentes (Tabela 7), os resultados do teste ANOVA apresentaram evidências de que existe diferença entre as médias dos itens da avaliação (anatomia, material cirúrgico, fluxo, interação e avaliação global) com o período de residência (p < 0,05). Através do teste de Tukey, evidenciou-se diferença entre os períodos de residência R1, R2 e R3 quanto à anatomia, material cirúrgico, fluxo e instrumento global. O teste de Tukey apresentou diferenças das médias para quase todos os períodos de residência, com exceção da interação, em que a única média estatisticamente diferente é a do R1. As avaliações de técnica cirúrgica entre graduandos e residentes são, em geral, realizadas ao vivo pelo cirurgião principal, dentro de um processo que pode ser tendencioso e subjetivo. Entretanto, estas devem fornecer dados válidos e confiáveis relacionados ao desempenho da prática cirúrgica.42 A avaliação no sistema operatório não é apenas um modo de credenciamento de cirurgiões individuais, mas também permite a auditoria coletiva de unidades cirúrgicas e programas de treinamento de residência.42 Nesse contexto, em um estudo realizado com residentes de urologia, o OPRS já se mostrou um método avaliativo viável para estudantes durante procedimentos cirúrgicos, sobretudo porque permitiu distinguir os diferentes níveis de formação. Além disso, possibilitou oferecer aos residentes um feedback imediato e objetivo sobre o desempenho cirúrgico e viabilizou o monitoramento do progresso individual do médico residente pelo diretor do programa. Esse sistema pode ajudar a reduzir o tempo necessário para a avaliação de habilidades técnicas e, posteriormente, levar a auditoria precisa e eficiente e credenciamento de cirurgiões para prática independente.40 Em outro trabalho42, também em concordância com nossa pesquisa, foi utilizado um sistema semelhante, baseado no OSATS, porém com avaliação do desempenho em cirurgia laparoscópica. Os resultados desse estudo e de outro que também analisou o OPRS em cirurgias laparoscópicas indicaram confiabilidade para o método, sendo portanto, considerado um modo de avaliação instantâneo, objetivo, válido e confiável do desempenho laparoscópico.42,43 Ferramentas de avaliação objetiva podem ser úteis para direcionar a intervenção precoce.44 Alguns trabalhos que utilizam a Direct Observation of Procedural Skills (DOPS), um método avaliativo de observação direta de habilidades durante procedimentos, semelhante ao OPRS, consideram esse tipo de método. 27.

(28) avaliativo formativo, sobretudo pelo feedback precoce. 45,46 Essas avaliações objetivas permitem que os formandos que estejam abaixo do nível dos seus pares possam receber mais ensino prático, enquanto os mais graduados possam ser encorajados a progredir na realização de cirurgias de forma mais independente, com supervisão passiva.44 Por outro lado, não observamos relação na literatura das variáveis estudadas a saber: sexo, faixa etária e estado civil em relação ao escore obtido através da aplicação do instrumento OPRS, diferentemente do grau de formação, onde é necessário tempo de estudo para desenvolvimento de competências operatórias, semelhante a estudos anteriores realizados nos Estados Unidos da América. 40, 42, 44 Na análise específica deste estudo, há evidências de que existe diferença entre as médias dos itens da avaliação com o período de graduação e residência. Semelhante a estudos prévios,40, 42, 44, 47 observou-se uma relação significativa entre o tempo de estudo e a pontuação obtida no escore de avaliação. Em relação ao item fluxo, as médias dos graduandos toco 2 e dos residentes do primeiro ano não apresentaram diferença significativa, talvez, pela inexperiência desses médicos nos tempos cirúrgicos (Tabela 5). Neste estudo, há evidências de que existe diferença entre as médias dos itens da avaliação (anatomia, material cirúrgico, fluxo, interação e média global) entre o período de graduação e residência. De forma geral, observase que quanto maior for o período de estudo, melhor o desempenho do estudante no escore de avaliação, o que justifica os anos de formação na Residência Médica para atuação como especialista (Figuras 1-5). Quando avaliamos cada item de habilidade técnica pelo teste de Tukey, evidenciou-se, quanto a anatomia, diferença significativa apenas para o período de residência (R1, R2 e R3); mas em relação ao material cirúrgico e o índice global do instrumento, a diferença foi observada para todos os grupos avaliados. Para o fluxo da cirurgia, as médias foram iguais entre os graduandos Toco 2 e residentes do primeiro ano, (talvez pela inexperiência do R1 no início da RM) e as diferenças foram notadas entre esses grupos (R1) e os residentes do segundo e terceiro ano (devido ao maior tempo de estudo). Por fim, para o item interação da equipe, não houve diferença entre graduandos Toco 1 e Toco 2; a diferença ocorreu apenas entre o grupo de graduandos e R1 e entre os R1 e residentes de segundo e terceiro anos, por estes serem mais experientes (Tabela 5).. 28.

(29) Se avaliarmos os grupos graduandos e médicos residentes isoladamente por serem grupos distintos por terem conhecimentos diferentes (devido a propósitos de ensino diferentes), observamos pelo resultado do teste t de student que, entre os graduandos Toco 1 e Toco 2, há evidências de que existe diferença entre as médias da maioria dos itens da avaliação: anatomia, material cirúrgico, fluxo e avaliação global (sendo maior a média daqueles com maior tempo de estudo). Todavia, para o item interação, não houve diferença entre as médias dos alunos de graduação (p ≥ 0,05). Isso ocorre, talvez, porque a interação não depende exclusivamente de treinamento, mas também de condições sociais, educacionais e culturais e, também, pela falta de experiência dos graduandos em lidar com a equipe cirúrgica (a grade curricular geralmente valoriza mais o ensino clínico) e com o paciente em pósoperatório imediato e suas dúvidas em relação ao procedimento. As médias mais baixas observadas foram em anatomia e instrumental cirúrgico, podendo alertar para a necessidade de melhorar a qualidade do ensino desses assuntos na grade curricular acadêmica (Tabela 6). Entre os residentes, o resultado do teste ANOVA apresentou evidências de que existe diferença entre as médias dos itens da avaliação (anatomia, material cirúrgico, fluxo, interação e avaliação global) com o período de residência, inclusive com aumento dos valores dos escores da avaliação, quanto maior o período de estudo (Tabela 7). A maior carga horária destinada ao estudo da especialidade ao longo de cada ano de residência pode ser reflexo desse melhor desempenho no escore do OPRS, sobretudo, quando comparamos às médias dos graduandos (Tabela 5). Através do teste de Tukey, evidenciou-se diferença entre os períodos de residência R1, R2 e R3 quanto à anatomia, material cirúrgico, fluxo e instrumento global, com exceção da interação, em que a única média estatisticamente diferente é a do R1, provavelmente pela menor experiência em lidar com a equipe cirúrgica, pacientes e familiares, além das condições sociais, educacionais inerentes a cada indivíduo. Não foi evidenciada diferença entre R2 e R3 para este item (Tabela 7). Corroborando a hipótese de quanto mais tempo destinado ao estudo, maiores são as notas, observamos que médias de anatomia entre os residentes foram as que apresentaram maiores diferenças (2,57, 3,80 e 4,26, conforme Tabela 7). O desempenho quanto a identificação e manuseio do material cirúrgico também aumenta consideravelmente entre o primeiro ano de residência (média 2,71) e o último ano (média 4,59).. 29.

(30) Em relação aos valores absolutos das médias, detectamos que todos os avaliados receberam pontuações, mas os menos graduados possuem médias menores que os mais graduados (Tabela 5). Portanto, o instrumento é capaz, sim, de avaliar estudantes em diferentes níveis de conhecimento, apenas as médias, provavelmente, serão mais baixas para os alunos com menos anos de estudo. Isso, talvez, requeira uma interpretação da nota pelo professor avaliador, adaptando-a para cada período de estudo, de acordo com suas competências e habilidades.. 30.

(31) 5. APLICAÇÕES PRÁTICAS NA FORMAÇÃO DOS PROFISSIONAIS DE SAÚDE O campo de avaliação de habilidades cirúrgicas progrediu significativamente na última década. Para transferir este conhecimento de laboratórios de pesquisa para casos reais, não há apenas necessidade de desenvolvimento destas ferramentas de avaliação e ensino, mas também definir a estrutura de programas de treinamento, com sua posterior implantação. Assim, apesar de várias metodologias terem sido implantadas no processo ensino-aprendizagem em cirurgia, atualmente, não existem ferramentas de avaliação de desempenho operatório padronizada para o estudante no centro cirúrgico ginecológico na MEJC. Existe uma lacuna na avaliação das habilidades cirúrgicas, havendo necessidade de se estabelecer critérios objetivos para esta avaliação. Este instrumento de avaliação proposto neste estudo, nunca foi utilizado na Ginecologia, porém foi inicialmente utilizado na cirurgia geral e com residentes da Urologia, sem tradução para a língua portuguesa. É um instrumento novo, que deverá passar por refinamentos, e poderia complementar a ferramenta de avaliação já existente, uma ferramenta de avaliação atitudinal e cognitiva. A despeito de ser desconhecido por muitos e existirem poucos trabalhos a este respeito, alguns já recomendam este método de avaliação. Sabendo-se ainda, que cirurgiões mais experientes exibem maior grau de consistência cirúrgica em relação aos menos experientes, foi inferido assim que o OPRS talvez pudesse ser também utilizado como teste de progresso, uma vez que é por ele permitido relacionar o tempo de aprendizado a um melhor desempenho das habilidades cirúrgicas. Entretanto, existe a necessidade de validação desta ferramenta para a língua portuguesa, podendo ser esta a nossa proposta para o doutorado. Com a validação deste instrumento, almejamos a implantação do mesmo, para aperfeiçoamento do processo ensino-aprendizagem, através de encorajamento dos preceptores e alunos, para crescerem juntos. Acreditamos que isso tudo será revertido para melhoria na assistência à saúde da mulher, uma vez que a aplicação da ferramenta permite aprimorar o desempenho dos futuros profissionais, com o passar dos anos de estudo.. 31.

(32) 6. CONSIDERAÇÕES FINAIS O OPRS não mostrou diferença significativa entre as médias dos itens para os graduandos, mas foi capaz de avaliá-los, e notou-se, talvez, que haja necessidade de um melhoramento nas variáveis anatomia e material cirúrgico, na grade curricular dos estudantes. Em relação aos residentes, o instrumento foi capaz de avaliá-los, apresentando melhor desempenho ao longo do tempo: a partir do R1, já observamos um bom desempenho nos escores, em relação aos graduandos. Apesar de ser um instrumento novo, o OPRS se mostra bastante promissor como forma avaliativa de habilidades e competências cirúrgicas. A aplicação do OPRS no centro cirúrgico é viável e permite discriminar os diferentes níveis de formação entre residentes e graduandos, oferecendo um feedback imediato sobre o desempenho cirúrgico e, tendo do mesmo modo, um caráter formativo. Viabiliza, ainda, a monitorização do progresso individual de cada aluno pelos preceptores, em conformidade com seu nível de instrução, podendo, portanto servir de complemento ao método avaliativo atitudinal e cognitivo já implantado na MEJC.. 32.

(33) 7. REFERÊNCIAS. 1. De L Megale, GontijoI ED, Motta JAC. Avaliação de competência clínica em estudantes de medicina pelo Miniexercício Clínico Avaliativo (Miniex). Revista Brasileira de Educação Médica 2009; 88 31 (3): 287-290. 2. Wass, V, Van der Vleuten C, Shatzer J, Jones R. Assessment of clinical competence. Lancet. 2001;357(9260): 945-949. 3. Baños JE, Gomar-Sancho C, Guardiola E, Palés-Argullós J. La utilización del Mini Clinical Evaluation Exercise (mini-CEX) en estudiantes de medicina FEM 2015; 18 (6): 417-426. 4. Barbosa Sampaio, AM. Percepção do discente de medicina sobre o exame clínico objetivo estruturado na formação acadêmica. Dissertação de Mestrado. Programa de Pós-graduação em Ensino na Saúde. Mestrado Profissional da Faculdade de Medicina da Universidade Federal de Goiás. Goiânia, 2014. [Monografia na Internet]. [Acesso em 2 dezembro 2017]. Disponível em: https://repositorio.bc.ufg.br/tede/handle/tede/3996. 5. Serapioni, M. Avaliação da qualidade em saúde. Reflexões teóricometodológicas para uma abordagem multidimensional. Revista Critica de Ciências sociais. 2009; 85:65-82. 6.. 2016; 40 (2): 245-253. 7. Ministério da Educação. Secretaria de Educação Superior. Comissão Nacional de Residências Medica. Resolução CNRM nº 02/2006, de 17 de maio de 2006. Dispõe sobre requisitos mínimos dos Programas de Residência Médica e dá outras providências [Internet]. Diário Oficial da União. Brasília(DF). 2006; Mai 17; Seção 1: 23-36. [Acesso em 2 dezembro 2017]. Disponível. em:. http://portal.mec.gov.br/sesu/arquivos/pdf/cnrm/resolcnrm002_2006.pdf 8. Ministério da Educação. Conselho Nacional de Educação. Resolução n. 3, de 20 de junho de 2014. Institui Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina e dá outras providências [Internet]. Brasília (DF): [Acesso. em. 2. dezembro. 2017].. Disponível. em:. 33.

(34) http://pesquisa.in.gov.br/imprensa/jsp/visualiza/index.jsp?data=23/06/2014&jor nal=1&pagina=8&totalArquivos=64. 9. ED Gontijo, C Alvim, L Megale, JRC Mel. Essential competences for the training and evaluation of performance in undergraduate medical education. 2013; 37(4) : 526-539. 10. Megale, L. Processos avaliativos no curso de medicina: desempenho dos estudantes em relação às competências em pediatria e sua significação pelo docente. Tese de Doutorado. Programa de Pós-Graduação em Ciências da Saúde. Área de Concentração: Saúde da Criança e do Adolescente da Faculdade de Medicina da Universidade Federal de Minas Gerais. Belo Horizonte, 2011. [Monografia na Internet]. [Acesso em 2 dezembro 2017]. Disponível. em:. www.bibliotecadigital.ufmg.br/dspace/bitstream/.../tese_megale_completa_a.p df. 11. Passini Júnior, R. Ensino da cirurgia ginecológica nos programas de residência médica do Brasil. Rev. Bras. Ginecol. Obstet. vol.29 no.2, 2007. 12. Fenner. DE.. Training. of. a. gynecologic. surgeon.. Obstet. Gynecol.. 2005;105(1):193-1936. 13. Nezhat C, Nezhat F, Nezhat C. Nezhat's Operative Gynecologic Laparoscopy and Hysteroscopy. Cambridge: Cambridge University Press; 2008. Nezhat C, Nezhat F, Nezhat C. Overview of complications. In: Nezhat C, Nezhat F, Nezhat. C,. editors.. Nezhat's. operative gynecologic. laparoscopy and. hysteroscopy. New York: Cambridge University Press; 2008. 496p. 14. Alkatout I, Mettler L, Maass N, Ackermann J. Robotic surgery in gynecology. J Turk Ger Gynecol Assoc. 2016; 17:224-232. 15. Rogers RM Jr, Julian TM. Training the gynecologic surgeon. Obstet Gynecol. 2015; 105(1):197-200. 16. Miller FC. Ten goals for the American College of Obstetricians and Gynecologists for the first decade of the next millennium. Obstet Gynecol. 2010; 95(1):1-5. 17. Hammond I, Karthigasu K. Training, assessment and competency in gynaecologic surgery. Best Pract Res Clin Obstet Gynaecol. 2012;20(1):17387.. 34.

(35) 18. Dantas, AK. Avaliação do aprendizado em técnica cirúrgica empregando três estratégias de ensino. Tese de Doutorado. Programa de Pós-Graduação em Ciências Odontológicas. Área de Concentração: Cirurgia e Traumatologia Buco Maxilo Faciais. Faculdade de Odontologia da Universidade de São Paulo. São Paulo, 2010. [Monografia na Internet]. Ribeirão Preto. 1996; 29(4):429-439.. [Acesso. em. 2. dezembro. 2017].. Disponível. em:. http://www.revistas.usp.br/rmrp/article/view/786. 19. Martin JA, Regehr G, Reznick R, MacRae H, Murnaghan J, Hutchison C, et al. Objective structured assessment of technical skill (OSATS) for surgical residents. Br J Surg. 2015;84(2):273-278. 20. Rock JA. Prefácio. In: Rock JA. Thompson JD, Warshaw J. Histerectomia. In: Rock JA, Thompson JD, editores. Te linde ginecologia operatória. 8ª ed. Rio de Janeiro: Guanabara Koogan [Acesso em 2 dezembro 2017]. Disponível em: http://www.febrasgo.org.br/residencia.htm. 21. Larson JL, Williams RG, Ketchum J, Boehler ML, Dunnington GL. Feasibility, Reliability And Validity Of An Operative Performance Rating System For Evaluating Surgical Residents. Surgery. 2005;138:640-649. 22. Ericsson KA. Deliberate practice and the acquisition and maintenance of expert performance in medicine and related domains. Academic Medicine. 2004;79:S70–S81. 23. Reid, K., Dodds, A. and McColl, G. Conducting Patient Assessments as a Medical Student: Frequency, Barriers, and Facilitators. Teaching and Learning in Medicine. 2014; 26(2):153-159. 24. Cox, M., Irby, D. and Epstein, R. Assessment in Medical Education. New England Journal of Medicine. 2007; 356(4):387-396. 25. Ben-David FM. Association of Medical Education in Europe guide no. 14: outcome-based education: part 3-assessment in outcome-based education. Med Teach. 1999; 21:23–25. 26. Amin, T., Kaliyadan, F. and Al Muhaidib, N. Medical students’ assessment preferences at King Faisal University, Saudi Arabia. Advances in Medical Education and Practice. 2011; 2:95-103. 27. Association of Professors of Gynecology and Obstetrics. Women’s health care competencies for medical students. Crofton (MD): APGO; 2001. [Acesso em 2 dezembro. 2017].. Disponível. em:. 35.

(36) groups.medbiq.org/medbiq/download/.../WomensHealthCareCompetencies.pd f? 28. Fernandes C, Ruano J, Kati L, Noguti A, Girão M, Sartori M. Assessment of laparoscopic skills of Gynecology and Obstetrics residents after a training program. Einstein (São Paulo). 2016;14(4):468-472. 29. Nahum G. Evaluating medical student obstetrics and gynecology clerkship performance: Which assessment tools are most reliable?.American Journal of Obstetrics and Gynecology. 2004;191(5):1762-1771. 30. Leach DC. Competence is a habit. JAMA. 2002; 287:243-4. 31. Amaral E. Avaliando Competência clínica: O Método de Avaliação Estruturada Observacional. Revista Brasileira de Educação Médica. 2007; 31 (3): 287-289. 32. Champagne B. Effective Teaching and Feedback Strategies in the OR and Beyond. Clinics in Colon and Rectal Surgery. 2013; 26(04):244-249. 33. A User's Manual for the Operative Performance Rating System (OPRS). [Acesso. em. 2. dezembro. 2017].. Disponível. em:. http://www.absurgery.org/xfer/assessment/oprs_user_manual.pdf. 34. Kim MJ, Williams RG, Boehler ML, Ketchum JK, Dunnington GL. Refining the evaluation of operating room performance. J Surg Educ. 2009;66(6):352-356. 35. Sanfey H, Williams RG, Chen X, Dunnington GL. Evaluating resident operative performance:A. qualitative. analysis. of. expert. opinions.. Surgery.2011;150(4):759-70. 36. Williams RG, Sanfey H, Chen X, Dunnington G. A controlled study to determine measurement conditions necessary for reliable and valid operative performance assessment. Annals of Surgery 2012;256(1):177-87. 37. Williams RG, Chen X, Sanfey H, Markwell S, Mellinger JD, Dunnington G. The measured impact of delay in completing operative performance ratings on clarity and detail of ratings assigned. J Surg Educ. 2014;71(6):e132-8. 38. Williams RG, Verhulst SJ, Colliver JA, Chen X, Sanfey H, Dunnington G. A template for reliable assessment. of resident operative performance:. Assessment intervals, number of cases and raters. Surgery. 2012;152(4):51724. 39. Chen XP, Williams RG, Sanfey HA, Dunnington GL. How do supervising surgeons evaluate guidance provided in the operating room? Am J Surg.2012;203(1):44-8.. 36.

(37) 40. Benson A, Markwell S, Kohler T, Tarter T. An Operative Performance Rating System for Urology Residents. The Journal of Urology. 2012;188(5):18771882. 41. Lau Yanting S, Sinnathamby A, Wang D, Tan Mong Heng M, Leong Wen Hao J, Lee S et al. Conceptualizing workplace based assessment in Singapore: Undergraduate Mini-Clinical Evaluation Exercise experiences of students and teachers. Tzu Chi Medical Journal.2016; 28(3):113-120. 42. Rajesh A, Teodor G, Krishna M, Thor M, Pavlos P, Aristotelis D, Fernando B, Ara D. An Evaluation of the Feasibility, Validity, and Reliability of Laparoscopic Skills Assessment in the Operating Room. Ann Surg. 2007;245(6): 992–999. 43. Wagner JP, Chen DC, Donahue TR, et al. Assessment of resident operative performance using a real-time mobile web system: preparing for the milestone age. J Surg Educ. 2014;71:e41 – e46. 44. Hadley C, Lam SK, Briceño V, Luerssen TGL, Jea A. Use of a formal assessment instrument for evaluation of resident operative skills in pediatric neurosurgery. J Neurosurg Pediatr. 2015;28:1-8. 45. Heinzow HS, Friederichs H, Lenz P, et al. Teaching ultrasound in a curricular course according to certified EFSUMB standards during undergraduate medical education: a prospective study. BMC Med Educ. 2013;13:84. 46. Touchie C, Humphrey-Murto S, Varpio L: Teaching and assessing procedural skills: a qualitative study. BMC Med Educ 2013, 13:69. 47. Wagner JP, Schroeder AD, Espinoza JC et al. Global outreach using a systematic, competency-based training paradigm for inguinal hernioplasty. JAMA Surg 2017; 152: 66–73.. 37.

(38) 8. PRODUTOS DO MESTRADO 8.1.. Artigo escrito para submissão na RBGO (Gynecology & Obstetrics):. DESEMPENHO DO SISTEMA DE AVALIAÇÃO DO SISTEMA DE COMPETÊNCIAS OPERATÓRIAS ENTRE GRADUANDOS E RESIDENTES DE GINECOLOGIA E OBSTETRÍCIA ACCOMPLISHMENT OF THE OPERATIVE PERFORMANCE RATING SYSTEM (OPRS) AMONG GRADUATE STUDENTS AND OBSTETRICS-GYNECOLOGY RESIDENTS. 38.

(39) TITLE PAGE. DESEMPENHO DO SISTEMA DE AVALIAÇÃO DO SISTEMA DE COMPETÊNCIAS OPERATÓRIAS ENTRE GRADUANDOS E RESIDENTES DE GINECOLOGIA E OBSTETRÍCIA ACCOMPLISHMENT OF THE OPERATIVE PERFORMANCE RATING SYSTEM (OPRS) AMONG GRADUATE STUDENTS AND OBSTETRICS-GYNECOLOGY RESIDENTS. Gleisse Aguiar Silva De Almeida a,*, Teresa Neumann B. Dantas Fabricio a, Josair Custodio De Mesquita b, Robinson Dias De Medeirosb, Beatriz Aguiar Da Silva Carvalho,c Ana Katherine Gonçalvesa,b. a. Programa de Pós graduação em Ensino na Saúde - Universidade Federal do Rio. Grande do Norte – UFRN. Natal (RN), Brasil. b. Departamento de Toco-ginecologia - Universidade Federal do Rio Grande do Norte. – UFRN. Natal (RN), Brasil. c. Estudante do Curso de Medicina da Universidade Federal do Rio Grande do Norte. – UFRN. Natal (RN), Brasil.. *. Autor Correspondente. Gleisse Aguiar Silva De Almeida Rua Santa Luzia, 1074, Casa 35 – Nova Parnamirim - Parnamirim RN, Brazil Zip code 59151-400, Brasil. Phone: 55-84-99985-5314. Fax: 55-84-32224131. E-mail: gleisseaguiar@hotmail.com. 39.

(40) RESUMO OBJETIVO: Analisar e aplicar o Operative Performance Rating System (OPRS) como instrumento de avaliação em cenários reais de prática cirúrgica ginecológica a fim. de. avaliar. alunos. da. graduação. em. medicina. e. residentes,. como. complementação dos métodos avaliativos já existentes. METODOLOGIA: Estudo transversal, descritivo, quantitativo que avaliou o desempenho de estudantes e residentes de ginecologia obstetrícia, durante a execução de cirurgias ginecológicas em hospital universitário. Os alunos foram avaliados de acordo com os escores obtidos nos itens do OPRS (anatomia; instrumental cirúrgico; fluxo da cirurgia, interação com a equipe e desempenho global). O software Statistical Package for the Social Sciences, versão 21, foi utilizado para análise dos dados, aplicando Análise de Variância, teste de Tukey e teste t de student. RESULTADOS: Comparando as médias das variáveis dos itens do OPRS, observou-se uma diferença entre as médias nos itens da avaliação com o período de graduação e residência (p < 0,001). Entre os graduandos, evidenciou-se diferença nas médias dos itens da avaliação (p < 0,05), exceto para interação (p < 0,108). Para os residentes, a análise apresentou diferença nas médias dos itens da avaliação relacionadas ao tempo de residência médica (p<0,001). CONCLUSÃO: O uso do OPRS no processo de avaliação de residentes e graduandos possibilita uma diferenciação entre os níveis de conhecimento, permitindo a monitorização do progresso de acordo com o tempo de estudo oferendo ainda um feedback imediato sobre o desempenho na prática cirúrgica.. PALAVRAS-CHAVE: Avaliação Educacional; Internato e Residência; Centros cirúrgicos; Procedimentos Cirúrgicos em Ginecologia.. 40.