Renato Amorim
ANÁLISE ENVOLTÓRIA DE DADOS PARA AVALIAR A EFICIÊNCIA RELATIVA DE MÉDICOS RESIDENTES EM
ORTOPEDIA E TRAUMATOLOGIA
Dissertação submetida ao Programa de Pós Graduação em Ciências Médicas da Universidade Federal de Santa Catarina para a obtenção do Grau de Mestre em Ciências Médicas. Orientador: Prof. Dr. Getúlio Rodrigues de Oliveira Filho.
Florianópolis 2019
Ficha de identificação da obra elaborada pelo autor,
através do Programa de Geração Automática da Biblioteca Universitária da UFSC.
Amorim, Renato
ANÁLISE ENVOLTÓRIA DE DADOS PARA AVALIAR A EFICIÊNCIA RELATIVA DE MÉDICOS RESIDENTES EM ORTOPEDIA E TRAUMATOLOGIA / Renato Amorim ; orientador, Getúlio Rodrigues de Oliveira Filho, 2019.
53 p.
Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro de Ciências da Saúde, Programa de Pós-Graduação em Ciências Médicas-Novo, Florianópolis, 2019.
Inclui referências.
1. Ciências Médicas-Novo. 2. Atendimento ao paciente. 3. habilidades processuais. 4.
conhecimento médico. I. de Oliveira Filho, Getúlio Rodrigues . II. Universidade Federal de Santa Catarina. Programa de Pós-Graduação em Ciências Médicas-Novo. III. Título.
Renato Amorim
ANÁLISE ENVOLTÓRIA DE DADOS PARA AVALIAR A EFICIÊNCIA RELATIVA DE MÉDICOS RESIDENTES EM
ORTOPEDIA E TRAUMATOLOGIA
Esta Dissertação foi julgada adequada para obtenção do Título de “Mestre” e aprovada em sua forma final pelo Programa Pós-Graduação
em Ciências Médicas. Local, 25 de fevereiro de 2019.
________________________
Prof. Getúlio Rodrigues de Oliveira Filho, Dr. Coordenador do Curso
Banca Examinadora: ________________________
Prof. Getúlio Rodrigues de Oliveira Filho, Dr. Orientador
Universidade Federal da Santa Catarina
________________________ Prof.ª Rosemeri Maurici da Silva, Dr.ª Universidade Federal da Santa Catarina
________________________ Prof. Humberto Fenner Lyra Jr, Dr.
________________________
Prof. Alexandre Sherlley Casemiro Onofre, Dr. Universidade Federal da Santa Catarina
Este trabalho é dedicado à minha família.
AGRADECIMENTOS
Agradeço aos residentes em ortopedia e traumatologia do Hospital Governador Celso Ramos e Hospital Regional Homero de Miranda Gomes que gentilmente concordaram em participar deste estudo.
Agradeço à minha esposa Rosane e aos meus filhos Rodrigo e Fernanda, pela ajuda, paciência e apoio.
Ao meu orientador e amigo, Prof. Dr. Getúlio Rodrigues de Oliveira Filho, que me serve de exemplo há muito tempo, mas que neste momento foi fundamental. Sua dedicação, paciência e competência foram um grande aprendizado.
Aos analistas de sistemas Lázuli Mashal Santos e Renan Inácio pela ajuda na criação do banco de dados para o registro dos procedimentos dos residentes.
Educação não transforma o mundo. Educação muda pessoas. Pessoas transformam o mundo. (Paulo Freire)
RESUMO
A maioria das avaliações dos residentes de cirurgia ortopédica é projetada para avaliar como os residentes cumprem adequadamente os objetivos educacionais, isto é, sua eficácia. Medidas de eficiência fornecem métricas para a relação entre a produção de resultados educacionais e o consumo de recursos educacionais. A análise envoltória de dados (AED) é um método estatístico que mede a eficiência relativa das unidades concorrentes.
O estudo teve como objetivo avaliar a robustez dos modelos AED na quantificação da eficiência relativa de uma coorte de residentes de cirurgia ortopédica.
Este foi um estudo de coorte observacional prospectivo. Uma amostra de conveniência de 13 residentes participou do estudo de agosto de 2017 a fevereiro de 2018.
Um modelo de análise envoltória de dados com retornos constantes a escala de Charnes, Cooper e Rhodes (CCR-I) ajustou os índices de atividades práticas e de aprendizagem dos residentes como entradas (insumos) e as respectivas medidas de aprendizagem estruturada e atividades práticas, como saídas (produtos). Escores de supereficiência, eficiência multifatorial e índices de robustez foram usados em análises de sensibilidade para avaliar a robustez do modelo AED original. O modelo CCR-I AED identificou quatro residentes como tecnicamente eficientes (escores de eficiência = 1). Os insumos ponderados dos residentes eficientes foram usados para estimar o nível projetado de insumos necessários para que os residentes ineficientes se tornassem eficientes. Análises de sensibilidade confirmaram a adequação do modelo original AED.
A AED é um método robusto para avaliar a eficiência relativa de residentes de cirurgia ortopédica.
Palavras-chave: cirurgia ortopédica, residência médica, análise envoltória de dados, eficiência.
ABSTRACT
Most evaluations of orthopedic surgery residents are designed to assess how residents adequately accomplish the educational goals, that is, their effectiveness. Efficiency measures provide metrics for the relation between the production of educational outcomes and the consumption of educational resources. Data envelopment analysis (DEA) is a statistical method that measures the relative efficiency competing units.
The study aimed to assess the robustness of DEA models in quantifying the relative efficiency of a cohort of orthopedic surgery residents. This was a prospective observational cohort study. A convenience sample of 13 residents participated in the study from August 2017 through February 2018.
An input-oriented, constant returns to scale Charnes, Cooper, and Rhodes (CCR-I) model was fit to residents' practical and learning activity indexes as inputs and the respective measures of structured learning and practical activities, as outputs. Super-efficiency scores, multifactor efficiency, and robustness indexes were used in sensitivity analyses to assess the robustness of the original DEA model.
The CCR-I DEA model identified four residents as technically efficient (efficiency scores = 1). The efficient residents' weighted inputs were used to estimate the projected level of inputs needed for the inefficient residents to became efficient. Sensitivity analyses confirmed the adequacy of the original DEA model.
DEA is a robust method to assess the relative efficiency of orthopedic surgery residents.
Keywords: orthopedic surgery, residency, data envelopment analysis, efficiency.
LISTA DE FIGURAS
Figura 1 – Página principal do Banco de dados . ... 26
Figura 2 - Diagrama de Fluxo ... 33
LISTA DE TABELAS
Tabela 1 - Atuação dos residentes durante procedimentos cirúrgicos e nível de supervisão prestado pelos assistentes aos residentes ... 34
Table 2 – Procedimentos registrados no banco de dados ... 34
Table 3 - Resultados do Modelo Envoltório de Dados (CCR-I) para os 13 residentes incluídos no estudo. ... 37
Tabela 4 - Análise de Supereficiência ... 39
Tabela 5 - Comparação de entradas e saídas entre as coortes de residentes eficientes e ineficientes ... 41
LISTA DE ABREVIATURAS E SIGLAS
ACGME - Accreditation Council for Graduate Medical Education (Conselho de credenciamento para educação médica de pós-graduação). DEA – Data Envelopment Analysis (Análise envoltória de dados). CAAE – Certificado de Apresentação para Apreciação Ética.
MySQL - Sistema de gerenciamento de banco de dados, que utiliza a linguagem SQL (Structured Query Language) como interface.
PHP - Personal Home Page.
CCR-I - Modelo de AED com retornos constantes à escala, orientado à entrada, desenvolvido por Charnes, Cooper e Rhodes.
SU - Service Unit (Unidade de serviço). IAP - Índice de Atividades Práticas.
IAA - Índice de Atividades de Aprendizagem. EAC – Escore na Avaliação Cognitiva. EAP – Escore na Avaliação Prática. QME - Questões de Múltipla Escolha. EMF - Eficiência Multifatorial. SE – SuperEficiência.
OSDEA - Open-Source program which solves Data Envelopment
Analysis (programa de código aberto que resolve a Análise Envoltória
de Dados).
GPL3 - General Public License (Licença Pública Geral versão 3). ISO/IEC - International Organization of Standardization / International
Electrotechnical Commission.
ABNT – Associação Brasileira de Normas Técnicas RE - Referência de Eficiência.
SUMÁRIO
1 INTRODUÇÃO ... 23
1.1 REFERENCIALTEÓRICO ... 23
1.2 AVALIAÇÃODEDESEMPENHODOSRESIDENTES 23 1.3 ANÁLISEENVOLTÓRIADEDADOS(AED) ... 23
1.4 PERGUNTA ... 25
1.5 OBJETIVOS ... 25
1.5.1 Objetivo geral ... 25
1.5.2 Objetivos específicos ... 25
2 MATERIAL E MÉTODOS ... 25
2.1 MÉTODOSDECOLETADEDADOS ... 26
2.1.1 Número e tipo dos procedimentos práticos ... 26
2.2 ANÁLISEESTATÍSTICA ... 27
2.2.1 Análise envoltória de dados ... 27
2.2.2 Indicadores utilizados na AED ... 28
2.2.3 Análise de sensibilidade ... 30
2.2.4 Comparação de entradas e saídas entre as categorias de eficiência dos residentes ... 31
2.2.5 Cálculo do tamanho amostral ... 32
2.2.6 Software estatístico ... 32
3 RESULTADOS ... 32
3.1 PARTICIPANTESEPERDAS ... 32
3.2 PROCEDIMENTOSREALIZADOS ... 33
3.3 RESULTADOSDAANÁLISEENVOLTÓRIADE DADOS 36 3.3.1 Escore de Eficiência ... 36
3.3.2 Referência de Eficiência (RE) ... 38
3.3.3 Lambdas (λ) ... 38
3.3.4 Projeções ... 38
3.3.5 Teste de Análise de Sensibilidade e Índice de Robustez (IR) dos Residentes Eficientes. ... 39
3.3.6 Comparação de entradas e saídas entre as coortes de residentes eficientes e ineficientes. ... 39
22
4 DISCUSSÃO ... 42 5 CONCLUSÃO ... 43 6 REFERÊNCIAS BIBLIOGRÁFICAS ... 44 7 APÊNDICE A – TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO. (TCLE) ... 47
8 ANEXO A – PARECER CONSUBSTANCIADO Nº 2.164.627 DATADO DE 10/07/2017 ... 50
9 ANEXO B – SUBMISSÃO DO ESTUDO PARA O JOURNAL OF SURGICAL EDUCATION NO DIA 28/01/2018 .... 53
1 INTRODUÇÃO
1.1 REFERENCIAL TEÓRICO
A formação especializada de médicos para a prática clinico-cirúrgica independente é experiencial e necessariamente ocorre dentro do contexto do sistema de prestação de cuidados de saúde, sob orientação do corpo docente. A formação deve abordar as seis competências essenciais do Accreditation Council for Graduate Medical
Education (ACGME): cuidados com o doente e competências
processuais, conhecimento médico, aprendizagem e aperfeiçoamento baseados na prática, competências interpessoais e de comunicação, profissionalismo e prática baseada em sistemas. A supervisão do corpo docente e a orientação dos deveres clínicos dos residentes fornecem valor, contexto e significado às interações paciente / residente. Além disso, os programas de treinamento devem fornecer evidências objetivas da realização bem-sucedida dos objetivos educacionais representados pelas competências essenciais.1
1.2 AVALIAÇÃO DE DESEMPENHO DOS RESIDENTES
Sistemas de avaliação multifacetados e multimétodos devem ser usados para avaliar objetivamente o desempenho dos residentes. Avaliações de desempenho global, listas de verificação de procedimentos, exames escritos, orais e práticos, avaliações baseadas em simulação e avaliações 360º são exemplos de métodos utilizados para esse fim. Custos variáveis, usabilidade, validade e confiabilidade estão associados a diferentes métodos e técnicas de avaliação.2
A maioria das avaliações dos residentes é direcionada para aferir como os residentes cumprem adequadamente os objetivos educacionais, isto é, sua efetividade. No entanto, os residentes atingem as metas educacionais consumindo tempo, esforços, além dos recursos humanos, materiais e financeiros fornecidos pelas instituições patrocinadoras. Escores de eficiência fornecem métricas para a relação entre a produção de resultados educacionais e o consumo de recursos educacionais. 3, 4 1.3 ANÁLISE ENVOLTÓRIA DE DADOS (AED)
Combinando insumos educacionais e resultados de avaliação de desempenho em um único processo de avaliação, Tiwari e Kumar aplicaram a análise envoltória de dados para identificar a contribuição
24
relativa ponderada dos insumos educacionais relacionados aos indicadores de desempenho de fellows em terapia intensiva.5 A AED é uma técnica analítica de benchmarking originalmente desenvolvida para comparar as unidades de negócios6 que já foram aplicadas para comparar o desempenho de unidades educacionais, hospitalares e bancárias, dentre outras.7-10 A AED utiliza programação linear não paramétrica para determinar a posição relativa das unidades de análise relacionadas a uma atividade comum, chamadas de unidades de tomada de decisão. A razão entre as métricas de desempenho ponderadas e a quantidade ponderada de insumos educacionais é usada para classificar unidades concorrentes como tecnicamente eficientes ou ineficientes, com base em um escore de eficiência.11 As unidades eficientes, que obtiveram escore de eficiência igual a 1, compõem uma fronteira de eficiência que envolve as unidades ineficientes, cujos índices de eficiência foram inferiores a 1. Os padrões de produção e consumo das unidades eficientes servem de referência para eficiência técnica das unidades ineficientes.11 A seleção das medidas é limitada pela disponibilidade de dados, confiabilidade e capacidade de capturar variações de práticas. As medidas selecionadas são categorizadas como entradas (insumos) ou saídas (produtos). Os insumos, cuja redução reflete melhorias de eficiência, representam a utilização de recursos, enquanto os produtos, cujo aumento reflete melhor desempenho, representam resultados.6
Os modelos clássicos de AED podem classificar as unidades ineficientes com base em suas classificações de eficiência relativas; no entanto, eles não permitem a classificação das unidades tecnicamente eficientes, que compartilham pontuações de eficiência iguais a 1. Métodos mais confiáveis têm sido desenvolvidos para esse fim, entre os quais a análise de supereficiência e a eficiência multifatorial que permitem a classificação da eficiência relativa das unidades tecnicamente eficientes identificadas pelos modelos clássicos. Essas medidas também são utilizadas para análises de sensibilidade, que visam avaliar a estabilidade dos modelos clássicos.12-15
Além de produzir um escore de eficiência relativa para cada unidade no conjunto, a solução para os modelos AED fornece um subconjunto de unidades pares para cada unidade ineficiente e um conjunto de objetivos para cada unidade ineficiente. Essa informação tripla torna a AED um instrumento atraente para avaliação e feedback na educação médica de pós-graduação.16
Entretanto estudos da aplicação da AED para estimar a eficiência relativa de médicos residentes são ainda escassos.
1.4 PERGUNTA
A análise envoltória de dados poderia dar uma classificação do desempenho dos residentes em cirurgia ortopédica?
1.5 OBJETIVOS 1.5.1 Objetivo geral
Avaliar a robustez do modelo AED de retornos constantes à escala, orientado à entrada de Charnes, Cooper e Rhodes (CCR-I), na quantificação da eficiência relativa de uma coorte de residentes em cirurgia ortopédica.
1.5.2 Objetivos específicos
- Criar modelos AED para uma coorte de médicos residentes de ortopedia e traumatologia.
- Estimar a aderência e a robustez dos modelos utilizados. 2 MATERIAL E MÉTODOS
Trata-se de uma coorte observacional sobre a atividade dos residentes de cirurgia ortopédica. Aprovado pelo comitê de ética da instituição, CAAE nº 69112317.1.0000.0121. Todos os participantes assinaram um termo de consentimento livre e esclarecido antes do início do estudo.
Foram convidados a participar do estudo vinte residentes de dois programas de residência médica em ortopedia e traumatologia. O programa 1 composto por 8 residentes do Hospital Governador Celso Ramos da cidade de Florianópolis e o programa 2 por 12 residentes do Hospital Regional Homero de Miranda Gomes da cidade de São José. Ambos seguem as normas do Ministério da Educação (MEC) e da Sociedade Brasileira de Ortopedia e Traumatologia (SBOT), com quantidades e tipos de atividades práticas e atividades educacionais estruturadas semelhantes. Um supervisor designado pelo diretor de cada programa monitorava continuamente a gravação dos procedimentos cirúrgicos dos residentes no banco de dados de casos. Mensagens eletrônicas eram enviadas semanalmente aos residentes e ao supervisor para reforçar este controle.
26
2.1 MÉTODOS DE COLETA DE DADOS 2.1.1 Número e tipo dos procedimentos práticos
Os procedimentos foram inseridos em um banco de dados MySQL 5.6.34 através de uma interface construída usando a linguagem PHP 5.6.28 e armazenados em um servidor Apache 2.2.31. (Figura 1)
Figura 1 – Página principal do Banco de dados .
Todos os residentes receberam instruções detalhadas de como acessar o banco de dados e como registrar os procedimentos imediatamente após a conclusão dos mesmos. Cada registro compreendia o nome do hospital onde o procedimento foi realizado; a data e a duração aproximada; a idade do paciente, sexo e tipo de hospitalização (paciente externo ou internado); o tipo de atendimento (eletivo ou de emergência), o diagnóstico do paciente (utilizando a Classificação Internacional de Doenças); e o código do procedimento realizado. Além disso, a atuação do residente no procedimento também foi registrado: cirurgião, se realizou a cirurgia; primeiro assistente, se auxiliou o cirurgião na manipulação do tecido e no fechamento da ferida; ou observador se ele / ela apenas observou a cirurgia.
Os níveis de supervisão prestados ao residente pelo cirurgião assistente foram classificados da seguinte forma: 0 - residente realizando a cirurgia com supervisão à distância; 1 – cirurgião assistente realizando a cirurgia, residente como auxiliar; 2 - residente realizando a cirurgia, cirurgião assistente na sala de cirurgia, escovado; 3 - residente
realizando a cirurgia, cirurgião assistente na sala de cirurgia, não escovado; 4 - residente realizando a cirurgia, cirurgião assistente no centro cirúrgico, imediatamente disponível.17
Também foram coletadas as seguintes métricas: o número de atividades educacionais estruturadas ministradas pelos programas e as respectivas porcentagens de frequência dos residentes; as pontuações nas avaliações em treinamento (padronizadas) feitas pelos programas e aplicadas a todos os residentes do estudo; a nota do exame anual escrito aplicado pela Sociedade Brasileira de Ortopedia e Traumatologia a todos os residentes do estudo; e as notas obtidas pelos residentes do terceiro ano, no exame de título de especialidade, aplicado pela Sociedade Brasileira de Ortopedia e Traumatologia.
2.2 ANÁLISE ESTATÍSTICA 2.2.1 Análise envoltória de dados
O modelo de AED utilizado foi o modelo de retornos constantes à escala, orientado a entrada, desenvolvido por Charnes, Cooper e Rhodes (CCR-I).6 Este modelo estima a eficiência relativa de unidades concorrentes como a razão entre a soma ponderada de saídas (produtos) e a soma ponderada de entradas (insumos). A programação linear foi usada para calcular pesos lambda (λ). O modelo identificou as unidades mais eficientes, isto é, aquelas que usaram as menores quantidades de insumos para produzir as maiores quantidades de produtos. As unidades tecnicamente eficientes recebem um escore de eficiência AED igual a 1. Essas unidades tecnicamente eficientes compõem a fronteira de eficiência (efficiency frontier). Unidades ineficientes são identificadas por um escore de eficiência inferior a 1, indicando que usaram um nível mais alto de recursos para atingir o resultado final. O índice de eficiência da AED varia entre 0 e 1. Para os residentes ineficientes, o modelo criou pares virtuais, representados por residentes tecnicamente eficientes contra os quais residentes ineficientes foram comparados. Nenhuma referência virtual foi atribuída a residentes cujo escore de eficiência foi igual a 1.
2.2.1.1 Modelo Matemático AED Função objetiva
28 !"#$%$&' ! = !!!!!+ !!!!!+ ⋯ + !!!!" !!!!!+ !!!!!+ ⋯ + !!!!" = !!!!" ! !!! !!!!" ! !!!
Maximiza o escore de eficiência para cada unidade de tomada de decisão.
Isso está sujeito à restrição de que quando o mesmo conjunto de coeficientes u e v é aplicado a todas as outras unidades de serviço comparadas, nenhuma unidade de serviço (SU) terá mais de 100% de eficiência, como segue:
SU1 = !!!!!+ !!!!"+ ⋯ + !!!!! !!!!!+ !!!!"+ ⋯ + !!!!! = !!!!! ! !!! !!!!! ! !!! ≤ 1 SU2 = !!!!"+ !!!!!+ ⋯ + !!!!! !!!!"+ !!!!!+ ⋯ + !!!!!= !!!!! ! !!! !!!!! ! !!! ≤ 1 SUo = !!!!!+ !!!!!+ ⋯ + !!!!" !!!!!+ !!!!!+ ⋯ + !!!!" = !!!!" ! !!! !!!!" ! !!! ≤ 1 SUj = !!!!!+ !!!!!+ ⋯ + !!!!" !!!!!+ !!!!!+ ⋯ + !!" = !!!!" ! !!! !!!!" ! !!! ≤ 1 u1, ..., us > 0 e v1, ..., vm ≥ 0 2.2.2 Indicadores utilizados na AED
2.2.2.1 Entradas
2.2.2.1.1 Índice de Atividades Práticas (IAP).
É o total de horas de trabalho autorreferidas pelos participantes (60 h / semana * 31 semanas = 1860 h) dividido pelo número de procedimentos registrados no banco de dados durante o período do estudo. Valores menores representam maior envolvimento do residente com as atividades práticas. Por exemplo, o residente B, cujo IAP foi o menor entre os residentes, registrou 239 procedimentos, durante o período do estudo, resultando em um IAP = 1860/239 = 7,78. Em contraste, o residente G, cujo IAP foi de 109,41, registrou participação em apenas 17.
2.2.2.1.2 Índice de Atividades de Aprendizagem (IAA).
Os programas de residência que participam deste estudo dedicam sete horas semanais a atividades estruturadas de aprendizagem, que incluem aulas, seminários e rodadas clínicas. O atendimento a essas atividades é obrigatório e tem precedência sobre o atendimento ao paciente, que é assumido pelos assistentes durante as saídas dos residentes. O IAA é o inverso do percentual de participação em atividades estruturadas de aprendizagem. Quanto menor esse índice, maior a frequência de residentes nas aulas. Por exemplo, um comparecimento de 100% resulta em um IAA = 1, enquanto um comparecimento de 50% resulta em um IAA = 1 / 0,5 = 2. Embora não inesperadamente, o comparecimento às atividades de aprendizado foi de 100% para todos os residentes participantes, o IAA entrou na análise envoltória de dados como entrada para os graus de avaliação cognitiva. 2.2.2.2 Saídas
2.2.2.2.1 Escore na Avaliação Cognitiva (EAC).
Durante o período do estudo, os residentes fizeram um exame escrito nacional com 100 questões de múltipla escolha (QME) (agosto de 2017). Um exame padronizado de 100 QME e um exame oral padronizado com dez diferentes cenários clínicos foram aplicados pelos programas a todos os residentes (dezembro de 2017). Os residentes do terceiro ano (R3) também fizeram o exame de Ortopedia e Traumatologia para obter o título de especialista, que consiste em um teste escrito com 100 QME e um teste oral com 16 cenários clínicos. O EAC foi calculado como a média do percentual de acertos nos testes.
2.2.2.2.2 Escore na Avaliação Prática (EAP).
Os residentes realizaram um teste prático padronizado aplicado pelos programas composto por quatro cenários clínicos envolvendo a realização de um exame físico e três situações para avaliar suas habilidades por meio de procedimentos simulados (dezembro de 2018). Um teste de habilidades com cinco cenários práticos e um exame físico com cinco situações simuladas foram aplicados aos residentes do terceiro ano (R3) em março de 2018. O EAP foi calculado como a porcentagem média de desempenho nos dois exames práticos.
30
2.2.3 Análise de sensibilidade
Os modelos CCR-I AED podem identificar unidades individuais cuja saída supere em muito as expectativas, com base no seu consumo de entrada. Essas unidades são consideradas outliers ou unidades independentes. Esses indivíduos podem ser verdadeiros especialistas, ou fatores externos podem ter influenciado seu escore de eficiência. Em qualquer caso, a causa de sua orientação incomum e sua influência na fronteira de melhores práticas deve ser identificada. Um modelo de supereficiência (SE) foi utilizado para testar se um ou mais dos quatro residentes eficientes em AED era um outlier.18, 19 No modelo CCR-I convencional, as restrições que normalizam a eficiência não podem ser maiores que 1; no modelo SE, essa restrição é eliminada para a unidade que está sendo analisada, permitindo que a pontuação de eficiência exceda 1. Índices individuais de supereficiência foram estimados para cada residente na coorte eficiente, excluindo suas entradas e saídas dos cálculos. Os cálculos foram repetidos para cada residente eficiente (n = 4).15, 19 Para avaliar ainda mais a robustez dos modelos CCR-I e supereficiência, uma eficiência multifatorial (EMF) foi calculada usando as folgas obtidas das restrições das equações de entrada e saída. Folga é o nome dado à subprodução de produtos ou ao uso excessivo de insumos. Eles representam os pontos de melhoria de cada residente em relação a suas entradas e saídas. A eficiência multifatorial é um índice médio de produtividade parcial do fator que combina o componente radial do modelo de supereficiência com o custo relativamente reduzido de cada variável de entrada e saída.13 Um índice de robustez foi calculado como a razão entre EMF e SE e usado para avaliar a sensibilidade dos escores de supereficiência à mudanças nos pesos de entrada e saída. Quando próximo de 1, o índice de robustez confirma a robustez do modelo AED original.12
2.2.3.1 Modelo Matemático EMF – SE
A eficiência multifatorial da unidade k, denotada por EMFk, é
!"#!= !!= 1 !" !!,!,! ! !!! ! !!!
= !! ∗ !" !"#!,! !"#!,! ! !!! ! !!! . !!!"= Max! ! sujeito a !!!! ! !!! !!! − !!!!≥ 0, !!!! ! !!! !!! ≤ !!, !!= 1 ! !!! !!! , !!, !!≥ 0. !!,!,!= !!∗× !!,! !!,!+ !!,!∗ × 1 − !!,!!∗ !!∗! !,! . !! = !"#! !"! , 0 < !!≤ 1
2.2.4 Comparação de entradas e saídas entre as categorias de eficiência dos residentes
Depois de assegurar os dados de distribuição normal com os testes de normalidade de Kolmogorov-Smirnov, as entradas e saídas foram comparadas entre os residentes eficientes e ineficientes usando os testes t de Student não pareados. Corrigindo-se os vieses o intervalo de confiança de 95% foi estimado pela replicação de 1000 “bootstraps”. Significância estatística foi assumida para alfa menor que 5% (p <0,05).
32
2.2.5 Cálculo do tamanho amostral
O tamanho da amostra deste estudo foi estimado pelos métodos de Bowlin 20 com a fórmula 3(m + n), e Dyson et al. 21 com a fórmula 2mn, onde m = número de entradas e n = número de saídas. O número de residentes disponíveis para o estudo (n = 20) foi considerado adequado: O tamanho mínimo da amostra (nmin) foi estimado em nmin = 2nm = 2 × 2 × 2 = 8 residentes de acordo com a fórmula de Dyson e nmin = 3 (n + m) = 3 (2 +2) = 12 residentes de acordo com a fórmula de Bowlin.
2.2.6 Software estatístico
O software usado para as análises da AED foi o OSDEA (software de código aberto licenciado sob a GPL3) usando o modelo de retornos constantes à escala, orientado à entrada de Charnes, Cooper e Rhodes (CCR-I). Os modelos AED de supereficiência radial voltados para entrada, constantes e em escala, foram ajustados aos dados de residentes eficientes usando o software Data Envelopment Analysis
Online (DEAOS, Behin-Cara Co. Ltd., Irã) e o MS-Excel for Mac 2011,
versão 14.7.3 (Microsoft Corporation, Redmond, EUA) Solver Engine. Os valores das variáveis de folga da saída do solver foram utilizados para calcular a eficiência multifatorial e o índice de robustez. O STATA 14 MP para Mac (StataCorp, College Stations, EUA) foi para comparações entre grupos.
3 RESULTADOS
3.1 PARTICIPANTES E PERDAS
Oito residentes do Programa 1 e 12 residentes do Programa 2 participaram do estudo. Os residentes que não registraram continuamente suas atividades durante o período de estudo e os residentes que não participaram das avaliações (Programa 1: n = 1; Programa 2: n = 6) foram excluídos do estudo. A amostra final foi composta por 13 residentes que registraram todos os procedimentos realizados no período de 1º de agosto de 2017 a 28 de fevereiro de 2018 (31 semanas). (Figura 1)
3.2 PROCEDIMENTOS REALIZADOS
Setecentos e dois procedimentos, 503 (72%) do programa 1 e 199 (28%) do programa 2, foram registrados. Detalhes dos procedimentos em relação à atuação dos residentes durante procedimentos cirúrgicos e nível de supervisão prestado pelos assistentes aos residentes são mostrados na tabela 1 e os procedimentos registrados pelos residentes no banco de dados na tabela 2.
Figura 2 - Diagrama de Fluxo
Residentes do programa 1 (n = 8) Residentes do programa 2 (n = 12) Total de residentes (n = 20)
Residentes que registraram suas atividades
(n = 15)
Residentes que não registraram suas atividades
(n = 5)
Residentes que não participaram de todas as avaliações
(n = 2) Residentes que participaram de
todas as avaliações (n = 13)
Residentes incluídos no estudo (n = 13)
34
Tabela 1 - Atuação dos residentes durante procedimentos cirúrgicos e nível de supervisão prestado pelos assistentes aos residentes
Parâmetros n (%) Atuação do residente a Cirurgião 478 (68,09%) Assistente 186 (26,50%) Observador 38 (5,41%) Nível de supervisão b Nível 0 10 (1,42%) Nível 1 60 (8,55%) Nível 2 429 (61,11%) Nível 3 190 (27,07%) Nível 4 13 (1,85%)
Notas de rodapé: a. Atuação dos residentes durante procedimentos cirúrgicos: cirurgião, se realizou a cirurgia; primeiro assistente se auxiliou o cirurgião na manipulação do tecido e no fechamento da ferida; ou observador, se ele / ela apenas observou a cirurgia.
b. Nível de supervisão prestado pelos assistentes: nível 0: residente realizando a cirurgia com supervisão à distância; nível 1: cirurgião assistente realizando a cirurgia, residente como auxiliar; nível 2: residente realizando a cirurgia, cirurgião assistente na sala de cirurgia, escovado; nível 3: residente realizando a cirurgia, cirurgião assistente na sala de cirurgia, não escovado; nível 4: residente realizando a cirurgia, cirurgião assistente no centro cirúrgico, imediatamente disponível.
Table 2 – Procedimentos registrados no banco de dados
Procedimentos n (%)
Tratamento cirúrgico da fratura ou da fratura-luxação do tornozelo 78 (11,11%) Tratamento cirúrgico da fratura nas extremidades distais dos ossos do antebraço 48 (6,84%) Tratamento cirúrgico da fratura da diáfise da tíbia 46 (6,55%) Tratamento cirúrgico da fratura da diáfise do fêmur 32 (4,56%) Tratamento cirúrgico da fratura transtrocanteriana 32 (4,56%) Tratamento cirúrgico da fratura do colo do fêmur 27 (3,85%) Tratamento cirúrgico da fratura da tíbia proximal 25 (3,65%) Tratamento cirúrgico da fratura da clavícula 18 (2,56%) Tratamento cirúrgico da fratura da diáfise do úmero 17 (2,42%) Tratamento cirúrgico da fratura do fêmur distal 17 (2,42%) Tratamento cirúrgico da fratura da extremidade proximal do úmero 16 (2,28%) Tratamento cirúrgico da fratura do pilão tibial 16 (2,28%) Tenoplastia ou enxerto de tendão 13 (1,86%) Transposição de tendão ou transferência miotendinosa 13 (1,86%) Tratamento cirúrgico da fratura das falanges da mão 13 (1,86%)
Artroplastia parcial do quadril 12 (1,71%)
Tratamento cirúrgico da fratura do calcâneo 11 (1,57%) Reparo de rotura do manguito rotador via aberta 10 (1,42%) Tratamento cirúrgico da fratura diafisária dos ossos do antebraço 9 (1,28%) Tratamento cirúrgico da fratura do planalto tibial 9 (1,28%) Tratamento cirúrgico da fratura supracondiliana do úmero 9 (1,28%) Tratamento cirúrgico da fratura diafisária do rádio 8 (1,14%) Tratamento cirúrgico da luxação, fratura-luxação da clavícula 8 (1,14%)
Artroplastia total do quadril 7 (1,00%)
Redução incruenta da fratura do rádio 7 (1,00%) Retirada de fio ou pino intraósseo 7 (1,00%)
Retirada de placa e parafusos 7 (1,00%)
Tratamento cirúrgico da fratura do acetábulo 6 (0,86%) Tratamento cirúrgico da fratura do rádio distal 6 (0,86%) Tratamento cirúrgico da fratura dos metacarpianos 6 (0,86%) Tratamento cirúrgico da fratura ou deslocamento epifisário dos epicôndilos 6 (0,86%) Tratamento cirúrgico da fratura do(s) metatarsiano(s) 5 (0,71%) Tratamento cirúrgico da luxação ou fratura-luxação de Joelho 5 (0,71%) Tratamento cirúrgico de luxação e fratura-luxação do cotovelo 5 (0,71%) Redução incruenta da fratura, luxação ou fratura-luxação do tornozelo 4 (0,57%) Tratamento cirúrgico da luxação ou fratura-luxação carpo-metacarpiana 4 (0,57%) Tratamento cirúrgico da rotura de menisco-meniscectomia parcial ou total por artroscopia 4 (0,57%) Tratamento cirúrgico da síndrome compressiva no punho 4 (0,57%) Artroplastia total do joelho primária 3 (0,43%) Manipulação do joelho sob anestesia 3 (0,43%) Microcirurgia de nervos periféricos 3 (0,43%) Redução incruenta da fratura da tíbia 3 (0,43%)
Retirada de haste intramedular 3 (0,43%)
Sutura de Ferida com ou sem desbridamento 3 (0,43%) Tratamento cirúrgico da fratura da patela 3 (0,43%) Tratamento cirúrgico da fratura do ossos do mediopé 3 (0,43%) Tratamento cirúrgico da fratura subtrocanteriana 3 (0,43%) Tratamento cirúrgico da fratura, luxação ou fratura-luxação de coluna lombar 3 (0,43%) Tratamento cirúrgico da fratura, luxação ou fratura-luxação de coluna torácica 3 (0,43%) Tratamento cirúrgico da luxação ou fratura-luxação metatarsofalangiana 3 (0,43%) Tratamento cirúrgico da osteomielite da tíbia 3 (0,43%) Tratamento cirúrgico da osteomielite do fêmur 3 (0,43%) Amputação ou desarticulação do(s) pododáctilo(s) 2 (0,29%) Epifisiodese do trocanter maior do fêmur 2 (0,29%)
Microneurólise 2 (0,29%)
Redução incruenta da fratura dos ossos do antebraço 2 (0,29%) Ressecção de tumor ósseo com substituição 2 (0,29%) Retirada de corpo estranho intramuscular ou em bainha tendinosa 2 (0,29%)
Revisão de coto amputado do pé 2 (0,29%)
Tratamento cirúrgico da artrite piogênica do punho 2 (0,29%) Tratamento cirúrgico da fratura da cabeça do rádio 2 (0,29%) Tratamento cirúrgico da fratura do escafoide 2 (0,29%) Tratamento cirúrgico da osteomielite do(s) osso(s) do pé 2 (0,29%) Tratamento cirúrgico da pseudartrose escafoide ou outros ossos carpianos 2 (0,29%) Alongamento ou encurtamento tendinoso no tornozelo 1 (0,14%) Alongamento ou transporte ósseo no fêmur 1 (0,14%) Amputação/desarticulação do pé ao nível do tarso 1 (0,14%)
Artrodese do joelho 1 (0,14%)
Artroplastia de ressecção da cabeça femoral 1 (0,14%) Artroplastia de revisão do quadril 1 (0,14%)
Artrorrise do cotovelo 1 (0,14%)
Artrotomia do tornozelo 1 (0,14%)
Biópsia do fêmur 1 (0,14%)
Correção cirúrgica da fratura viciosamente consolidada do fêmur 1 (0,14%) Correção cirúrgica de deformidade do joelho em flexão 1 (0,14%) Curativo(s) Cirúrgico(s) sob Anestesia Geral 1 (0,14%)
Desinserção muscular 1 (0,14%)
Discectomia 1 (0,14%)
Encurtamento dos ossos da perna 1 (0,14%)
Epifisiodese femoral proximal "in situ" 1 (0,14%) Exploração ou toalete articular com ou sem sinovectomia da coxofemoral 1 (0,14%) Microcirurgia de plexo braquial microenxertia 1 (0,14%)
Osteotomia da diáfise do fêmur 1 (0,14%)
Patelectomia total ou parcial 1 (0,14%)
Realinhamento do mecanismo extensor do joelho 1 (0,14%)
Reconstruções multiligamentares 1 (0,14%)
Redução incruenta da extremidade inferior do fêmur 1 (0,14%) Redução incruenta da fratura da ulna 1 (0,14%)
36
Redução incruenta da fratura da(s) falange(s) 1 (0,14%) Redução incruenta da luxação ou fratura-luxação do punho 1 (0,14%) Redução incruenta de fratura da coluna lombar 1 (0,14%) Redução incruenta de luxação ou fratura-luxação escapuloumeral 1 (0,14%) Reimplante ou revascularização ao nível da mão e outros dedos exceto polegar 1 (0,14%) Reparo Ligamentar ao Nível do Carpo 1 (0,14%)
Ressecção de bursa no ombro 1 (0,14%)
Ressecção de corpo vertebral 1 (0,14%)
Ressecção de tumor ósseo com deslizamento 1 (0,14%) Ressecção radical de partes moles da coxa, joelho, perna, braço, cotovelo 1 (0,14%)
Retirada de parafuso 1 (0,14%)
Revisão cirúrgica de luxação coxo femoral congênita 1 (0,14%) Revisão de coto amputação do fêmur 1 (0,14%)
Tenolise 1 (0,14%)
Tenorrafia 1 (0,14%)
Tratamento cirúrgico da artrose coxo femoral 1 (0,14%) Tratamento cirúrgico da escoliose 1 (0,14%) Tratamento cirúrgico da fratura da supracondiliana do úmero 1 (0,14%) Tratamento cirúrgico da fratura diafisária da ulna 1 (0,14%) Tratamento cirúrgico da fratura do colo e cavidade glenoide da escápula 1 (0,14%) Tratamento cirúrgico da fratura do tálus 1 (0,14%) Tratamento cirúrgico da fratura-luxação coxo femoral 1 (0,14%) Tratamento cirúrgico da fratura, luxação, fratura-luxação ou disjunção do anel pélvico 1 (0,14%) Tratamento cirúrgico da hérnia de disco cervical 1 (0,14%) Tratamento cirúrgico da lesão fisária do punho 1 (0,14%) Tratamento cirúrgico da luxação ou fratura-luxação subtalar 1 (0,14%) Tratamento cirúrgico da luxação ou fratura-luxação tarsometatársica 1 (0,14%) Tratamento cirúrgico da osteomielite do(s) osso(s) do antebraço 1 (0,14%) Tratamento cirúrgico da pseudartrose na região metafisoepifisária distal do rádio 1 (0,14%) Tratamento cirúrgico da pseudartrose, retardo de consolidação ou perda óssea do úmero 1 (0,14%) Tratamento cirúrgico de Fratura de olécrano 1 (0,14%) Tratamento cirúrgico de instabilidade crônica (reconstrução ligamentar) do joelho 1 (0,14%) Tratamento cirúrgico de pé plano valgo 1 (0,14%) Tratamento cirúrgico do escorregamento epifisário proximal do úmero 1 (0,14%) Tratamento cirúrgico do pé torto congênito 1 (0,14%)
Total 702 (100%)
3.3 RESULTADOS DA ANÁLISE ENVOLTÓRIA DE DADOS Os resultados da análise envoltória de dados são mostrados na tabela 3. Cada coluna será explicada individualmente, para facilitar a interpretação dos resultados das análises AED.
3.3.1 Escore de Eficiência
Os escores de eficiência atribuídos a cada residente, representado como letra maiúscula na coluna 1, são mostrados na segunda coluna da tabela 3. Os escores de eficiência são os principais resultados do AED. Consequentemente, os residentes cujo escore foi igual a 1 foram considerados tecnicamente eficientes em relação aos seus pares, considerando sua capacidade de converter entradas em saídas. Em contraste, os residentes cujos escores eram menores que 1 foram
Table 3 - Resultados do Modelo Envoltório de Dados (CCR-I) para os 13 residentes incluídos no estudo.
Lambdas (λ) Projeções Reais
Residente Escore de eficiência RE A B C D EAC EAP IAP IAA EAC EAP IAP IAA
A 1 A 1 0 0 0 0,81 0,94 35,76 1,00 0,81 0,94 35,76 1 B 1 B 0 1 0 0 0,68 0,91 7,78 1,00 0,68 0,91 7,78 1 C 1 C 0 0 1 0 0,84 0,95 50,27 1,00 0,84 0,95 50,27 1 D 1 D 0 0 0 1 0,77 0,84 25,83 1,00 0,77 0,84 25,83 1 E 0,662 C 0 0 0,66 0 0,55 0,63 33,28 0,66 0,54 0,63 62,00 1 F 0,825 C 0 0 0,83 0 0,69 0,78 41,49 0,83 0,69 0,77 71,53 1 G 0,868 C 0 0 0,87 0 0,73 0,83 43,66 0,87 0,73 0,80 109,41 1 H 0,636 A,C 0,54 0 0,10 0 0,52 0,60 24,14 0,64 0,52 0,45 37,95 1 I 0,824 C 0 0 0,82 0 0,69 0,78 41,43 0,82 0,55 0,78 84,54 1 J 0,933 A,B,D 0,45 0,23 0 0,25 0,72 0,84 24,43 0,93 0,72 0,84 26,19 1 K 0,871 C 0 0 0,87 0 0,73 0,83 43,78 0,87 0,73 0,74 54,70 1 L 0,891 C 0 0 0,89 0 0,74 0,85 44,77 0,89 0,61 0,85 58,12 1 M 0,763 C 0 0 0,76 0 0,64 0,73 38,36 0,76 0,60 0,73 88,57 1 Média 0,68 0,79 54,82 1 DP 0,10 0,13 27,58 0 Média -1 DP 0,58 0,66 27,24 1 +1 DP Média 0,77 0,92 82,40 1
Lambdas (λ) são os pesos atribuídos ao residente que serve como referência de eficiência (RE) para o residente cuja eficiência está sendo estimada.
Abreviações: RE: Referência de Eficiência; EAC: Escore na Avaliação Cognitiva; EAP: Escore na Avaliação Prática; IAP: Índice de Atividades Práticas; IAA: Índice de Atividades de Aprendizagem.
38
classificados como tecnicamente ineficientes. Esses residentes podem se tornar eficientes se consumirem quantidades menores de insumos para produzir a mesma quantidade de produtos que produzem atualmente. O conjunto residente eficiente delimita a fronteira de eficiência que envolve o grupo residente ineficiente.
3.3.2 Referência de Eficiência (RE)
A terceira coluna da tabela 3 mostra os residentes que serviram como referência para residentes ineficientes, ou seja, o conjunto de pares contra os quais cada residente ineficiente foi comparado. As entradas desses pares representam as metas que um residente ineficiente deve atingir para alcançar a eficiência técnica.
A AED determinou que os residentes A, B, C e D eram tecnicamente eficientes em relação aos seus pares e compunham a fronteira de eficiência.
3.3.3 Lambdas (λ)
Lambdas são os pesos dados a cada residente na fronteira de eficiência quando ele / ela envolve (serve de referência para) o residente cuja eficiência está sendo calculada durante a construção do modelo AED. Cada peso lambda, quando multiplicado pela entrada real do residente de referência, determina a quantidade projetada de insumos necessários para que o residente ineficiente sob escrutínio se torne eficiente, isto é, para ser projetado na fronteira de eficiência.
3.3.4 Projeções
A projeção de insumos necessários para que residentes ineficientes atinjam a eficiência técnica é obtida pela multiplicação simples de matrizes dos lambdas dos residentes de referência e seus insumos reais, ou seja, multiplicando os produtos de cada entrada de referência (nas colunas “Reais”) pelo peso lambda respectivo. Por exemplo, o residente E foi classificado como tecnicamente ineficiente (EE = 0,662) e seu par de referência foi residente C. Ao multiplicar o lambda (λ = 0,662) do residente C pela sua entrada real (IAA = 1) a entrada projetada para O IAA do residente E foi de 0,662 * 1 = 0,662. Isso implica que seria necessário um aumento de 151% (= 1 / 0,662) no atendimento do residente E às atividades de aprendizagem estruturada para que ele atingisse o mesmo nível de eficiência de seu ponto de referência, o
residente C, uma necessidade que teria de ser cumprida pelo programa, considerando que o residente E atendeu a todas as atividades de aprendizagem estruturada atualmente disponíveis. Para o mesmo residente, o IAP projetado seria 0,662 * 50,27 = 33,28, o que representaria uma diminuição de 54% no IAP atual = 62, que se traduz como um aumento de 86% em sua carga de trabalho, passando de 30 para 56 procedimentos.
3.3.5 Teste de Análise de Sensibilidade e Índice de Robustez (IR) dos Residentes Eficientes.
Os resultados das análises de supereficiência são apresentados na tabela 4. Os residentes eficientes de A a D são mostrados na coluna "Residente". A coluna 2 (Modelo 1 - Escore de eficiência) e a coluna 3 (Modelo 2 - Escore de supereficiência) expressam as pontuações atribuídas a cada residente nos modelos original e de supereficiência, respectivamente. O residente B obteve o maior escore de SE. Sob as colunas “Pesos do grupo de pares”, são mostrados pesos lambda dos pares de referência de cada residente. Esses pesos lambda foram usados para estimar as entradas e saídas de referência indicadas nas colunas "Entradas" e "Saídas". As diferenças brutas e percentuais entre as projeções reais e de referência dos residentes também são mostradas. Os escores de eficiência multifatorial são mostrados na próxima coluna e confirmam a maior eficiência do residente B em relação aos seus pares. Índices de robustez (IR) são exibidos na última coluna. A proximidade de IR para 1, confirma a robustez da solução produzida pelo modelo AED original, mas foi incapaz de classificar o residente B como outlier. 3.3.6 Comparação de entradas e saídas entre as coortes de
residentes eficientes e ineficientes.
Exceto pelo índice de atividade de aprendizagem estruturada, que não variou entre os residentes, o consumo de insumos dos residentes eficientes foi menor, ou seja com menos tempo entre um procedimento e outro, e a produção das saídas foi maior para os residentes eficientes, com os melhores resultados nas avaliações. (Tabela 5)
40
Tabela 4 - Análise de Supereficiência
Peso do Grupo de Pares Entradas Saídas
Residente Modelo 1 escore de eficiência Modelo 2 escore de
supereficiência A B C D IAP IAA EAC EAP EMF IR
A 1 1,021 0,199 0,554 0,247 Real 35,76 1 0,807 0,935 1,021 1,000 Projeção 35,76 1 0,79 0,916 Diferença 0 0 -0,017 -0,019 % Diferença 0 0 -2,11 -2,03 B 1 3,600 1,000 0,301 Real 7,78 1 0,683 0,912 3,763 1,045 Projeção 7,78 0,301 0,912 0,726 Diferença 0 -0,699 0,229 -0,186 % Diferença 0 -69,88 33,529 -20,348 C 1 1,036 1,000 Real 50,27 1 0,836 0,95 0,765 0,739 Projeção 35,76 1 0,807 0,935 Diferença -14,51 0 -0,03 -0,015 % Diferença -28,864 0 -3,6 -1,58 D 1 1,014 0,645 0,355 Real 25,83 1 0,774 0,841 1,039 1,024 Projeção 25,83 1 0,763 0,927 Diferença 0 0 -0,011 0,086 % Diferença 0 0 -1,42 10,23
Os projeções são a combinação ponderada de entradas das referências do grupo de pares do modelo 2. Diferença é a subtração entre os índices de desempenho reais e as respectivas projeções.
Abreviaturas: IAP: Índice de atividade prática; IAA: Índice de atividades de aprendizagem; EAP: Escore na Avaliação prática; EAC: Escore na Avaliação cognitiva; EMF: Eficiência Multifatorial; IR: Índice de Robustez.
Tabela 5 - Comparação de entradas e saídas entre as coortes de residentes eficientes e ineficientes
Parâmetro Residentes eficientes a Residentes ineficientes a Diferença média b p- valor c
Índice de atividade prática 29,21 ± 17,84 [11,66; 45,43] 65,89 ± 25,85 [47,85; 85,87] -35,98 ± 11,88 [-58,37; -16,64] 0,012 Escore na Avaliação cognitiva d 0,78 ± 0,07
[0,70; 0,82] 0,63 ± 0,08 [0,58; 0,68] 0,14 ± 0,04 [0,05; 0,22] 0,012 Escore na Avaliação prática d 0,90 ± 0,05
[0,86; 0,94] 0,73 ±0,12 [0,63; 0,80] 0,17 ± 0,05 [0,09; 0,27] 0,03
Notas de Rodapé: a: Valores representam médias ± desvios-padrão; b: valores representam médias ± erros padrão da diferença média; os números entre parênteses são os intervalos de confiança de 95% corrigidos e acelerados (BCa) dos procedimentos de bootstrap. c: valor p dos testes t bicaudais para amostras independentes; d: os graus são expressos em uma escala de 0 a 1, representando a fração de acertos e desempenhos em relação à pontuação máxima possível obtida nos exames cognitivo e prático.
42
4 DISCUSSÃO
O principal resultado deste estudo foi que o modelo CCR DEA orientado a entrada, com retornos constantes à escala e os dados de entrada e saída da coorte de residentes participantes do estudo foram capazes de identificar seus níveis distintos de eficiência. A robustez do modelo foi confirmada por análises de sensibilidade, que indicaram que o modelo DEA original produziu um ranking confiável de residentes ineficientes, enquanto o modelo de supereficiência classificou de forma confiável os residentes eficientes. Além disso, o modelo original previa possíveis quantidades de esforços extras (insumos) que poderiam projetar residentes ineficientes na fronteira da eficiência.
Como os residentes que participaram deste estudo compartilhavam os mesmos recursos educacionais e oportunidades cirúrgicas, os diferentes níveis de eficiência técnica podem ser explicados pelos níveis distintos de habilidade no uso dos recursos disponíveis. Assim, os residentes mais eficientes otimizaram o uso de oportunidades de treinamento, enquanto os residentes menos eficientes desperdiçaram recursos, incluindo o tempo gasto em serviço.
As implicações dessas descobertas no ensino de pós-graduação em cirurgia ortopédica ainda são desconhecidas. No entanto, semelhante a um estudo anterior,5 este mostrou que o envolvimento dos pós-graduandos no treinamento de procedimentos durante suas horas de serviço foi o principal determinante do desempenho nas avaliações cognitivas e psicomotoras.
A participação em atividades estruturadas de aprendizagem foi obrigatória, e todos os residentes participantes do estudo participaram de todas as atividades de aprendizagem. Os achados deste estudo confirmaram nossa hipótese de que o índice de atividade de aprendizagem estruturada projetada de residentes com pior desempenho indicaria que eles poderiam se beneficiar do aumento de sua participação nessas atividades. No entanto, se aumentar o número de atividades de aprendizagem estruturadas realmente beneficiaria esses residentes é desconhecido, porque o modelo AED não incluiu nenhuma medida qualitativa associada a insumos, por exemplo, o nível de atenção, o nível de ansiedade relacionado ao estudo e realização, motivação para aprender e para melhoria pessoal ou a capacidade de selecionar ideias principais a partir de assuntos abordados em episódios de aprendizagem.22
Em concordância com os achados deste estudo, Tiwari e Kumar relataram que a contribuição da participação relativa à conferência em
seu modelo AED não diferiu entre residentes eficientes e ineficientes e foi inferior ao índice de intensidade de trabalho, que representou o número de procedimentos por unidade de tempo.5
As projeções da AED podem potencialmente ser usadas como uma fonte objetiva de dados para intervenções de feedback e remediação, pois indicam a quantidade de esforço extra que determinado residente deve investir para alcançar a eficiência técnica.16, 23
Além disso, a AED pode identificar fragilidades institucionais na provisão de oportunidades de aprendizagem para os residentes. Existe uma relação entre a eficácia e a eficiência dos recursos educacionais, pois intervenções efetivas de aprendizado maximizam o uso de recursos destinados a aumentar a qualidade dos resultados educacionais.3, 4
Este estudo deve ser avaliado levando em conta suas limitações. O registro de procedimentos no banco de dados pode ter sido incompleto. De fato, disparidades significativas entre o número mínimo e máximo de procedimentos registrados, erros de codificação, relatórios exagerados ou insuficientes foram relatados em estudos baseados em registros de casos auto-relatados.24-26 Para minimizar esta limitação os registros de casos dos residentes foram supervisionados localmente para garantir sua integridade e precisão.
5 CONCLUSÃO
Concluímos que a análise envoltória de dados é um método robusto para avaliar objetivamente a eficiência relativa dos residentes de cirurgia ortopédica que podem potencialmente ser usados como um recurso para feedback educacional e avaliação do programa.
44
6 REFERÊNCIAS BIBLIOGRÁFICAS
1. Accreditation Council for Graduate Medical Education (ACGME). ACGME Program Requirements for Graduate Medical Education in Orthopaedic Surgery. 2017;
2. Swing SR. Assessing the ACGME general competencies: general considerations and assessment methods. Acad Emerg Med. 2002;9:1278-1288.
3. Taylor C. In defence of efficient medical education. Med Educ. 2017;51:883-885.
4. Walsh K, Cleland J, Maloney S. Efficiency in health care professional education. Med Educ. 2018;52:347.
5. Tiwari V, Kumar AB. A Novel Method of Evaluating Key Factors for Success in a Multifaceted Critical Care Fellowship Using Data Envelopment Analysis. Anesth Analg. 2018;126:260-269.
6. Charnes A, Cooper WW, Rhodes E. Measuring the efficiency of decision making units. Eur J Op Res. 1978;2:429-444.
7. Basson MD, Butler T. Evaluation of operating room suite efficiency in the Veterans Health Administration system by using data-envelopment analysis. Am J Surg. 2006;192:649-656. 8. Dexter F, O'Neill L. Data envelopment analysis to determine by how much hospitals can increase elective inpatient surgical workload for each specialty. Anesth Analg. 2004;99:1492-1500; table of contents.
9. Fiallos J, Patrick J, Michalowski W, Farion K. Using data envelopment analysis for assessing the performance of pediatric emergency department physicians. Health Care Manag Sci. 2017;20:129-140.
10. Vafaee Najar A, Pooya A, Alizadeh Zoeram A, Emrouznejad A. Assessing the Relative Performance of Nurses Using Data Envelopment Analysis Matrix (DEAM). J Med Syst. 2018;42:125.
Network Data Envelopment Analysis: Foundations and Extensions. Switzerland: Springer International Publishing; 2017.
12. Dexter F, O'Neill L, Xin L, Ledolter J. Sensitivity of super-efficient data envelopment analysis results to individual decision-making units: an example of surgical workload by specialty. Health Care Manag Sci. 2008;11:307-318.
13. O'Neill L. Multifactor efficiency in data envelopment analysis with an application to urban hospitals. Health Care Manag Sci. 1998;1:19-27.
14. O'Neill L, Dexter F. Methods for understanding super-efficient data envelopment analysis results with an application to hospital inpatient surgery. Health Care Manag Sci. 2005;8:291-298. 15. Tone K. A slacks-based measure of super-efficiency in data
envelopment analysis. Eur J Op Res. 2002;143:32-41.
16. de Oliveira Filho GR. Efficiency, Paths, Goals, and Frontiers in Graduate Education: New Uses for Old Concepts. Anesth Analg. 2018;126:10-12.
17. Itani KM, DePalma RG, Schifftner T, et al. Surgical resident supervision in the operating room and outcomes of care in Veterans Affairs hospitals. Am J Surg. 2005;190:725-731. 18. Banker RD, Chang H. The super-efficiency procedure for outlier
identification, not for ranking efficient units. Eur J Op Res. 2006;175:1311-1320.
19. Lovell CAK, Rouse APB. Equivalent standard DEA models to provide super-efficiency scores. Journal of the Operational Research Society. 2003;54:101-108.
20. Bowlin WF. Measuring Performance: An Introduction to Data Envelopment Analysis (DEA). The Journal of Cost Analysis. 1998;15:3-27.
21. Dyson RG, Allen R, Camanho AS, Podinovski VV, Sarrico CS, Shale EA. Pitfalls and protocols in DEA. European Journal of Operational Research. 2001;132:245-259.
46
environment, quality of life, and study strategies measures to anesthesiology resident academic performance. Anesth Analg. 2007;104:1467-1472.
23. Aggarwal M, Singh S, Sharma A, Singh P, Bansal P. Impact of structured verbal feedback module in medical education: A questionnaire- and test score-based analysis. Int J App Basic Med Res. 2016;6:220-225.
24. Hinds RM, Gottschalk MB, Egol KA, Capo JT. Trends in Upper Extremity Fracture Caseload Reporting During Orthopaedic Residency. Bull Hosp Jt Dis (2013). 2016;74:193-196.
25. Hinds RM, Gottschalk MB, Strauss EJ, Capo JT. Trends in Arthroscopic Procedures Performed During Orthopaedic Residency: An Analysis of Accreditation Council for Graduate Medical Education Case Log Data. Arthroscopy. 2016;32:645-650.
26. Salazar D, Schiff A, Mitchell E, Hopkinson W. Variability in Accreditation Council for Graduate Medical Education Resident Case Log System practices among orthopaedic surgery residents. J Bone Joint Surg Am. 2014;96:e22.
27. Achuthan R, Grover K, MacFie J. A critical evaluation of the electronic surgical logbook. BMC Med Educ [Internet]. 2006;6:15.
28. Díaz CJG, Aufroy AL, Cladera PR, Pla SS, Ruiz CJ, López LM, Aracil XS, Soto SN. Surgical Electronic Logbook : A Step Forward. Cir Esp. 2015;93(10):651-57.
29. Raghoebar-Krieger HMJ, Sleijfer D, Bender W, Stewart RE, Popping R. The reliability of logbook data of medical students: An estimation of interobserver agreement, sensitivity and specificity. Med Educ. 2001;35(7):624–31.
(TCLE)
SERVIÇO PÚBLICO FEDERAL
UNIVERSIDADE FEDERAL DE SANTA CATARINA HOSPITAL UNIVERSITÁRIO
CAMPUS REITOR JOÃO DAVID FERREIRA LIMA - TRINDADE - CEP 88040-900 - FLORIANÓPOLIS / SC
TELEFONE +55 (48) 3721-9164 - FAX +55 (48) 3721-8354
Prezado(a) Senhor(a)
Você está sendo convidado a participar de uma pesquisa sobre a criação de um Banco de Dados (Logbook), esta pesquisa está associada ao projeto de mestrado de Renato Amorim, do programa de Pós-Graduação em ciências médicas da Universidade Federal de Santa Catarina, Prédio Reitoria II. Rua Desembargador Vitor Lima, nº 222, sala 401. Bairro: Trindade. CEP: 88.040-400. Florianópolis-SC.
O objetivo deste trabalho é a criação de um banco de dados eletrônico para o residente de ortopedia e traumatologia para o registro de procedimentos. Os Objetivos específicos são a criação de uma ferramenta para verificar a atividade de cada residente, estabelecer qual o número de procedimentos mínimo o residente deverá realizar durante sua formação, estabelecer parâmetros de comparação entre os serviços e analisar a qualidade do software.
Nesta pesquisa você terá que registrar todos os procedimentos efetuados durante as atividades da residência de ortopedia e traumatologia. Durante o preenchimento deste banco de dados você poderá sentir-se assoberbado, cansado ou aborrecido. Neste caso, você poderá inserir os dados em outra oportunidade, sem prejuízo à pesquisa. Os investigadores estarão sempre à disposição para apoiá-lo. Não há risco biológico. Os residentes terão como benefícios um portfólio de seus procedimentos realizados e vistos, que poderão ser utilizados no seu currículo e os serviços de residência terão uma noção de quantos e quais procedimentos seus residentes estão participando.
Durante a coleta de dados você será sempre acompanhado por um dos pesquisadores, que lhe prestará toda a assistência ou acionará
48
pessoal competente para isso. Caso tenha alguma dúvida sobre os procedimentos ou sobre o projeto você poderá entrar em contato com o pesquisador, Renato Amorim, a qualquer momento pelo telefone (48) 99983-0777 ou e-mail renamorim32@gmail.com.
Sinta-se absolutamente a vontade em deixar de participar da pesquisa a qualquer momento, sem ter que apresentar qualquer justificativa, ao decidir deixar de participar da pesquisa você não terá qualquer prejuízo no restante das atividades.
Os pesquisadores serão os únicos a ter acesso aos dados e tomarão todas as providências necessárias para manter o sigilo, mas sempre existe a remota possibilidade da quebra do sigilo, mesmo que involuntário e não intencional, cujas consequências serão tratadas nos termos da lei. Os resultados deste trabalho poderão ser apresentados em encontros ou revistas científicas e mostrarão apenas os resultados obtidos como um todo, sem revelar seu nome, instituição ou qualquer informação relacionada à sua privacidade.
Duas vias deste documento estão sendo rubricadas e assinadas por você e pelo pesquisador responsável, guarde cuidadosamente a sua via, pois é um documento que traz importantes informações de contato e garante os seus direitos como participante da pesquisa.
A legislação brasileira não permite que você tenha qualquer compensação financeira pela sua participação nesta pesquisa. Caso alguma despesa extra ordinária associada à pesquisa venha a ocorrer, você será ressarcido nos termos da lei. Caso você tenha algum prejuízo material ou imaterial em decorrência da pesquisa poderá solicitar indenização, de acordo com a legislação vigente e amplamente consubstanciada.
O pesquisador responsável e orientador, Prof. Dr. Getúlio Rodrigues de Oliveira Filho, que também assina esse documento, compromete-se a conduzir a pesquisa de acordo com o que preconiza a Resolução 466/12 de 12/06/2012, que trata dos preceitos éticos e da proteção aos participantes da pesquisa.
Você poderá entrar em contato com o pesquisador, Renato Amorim pelo telefone (48)99983-0777, e-mail renamorim32@gmail.com, endereço residencial na Av. Madre Benvenuta 388. Você também poderá entrar em contato com o Comitê de Ética em Pesquisa com Seres Humanos da UFSC, telefone: (48)3721-6094. E-mail: cep.propesq@contato.ufsc.br.
este documento (ou tive este documento lido para mim por uma pessoa de confiança) e obtive dos pesquisadores todas as informações que julguei necessárias para me sentir esclarecido e optar por livre e espontânea vontade participar da pesquisa.
____________________________________ Renato Amorim
____________________________________ Prof. Dr. Getúlio Rodrigues de Oliveira Filho
50
8 ANEXO A – Parecer consubstanciado nº 2.164.627 datado de 10/07/2017
UNIVERSIDADE FEDERAL DE SANTA CATARINA - UFSC
PARECER CONSUBSTANCIADO DO CEP
Pesquisador: Título da Pesquisa:
Instituição Proponente: Versão:
CAAE:
Desenvolvimento e validação de um sistema para registro de atividades práticas de médicos residentes de ortopedia e traumatologia
Getúlio Rodrigues de oliveira Filho
Universidade Federal de Santa Catarina 2
69112317.1.0000.0121 Área Temática:
DADOS DO PROJETO DE PESQUISA
Número do Parecer: 2.164.627 DADOS DO PARECER
Trata-se de resposta às pendências de um projeto vinculado ao Programa de Pós-graduação em Ciências Médicas da Universidade Federal de Santa Catarina e que pretende elaborar um banco de dados para o registro de todos os procedimentos realizados pelo residente da área de ortopedia e traumatologia durante um ano a partir de um estudo "Prospectivo, observacional".
Apresentação do Projeto:
Objetivo Primário:
O objetivo deste trabalho é a criação de um banco de dados para o residente de ortopedia e traumatologia para o registro de seus procedimentos.
Objetivo Secundário:
• Criação de uma ferramenta para verificar a atividade de cada residente.• Estabelecer o número de procedimentos realizado pelo residente durante sua formação.• Informações para o currículo do residente.• Analisar a qualidade do software.
Objetivo da Pesquisa:
Riscos:
O residente de ortopedia e traumatologia terá que registrar todos os procedimentos efetuados durante as atividades da residência de ortopedia e traumatologia, este preenchimento poderá lhe
Avaliação dos Riscos e Benefícios: Financiamento Próprio Patrocinador Principal: 88.040-400 (48)3721-6094 E-mail: cep.propesq@contato.ufsc.br Endereço: Bairro: CEP: Telefone:
Universidade Federal de Santa Catarina, Prédio Reitoria II, R: Desembargador Vitor Lima, nº 222, sala 401 Trindade
UF:SC Município: FLORIANOPOLIS
UNIVERSIDADE FEDERAL DE SANTA CATARINA - UFSC
Continuação do Parecer: 2.164.627
trazer cansaço ou aborrecimento e o inconveniente de tomar seu tempo. Benefícios:
O residente de ortopedia e traumatologia terá um portfólio de seus procedimentos realizados e vistos, que poderá ser utilizado no seu currículo.O serviço de residência terá uma noção de quantos e quais procedimentos seus residentes estão participando.
Os pesquisadores readequaram o TCLE de acordo com a Resolução 466-2012. Comentários e Considerações sobre a Pesquisa:
TCLE readequado atendendo a Resolução 466-2012. Considerações sobre os Termos de apresentação obrigatória:
não se aplica. Recomendações:
Conclusão: aprovado.
Conclusões ou Pendências e Lista de Inadequações:
Considerações Finais a critério do CEP:
Este parecer foi elaborado baseado nos documentos abaixo relacionados:
Tipo Documento Arquivo Postagem Autor Situação
Informações Básicas do Projeto PB_INFORMAÇÕES_BÁSICAS_DO_P ROJETO_909328.pdf 27/06/2017 07:40:20 Aceito Declaração de Instituição e Infraestrutura DeclaracaoHGCR.pdf 27/06/2017 07:39:46
RENATO AMORIM Aceito
Declaração de Instituição e Infraestrutura
DeclaracaoOrtopediaHIJG.pdf 27/06/2017 07:37:57
RENATO AMORIM Aceito
Outros Cartaresposta.pdf 26/06/2017
12:32:20
RENATO AMORIM Aceito Projeto Detalhado /
Brochura Investigador
Projetoresposta.pdf 26/06/2017
12:29:08
RENATO AMORIM Aceito Declaração de
Instituição e Infraestrutura
DeclaracaoHRSJ.pdf 26/06/2017
12:28:13
RENATO AMORIM Aceito Declaração de
Instituição e Infraestrutura
DeclaracaoDiretorClinicoHGCR.pdf 26/06/2017 12:27:42
RENATO AMORIM Aceito
Declaração de DeclaracaoDiretoraTecnicaHIJG.pdf 26/06/2017 RENATO AMORIM Aceito
88.040-400
(48)3721-6094 E-mail: cep.propesq@contato.ufsc.br Endereço:
Bairro: CEP:
Telefone:
Universidade Federal de Santa Catarina, Prédio Reitoria II, R: Desembargador Vitor Lima, nº 222, sala 401 Trindade
UF:SC Município: FLORIANOPOLIS
