Modelação

Uma vez que existem inúmeras técnicas disponíveis para aplicar, a escolha do método depende do objetivo que se tem relativamente ao que se pretende obter a partir da fonte de dados selecionada. O presente estudo tem por base a previsão da duração da cirurgia tendo em conta outras variáveis dependentes. Em machine learning os classificadores “Naive Bayes” pertencem à família de classificadores probabilísticos simples baseados na aplicação do teorema de Bayes tendo como pressuposto uma forte independência entre as variáveis. Daí o termo “naive” que vem da hipótese de que os valores dos atributos de uma amostra são independentes (Gama et al., 2012). As suposições deste modelo são consideradas inocentes por assentar em dois importantes pressupostos (Buntine, 1994):

i. os atributos preditivos são condicionalmente independentes dada a classe; ii. nenhum atributo oculto ou subentendido influencia o processo de previsão. O classificador Naive Bayes permite uma abordagem simples para representação, uso e aprendizagem de conhecimento probabilístico. É utilizado em contextos de aprendizagem supervisionada.

Para o mesmo procedimento cirúrgico há muita variabilidade nas durações apresentadas. Por isso, torna-se importante a análise em termos de probabilidades (Macario, 2009). Pode analisar-se esta relação através de um processo para o qual se deve definir as variáveis de entrada e a variável de saída. Embora a regressão possa ter vários objetivos como, selecionar variáveis, estimar parâmetros, estudar inferência, o objetivo deste estudo é a previsão da duração cirúrgica tendo em conta os vários fatores que a influenciam. O melhor modelo será aquele que apresentar melhores valores de accuracy. Para além dessa medida será avaliada a taxa de erro e o índice de Kohens

Para a definição de uma agenda são selecionados blocos com tempos definidos, assim não há especial interesse em prever a duração cirúrgica como variável continua. Como a base de dados contém variáveis continuas e nominais, as variáveis contínuas foram transformadas em variáveis nominais através de patamares. No caso da variável alvo (duração da cirurgia) foi utilizado o node numeric binner para criar patamares de 15 minutos, tendo sido criados 10 patamares, em que cirurgias com mais de 135 minutos são incluídas no último patamar.

A idade dividida em faixas etárias de 10 anos tendo ignorado faixas inferiores a 18 anos uma vez que o hospital não trata menores de idade.

Os dados foram divididos da mesma fonte de dados em treino e teste com percentagens de (20 e 80%, respetivamente) de modo a não introduzir/induzir erros no modelo. Os dados disponibilizados para treino permitem ao modelo calcular as probabilidades necessárias para a obtenção do classificador “Naive Bayes”.

Foram selecionadas apenas as variáveis validadas nas fases anteriores: cirurgião principal, intervenção, especialidade, idade e duração.

Cada especialidade cirúrgica é organizada individualmente pelos seus responsáveis e não há médicos cirurgiões em comum. Assim, optou-se por criar o modelo tendo em conta cada uma das especialidades de modo isolado através de um filtro pelo código de especialidade.

Apesar do modelo ter boa performance foram selecionadas as intervenções com valores de ocorrência superiores a 500 para otimizar a sua performance e melhor conhecer as relações entre os atributos, Tabela 3.

Tabela 3. Códigos de intervenção mais frequentes por especialidade. Código

de especialidade

Códigos de intervenção selecionados

50 592, 603, 640, 6029, 612, 6011, 585 e 642 51 863, 8683, 8674, 8532, 864, 8365, 8684, 8622, 0887, 0443, 8235, 8689, 856, 8593, 8669, 0886 e 8587 57 863, 5303, 3859, 2255, 5122, 4495, 4946, 534, 864, 4497, 8621 e 5351 58 0443, 8154, 7759, 806, 8151, 8026, 8363, 8233, 7757, 7868, 0407, 8291, 7751, 8153, 8235, 7869, 8051, 8155, 8074, 8021, 0309, 8221, 7867, 8128, 7860, 8183, 8309 e 7754 85 1341, 1371, 1171, 9921, 0822, 1364 e 0821

As designações dos códigos de intervenção podem ser consultados no Anexo B.

No caso da especialidade 50 foi ainda necessário aumentar a percentagem de dados de treino para 30% para que a performance do modelo fosse melhorada. De notar que é uma especialidade com menos episódios que as restantes.

A Tabela 4 resume os resultados provenientes do modelo para as várias especialidades. Através do coeficiente Cohens Kappa poderemos medir a concordância usada em escalas nominais e mede o nível de concordância ou reprodutibilidade. Nos resultados obtidos verificamos um coeficiente que varia entre 0,793 e 0,922 indicando que aquela que mais se afasta é a especialidade 50 e a que mais se aproxima é a 51.

Tabela 4. Resultados provenientes do modelo Naive Bayes, obtidos via Knime.

Accuracy (%) Taxa de erro (%) Cohens Kappa

50 83,796 16,204 0,793

51 93,534 6,466 0,922

57 91,083 8,917 0,879

58 89,754 10,246 0,872

85 91,936 8,064 0,837

Por seu turno accuracy ou exatidão dá informação de quanto um valor é correto e isento de erros, assim verificamos que todas as especialidades têm um valor superior a 84%, sendo que aquela que apresenta mais erros é a 50 seguindo-se das 58, 57, 85 e 51.

Foram levadas a cabo várias tentativas de melhorar a performance do modelo e através da remoção das variáveis “mês” e “dia da semana” foi possível melhorar a performance do modelo de um modo significativo como pode ser visto na Tabela 5.

Tabela 5. Resultados provenientes do modelo Naive Bayes após otimização, obtido via Knime.

Accuracy (%) Taxa de erro (%) Cohens Kappa

50 86,227 13,773 0,823

51 94,1 5,6 0,929

57 94,72 7,273 0,901

58 91,645 8,355 0,896

85 92,959 7,041 0,857

Posteriormente, incluímos no modelo de previsão a validação cruzada com 10 iterações entre o modelo de previsão no sentido de melhorar a sua performance. Os resultados das taxas de erro estão resumidas na Tabela 6.

Tabela 6: Resumo da percentagem de erros do modelo de previsão com validação cruzada, obtido via Knime.

Especialidade 50 51 57 58 85

Média 9,087 4,759 6,017 7,696 6,47

Variância 5,903 0,409 1,208 0,251 0,678

Verificamos que após a inclusão da validação cruzada as taxas de erro diminuem significativamente. Verificamos, ainda que apesar da taxa de erro média mais baixa ser relativa à especialidade 51 aquela que apresenta uma variância mais baixa é a especialidade 58.

3.1.5 Avaliação

Segue-se a fase onde foi feita uma análise mais cuidada do modelo implementado para de uma maneira geral aferir se responde aos objetivos do negócio previamente definidos, de modo a assegurar que:

i. o modelo é capaz de fazer previsões com taxa de erro inferior a 20%; ii. é possível implementar o modelo selecionado no hospital.

A análise foi feita por especialidade porque cada uma delas tem a sua orgânica muito bem definida.

Uma vez que as conclusões podem ser extrapoladas para as outras especialidades focamo-nos na especialidade 51 para entender a respetiva aplicabilidade e funcionamento do modelo. Esta especialidade envolve procedimentos que se realizam quer no âmbito de ambulatório quer de internamento.

A distribuição do modelo de aprendizagem Naive Bayes está representada na Figura 29.

Figura 29. Informação proveniente do modelo de aprendizagem Naive Bayes na especialidade 51, obtido via Knime.

Verificou-se que cerca de 71% das intervenções cirúrgicas não ultrapassam o patamar 4 o que significa que não têm uma duração superior a 60 minutos sendo a duração média das intervenções que ficaram classificadas nesse patamar de 51,59 minutos.

A Figura 30, mostra que para o mesmo código de intervenção existem vários patamares possíveis o que demonstra o que anteriormente tinha sido abordado neste documento que a duração de um procedimento cirúrgico é influenciado por múltiplos fatores.

Figura 30. Informação proveniente do modelo de aprendizagem Naive Bayes relativa à classificação mediante código de intervenção na especialidade 51, obtido via Knime.

Os códigos de intervenção “863” e “8683” representam cerca de 52% das intervenções e enquanto que para o primeiro se verifica que este procedimento se concentra maioritariamente nos patamares 1 e 2, o segundo procedimento tem aproximadamente o

A distribuição tendo em conta o interveniente (cirurgião principal) pode ser consultada na Figura 31.

Figura 31. Informação proveniente do modelo de aprendizagem Naive Bayes relativa à classificação mediante interveniente na especialidade 51, obtido via Knime.

Apesar de se verificar distribuição da duração dos procedimentos cirúrgicos pelos vários patamares verifica-se que todos os intervenientes têm mais episódios classificados no patamar 2, isto é, com duração de 30 minutos.

Na Figura 32 pode verificar-se a classificação da duração cirúrgica tendo em conta a faixa-etária dos utentes. As faixas etárias com mais episódios concentram-se entre 30 a 60 anos e, mais uma vez, é visível uma distribuição pelos vários patamares.

Figura 32. Informação proveniente do modelo de aprendizagem Naive Bayes relativa à classificação mediante faixa-etária do utente na especialidade 51, obtido via Knime.

Apesar de todas as variantes complexas encontradas no modelo verificamos valores de exatidão na previsão muito bons, de 94,1%, como se pode verificar na Figura 33.

Figura 33. Matriz de confusão para a previsão na especialidade 51, obtido via Knime.

Alguns parâmetros de avaliação do modelo podem ser visualizados na Figura 34, tais como a precisão, a sensibilidade, a especificidade o F-Measure e serão discutidos segundo (Han et al., 2012).

Figura 34. Estatística de exatidão da previsão na especialidade 51, obtido via Knime.

A precisão refere-se à proporção de exemplos positivos classificados entre todos aqueles preditos como positivos e, até ao patamar 8 apresenta valores superiores a 0, 885. Sendo que, o patamar com maior precisão é o 1 com valor de 0,986 e o que tem menor precisão é o patamar 10 com valor de precisão de 0,662. Uma vez que a precisão significa que cada previsão corresponde aquele item efetivamente é importante que o patamar 2 tenha efetivamente um valor elevado uma vez que a grande maioria dos valores se situam neste patamar.

A sensibilidade corresponde à taxa de acerto na classe positiva apresentando valores superiores a 0,9176 para os primeiros 7 patamares e para o último. Os patamares com valores de maior sensibilidade são o 2 e o 10 com valores de 0,966 sendo o 9 o que apresenta um valor mais baixo de 0,422.

A F-measure combina a precisão e a sensibilidade e pretende responder à relação que existe nos casos em que para a mesma classe existem procedimentos bem classificados e outros classificados incorretamente. O patamar 9 apresenta o menor valor (0,571) todos os outros patamares apresentam valores aceitáveis sendo que os valores mais elevados dizem respeito aos patamares 1 e 2.

A especificidade corresponde à taxa de acerto na classe negativa. Para todos os patamares os valores são superiores a 0,987 (patamar 3) e para os patamares 8 e 9 os valores de especificidade são 1.

As cirurgias de ambulatório (as que não necessitam de internamento) são caraterizadas por ter menos risco e, normalmente, têm uma menor duração. Embora todas as especialidades tenham procedimentos cirúrgicos realizados em ambulatório, a especialidade de oftalmologia (85) só tem episódios realizados neste âmbito.

A distribuição do modelo de aprendizagem Naive Bayes está representada na Figura 35.

Figura 35. Informação proveniente do modelo de aprendizagem Naive Bayes na especialidade 85, obtido via Knime.

Verificou-se que 60% dos procedimentos da especialidade 85 situam-se no patamar 1 para os quais a média cirúrgica é de aproximadamente 10 minutos. Ao patamar 2 dizem respeito 38% dos procedimentos com uma duração média de 18,45 minutos.

A Figura 36, apresenta a distribuição dos procedimentos cirúrgicos por patamares. Evidenciando que, a intervenção com mais episódios classificados no patamar 2 é a “1341”.

Figura 36. Informação proveniente do modelo de aprendizagem Naive Bayes relativa à classificação mediante código de intervenção na especialidade 85, obtido via Knime.

Relativamente ao cirurgião principal, Figura 37, é possível verificar que a maioria apresenta maior distribuição de cirurgias pelos patamares 1 e 2 à exceção do cirurgião “855” que apresenta o mesmo número de episódios em ambos os patamares.

Figura 37. Informação proveniente do modelo de aprendizagem Naive Bayes relativa à classificação mediante interveniente na especialidade 85, obtido via Knime.

Os procedimentos de oftalmologia mais frequentes devem-se a doenças de idade e, por isso, as idades mais frequentes são dos 70 aos 90 anos, cerca de 61%, Figura 38.

Figura 38. Informação proveniente do modelo de aprendizagem Naive Bayes relativa à classificação mediante faixa-etária do utente na especialidade 85, obtido via Knime.

Não obstante as variações dos procedimentos para as diferentes situações verificou-se que a performance do modelo para a especialidade 85 apresenta uma taxa de erro de apenas 7%, e valor de coeficiente Cohen’s Kappa de 0,857, Figura 39.

Figura 39. Matriz de confusão para a previsão na especialidade 85, obtido via Knime.

Na Figura 40 resumem-se as principais medidas de desempenho do modelo para a especialidade 85. O que apresenta melhor precisão é o patamar 4 seguindo-se o patamar 1, melhor sensibilidade é o patamar 2 e melhor F-measure o patamar 1.

Figura 40. Estatística de exatidão da previsão na especialidade 51, obtido via Knime.

De um modo geral, para ambos os casos analisados inferiu-se que o modelo responde aos objetivos do negócio, anteriormente definidos. Uma vez que, prevê com taxas de erro muito baixas onde se situa a duração do procedimento cirúrgico. A grande vantagem deste modelo é que poderá ser adicionada a qualquer momento um ficheiro

com os procedimentos em lista de espera e utilizar o modelo para prever essa mesma duração. A fase seguinte inclui as etapas de implementação deste mesmo modelo.

3.1.6 Implementação

A implementação dos resultados do estudo apresentados neste documento passa, obrigatoriamente, pela aprovação da Comissão de Apoio Executivo do Hospital.

Uma vez validada a sua implementação, os passos passariam por fornecer a ferramenta Knime aos utilizadores que atualmente executam a tarefa de agendamento dos procedimentos cirúrgicos. Esta pode facilitar imenso o trabalho que têm que facilitar caso a caso embora haja situações clínicas que necessitam da atenção de um especialista.

De notar que o Knime é de utilização gratuita e, por isso, esta implementação não acarreta um custo para o Hospital.

O modelo elaborado é extremamente simples, Figura 41, e permite que seja introduzido novo documento com a informação dos episódios para os quais queremos prever a duração cirúrgica.

Figura 41. Proposta de modelo Naive Bayes a implementar no Hospital, software Knime.

Os únicos passos para obtenção da previsão é carregar o ficheiro com a informação dos episódios ligar ao predictor NB, correr o modelo, e obtém-se o relatório final com a previsão dos tempos cirúrgicos nos seus respetivos patamares. No exemplo está o formato pdf mas pode ser ajustado mediante a utilização que se pretenda.

Sempre que haja uma alteração nos códigos dos procedimentos é necessário proceder à revisão/manutenção do modelo. A codificação ICD9 (International Codification of diseases – 9th Revision), na qual assenta a codificação utilizada neste estudo, data de 1975 e prevê-se que seja implementada nos hospitais do território nacional no corrente ano, 2017. Se se verificar a única alteração que deverá ser feita é o mapeamento dos códigos ICD9 para os ICD10.

CAPÍTULO 4 – CONCLUSÕES

Este estudo teve como principal objetivo a previsão da duração de procedimentos cirúrgicos com taxas de erro inferiores a 20%. A previsão permitirá agilizar o processo de agendamento dos episódios cirúrgicos, contribuir para a eficiência do bloco operatório e consequentemente do hospital, reduzir as listas de espera que contribuem para uma das problemáticas atuais do panorama de saúde nacional. Além disso, o utente estará a usufruir de um serviço mais rápido aumentando assim o seu bem-estar e a sua satisfação.

Foi levada a cabo uma análise exaustiva das variáveis em estudo e a respetiva relação com a variável alvo: a duração cirúrgica. Foram retiradas algumas conclusões desta análise incluindo, o cirurgião tem influência na duração da cirurgia, o género não tem influência, não se verifica relação entre o tipo de anestesia e a duração da cirurgia (ao contrário do que foi verificado na revisão da literatura).

Dada a natureza das variáveis definiu-se como ponto de partida que o modelo a selecionar deveria ser de regressão já que tendo um conjunto de dados pretendia-se prever uma variável específica. Após reflexão sobre o problema e analisando o ambiente onde se encontra a problemática entendeu-se que a divisão em patamares seria muito mais vantajosa e fácil de implementar, uma vez que segue o modelo atual de agendas. Deixamos de querer prever uma variável contínua e passamos a querer prever uma variável categórica dividida em 10 patamares de 15 minutos. Assim, optamos por utilizar o modelo Naive Bayes com resultados acima do objetivo.

Para a avaliação do modelo foram utilizadas medidas de desempenho, tais como: exatidão, especificidade, precisão, F-measure e coeficiente Kohen’s Kappa.

Conseguindo-se taxas de erro inferiores a 13% superando o objetivo inicial proposta de 20%. A especialidade 50 – urologia – foi a que apresentou maior taxa de erro (13,773%) justificável pelo menor número de episódios que apresenta. Seguindo-se a especialidade 58 – ortopedia – com 8,355%, a 57 – cirurgia geral - com 7,273, a 85 – oftalmologia – com 7,041 e, por fim, a especialidade com previsões com menores taxas de erro é a 51 – cirurgia plástica – com 5,9%.

Durante a revisão da performance do modelo foram feitos alguns ajustes aos parâmetros tais como, aumentar a percentagem de treino para especialidade 50 – urologia. Foram excluídas as variáveis mês e dia da semana contribuindo para a melhoria dos resultados de exatidão (accuracy) do modelo.

Verificamos que após a inclusão da validação cruzada as taxas de erro diminuem significativamente. Verificamos, ainda que apesar da taxa de erro média mais baixa ser relativa à especialidade 51 aquela que apresenta uma variância mais baixa é a especialidade 58.

O modelo Naive Bayes é simples e rápido o que leva a que a sua implementação apresente vantagens para o Hospital. Uma vez que, os dados são reais e os resultados estão validados uma das grandes mais valia do modelo é poder ser utilizado com o conjunto de dados de episódios cirúrgicos que estejam em fila de espera e seja necessário agendar.

Nos últimos anos tem-se revelado uma preocupação elevada pela redução de papel e pela prioridade na utilização de meios electrónicos pelos hospitais nomeadamente em serviços SNS, tal como defina a portaria nº 137-A/2012.

A procedermos à implementação deste modelo no hospital estaremos a contribuir para redução dos tempos ociosos no bloco, redução de tempo a efetuar as agendas cirúrgicas pelos vários intervenientes incluindo os diretores de serviço das várias especialidades cuja a atividade principal deve ser dedicada ao tratamento de utentes e não a processos burocráticos como é o caso de efetuar agendas.

Em termos de revisão do modelo é necessário ter em atenção as alterações dos códigos de procedimentos cirúrgicos para os quais é necessário haver um mapeamento às

equipa cirúrgica. Não obstante, deve definir-se uma avaliação periódica para avaliar as taxas de erro respetivas.

A aplicação deste modelo revela uma subida na escala de maturidade do conhecimento dos dados uma vez que passamos de uma análise descritiva para uma preditiva. Os próximos passos serão atingir análises prescritivas e proactivas em prole do utente e de mais e melhores cuidados de saúde.

REFERÊNCIAS

Abedini, A. Y. e W. Li (2016), “Operating Room Planning under Surgery Type and Priority Constraints” Procedia Manufacturing, Vol. 5, pp. 15–25.

Barros, P. P. (2013), Economia Da Saúde - Conceitos E Comportamentos, 3a edição, Almedina.

Buntine, W. L. (1994), “Operations for Learning with Graphical Models” Journal of Artiicial Intelligence Research, Vol. 2, pp. 159–225.

Caetano, N. (2013), “Previsão de Tempos de Internamento de Pacientes via Técnicas de Data Mining” IUL - Instituto Universitário de Lisboa.

Combes, C., N. Meskens, C. Rivat, e J. P. Vandamme (2008), “Using a KDD Process to Forecast the Duration of Surgery” International Journal of Production Economics, Vol. 112(1), pp. 279–93.

Devi, S. P., K. S. Rao, e S. S. Sangeetha (2012), “Prediction of Surgery Times and Scheduling of Operation Theaters in Optholmology Department” Journal of Medical Systems, Vol. 36(2), pp. 415–30.

Dexter, F. e J. Ledolter (2005), “Bayesian Prediction Bounds and Comparisons of Operating Room Times Even for Procedures with Few or No Historic Data” The Journal of the American Society of Anesthesiologists, Vol. 103(6), pp. 1259–1167. Gama, J., M. Oliveira, A. C. Lorena, K. Faceli, A. P. L. Carvalho (2012), Extração de

Conhecimento de Dados, 1a. ed. Manuel Robalo, Lisboa: Sílabo, Lda.

Gomes, C. 2014. “Optimizing Operating Room Planning a Data Mining and Optimization Approach Master in Data Analysis and Decision Support Systems” Porto.

Gomes, C., B. Almada-Lobo, J. Borges, e C. Soares (2012), “Integrating Data Mining and Optimization Techniques on Surgery Scheduling” Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), pp. 589–602.

Han, J., M. Kamber, e J. Pei (2012), Data Mining : Concepts and Techniques. Elsevier/Morgan Kaufmann.

Hosseini, N., M. Y. Sir, C. J. Jankowski, e K. S. Pasupathy (2015), “Surgical Duration Estimation via Data Mining and Predictive Modeling: A Case Study” AMIA- Annual Symposium proceedings, AMIA Symposium 2015, pp. 640–48.

Kayış, E., T. T. Khaniyev, J. Suermondt, e K. Sylvester (2015), “A Robust Estimation Model for Surgery Durations with Temporal, Operational, and Surgery Team Effects”, Health Care Management Science, Vol. 18(3): pp. 222–33.

Macario, A. (2009), “Truth in Scheduling: Is It Possible to Accurately Predict How Long a Surgical Case Will Last?” Anesthesia & Analgesia, Vol. 108(3), pp. 681– 85.

Samudra, M., C. V. Riet, E. Demeulemeester, B. Cardoen, N. Vansteenkiste, F. E. Rademakers (2016), “Scheduling Operating Rooms: Achievements, Challenges and Pitfalls” Journal of Scheduling, Vol. 19(5), pp. 493–525.

Schult, R., P. Matuszyk e M. Spiliopoulou (2011), “Prediction of Surgery Duration Using Empirical Anesthesia Protocols”, ECML PKDD International Conference, Athens, pp. 66–77.

ShahabiKargar, Z., S. Khanna, N. Good, A. Sattar, J. Lind, J. O'Dwyer (2014), “Predicting Procedure Duration to Improve Scheduling of Elective Surgery”, PRICAI 2014, Springer International Publishing Switzerland, pp. 998–1009. Stepaniak, P. S., C. Heij, e G. Vries (2010), “Modeling and Prediction of Surgical

Procedure Times” Statistica Neerlandica, Vol. 64(1), pp. 1–18.

Strum, D. P., A. R. Sampson, J. H. May e L. G. Vargas (2000), “Surgeon and Type of Anesthesia Predict Variability in Surgical Procedure Times”, Anesthesiology, Vol. 92(5), pp. 1454–66.

Wright, I., C. Kooperberg, B. Bonar, e G. Bashein (1996) “Statistical Modeling to Predict Elective Surgery TimeComparison with a Computer Scheduling System and Surgeon-Provided Estimates” The Journal of the American Society of Anesthesiologists, Vol. 85(6), pp. 1235–1245.

ANEXOS

ANEXO A - Resumo da caraterização das variáveis alvo de estudo.