1. Universidade Estadual de Campinas (UNICAMP), Departamento de Ortopedia e Traumatologia, Campinas, SP, Brasil. 2. Universidade Estadual de Campinas (UNICAMP), Departamento de Radiologia, Campinas, SP, Brasil.
Trabalho realizado na Cirurgia de Coluna Vertebral da Universidade Estadual de Campinas (UNICAMP), Campinas, SP, Brasil.
Correspondência: Departamento de Ortopedia e Traumatologia, Área de Cirurgia da Coluna Faculdade de Ciências Médicas, Unicamp. Rua Tessália Vieira de Camargo, 126 Cidade Universitária “Zeferino Vaz”. Campinas, SP, Brasil. 13083-887. mrisso@mpc.com.br
REPRODUTIBILIDADE DA AVALIAÇÃO TOMOGRÁFICA DA CONSOLIDAÇÃO
DE ARTRODESES POSTEROLATERAIS LOMBARES
REPRODUCIBILITY OF TOMOGRAPHIC EVALUATION OF POSTEROLATERAL LUMBAR
ARTHRODESIS CONSOLIDATION
REPRODUCIBILIDAD DE LA EVALUACIÓN TOMOGRÁFICA DE LA CONSOLIDACIÓN
DE ARTRODESIS POSTEROLATERALES LUMBARES
RESUMO
Objetivo: Avaliar a concordância interobservadores da classificação de Glassman para artrodese posterolateral da coluna lombar. Mé-todos: Cento e trinta e quatro tomografias de pacientes submetidos a artrodese posterolateral da coluna lombar e lombossacra foram avaliadas por quatro observadores, sendo dois ortopedistas experientes em cirurgia da coluna e dois ortopedistas em treinamento na área. Utilizando as imagens tomográficas reconstruídas no plano coronal oblíquo foram analisados, sistematicamente, 299 níveis operados, buscando-se sinais de artrodese. O aspecto da consolidação óssea em cada nível operado foi classificado como proposto por Glassman para artrodese posterolateral em cinco categorias: 1) artrodese sólida bilateral; 2) artrodese sólida unilateral; 3) artrodese parcial bilateral; 4) artrodese parcial unilateral; 5) ausência de artrodese. Em um segundo momento, a avaliação de cada nível operado foi dividida em duas categorias: consolidado (tipos 1, 2, 3, e 4 de Glassman) e não consolidado (tipo 5). A análise estatística foi feita pelo cálculo do coeficiente Kappa considerando-se a análise pareada entre os dois observadores experientes e entre dois observadores em treinamento. Resultados: A reprodutibilidade interobservadores pelo coeficiente Kappa para a análise de consolidação da artrodese pela classificação proposta, dividida em 5 tipos, foi de 0,729 tanto para os cirurgiões experientes quanto em treinamento. Considerando apenas as duas categorias, obtivemos coeficiente Kappa de 0,745 entre os cirurgiões e de 0,795 entre os residentes. Em todas as análises obtivemos força de concordância alta. Conclusão: Foi observada reprodutibilidade interobservadores com concordância alta na classificação proposta por Glassman para as artrodeses posterolaterais da coluna lombar e lombossacra.
Descritores: Fusão vertebral; Tomografia; Classificação; Coluna vertebral; Reprodutibilidade dos testes.
ABSTRACT
Objective: To evaluate interobserver agreement of Glassman classification for posterolateral lumbar spine arthrodesis. Methods: One hundred and thirty-four CT scans from patients who underwent posterolateral arthrodesis of the lumbar and lumbosacral spine were evaluated by four observers, namely two orthopedic surgeons experienced in spine surgery and two in training in this area. Using the reconstructed tomogra-phic images at oblique coronal plane, 299 operated levels were systematically analyzed looking for arthrodesis signals. The appearance of bone healing in each operated level was classified in five categories as proposed by Glassman to the posterolateral arthrodesis: 1) bilateral solid arthrodesis; 2) unilateral solid arthrodesis; 3) bilateral partial arthrodesis; 4) unilateral partial arthrodesis; 5) absence of arthrodesis. In a second step, the evaluation of each operated level was divided into two categories: fusion (including type 1, 2, 3, and 4) and non fusion (type 5). Statistical analysis was performed by calculating the Kappa coefficient considering the paired analysis between the two experien-ced observers and between the two observers in training. Results: The interobserver reproducibility by the kappa coefficient for arthrodesis consolidation analysis for the classification proposed, divided into 5 types, was 0.729 for both experienced surgeons and training surgeons. Considering only two categories kappa coefficient was 0.745 between experienced surgeons and 0.795 between training surgeons. In all analyzes, we obtained high concordance power. Conclusion: Interobserver reproducibility was observed with high concordance in the classification proposed by Glassman for posterolateral arthrodesis of the lumbar and lumbosacral spine.
Keywords: Spine fusion; Tomography; Classification; Spine; Reproducibility of results.
RESUMEN
Objetivo: Evaluar la concordancia entre observadores de la clasificación de Glassman para artrodesis posterolateral de la columna lum-bar. Métodos: Ciento treinta y cuatro tomografías de pacientes sometidos a artrodesis posterolateral de la columna lumbar y lumbosacra fueron evaluados por cuatro observadores: dos cirujanos ortopédicos con experiencia en la cirugía de columna y dos cirujanos ortopé-dicos en formación para cirugía de columna. Por medio de las imágenes de TC reconstruidas en el plano coronal oblicuo se analizaron sistemáticamente 299 niveles operados, buscando señales de artrodesis. La aparición de la cicatrización ósea en cada nivel operado se clasificó como propone Glassman para la artrodesis posterolateral, en cinco categorías: 1) artrodesis sólida bilateral; 2) artrodesis sólida unilateral; 3) artrodesis parcial bilateral; 4) artrodesis parcial unilateral; 5) ausencia de artrodesis. En una segunda etapa, la evaluación de cada nivel operado fue dividida en dos categorías: fusión (tipos 1, 2, 3 y 4) y sin fusión (tipo 5). El análisis estadístico se realizó mediante el cálculo del coeficiente Kappa, teniendo en cuenta el análisis pareado entre los dos observadores experimentados y entre
MArcelo itAlo risso neto¹, guilherMe rebechi ZuiAni¹, roberto rossAneZ¹, sylvio Mistro neto¹, Augusto celso scArpAro AMAto Filho2,
pAulo tAdeu MAiA cAvAli¹, ivAn guidolin veigA¹, WAgner pAsquAlini¹, MArcos Antônio tebet¹, elcio lAndiM¹
se, espondilolistese e estenose do canal lombar. Mostra-se eficiente quando bem indicada, culminando com a melhora do quadro álgico e demais incapacidades que acompanham estas patologias.1-4
Essas artrodeses podem ser realizadas pelas vias anterior, pos-terior ou combinada. Os benefícios da artrodese póstero-lateral incluem a familiaridade da maioria dos cirurgiões com a técnica, sua relativa facilidade de execução, a possibilidade de descom-pressão dos elementos neurais com a ressecção dos elementos posteriores vertebrais e suas altas taxas de fusão. A associação da instrumentação pedicular aumenta a rigidez do sistema e favorece a consolidação da artrodese.5-7
Embora a exploração cirúrgica seja o padrão ouro para avalia-ção da consolidaavalia-ção da artrodese, a necessidade de obtenavalia-ção de métodos não invasivos e confiáveis que possam alcançar o mesmo objetivo se fez necessária. A tomografia computadorizada multislice
com aquisição volumétrica, que possui capacidade de definição dos detalhes ósseos e possibilidade de reconstrução multiplanar, tornou-se método de escolha. A combinação da análise sistema-tizada dos cortes tomográficos axiais de 6mm com cortes sagitais mostrou correlação de 80% com a exploração cirúrgica.8
Através da observação de exames pós-operatórios de tomo-grafia computadorizada com cortes axias de 1mm e reconstru-ções sagitais e coronais, Glassman et al estabeleceu um método simples de avaliação e quantificação da consolidação da artro-dese posterolateral.9
O objetivo deste estudo é avaliar a concordância interobserva-dores da avaliação de consolidação de artrodese póstero-lateral da coluna lombar pela classificação proposta por Glassman et al.9
baseada em imagens tomográficas digitais.
MATERIAIS E MÉTODOS
Cento e trinta e quatro tomografias computadorizadas de pa-cientes em acompanhamento pós-operatório de artrodese lombar e lombossacra instrumentada póstero-lateral por doença degenerativa da coluna vertebral no Ambulatório de Cirurgia de Coluna Vertebral da Universidade Estadual de Campinas (Unicamp), Campinas, SP, Brasil, foram analisadas individualmente por dois cirurgiões de coluna com experiência na interpretação de exames pós-operatórios utilizando a classificação de Glassman e por dois residentes treinados previa-mente para a realização do mesmo tipo de análise.
Foram analisados 134 exames, totalizando 299 níveis operados, utilizando imagens de tomografia computadorizada realizadas em equipamento de 64 canais, com aquisição multislice volumétrica
no plano axial.
As imagens tomográficas, que incluíram toda a área de artro-dese, foram reconstruídas em janela óssea nos planos sagital e coronal obliquo para cada unidade vertebral a ser estudada, com o uso do software Arya Pixeon© versão 1.5.5. Definimos o plano
coronal obliquo como um plano que está perpendicular à linha que passa pelo centro do disco intervertebral no plano sagital. (Figura 1) A análise dos exames foi realizada de forma sistematizada em mo-nitores de alta resolução com imagens reconstruídas ajustando-se o espessamento para 3mm para o plano coronal oblíquo específico para cada nível operado. (Figura 1) Após a avaliação desse plano de reconstrução, a análise foi complementada pelas imagens da
Cada nível operado foi classificado em um tipo (numerados de 1 a 5) de acordo com a classificação de Glassman, conforme proposto por Laoutliev et al.,10 sendo: 1) Artrodese sólida bilateral,
2) Artrodese sólida unilateral, 3) Artrodese parcial bilateral, 4) Ar-trodese parcial bilateral e 5) Ausência de arAr-trodese. (Figuras 2-7) Consideramos artrodese sólida a imagem em que encontramos continuidade entre as facetas ou elementos posteriores, com tex-tura homogênea e sem a caracterização do espaço articular entre as facetas. Consideramos artrodese sólida parcial, a imagem que demostra continuidade entre os elementos posteriores persistindo porém área com radiopacidade menor no espaço articular.
Os dados obtidos foram analisados quanto à concordância intero-bservadores pelo cálculo do coeficiente Kappa11 comparando as
res-postas dos observadores com experiência em cirurgia de coluna entre si, e as respostas dos observadores em treinamento para cirurgia de coluna entre si. Após a avaliação da concordância usando os diferentes
Figura 1. Exemplo de orientação do plano coronal corrigido para avaliação do nível L5S1 (Arya Pixeon© versão 1.5.5).
Figura 2. Reconstrução em plano frontal na orientação da faceta articular do nível L4-L5 (Arya Pixeon© versão 1.5.5).
tipos propostos pela da classificação de Glassman, foram criadas as categorias “consolidado” – agrupando todos os graus de consolida-ção, ou seja, os tipos 1, 2, 3, e 4 de Glassman, e “não consolidado”, ou seja, o tipo 5. Verificou-se, novamente, a concordância dessa nova sistematização entre os dois cirurgiões de coluna e entre os dois
esta-giários. Os resultados foram interpretados pelos critérios estabelecidos por Landis e Koch.12
O estudo foi submetido e aprovado pelo Comitê de Ética em Pesquisa da Universidade Estadual de Campinas, SP, Brasil sob nú-mero 856/2009.
RESULTADOS
Os segmentos vertebrais operados foram classificados em graus de consolidação da artrodese pelos quatro observadores. Verificou--se a concordância nas classificações entre os dois cirurgiões e os dois estagiários com o uso do coeficiente de concordância de Kappa ponderado11 com intervalos com de confiança de 95%.
A seguir a concordância foi avaliada considerando as categorias “consolidado” e “não consolidado”. Comparou-se o novamente o resultado dos dois cirurgiões de coluna entre si e dos dois estagi-ários entre si com o uso do coeficiente kappa com os respectivos intervalos com 95% de confiança.
As Tabelas 1 e 2 mostram que, tanto entre os cirurgiões como entre os estagiários, a escala apresentou nível de concordância se-melhante (Kappa ponderado = 0,729), considerando os cinco tipos de consolidação da classificação. O valor obtido mostra alta concor-dância interobservadores de acordo com critérios de Landis e Koch.12
Figura 3. Exemplo classificado como consolidação tipo 1 no nível L3-L4 (Arya Pixeon© versão 1.5.5).
Figura 4. Exemplo de imagem classificada como consolidação tipo 2 no nível L4-L5 (Arya Pixeon© versão 1.5.5).
Figura 5. Exemplo de imagem classificada como consolidação tipo 3 no nível L5-S1 (Arya Pixeon© versão 1.5.5).
Figura 6. Exemplo de imagem classificada como consolidação tipo 4 no nível L5-S1 (Arya Pixeon© versão 1.5.5).
Figura 7. Exemplo de imagem classificada como tipo 5 no nível L4-L5 (Arya Pixeon© versão 1.5.5).
Tabela 1. Descrição dos tipos de consolidação entre os cirurgiões e resultado do coeficiente de concordância. Cirurgião 2
Kappa ponderado (IC 95%) Cirurgião 1 Artrodese sólida bilateral Artrodese sólida unilateral Artrodese parcial bilateral Artrodese parcial unilateral Ausência de fusão Total
n (%) n (%) n (%) n (%) n (%) n (%)
Artrodese sólida bilateral 48 (16,1) 6 (2) 5 (1,7) 0 (0) 0 (0) 59 (19,7)
0,729 (0,674; 0,783)
Artrodese sólida unilateral 13 (4,3) 38 (12,7) 4 (1,3) 7 (2,3) 10 (3,3) 72 (24,1)
Artrodese parcial bilateral 4 (1,3) 2 (0,7) 21 (7) 5 (1,7) 5 (1,7) 37 (12,4)
Artrodese parcial unilateral 2 (0,7) 4 (1,3) 6 (2) 24 (8) 12 (4) 48 (16,1)
Ausência de fusão 0 (0) 0 (0) 2 (0,7) 4 (1,3) 77 (25,8) 83 (27,8)
As Tabelas 3 e 4 mostram que com a interpretação dos resul-tados obtidos dos observadores agrupando todos os diferentes estágios de consolidação num único grupo e em outro grupo os não consolidados, o grau de concordância entre os cirurgiões e entre os residentes aumentou um pouco (Kappa = 0,745 e Kappa = 0,795 respectivamente), mantendo alta concordância entre os pares de examinadores, conforme os critérios propostos por Landis e Koch.12 (Tabela 5)
radiografias simples com suas diferentes incidências, radiografias dinâmicas e tomografia computadorizada foram utilizadas como base para a avaliação, análise e classificação da consolidação das artrodeses.13
A radiografia simples, embora de baixo custo, raramente é rea-lizada isoladamente para a avaliação da consolidação13 tendo sua
validade para este propósito, questionada por diversos estudos.14-16
A tomografia computadorizada tem capacidade de fornecer maiores detalhes anatômicos quando comparada à radiografia. A visualização de obliteração nas articulações facetarias e pontes ósseas, por exem-plo, são sinais mais sugestivos de que a fusão óssea foi alcançada.10
Em 2005, Glassman et al.9 publicaram uma classificação para
avaliação da evolução da artrodese posterolateral baseada em cortes tomográficos de 1mm com reconstruções sagitais e coronais para avaliar as taxas de consolidação em pacientes submetidos a artrodese póstero-lateral da coluna vertebral.
Uma alta concordância interobservadores é fundamental para que uma classificação consiga ser disseminada na prática clínica diária. Classificações descritivas e com curta curva de aprendiza-do são mais factíveis para esse objetivo.17-19 Da mesma forma, ter
uma classificação fiel e reprodutível pode ser fundamental para auxiliar na tomada de decisões em cirurgia da coluna vertebral.18
Classificações que apresentam necessidade de avaliação de mais exames, maior número de itens e critérios subjetivos acabam por ter a sua aplicabilidade comprometida.20
Estudos prévios, como o realizado por Rodrigues et al.14
ob-tiveram resultados desanimadores ao avaliar a concordância da classificação proposta por Glassman. Esse estudo demonstrou concordância baixa interobservadores quando realizada em tomo-grafias com reconstrução coronal e cortes de 1mm.10 14
No presente estudo, o método de análise incluiu treinamento prévio e obtenção de imagens de cortes tomográficos reconstruídos no plano que chamamos de coronal oblíquo em cada nível, em de-trimento da análise no plano coronal para todos os níveis. Conside-ramos que esta medida aumenta a sensibilidade na interpretação da situação da fusão, principalmente nos níveis onde há maior inclinação, como a transição lombossacra. A análise foi complementada com cortes sagitais para identificação de pontes ósseas e/ou obliteração das articulações facetarias.
Consideramos que esta sistematização, aliada ao treinamento do método de análise e o uso de equipamento digital de alta re-solução, permitindo o perfeito janelamento e a obtenção da mais perfeita reconstrução para cada nível sejam responsáveis pela grande concordância interobservadores obtida em nosso estudo, contrariando resultados de estudos anteriores.
A realização do treinamento sistematizado anulou a diferença que esperávamos existir entre os cirurgiões com experiência de alguns anos nesta análise e os estagiários com menos de seis meses de contato com a metodologia.
A obtenção de método reprodutível e sistematizado para avaliação da consolidação ou não de artrodeses posterolaterais na coluna lombossacra tem importância tanto para a prática clí-nica quanto para realização de estudos científicos que buscam avaliar a consolidação ou não das artrodeses. As artrodeses posterolaterais instrumentadas ainda constituem o procedimento Tabela 5. Classificação de força de concordância segundo coeficiente Kappa.
Valores de Kappa Interpretação
< 0.20 Desprezível 0.21 – 0.40 Baixa 0.41 – 0.60 Moderada 0.61 - 0.80 Alta >0.80 Muito Alta
DISCUSSÃO
A avaliação da consolidação da artrodese póstero-lateral da coluna lombar é de fundamental importância na prática clínica. A correta interpretação dos achados clínicos e dos exames comple-mentares dos pacientes submetidos a esse tipo de cirurgia é funda-mental para tomada de decisões terapêuticas como, por exemplo, a de submeter ou não o paciente a um novo procedimento.
Embora a exploração cirúrgica seja o método considerado como padrão ouro para a avaliação da consolidação da artrode-se posterolateral,8 os métodos de imagem não invasivos, como
Tabela 4. Descrição da recategorização da escala entre os estagiários e re-sultado do coeficiente de concordância.
Residente 2
Kappa (IC95%) Residente 1 consolidadoNão Consolidado Total
n (%) n (%) n (%)
Não consolidado 73 (24,4) 13 (4,3) 86 (28,8) 0,795 Consolidado 12 (4) 201 (67,2) 213 (71,2) (0,719; 0,871)
Total 85 (28,4) 214 (71,6) 299 (100)
Tabela 3. Descrição da recategorização da escala entre os cirurgiões e resul-tado do coeficiente de concordância.
Cirurgião 2
Kappa (IC95%)
Cirurgião 1 Não
consolidado Consolidado Total
n (%) n (%) n (%)
Não consolidado 77 (25,8) 6 (2) 83 (27,8) 0,745
Consolidado 27 (9) 189 (63,2) 216 (72,2) (0,665; 0,825) Total 104 (34,8) 195 (65,2) 299 (100)
mais popular e mais acessível à maioria dos cirurgiões e cen-tros de cirurgia de coluna, porém é uma técnica que tem como uma de suas principais complicação a pseudoartrose. A pseu-doartrose, inclusive, é uma das principais causas de revisão cirúrgica das artrodeses. Sendo assim, é de extrema importância buscar um método reprodutível, confiável e não invasivo para seu diagnóstico.
Assim, a interpretação sistematizada e cuidadosa da tomografia computadorizada, seguindo as orientações da classificação de Glassman, é importante dentro do arsenal diagnóstico do cirurgião de coluna. Essa afirmativa é válida tanto na prática clínica quanto na padronização de estudos científicos que tem por objetivo avaliar a consolidação ou não das artrodeses.
CONCLUSÃO
Foi observado alto grau de concordância interobservadores da classificação proposta por Glassman para as artrodeses postero-laterais da coluna vertebral seguindo a interpretação tomográfica sistematizada em sistema digital e realizada por indivíduos treinados previamente. Não obtivemos diferença na reprodutibilidade entre cirurgiões com experiência no método e residentes treinados há pouco tempo.
Todos os autores declaram não haver nenhum potencial conflito de interesses referente a este artigo.
REFERÊNCIAS
1. Phillips FM, Slosar PJ, Youssef JA, Andersson G, Papatheofanis F. Lumbar spine fusion for chronic low back pain due to degenerative disc disease: a systematic review. Spine (Phila Pa 1976). 2013;38(7):E409-22.
2. Lykissas MG, Aichmair A. Current concepts on spinal arthrodesis in degenerative disor-ders of the lumbar spine. World J Clin Cases. 2013;1(1):4-12.
3. Herkowitz HN, Garfin SR, Eismont FJ, Bell GR, Balderston RA. Rothman-Simeone: the Spine. 6th ed. Philadelphia: Saunders; 2011.
4. Mirza SK, Deyo RA. Systematic review of randomized trials comparing lumbar fusion surgery to nonoperative care for treatment of chronic back pain. Spine (Phila Pa 1976). 2007;32(7):816-23. 5. Kwon BK, Vaccaro AR, Grauer JN, Beiner J. Indications, techniques, and outcomes of posterior surgery for chronic low back pain. Orthop Clin North Am. 2003;34(2):297-308. 6. Kim HJ, Kim SG, Lee HM, Kim HS, Moon ES, Park JO, et al. Risk factors associated with
the halo phenomenon after lumbar fusion surgery and its clinical significance. Asian Spine J. 2008;2(1):22-6.
7. Tokuhashi Y, Ajiro Y, Umezawa N. Follow-up of patients with delayed union after posterior fusion with pedicle screw fixation. Spine (Phila Pa 1976). 2008;33(7):786-91.
8. Carreon LY, Djurasovic M, Glassman SD, Sailer P. Diagnostic accuracy and reliability of fine-cut CT scans with reconstructions to determine the status of an instrumented posterolateral fu-sion with surgical exploration as reference standard. Spine (Phila Pa 1976). 2007;32(8):892-5. 9. Glassman SD, Dimar JR, Carreon LY, Campbell MJ, Puno RM, Johnson JR. Initial fusion
rates with recombinant human bone morphogenetic protein-2/compression resistant matrix and a hydroxyapatite and tricalcium phosphate/collagen carrier in posterolateral spinal fusion. Spine (Phila Pa 1976). 2005;30(15):1694-8.
10. Laoutliev B, Havsteen I, Bech BH, Narvestad E, Christensen H, Christensen A. Interob-server agreement in fusion status assessment after instrumental desis of the lower lumbar spine using 64-slice multidetector computed tomography: impact of observer experience. Eur Spine J. 2012;21(10):2085-90.
11. Cohen J. A coefficient of agreement for nominal scales. Educ Psychol Measur. 1960;20(1):37–46.
12. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Bio-metrics. 1977;33(1):159-74.
13. Goldstein C, Drew B. When is a spine fused? Injury. 2011;42(3):306-13.
14. Rodrigues DG, Coelho JA, Oliveira CEA, Sontoro AG, Trindade RMC, Pereira SAC. Análise da reprodutibilidade intra e inter-observadores das classificações radiográficas para avalia-ção da artrodese da coluna lombar. Coluna/Columna. 2008;7(3)257-261.
15. Christensen FB, Laursen M, Gelineck J, Eiskjaer SP, Thomsen K, Bünger CE. Interob-server and intraobInterob-server agreement of radiograph interpretation with and without pedicle screw implants: the need for a detailed classification system in posterolateral spinal fu-sion. Spine (Phila Pa 1976). 2001;26(5):538-43.
16. Brodsky AE, Kovalsky ES, Khalil MA. Correlation of radiologic assessment of lumbar spine fusions with surgical exploration. Spine (Phila Pa 1976). 1991;16(Suppl 6):261-5. 17. Medeiros RC, Cardoso IM, Jaccard APB, Landim E, Pasqualini W, Veiga IG, et al. Avaliação
intra-observador e inter-observadores do Sistema de Classificação de Landim para este-nose vertebral lombar. Coluna/Columna. 2009;8(1):63-7.
18. Risso Neto MI, Jomaa NFA, Landim E, Veiga IG, Cavali PTM, Pasqualini W. Análise da reprodutibilidade intra e interobservadores das classificações de King e Lenke para Esco-liose Idiopática do Adolescente. Coluna/Columna. 2006;5(2):65-71.
19. Godinho RRS, Ueta RHS, Curto DD, Martins DE, Wajchenberg M, Puertas EB. Mensura-ção da curva escoliótica pela técnica de cobbintraobservadores e interobservadores e sua importância clínica. Coluna/Columna. 2011;10(3):216-20.
20. Silva HJS, Risso Neto MI, Pratali RR, Zuiani GR, Cavali PTM, Veiga IG, et al. Avaliação da reprodutibilidade interobservadores de uma nova escala para orientação da conduta terapêutica nas metástases vertebrais: escore SINS (Spine Instability Neoplastic Score). Coluna/Columna. 2012;11(4):287-9.
