Estado da Arte
2.4 Comparação do desempenho das escalas de gravidade clínica
Hanley e McNeill [47] indicam a área abaixo da curva ROC como um indicador do poder discriminante de um teste de diagnóstico e propõem [48] um método para comparar áreas abaixo dessa curva. Segundo estes autores, uma maior exatidão (maior capacidade discriminativa) de uma escala traduz-se num deslocamento para cima e para a esquerda da curva ROC. Isto sugere, então, que a área abaixo da curva ROC pode ser usada como um índice para medir a discriminação de uma escala. Uma discriminação máxima corresponderia a uma área abaixo da curva igual a 100%
e a mínima a uma área abaixo da curva igual a 50%. Green e Swets [42] mostraram que a área abaixo da curva ROC corresponde à probabilidade de identificar corretamente qual das duas características está presente, anormalidade ou normalidade.
Se as curvas ROC são não correlacionadas e obtidas sem qualquer pressuposto distribucional, as estatísticas de teste e os Intervalos de Confiança (IC) para comparar áreas abaixo das curvas podem ser baseados nas estimativas das AUC para as curvas correspondentes a cada teste e nas estimativas dos correspondentes desvio padrão. Uma das primeiras propostas para efetuar este teste foi apresentada por Hanley and McNeil [47] que usam a expressão da variância apresentada por Bamber [3].
Hanley e McNeill [48] alargaram o estudo elaborado em 1982 ao caso em que estão representadas duas ou mais curvas ROC, desde que para o mesmo grupo de indivíduos. Segundo estes autores, uma vez que as áreas associadas às curvas ROC dos dois testes podem ser positivamente correlacionadas, desenvolveram uma abordagem que leva em conta esta correlação, indicando uma expressão de cálculo para obter o desvio padrão associado a essas áreas.
A abordagem seguida por estes autores, para verificar se a diferença entre as áreas de duas curvas ROC, proveni-entes da mesma amostra de indivíduos, é significativa, consiste em calcular a razão críticaZque se reporta à tabela da distribuição Normal reduzida ou padrão. Valores acima de um determinado valor evidenciam, estatisticamente, que as verdadeiras áreas abaixo das curvas ROC são diferentes.
Ainda no mesmo artigo, Hanley e McNeill indicam o uso de uma tabela para calcular o coeficiente de correlação r, utilizado na expressão que permite obter o desvio padrão da diferença. Para obter o valor der, os autores sugerem que se calculem dois coeficientes de correlação intermédios, que são posteriormente convertidos à correlação entre as áreas através do uso da tabela que também apresentam nesse estudo. Determinam-se os coeficientes de corre-lação para os indivíduos considerados normais e para os considerados anormais, para as duas modalidades. Estes coeficientes podem ser calculados utilizando o método do tau de Kendal,τ, ou o método do produto dos momentos
2.4. COMPARAÇÃO DO DESEMPENHO DAS ESCALAS DE GRAVIDADE CLÍNICA 15 para a correlação de Pearson. Como as curvas ROC, em medicina, são usualmente obtidas a partir de dados medidos numa escala ordinal, utiliza-se oτde Kendall para calcular os coeficientes de correlação intermédios. A consulta da tabela, para obtenção do coeficiente de correlaçãor, necessita de dois valores de entrada, o coeficiente de correlação médio e a área média (Tabela A).
Os coeficientes de correlação entre áreas podem também ser determinados utilizando o método sugerido por De-Long e DeDe-Long [19]. O método proposto por estes autores utiliza uma aproximação não paramétrica ao cálculo da área abaixo de curvas ROC, para conjuntos de dados correlacionados, utilizando a teoria das estatísticas U-generalizadas para estimação da matriz de covariâncias, quando se comparam duas ou mais curvas ROC. No entanto, em geral, a comparação entre as curvas ROC não é direta, em particular, quando estas se cruzam entre si. Uma dificuldade semelhante também é observada no campo de otimização multiobjetivo, onde conjuntos de soluções que definem fronteiras devem ser comparadas num espaço multidimensional. Em geral, os métodos com base na área sob as curvas ROC não são sensíveis à existência de pontos de cruzamento entre as curvas. Assim, Braga et al. [7] pro-põem uma metodologia baseada num procedimento utilizado para comparar o desempenho de diferentes algoritmos de otimização multiobjetivo. A nova abordagem pode lidar com esta situação e também permite a comparação de porções parciais de curvas ROC, de acordo com determinados valores de sensibilidade e especificidade de interesse prático.
Quando clinicamente se verifica que para um determinado teste de diagnóstico existem valores relevantes da sensibilidade ou especificidade do teste, poderá ter interesse considerar apenas as regiões do espaço ROC onde foram observados esses valores. Neste caso, o indicador do desempenho do teste para essa região será a Área Parcial Abaixo da Curva ROC (PAUC).
Recentemente, He e Escobar [51] fazem uma revisão dos métodos estatísticos desenvolvidos para a área parcial abaixo da curva ROC e usam métodos não paramétricos para apresentar uma fórmula de cálculo para a variância da área parcial abaixo da curva diferente da existente na literatura. Verificaram o método através de estudos de simulação e compararam-no com a abordagem binormal. Concluíram que a área parcial segue uma distribuição assintoticamente normal e aplicaram esta abordagem a um estudo genético com uma amostra de dimensão elevada.
Segundo os autores, a área parcial abaixo da curva ROC tem sido usada em alguns procedimentos genéticos de classificação, nos quais, a FFP, acima de um determinado valor de corte, não é de interesse no estudo. No entanto, este índice tem vindo a ser usado em estudos genéticos, mas não sistematicamente, por falta de métodos estatísticos inferenciais adequados e/ou por falta desoftwareadequado.
Gribskov e Robinson [43] usaram uma curva ROC à qual chamaram ROC50, e que representa a porção inferior dessa curva e um índice avaliador dessa porção da curva ao qual chamaram índice ROC50, a área abaixo dessa porção da curva, em análises de sequências combinadas. Analisam então vários métodos para determinar a variância da área abaixo da curva ROC e para a PAUC [3], [19], [47], [86].
Jiang et al. [65], McClish [80] e Thompson e Zucchini [129] propuseram um estimador paramétrico para a PAUC
e para a sua variância usando o modelo binormal. No entanto, Walsh [132] anunciou que as inferências obtidas a partir do pressuposto da binormal são sensíveis ao modelo e à localização do valor de corte. Por outro lado, Wieand et al. [136] propuseram um método não paramétrico generalizado para as áreas total e parcial e para as suas variâncias assintoticas. No entanto, na opinião de He e Escobar [51] estas variâncias são complexas e como tal não foram bem aplicadas. Zhang et al. [137] propuseram um método muito mais simples do que o proposto por Wieand et al. [136]
para estimar as variâncias de áreas parciais. Contudo, este método foi desenvolvido para testes (escalas) ordinais e a fórmula para calcular a variância não é adequada. Zhang et al. [137] não verificaram este método, nem através de simulação nem por comparação com outros já existentes.
Dodd e Pepe [21] também desenvolveram um estimador não paramétrico para a PAUC, equivalente ao estimador PAUC proposto por He e Escobar [51], mas não fornecem nenhuma expressão para o cálculo da variância sendo o seu estudo sobre variação baseado no métodobootstrap. Segundo os autores, o métodobootstrapé uma boa alternativa ao cálculo teórico, no entanto em estudos genéticos em que as amostras são de dimensão muito elevada o métodobootstrapconsome muito tempo e é falível.
He e Escobar [51] produziram um algoritmo para calcular matematicamente a variância e usaram estudos de simulação para confirmar a adequabilidade do algoritmo. Para dados de uma distribuição normal padrão, a aborda-gem baseada na binormal deverá fornecer estimadores excelentes para a PAUC e para a sua variância, não sendo surpreendente que a variância estimada com base na binormal esteja tão próxima da obtida por simulação. Os auto-res obtiveram um valor para a variância muito próximo do valor da variância estimada e para a obtida por simulação, o que pressupõe que o método por eles proposto, é válido e fiável.
Afirmam ainda que, mesmo para dados gerados a partir de distribuições não Gaussianas, o método não pa-ramétrico proposto e o método binormal de McClish [80] fornecem resultados muito semelhantes ao da variância simulada, mas alertam para o facto de trabalharem somente com a área abaixo de uma pequena porção da curva e os resultados poderem tornar-se instáveis. No entanto, se a PAUC for alargada para os primeiros 100 falsos positivos, as estimativas são melhores. Assim, concluem que o método que propõem é comparável ao método proposto por McClish [80] e que pode ser aplicado a escalas contínuas, sendo o método proposto por Zhang et al. [137] incorreto para estimar variâncias de PAUC para escalas contínuas. No entanto, outras preocupações surgem e os autores apresentam as conclusões retiradas do estudo de Walsh [132]. Nesse estudo, Walsh refere que as inferências base-adas na binormal são sensíveis ao próprio modelo e à localização do valor de corte, mostrando que, quando o valor de corte para dados ordinais não está bem espaçado, a abordagem com base na binormal pode fornecer resultados enganosos.
He e Escobar [51] acreditam que o método que propõem, constitui uma boa alternativa à abordagem baseada na binormal, além de ser mais simples de calcular e mais atrativo, mesmo quando as amostras são de grande dimensão. Quando comparam o seu método com o proposto por Wieand et al. [136] consideram que a fórmula por eles apresentada é mais simples e que o cálculo da variância só envolve somas não necessitando de ajustar toda a
2.5. ESTIMAÇÃO DA CURVA ROC CONDICIONADA À PRESENÇA DE COVARIÁVEIS 17 curva para estimar a área parcial e a sua variância. Pelo contrário, o modelo baseado na binormal para estimar a área parcial da curva ROC requer em primeiro lugar o ajuste da curva ROC e só depois usa esta estimativa para obter a área parcial o que no entender dos autores não garante um bom ajuste para a área parcial. Chamam no entanto a atenção para o facto de, quando aplicado a estudos genéticos, a variância e testes estatísticos para a PAUC serem baseadas na hipótese de não haver correlação, o que nem sempre é válido.