Curva ROC

É comum nas pesquisas da área da Saúde a busca de uma maneira de descrever como e quanto uma variável contínua ou categórica ordinal é capaz de classificar indivíduos em grupos específicos. A curva ROC (receiver operating characteristic) é uma importante ferramenta utilizada com esse propósito (MARTINEZ; LOUZADA-NETO, PEREIRA, 2003).

Na década de 60, as curvas ROC foram utilizadas em psicologia experimental e, nos anos 70, passaram para vários ramos da pesquisa biomédica, onde foram usadas para auxiliar a classificação de indivíduos doentes ou não doentes. Neste capítulo será utilizado o exemplo típico que são os testes laboratoriais, os quais buscam verificar o desempenho de um teste diagnóstico em classificar sujeitos como doentes ou não doentes (MARTINEZ; LOUZADA- NETO; PEREIRA, 2003).

A curva ROC é uma representação direta da habilidade do modelo em classificar indivíduos em grupos e oferece ao pesquisador um conjunto de diferentes regras de

classificação, segundo os pontos de corte empíricos que compõem a curva. Visualizar em um único gráfico o desempenho de várias maneiras de classificar as pessoas nos grupos, de acordo com diferentes pontos de corte escolhidos, é uma vantagem da curva ROC. Deve-se ter o cuidado na busca pelo ponto ótimo (desconhecido), pois existe uma chance deste não ser observado na amostra, principalmente em amostras relativamente pequenas (MARGOTTO, 2010).

Nas próximas seções, depois de esclarecidos os conceitos de sensibilidade e especificidade (essenciais para o entendimento do tema), serão apresentados mais detalhes sobre o ponto de corte, e feito um comentário sobre a área sob a curva ROC.

4.10.5.1 Sensibilidade e Especificidade

As Curvas ROC foram desenvolvidas no campo das comunicações para demonstrar as relações entre sinal-ruído. A partir de sua introdução no campo da Saúde, nos permite comparar dois ou mais exames diagnósticos (MARGOTTO, 2010). A sensibilidade (SE) é

definida como a probabilidade do modelo fornecer um resultado positivo, dado que o indivíduo é realmente doente, e a especificidade (Es) é definida como a probabilidade do

modelo fornecer um resultado negativo, dado que o indivíduo não é doente (MARTINEZ; LOUZADA-NETO; PEREIRA, 2003). Expressões matemáticas para (SE) e (Es) são

apresentadas na tabela 1.

Tabela 1 - Representação geral de um modelo diagnóstico perante o padrão ouro Resultado do modelo

sob investigação

Padrão ouro

Positivos (doentes) Negativos (não doentes)

Positivo Negativo Total Verdadeiros positivos (VP) Falsos negativos (FN) Total de positivos (VP+FN) Falsos positivos (FP) Verdadeiros Negativos (VN) Total de negativos (FP+VN) Desempenho _{sensibilidade = SE =} � � +� Especificidade = ES = � +�

Fonte: Martinez; Louzada-Neto; Pereira, 2003.

A curva ROC é um gráfico que tem o objetivo de mostrar onde o modelo fornece uma saída (resposta), não apenas para o positivo ou negativo e sim por um resultado que pode ser expresso por uma variável qualitativa ordinal ou por uma variável contínua (QUEIJO, 2010). Segundo Margotto (2010), a Curva ROC é um gráfico de sensibilidade (ou taxa de verdadeiros positivos) versus taxa de falsos positivos. No exemplo abaixo (Figura 7), o Modelo A tem melhor acurácia que o Modelo B. O ponto 1 confere maior valor de

sensibilidade e especificidade; o ponto 2 confere maior sensibilidade, mas uma menor especificidade e já o ponto 3, maior especificidade, porém, menor sensibilidade:

Figura 7 - Curva ROC

Fonte: Adaptado de Margotto, 2010.

Resumindo, a curva ROC é a representação gráfica da sensibilidade (ordenadas) e especificidade (abcissas) resultantes da variação do valor de corte ao longo de um eixo de decisão (QUEIJO, 2010).

4.10.5.2 Ponto de Corte

A Curva ROC está entre dois estados, cada ponto da curva representa um valor diferente de sensibilidade e especificidade que pode ser definido pela adoção de um diferente valor do ponto de corte. A curva ROC é eficiente na demonstração da relação normalmente antagônica entre a sensibilidade e a especificidade, sendo uma ferramenta poderosa que nos permite estudar a variação da sensibilidade e especificidade para diferentes valores de corte (MARGOTTO, 2010).

Assim podemos ter variações nos resultados, por exemplo, com um critério restrito é aquele que nos dá uma pequena fração de falsos positivos e também uma pequena fração de verdadeiros positivos (canto inferior esquerdo da curva). Por outro lado, critérios menos

restritos, nos trazem maiores frações de ambos os tipos (pontos colocados no canto direito da curva) (Figura 8) (MARGOTTO, 2010).

Figura 8 - Curva ROC para uma dada capacidade de discriminação, com a variação do ponto de corte

(critério de decisão)

Fonte: Margotto, 2010.

O valor do ponto de corte é um valor que pode ser selecionado arbitrariamente pelo pesquisador, será norteada pela necessidade de aumentar a sensibilidade ou a especificidade (MARTINEZ; LOUZADA-NETO; PEREIRA, 2003; MARGOTTO, 2010). O pesquisador deve selecionar o melhor limiar de corte para obter o melhor desempenho possível. A interpretação é que diante dos valores possíveis para a variável de decisão, acima do ponto de corte o paciente é classificado como positivo (teste positivo, paciente com a doença) e abaixo deste é classificado como negativo (teste negativo, ausência de doença). Cada ponto de corte apresenta um valor de sensibilidade e especificidade (MARGOTTO, 2010).

Portanto, cada ponto de corte traz valores diferentes na relação (SE: 1 - ES). Podemos

dizer que geralmente, quanto menor for o ponto de corte o teste será mais sensível, ou seja, habilidade em classificar os doentes como positivos, quer dizer também que maior será a SE.

Mas ainda assim é inevitável que alguns indivíduos sadios sejam classificados como positivos, isso quer dizer que apresenta uma menor ES. A escolha do melhor ponto de corte

muitas vezes é representada pelo ponto onde a SE e ES são simultaneamente maiores, mas vale

correr o risco de não diagnosticar, é melhor privilegiar a SE, essa situação acontece quando do

rastreamento do câncer, pois é indesejável que alguns indivíduos doentes deixem de ser detectados, e consequentemente terem seu diagnóstico e tratamento precoce. Em casos de o diagnóstico poder trazer prejuízos aos indivíduos, é melhor privilegiar ES (MARTINEZ;

LOUZADA-NETO; PEREIRA, 2003).

Segundo Hosmer e Lemeshow (2000), existe outra maneira de determinar o ponto de corte, calculando a distância d entre o ponto desejado e o ponto (0,1), observando-se o ponto onde a distância d é mínima. A distância d entre o ponto (0,1) e qualquer ponto na Curva ROC é dada por:

= [ 1 − 2_{+ (1− )}2_].

Ainda segundo o mesmo autor, outro critério utilizado para maximizar a taxa de classificação do modelo é o índice de Youden, que maximiza a distância vertical da linha de igualdade para o ponto [x, y], onde “x” representa (1-especificidade) e “y” representa a sensibilidade, o ponto encontrado é o mais distante da linha da igualdade (diagonal) (HOSMER; LEMESHOW, 2000).

4.10.5.3 Área sob a curva ROC

A área sob a curva ROC é utilizada para a determinação da acurácia do modelo (MARGOTTO, 2010). É um do índice utilizado para resumir a qualidade da curva, sendo uma medida do desempenho do modelo. Essa área nos permite quantificar a exatidão de um modelo diagnóstico, além de possibilitar a comparação entre modelos (MARTINEZ; LOUZADA-NETO; PEREIRA, 2003).