Curva ROC (Receiver Operating Characteristic)

A curva ROC foi desenvolvida no contexto de detecção de sinais eletrônicos e problemas com radares, durante a Segunda Guerra Mundial (Zweig & Campbell, 1993).

Seu objetivo era quantificar a habilidade dos operadores dos radares (chamados originalmente de receiver operators) em distinguir um sinal de um ruído (Reiser &

Faraggi, 1997). Esta habilidade era chamada receiver operating characteristic (ROC).

Quando o radar detectava algo se aproximando, cabia ao operador decidir se o que estava sendo captado era, por exemplo, um avião inimigo (o sinal), ou algum outro objeto voador irrelevante, como uma nuvem ou um bando de aves (o ruído) (Collinson, 1998). Na década de 60, curvas ROC foram utilizadas em psicologia experimental e, nos anos 70, a metodologia amplamente se disseminou em vários ramos da pesquisa biomédica, área em que seu objetivo tornou-se basicamente auxiliar a classificação de indivíduos em doentes ou não doentes. Posteriormente a isso, a curva ROC começou também a ser utilizada na previsão de tempo e na meteorologia.

A característica operacional relativa, ROC (Mason 1982), está sendo considerada pela Organização Meteorológica Mundial (OMM) como um método recomendado para indicar a qualidade das previsões probabilisticas de tempo e clima.

28 MURPHY, A. H. Decision-making models in the cost-loss ratio situation and measures of the value of probability forecasts, Monthly Weather Review, 1976, v. 104, n. 8 (Aug), pp. 1058-1065.

29 MURPHY, A. H., LICHTENSTEIN, S., FISCHHOFF, B., et al., 1980, Misinterpretations of precipitation probability forecasts, Bulletin of the American Meteorological Society, v. 61, n. 7 (Jul), pp. 695-701

30 PATT, A., 2007, Evaluating the value of seasonal climate forecasts for subsistence farmers: lessons from NOAA applications research in Zimbabwe. In: WMO, 2007, Elements for life, Chapter V.2, Geneva, Switzerland, Tudor Rose.

Sobre isso, existe uma extensa literatura. Alguns trabalhos bastante conhecidos aplicando a curva ROC na área de meteorologia são de Mason (1982, 2004), Mason &

Graham (1999), Harvey et al (1992), Stanski et al (1989), Swets (1986, 1988, 1996), Kharin & Zwiers (2003), Metz (1978) entre outros.

Como indicador global do desempenho de um teste diagnóstico cujo resultado é uma escala numérica, a curva ROC é uma descrição simples e completa dos efeitos de qualquer ponto de corte possível sobre a sensibilidade e especificidade do teste. A curva ROC informa sobre a habilidade do teste em refletir a real situação, ou a sua capacidade preditiva de forma precisa e válida numa escala padronizada e fácil de interpretar (SWETS, 1988). Além disso, descreve as características de detecção inerentes ao teste e o receptor da sua informação, pode operar em qualquer ponto da curva por meio de um ponto de corte apropriado (METZ, 1978).

A questão do teste diagnóstico baseia-se nas conseqüências da tomada de decisão em relação à definição do ponto de corte. Um teste de diagnóstico cujos resultados são valores contínuos têm a distribuição dos mesmos de forma sobreposta entre os indivíduos realmente afetados e não afetados. Diferentes escolhas para um ponto de corte têm como conseqüência vários tipos de decisões corretas e incorretas. A escolha de um determinado ponto de corte classifica arbitrariamente os indivíduos com resultados abaixo desse valor como negativos e os com resultados mais altos como positivos. Valores mais altos para o ponto de corte tornam menores as freqüências de falsos positivos e verdadeiros positivos e, por outro lado, aumentam as freqüências de decisões verdadeiras negativas e falsas negativas. Um ponto de corte adequado deve ser escolhido de forma a contemplar um compromisso entre as conseqüentes vantagens e desvantagens (METZ, 1978).

Vários pontos de corte possíveis estão associados a valores correspondentes de sensibilidade e especificidade. Ao traçar o gráfico da sensibilidade e especificidade no eixo das ordenadas em função dos valores de probabilidade prevista para cada ponto de corte plausível, é possível visualizar a localização de um ponto de corte adequado para determinada aplicação. A Figura 2.19 ilustra os diversos tipos de critérios que podem ser utilizados para definir o ponto de corte.

Figura 2.19 Curva ROC para uma dada capacidade de discriminação, com a variação do ponto de corte (critério de decisão)

O valor do ponto de corte é definido com um valor que pode ser selecionado arbitrariamente pelo pesquisador entre os valores possíveis para a variável de decisão, acima do qual, por exemplo, uma determinada situação é classificada como positiva (teste positivo, ocorrência do alagamento ou inundação) e abaixo do qual é classificada como negativa (teste de diagnóstico negativo, não ocorrência do alagamento ou inundação).

Para cada ponto de corte são calculados valores de sensibilidade e especificidade, que podem então serem dispostos no gráfico. Um classificador perfeito corresponderia a uma linha horizontal no topo do gráfico, porém esta dificilmente será alcançada. Na prática, curvas consideradas boas estarão entre a linha diagonal e a linha perfeita, onde quanto maior a distância da linha diagonal, melhor o sistema (Figura 4.23). A linha diagonal indica uma classificação aleatória, ou seja, um sistema que aleatoriamente seleciona saídas como positivas ou negativas, como jogar uma moeda para cima e esperar cara ou coroa. Finalmente, a partir de uma curva ROC, pode-se selecionar o melhor limiar de corte para obter o melhor desempenho possível.

O gráfico da curva ROC convencional é traçado com a sensibilidade no eixo das ordenadas contra o complemento da especificidade (1-E). A curva passa inevitavelmente pelo canto inferior esquerdo do gráfico (S = 0, 1-E = 0), porque é possível classificar todos os resultados como negativos, e pelo canto superior direito (S = 1, 1-E = 1) porque também é possível classificar todos os resultados como positivos. Assim, se o teste fornece alguma informação na tomada de decisão, os pontos intermediários da curva devem estar

localizados acima da diagonal principal da área ROC (METZ, 1978). Idealmente, a curva deve ser convexa e sempre crescente.

Figura 2.20 Exemplos de diferentes curvas ROC (Perfeita, Boa e Aleatória)

Como os valores de sensibilidade e especificidade são independentes da prevalência, a curva ROC fornece informação sobre a capacidade de detecção do teste de forma independente da prevalência da condição testada e do ponto de corte escolhido (METZ, 1978; SWETS, 1988).

De acordo com Brooks³¹ (2004) apud Leite (2008), em sua discussão sobre a emissão ou não do alerta de evento severo (considerado um problema de ordem binária), é possível associar uma curva de características operacionais à condição presente do processo de previsão, definida no espaço POD X POFD (Probabilidade de Detecção X Probabilidade de Falsa Detecção). Sob o pressuposto de que ambas as distribuições de probabilidades da ocorrência do evento e da não ocorrência são gaussianas e de mesma variância, é possível, de forma facilitada, calcular a curva ROC, dado a probabilidade climatológica do evento p e a distância, em termos de números de desvios padrão, entre as médias das duas distribuições gaussianas.

De acordo com os mesmos autores, essa distância é uma medida da capacidade de discriminação entre a ocorrência ou não do evento e constitui-se em um indicador da qualidade global de um sistema de alerta. Outro procedimento para levantamento da curva ROC, conforme discutido por Harvey Jr³². et al. (1992) citado por Leite (2008), é partir

31BROOKS, H. E. Tornado-warning performance in the past and future: a perspective from signal detection theory. Bulletin of the American Meteorological Society. 2004, v. 85, n. 6 (Jun), pp. 837-843.

32HARVEY JR., L. O., HAMMOND, K. R., LUSK, C. M., et al., The application of signal detection theory to weather forecasting behavior. Monthly Weather Review. 1992, v. 120, n. 5 (May), pp. 863-883.

dos pares de medidas de desempenho POD e POFD extraídos do sistema previsor e ajustar uma curva tipo ROC através do Método da Máxima Verossimilhança de Dorfman.

Considerando-se o problema de emissão de alertas, de acordo com essa abordagem baseada nas características operacionais do processo de previsão, o ajustamento operacional é realizado por meio da alteração do limite de determinado preditor a partir do qual se emite o alerta, o que significa um deslocamento sobre a mesma curva ROC. Por outro lado, a ajustamento tecnológico é realizado por meio do estabelecimento de uma nova curva ROC, na qual a relação entre POD e POFD se torne mais favorável (LEITE, 2008).

Além das avaliações qualitativas a partir da curva ROC, diversas técnicas foram desenvolvidas e propostas para avaliar as suas propriedades estatísticas desde o início da década de 1980. O indicador estatístico mais popular para descrever a curva ROC é a estimativa da “área sob a curva” adequada e suavizada, que varia de 0,5 (nenhuma acurácia aparente) a 1,0 (acurácia perfeita), a medida que a curva pode se estender em direção ao canto superior esquerdo da área do gráfico.

Para aplicações com dados meteorológicos, de acordo com Joliffe & Stephenson (2003), esse método fornece basicamente três benefícios para a avaliação de eventos meteorológicos:

• Um puro índice de precisão, no sentido da capacidade inerente do sistema para a discriminação de um estado a partir de outro.

• Estimativas quantitativas de previsão das probabilidades de resultados (por exemplo, as taxas de acerto e falso alarme) para qualquer decisão que o sistema possa utilizar e as interações das quais os limites do sistema variam.

• Um índice do limite de decisão que torna possível incorporar as probabilidades climatológicas e os valores de benefícios e custos das várias metodologias de previsão para determinar o limiar ideal para o sistema de previsão em uma determinada situação.