Validação dos modelos

A capacidade preditiva dos modelos de suscetibilidade à rutura de deslizamentos superficiais e à iniciação de escoadas de detritos foi avaliada através da elaboração de curvas ROC e da determinação da área abaixo da curva (AUC) (Beguería, 2006; Fawcett, 2006). Os gráficos ROC permitem avaliar o desempenho de um modelo de classificação, representando o equilíbrio entre a taxa de verdadeiros positivos (TVP) e a taxa de falsos positivos (TFP). No presente estudo, a TVP corresponde à fração de área instabilizada classificada como suscetível e a TFP representa a proporção de área não instabilizada também classificada como suscetível. A AUC avalia, de forma quantitativa, a capacidade preditiva do modelo. Valores de AUC próximos de 1 traduzem modelos com elevada precisão, enquanto valores de 0,5 apontam para uma classificação aleatória.

Para a validação dos modelos também se recorreu a matrizes de confusão (Beguería, 2006; Fawcett, 2006). Na matriz de confusão (quadro 3.1), por vezes designada de tabela de contingência, os casos observados são confrontados com os casos preditos pelo modelo, existindo quatro resultados possíveis (Kappes et al., 2011): verdadeiro positivo (VP, instabilidade observada e predita pelo modelo); verdadeiro negativo (VN, instabilidade não observada e não predita pelo modelo); falso positivo (FP, instabilidade não observada, mas predita pelo modelo); falso negativo (FN, instabilidade observada, mas não predita pelo modelo). Consequentemente, com base na matriz de confusão, foram calculadas algumas estatísticas de precisão (quadro 3.2).

Quadro 3.1 – Matriz de confusão elaborada para os modelos de suscetibilidade (Beguería, 2006; Fawcett, 2006)

Casos observados (realidade)

1 0 Casos preditos (modelo) 1 VP FP 0 FN VN

MODELAÇÃO DE DESLIZAMENTOS SUPERFICIAIS E ESCOADAS DE DETRITOS COM MÉTODOS ESTATÍSTICOS E DETERMINÍSTICOS

124

Quadro 3.2 – Estatísticas de precisão derivadas da matriz de confusão (Beguería, 2006)

Eficiência (VP + VN) / (VP + FP + FN + VN)

Taxa de classificação incorreta (FP + FN) / (VP + FP + FN + VN)

Sensibilidade VP / (VP + FN)

Especificidade VN / (FP + VN)

Taxa de falsos positivos FP / (FP + VN) Taxa de falsos negativos FN / (VP + FN)

A eficiência do modelo (efficiency) é definida como a proporção de observações correctamente classificadas. Já a taxa de classificação incorrecta (misclassification rate) refere-se à proporção de observações incorrectamente classificadas. Uma importante limitação na aferição destes dois parâmetros relaciona-se com a sua elevada dependência de casos positivos (1) e negativos (0). A pequena proporção de casos positivos, face aos negativos (o que geralmente acontece nos estudos de suscetibilidade), origina valores de VP e FN muito mais pequenos do que os seus homólogos FP e VN, afetando assim as estatísticas referentes à eficiência do modelo e à taxa de classificação incorrecta (Beguería, 2006). Neste sentido, é recomendada a utilização de parâmetros estatísticos que não versem sobre o predomínio de casos positivos ou negativos, tais como a sensibilidade (sensitivity), a especificidade (specificity), a taxa de falsos positivos (false positive rate) e a taxa de falsos negativos (false negative rate). A sensibilidade do modelo expressa a proporção de casos positivos corretamente preditos, sendo considerado o principal parâmetro estatístico. Por este motivo, Beguería (2006) recomenda o seu uso em detrimento do valor de eficiência. A especificidade, por outro lado, diz respeito à proporção de casos negativos corretamente preditos.

No método do Valor Informativo (VI), as estatísticas de precisão derivadas da matriz de confusão são válidas apenas para um ponto específico do espaço ROC (Bradley, 1997), o qual foi definido pelo índice de Youden (Perkins and Schisterman, 2005):

CAPÍTULO 3: METODOLOGIA

125 O índice de Youden (𝐽) maximiza a precisão, bem como a distância vertical entre a curva ROC e a linha diagonal onde não existe discriminação (Jiménez-Valverde, 2012). Por outras palavras, o índice de Youden (𝐽) corresponde ao ponto na curva ROC que se encontra mais afastado da linha diagonal (fig. 3.6).

Figura 3.6 – Representação do índice de Youden (J) no espaço ROC.

A importância de cada fator de predisposição, nomeadamente nas áreas de rutura de deslizamentos superficiais e nas áreas de iniciação de escoadas de detritos, foi determinada recorrendo ao cálculo e hierarquização de dois índices: Accountability (ACC) e Reliability (REL). Os índices ACC e REL foram introduzidos por Greenbaum et al. (1995a, b) e têm sido utilizados por vários autores (e.g. Blahut et al., 2010a; Garcia, 2012; Oliveira, 2012), como indicadores da importância relativa que cada fator exerce na predição da instabilidade. O índice ACC contabiliza as células com instabilidade, dentro do contexto das variáveis preditivas mais relevantes na análise (ou seja, com VI>0). O seu cálculo baseia-se na soma das células deslizadas nas classes das variáveis preditivas com VI>0, a dividir pelo total de células deslizadas na área de estudo. O índice REL contabiliza a densidade média de células deslizadas, nas classes das variáveis preditivas mais relevantes para a ocorrência de instabilidade. O seu cálculo

MODELAÇÃO DE DESLIZAMENTOS SUPERFICIAIS E ESCOADAS DE DETRITOS COM MÉTODOS ESTATÍSTICOS E DETERMINÍSTICOS

126

baseia-se na soma das células deslizadas nas classes das variáveis preditivas com VI>0, a dividir pela área dessas mesmas classes.

Nas situações em que se procedeu à avaliação da concordância espacial entre dois modelos de suscetibilidade, recorreu-se à estimativa do coeficiente kappa (Cohen, 1960).

A opção pela combinação de modelos de suscetibilidade, em detrimento da eleição de apenas um modelo, foi concretizada com recurso à ferramenta Map Comparison Kit (e.g. Visser e Nijs 2006). Esta ferramenta, que permite a combinação célula a célula entre dois mapas, baseia-se na intersecção das classes de suscetibilidade numa tabela de contingência.

A validação dos resultados obtidos com o modelo dinâmico foi realizada com recurso a uma fitness function (e.g. D’Ambrosio et al., 2006; D’Ambrosio e Spataro, 2007; Spataro et al., 2008; Avolio et al., 2013), de forma a estabelecer uma comparação quantitativa entre o padrão espacial das simulações e os casos reais. Na fitness

function 𝑓 (𝑅, 𝑆) (equação 3.27), 𝑅 e 𝑆 correspondem, respetivamente, às células

afetadas pelos eventos reais e pelas simulações, enquanto 𝑚(𝑅 ∩ 𝑆) e 𝑚(𝑅 ∪ 𝑆) correspondem, respetivamente, à intersecção e união das referidas células.

𝑓 (𝑅, 𝑆) =𝑚(𝑅 ∩ 𝑆)

𝑚(𝑅 ∪ 𝑆) (3.27) A aplicação da fitness function resulta em valores compreendidos entre 0 e 1. Se 𝑓 (𝑅, 𝑆) = 0, tal significa que os eventos reais e simulados são completamente disjuntos, sendo 𝑚(𝑅 ∩ 𝑆) = 0. Por outro lado, se 𝑓 (𝑅, 𝑆) = 1, os eventos reais e simulados sobrepõem-se na perfeição, sendo 𝑚(𝑅 ∩ 𝑆) = 𝑚(𝑅 ∪ 𝑆). De acordo com Lupiano et. al. (2015), são considerados aceitáveis valores superiores a 0,7.