Medidas de desempenho de modelos de previsão

O desenvolvimento de modelos de regressão e a obtenção dos resultados, expressos, por exemplo, na forma de série temporal, requerem a avaliação do próprio resultado, relativo ao desempenho do modelo. Dawson et al. (2007) explicam que o processo de avaliação do desempenho de um modelo hidrológico pode incluir tanto características subjetivas, como a simples visualização das séries observada e calculada, quanto estimativas numéricas objetivas. No que concerne às inspeções visuais, os resultados podem ser formulados acerca do comportamento geral dos hidrogramas, trazendo informações de ordem sistemática (como o sub ou o superdimensionamento) e dinâmicas (características relacionadas aos intervalos temporais, ascensões e recessões, reprodução dos valores máximos e mínimos). No entanto, incorporar objetividade à avaliação dos modelos ao atribuir índices quantitativos aos seus resultados garante algumas vantagens, tais como: (i) oferecer um indicador numérico associado à habilidade do modelo reproduzir o comportamento da bacia hidrográfica; (ii) possibilitar a comparação do modelo com ele mesmo, permitindo avaliar tanto a sua melhora quanto a do método empregado a cada nova implementação; e (iii) dispor de um mecanismo de comparação dos resultados entre diferentes tipos de modelos.

Em razão das vantagens elencadas, avaliar um modelo hidrológico por meio de critérios numéricos é uma abordagem amplamente empregada pelos pesquisadores (GUPTA et al. 1998; DAWSON et al., 2007; PUSHPALATHA et al., 2012). Entretanto, a quantidade de métricas disponíveis é extremamente numerosa, de modo que sua escolha deve ser função das necessidades particulares para cada aplicação. Com efeito, o conjunto de critérios de desempenho deve ser definido de modo a evitar a sua redundância, além de ser sensível aos diferentes tipos de erros. Normalmente, a sugestão de qual dos modelos verificados melhor atinge os objetivos é feita a partir da comparação dos índices encontrados para determinados critérios, seguida da ordenação desses resultados.

Para avaliação dos modelos de previsão no presente trabalho, três métricas de desempenho foram utilizadas, expostos na seguinte ordem de importância: (i) Coeficiente de Nash-Sutcliffe calculado com vazões invertidas (NSEiQ); (ii) erro absoluto médio (MAE); e (iii) coeficiente de determinação (R²). Suas expressões matemáticas são:

𝑁𝑆𝐸𝑖𝑄 = 1 − ∑ (1 𝑄𝑖− 1 𝑄̂ )𝑖 𝑛 𝑖=1 ∑ (_𝑄1 𝑖− 1 𝑄̂_𝑖 ̅ ) 𝑁 𝑖=1 (3.49) 𝑀𝐴𝐸 =1 𝑛 ∑|𝑄𝑖− 𝑄̂ |𝑖 𝑛 𝑖=1 (3.50) 𝑅² = [ ∑𝑛𝑖=1(𝑄𝑖 − 𝑄̅)(𝑄̂ − 𝑄̃)𝑖 √∑𝑛 (𝑄_𝑖 − 𝑄̅)2 𝑖=1 ∑ (𝑄̂ − 𝑄𝑖 ̃ )𝑖 2 𝑛 𝑖=1 _] 2 (3.51)

nas quais “n” é o número de dados da série; “𝑄𝑖” é a vazão observada; “𝑄̂ ” é a vazão calculada 𝑖

pelo modelo; “𝑄̅” é a média das vazões observadas; e “𝑄̃ ” é a média das vazões calculadas. 𝑖

O NSEiQ é derivado direto da função de eficiência Nash-Sutcliffe, a qual é uma das métricas mais comuns para avaliação de desempenho de modelos como um todo. No entanto, sua expressão na forma de vazões invertidas (1/𝑄𝑖) aumenta a sensibilidade das vazões mínimas da

série, quando comparados os valores observados e estimados. Visto que o NSEiQ não possui limite inferior, há possibilidade de serem encontrados valores negativos nas piores modelagens. Por outro lado, os modelos de previsão melhor avaliados resultam em NSEiQ próximos à unidade. Essa métrica se apresenta no contexto de um levantamento realizado por Pushpalatha

et al. (2012), que estudaram nove critérios de desempenho de modelos com foco para vazões

mínimas, aplicando o estudo em 940 bacias. Os autores encontraram melhores resultados com a aplicação do NSEiQ, o qual se destacou dos outros critérios testados por não demonstrar sensibilidade às vazões máximas. O resultado dessa métrica é adimensional, o que possibilita estabelecer índices padrão que dizem respeito a qualidades intermediárias da reprodução dos valores observados. Além disso, por ser um critério que expressa resultados relativos, o NSEiQ permite comparar modelos entre si, bem como eventos de diferentes ordens.

O erro absoluto médio, ou mean absolut error (MAE), informa o nível de concordância geral entre os conjuntos de dados observados e modelados. Trata-se de uma métrica absoluta, com unidades reais não-negativas, sem limites superiores, cujos melhores modelos de MAE se aproximam de zero. Uma desvantagem no emprego do MAE é sua insensibilidade a erros sistemáticos, podendo expressar reduzidos valores mesmo quando há sub ou superestimação.

Essa métrica não pondera eventos de maior ou menor magnitude, mas avalia todos os desvios dos dados observados de maneira igual independentemente se o erro é negativo ou positivo. Por essa razão, o uso do MAE é recomendado para avaliação de modelos aplicados em eventos isolados, por exemplo, para uma mesma série histórica, de modo que não traz informação útil quando comparados modelos que utilizam diferentes eventos. Em estudo com séries hipotéticas, Dawson et al. (2007) destacaram o MAE entre as medidas de desempenho que melhor representaram séries cujos hidrogramas possuem reduzidas magnitudes.

O coeficiente de determinação R² descreve a variabilidade nos dados que é explicada pelo modelo de regressão, visto que relaciona, em razão quadrática, a dispersão dos valores observados com a dispersão dos valores estimados pelo modelo. O R² é de ordem relativa, cuja faixa de alcance é entre zero e um, sendo que as melhores previsões indicam a unidade. Apesar de medir o nível de concordância geral entre duas séries, o coeficiente de determinação parte do pressuposto que há relação linear entre elas. Ao padronizar alguns momentos estatísticos, como médias e variâncias das séries observada e modelada, a função se mostra tendenciosa à consideração de eventos extremos, demonstrando grande sensibilidade a outliers. Além disso, tendo em vista que o cálculo do R² é restrito à diferença da dispersão entre os dois conjuntos de dados, essa métrica é incapaz de detectar erros de ordem sistemática, com efeitos de sub ou superestimação, podendo indicar bons resultados mesmo quando as séries calculadas não expressam adequadamente os valores observados. Por essas razões, o coeficiente de determinação deve ser usado com cautela e em conjunto com outros critérios. Uma vantagem de utilizar essa medida de desempenho é que seu resultado, adimensional, permite comparar a performance de diferentes modelos e eventos, balizando a comparação por padrões pré- determinados.

4 APLICAÇÃO DO MÉTODO

Neste capítulo, disposto em três tópicos, serão apresentados os resultados da aplicação dos métodos desenvolvidos no decorrer da presente pesquisa. Para tanto, primeiramente, será delineado o contexto em que se situa a área onde serão implementados os métodos, seguido de informações relativas aos aproveitamentos hidrelétricos e as estações telemétricas que geraram os dados. O segundo tópico é introduzido com uma breve descrição das séries de vazão empregadas no estudo dos efeitos nos padrões de descarga hídrica, acompanhado dos resultados que dizem respeito à identificação de alterações de comportamento de vazões no domínio do tempo e no do tempo-frequência. No último tópico, após breve descrição dos dados utilizados no estudo de previsão de vazões, a pesquisa evoluirá para a apresentação dos resultados concernentes à aplicação dos seis modelos de regressão, acoplados ou não com as séries decompostas. Nessa fase, são explorados três grupos de previsão das séries, sendo eles as previsões entre estações adjacentes, com variabilidade temporal e entre as combinações dos pares de estações na bacia, caracterizando a variabilidade espacial.