Calibração e validação

A calibração foi desenvolvida na sequência da análise de sensibilidade utilizando os parâmetros considerados sensíveis por esta última. De acordo com Arnold et al (2012a) a calibração é uma forma de melhor parametrizar o modelo para uma dada localização como forma de reduzir as incertezas das previsões ou simulações. Assim como na análise de sensibilidade, para a calibração também foi utilizado o programa SWAT-CUP executando o algoritmo SUFI2. Este método é reconhecido como

4

79

semiautomático por permitir a verificação e alteração, pelo usuário, dos valores e intervalos dos parâmetros escolhidos, de modo a incluir o conhecimento pessoal no controle dos processos hidrológicos (ARNOLD et al, 2012a).

Para analisar o desempenho do modelo e calibrá-lo devem ser fornecidas ao SWAT-CUP as séries de dados observados, que serão comparadas com os dados da variável referente a cada uma destas séries. Para a bacia do Jundiaí a série histórica de vazões observada será a do posto fluviométrico 4E-017, situado na sub-bacia 6 (sub- bacia esta gerada na etapa de “watershed delineator” do ArcSWAT - ver Mapa 6) e a variável a ser calibrada será a vazão média diária mensal de saída desta mesma sub- bacia. De acordo com a disponibilidade de dados observados, e como visto em muitos estudos de modelação, é adequada a separação de dois períodos distintos da série histórica, um para executar a calibração e outro para a validação do modelo.

A série do posto fluviométrico 4E-017 contempla o período de 1973 a 1994 e dentro desse período de dados observados os anos de 1973 a 1975 serviram apenas para aquecimento do modelo. Segundo Neitsch et al. apud Salles (2012) este período deve ser de no mínimo de um ano para garantir que o ciclo hidrológico seja simulado corretamente antes da comparação dos dados observados com os simulados. Para a calibração foi escolhido o período de 1976 a 1983 e para validação de 1984 a 1994. Essa escolha se deu pela divisão do período observado, considerando também que os dois períodos, calibração e validação, teriam tanto um período mais cheio quanto outro mais seco.

Antes da execução do SWAT-CUP para a calibração deve ser escolhida a função objetivo que irá avaliar todas as simulações. Esta função é responsável por analisar o grau de relação entre os dados simulados e os dados observados para a variável escolhida, no caso, a vazão média diária mensal da bacia 6. A função objetivo escolhida para as iterações executadas foi a “Relação entre a Raiz do Erro Médio Quadrático (RMSE) e o desvio padrão dos dados observados” (RSR)5

. A função RSR, dada pela Equação 5.9, padroniza a RMSE usando o desvio padrão dos dados observados e

5

A sigla RSR segue a literatura de Moriasi et al (2007) e representa a contração de RMSE- observations standard deviation ratio, onde RMSE significa Root Mean Square Error.

80

combina ambos com um índice de erro (MORIASI et al, 2007). Para os resultados desta função, quanto mais próximo de 0, melhor será a simulação.

√∑

√∑ ̅̅̅̅̅̅̅ Equação 5.9

Por meio da função RSR, as simulações de uma mesma iteração são avaliadas, e para a simulação com menor (e melhor) valor RSR outras estatísticas de avaliação são calculadas, sendo aqui considerado o coeficiente de determinação (R2), o coeficiente de eficiência de Nash & Sutcliffe (NSE) e o percentual de tendência (PBIAS). O coeficiente de determinação (R2), segundo Moriasi et al (2007), descreve a linearidade entre os dados observados e simulados por meio da proporção entre suas variâncias. O valor de R2 varia de 0 a 1 e valores mais próximos de 1 indicam menores erros de variância. Segundo Santhi et al. apud Moriasi et al (2007), para o R2 são aceitáveis os resultados acima de 0.5.

O cálculo de R2 obedece a Equação 5.10:

[∑ ̅ ̅ ]

∑ ̅ ∑ ̅ Equação 5.10

O coeficiente NSE (Nash & Sutcliffe, 1970), calculado pela Equação 5.11, avalia a qualidade da disposição dos pontos plotados entre dados observados e simulados em relação a uma linha 1:1, (MORIASI et al., 2007). O coeficiente NSE varia de –∞ a 1, sendo melhores os valores próximos a 1.

∑

∑ ̅̅̅̅̅̅̅ Equação 5.11

O percentual de tendência (PBIAS) mede a tendência média dos dados simulados serem superiores ou inferiores aos seus respectivos dados observados (GUPTA et al. apud MORIASI et al., 2007). Para os resultados do PBIAS quanto mais próximo de 0, melhor a acurácia da simulação. Os resultados positivos indicam que o

81

modelo está subestimando e os negativos indicam que o modelo está superestimando a simulação. A Equação 5.12 apresenta o cálculo do PBIAS:

[∑

∑ ] Equação 5.12

Para esta pesquisa o procedimento de calibração adotado, partiu da fixação de todos os parâmetros selecionados na análise de sensibilidade com os melhores valores obtidos a partir das 2000 simulações. Tendo os parâmetros fixados, cada um deles foi simulado individualmente, partindo-se da análise do parâmetro de maior sensibilidade para o de menor.

O número de simulações por parâmetro foi variando de acordo com o comportamento individual de cada um, geralmente entre 10 a 20 simulações. A partir da simulação do segundo parâmetro, o melhor valor do primeiro era fixado e assim por diante, até que todos os parâmetros fossem simulados. Desta forma os parâmetros mais sensíveis foram primeiramente ajustados para depois analisar o comportamento dos de menor sensibilidade.

Executada a calibração com todos os parâmetros, uma nova rodada foi executada, porém com novo intervalo de variação para os parâmetros, agora definido pela análise dos gráficos “dotty plots”, gerado pelo SWAT-CUP, que plota os pontos do resultado da função RSR versus o valor adotado para o parâmetro em uma determinada simulação6. Diante da distribuição dos pontos um novo intervalo pode ser determinado para o parâmetro. A Figura 5.4 exemplifica este procedimento em que o comportamento do parâmetro é dado pelo seu gráfico “dotty plot” e um novo intervalo, de 2.5 a 8, por exemplo, poderia ser adotado para sua nova simulação. Para as novas simulações também poderiam ser adotados os valores conforme a aba “New Parameters” do SWAT-CUP, que sugere um novo intervalo para os parâmetros simulados, porém deve ser tomado o cuidado para não aceitar intervalos irreais para determinados parâmetros.

6 _{Por exemplo: Se um determinado parâmetro foi simulado 20 vezes seu gráfico “dott plot” possui}

vinte pontos plotados sendo a melhor simulação àquela correspondente ao ponto mais próximo da abscissa, pois a ordenada representa o valor RSR, e este quanto mais próximo de 0 melhor.

82

Figura 5.4 – Exemplo de gráfico Dotty Plots para determinação de novos intervalos de variação do parâmetro para refinar a calibração.

Fonte: SWAT-CUP

De certo modo esta etapa se assemelha à análise de sensibilidade por estar claramente definindo um intervalo reduzido de variação dos parâmetros, porém, esperando-se resultados com valores satisfatórios da função objetivo e das demais estatísticas de avaliação.

A avaliação da calibração neste trabalho deu-se por meio das estatísticas de avaliação (R2, NSE, PBIAS e RSR), que tiveram seus desempenhos analisados conforme ilustrado pela Tabela 5.4, com valores propostos por Moriasi et al (2007), para estudos em passo de tempo mensal, também adotado nesta pesquisa.

Tabela 5.4 – Desempenhos estatísticos para passo de tempo mensal

Desempenho RSR NSE PBIAS (%) para

vazão R

2*

Muito Bom 0.00 ≤ RSR ≤ 0.50 0.75 < NSE ≤ 1.00 PBIAS < ±10 --- Bom 0.50 < RSR ≤ 0.60 0.65 < NSE ≤ 0.75 ±10 ≤ PBIAS < ±15 --- Satisfatório 0.60 < RSR ≤ 0.70 0.50 < NSE ≤ 0.65 ±15 ≤ PBIAS < ±25 ---

Insatisfatório RSR > 0.70 NSE ≤ 0.50 PBIAS ≥ ±25 ---

Aceitável --- --- --- > 0.5

* O valor de R2 está publicado em Santhi et al. (2001), mas está citado também em Moriasi et al (2007).

A calibração do modelo também foi avaliada pela análise do gráfico entre as vazões observadas e as vazões simuladas para o período de calibração, o qual permitiu

83

a visualização de quais períodos foram melhores ou piores representados, ou a melhor adequação aos picos de cheia ou períodos mais secos.

Após a calibração, o modelo foi executado com os parâmetros ajustados para o período escolhido para validação (ARNOLD et al., 2002b). A etapa de validação teve como objetivo mensurar a aderência dos resultados de simulação com um conjunto de dados independentes ao utilizado para a calibração dos parâmetros (SALLES, 2012). A avaliação das simulações da validação foi idêntica a da calibração, deste modo, enquanto os resultados estatísticos e gráficos não foram satisfatórios para os dois períodos os parâmetros foram revistos para o período de calibração e novamente aplicados à validação.