Os procedimentos usados para avaliar os desempenhos das versões em questão serão os mesmos discutidos na seção anterior. Sendo que nesta secção serão comparadas a versão operacional (F40km_38Lo) que fornece as condições de contorno para as versões aninhadas, versões com alta resolução alimentados pelas previsões do modelo global (CPTEC/COLA) e, finalizando, as versões com alta resolução aninhadas .
Considerando a avaliação espacial sobre todo o domínio reduzido e utilizando os dados observados (pressão ao nível médio do mar) para verificar o desempenho das configurações, e assumindo que para diferenças entre -1 e 1 hPa são acertos, diferenças maiores que 1 hPa são superestimativas, e diferenças menores que -1 hPa são subestimativas, os resultados destas considerações estão representados na figura 4.22 . Esta figura mostra a evolução temporal da percentagem de acertos, sobre todo o domínio, para a variável de pressão ao nível médio do mar nos cinco diferentes experimentos, onde F20km_38L e F20km_50L indicam as versões com alta resolução alimentados por previsões do modelo global, e 20km_38La e 20km_50La (aninhados) são as configurações de alta resolução alimentados pelas previsões do modelo Eta
operacional e por fim a versão F40km_38Lo rodado operacionalmente no CPTEC/INPE. Pode-se observar nesta figura que nas primeiras 24 horas de integração todos os experimentos apresentam padrões semelhantes, sendo que os modelos aninhados apresentam resultados bastante similares e com performance ligeiramente melhor em relação aos outros, atingindo aproximadamente 46% de acerto em 24 horas de previsão. No restante da integração observa-se uma inversão nos resultados, os experimentos com previsões do modelo global apresentam melhores resultados, enquanto que os aninhados e a versão operacional apresentam uma queda considerável em suas performances, percebe-se também um comportamento muito semelhante entre os modelos aninhados e aquele que fornece as condições de contorno (F40km_38Lo).
Fig. 4.22 - Percentagem de acertos (diferenças entre -1 e 1 hPa) para pressão ao nível médio do mar sobre o domínio reduzido.
As figuras 4.23 a-b apresentam a evolução temporal das percentagens de superestimativas e subestimativas. Nesta figuras pode-se ver que os experimentos realizados com as previsões do Eta operacional têm uma tendência em intensificar os
valores de pressão, principalmente após as 24 horas de previsão. Esse tipo de comportamento também pode ser observado na evolução temporal da percentagem de superestimativas do experimento F40km_38Lo (Fig. 4.23b).
(a) (b)
Fig. 4.23 - (a) Percentagem de subestimativas (diferenças menores que -1 hPa); (b) Percentagem de superestimativas (diferenças maiores que 1 hPa); para pressão ao nível médio do mar sobre o domínio reduzido.
Visando identificar as regiões de ocorrências de acertos, subestimativas e superestimativas, foi elaborada uma distribuição espacial desses índices sobre o domínio estudado, para os cinco experimentos. Tomando o horário de 60 horas de previsão obtêm-se os gráficos dos erros da Fig. 4.24. Esses gráficos consistem em pontos com três cores, vermelho, azul e verde, as quais indicam acertos, superestimativas e subestimativas, respectivamente. As figuras 4.24 a-b mostram os resultados referentes aos modelos de alta resolução alimentados com o modelo global. Esses experimentos obtiveram os melhores resultados, com índices de 43.7% para o F20km_38L e 36.7% para F20km_50L. Na figura 4.24b, referente ao modelo F20km_50L, observa-se uma forte tendência em subestimar os valores de pressão, principalmente na porção nordeste do domínio, enquanto que no sul do domínio os índices de acertos são razoáveis. Na configuração F20km_38L a percentagem de acertos é melhorada, no entanto as tendências de subestimativas no nordeste ainda são mantidas. Os modelos aninhados (figuras 4.24 c-d), neste caso, não apresentaram bons resultados quando comparados com os que utilizam condições de contorno provenientes
das previsões do modelo global. A distribuição espacial das configurações 20km_38La e 20km_50La mostram fortes tendências em superestimar os valores de pressão em quase todo o domínio, chegando a atingir índices em torno de 67% de superestimativas . Os índices de acertos tem uma ligeira melhoria para a versão 20km_50La, cerca de 30.4%.
(a) (b)
(e)
Fig. 4.24 - Distribuição espacial dos acertos, subestimativas e superestimativas para a pressão ao nível do mar em 60 horas de previsão.
A avaliação desses resultados indica um melhor desempenho para os modelos aninhados nas primeiras 24 horas, no entanto essa performance sofre uma queda no restante da integração. Outra informação importante é a forte tendência em superestimar os valores de pressão, principalmente após as primeiras 24 horas. Nesta avaliação pode-se obpode-servar também uma certa dependência entre os resultados dos modelos aninhados e as saídas do modelo Eta operacional.
A performance pontual de cada experimento foi verificada obtendo diferenças (pressão ao nível médio do mar) entre “grid history” e série temporal de localidades com quantidade de observações satisfatórias, juntamente com o desvio quadrático médio (RMS). Foram escolhidos 4 pontos distintos, sendo que 2 em regiões localizados na porção sudeste, onde os resultados não foram satisfatórios, e 2 em região onde os modelos apresentam resultados satisfatórios.
A avaliação pontual dos resultados foi realizada seguindo a mesma metodologia apresentada na seção 4.2.2, ou seja, diferenças entre as previsões e observações e análises, além do cálculo do RMS para todo o período de integração. Será mostrada a evolução temporal da pressão ao nível médio do mar obtidas, a partir de observações e análises, a fim de verificar o comportamento das análises em relação aos dados observados, para as localidades apresentadas.
(a) (b)
(c) (d)
Fig. 4.25 - Evolução temporal da pressão ao nível médio do mar, obtidos a partir de análises (vermelho) e observações (azul) para as localidades de Vitória(a), Campinas (b), Porto Alegre (c) e Florianópolis (d).
A evolução temporal da PNMM para Vitória (figura 4.25a) mostra padrões muito semelhantes entre observação e análise, principalmente nos dois últimos horários de integração, onde as observações e as análises apresentaram os mesmos valores. Nas primeiras 42 horas, os valores de PNMM oscilaram entre 1009 e 1014 hPa, no entanto nas últimas horas a PNMM apresentou um aumento de quase 9 hPa, chegando a atingir 1019 hPa. A figura 4.26a mostra a evolução temporal dos erros de previsão válidos para Vitória, avaliado com observação. Nesta figura pode-se observar que as versões com 50 níveis na vertical subestimam em quase todo o período, enquanto que as outras versões ficam oscilando entre valores de erros positivos e negativos, principalmente nas primeiras 24 horas. As versões aninhadas apresentam durante todo o período comportamento semelhante, porém 20km_50La apresentou magnitude de erros maiores e RMS em torno de 1.36 hPa. O mesmo acontece com as versões que rodam com as previsões do modelo global. Os resultados de menor desempenho foram produzidos pelas versões rodadas com o modelo global, sendo que a F20km_50L apresentou os maiores erros. A versão aninhada com 38 níveis na vertical apresentou a melhor performance, obtendo menor valor de RMS, cerca de 0.59 hPa. Nota-se também que a versão que fornece as fronteiras para os aninhados também obteve uma performance considerável com RMS em torno de 1.24 hPa. Já a avaliação realizada com as análises (figura 4.26b) apresenta resultados semelhantes, uma vez que as observações e análise apresentam valores próximos. Neste caso o valor de RMS referente a F40km_38Lo apresentou um ligeiro acréscimo em relação à avaliação com as observações, no entanto a performance dos modelos aninhados apresentou uma ligeira melhoria.
(a) (b)
Fig. 4.26 - Evolução temporal dos erros de previsão da pressão ao nível médio do mar e RMS calculado para todo o período, válido para Vitória.
Outro ponto escolhido para avaliação foi Campinas (Fig. 4.25b), a evolução temporal da PNMM mostra valores próximos entre a observação e análises, exceto nos horários das 06 e 12 UTC, onde a observação chegou a quase 4 hPa superior à análise. A localidade de Campinas apresentou uma acentuada elevação nos valores de pressão, cerca de 12 hPa em 42 horas, devido à entrada do centro de alta pressão. A figura 4.27a mostra a evolução temporal dos erros de previsão para a localidade de Campinas, avaliada em relação às observações. Pode-se observar que as cinco versões indicam tendências em subestimar os valores de PNMM em todo decorrer do período de integração e apresenta um comportamento semelhante nas primeiras 30 horas de integração. As versões que utilizam as previsões do modelo global como condições de contorno apresentaram resultados de menor desempenho, sendo a F20km_50L que obteve maiores magnitudes de erros de previsão e por conseqüência maior RMS, cerca de 2.5 hPa. A melhor performance apresentada, principalmente após as primeiras 24 horas, foi a da versão 20km_38La com bons resultados nos últimos horários de integração e RMS de 1.3 hPa. Observa-se também que a versão F40km_38Lo apresentou uma performance razoável durante todo o período, onde o RMS ficou em torno de 1.91 hPa. Nota -se ainda na figura 4.27a, padrões semelhantes entre os modelos alinhados, embora a versão com 50
níveis apresente erros de maior magnitude. O mesmo acontece com as versões rodadas com previsões do modelo global. A figura 4.27b mostra a mesma localidade, porém avaliadas com as análises. Nota-se também as mesmas características já descritas acima, porém com magnitude dos erros inferiores aos encontrados quando se avalia com observações.
(a) (b)
Fig. 4.27 - Evolução temporal dos erros de previsão da pressão ao nível médio do mar e RMS calculado para todo o período, válido para Campinas.
A figura 4.25c ilustra a distribuição da PNMM para a localidade de Porto Alegre, nesta estação a pressão aumentou significativamente (cerca de 7 hPa) nas primeiras 18 horas, as 24 horas seguintes a pressão manteve-se quase que constante com ligeiras variações, no restante do período a elevação na pressão voltou a ocorrer. A evolução das análises mostra valores quase que idênticos aos das observações para os horários das 00 e 06 Z, a partir desses horários os valores PNMM referentes às análises são inferiores às observações, principalmente nos horários das 18 e 36 horas de integração, onde as análises ficaram quase 4 hPa menos intenso. A evolução temporal dos erros de previsão para Porto Alegre (figura 4.28a) mostra que todos os experimentos apresentam comportamentos semelhantes nas primeiras 30 horas de previsão, no restante do período de integração os resultados divergem entre si, sendo que os experimentos usando as fronteiras do modelo global tendem a diminuir os erros, enquanto que os modelos
aninhados aumentam as magnitudes desses erros e sempre com tendências em superestimar os valores de PNMM. As versões integradas a partir do modelo global foram as que apresentaram melhores resultados e menores desvios, principalmente F20km_38L que obteve RMS de 1.3 hPa. Ainda nesta figura pode-se observar o comportamento semelhante, em todo decorrer da integração, que existe entre os modelos aninhados e o operacional. A avaliação realizada com as análises (figura 4.28b) apresenta resultados semelhantes àqueles mostrados com observações, exceto pelo fato de superestimar em todo período os valores de PNMM e possuir erros de previsão e RMS com magnitudes maiores que aqueles apresentados pela avaliação com as observações.
(a) (b)
Fig. 4.28 - Evolução temporal dos erros de previsão da pressão ao nível médio do mar e RMS calculado para todo o período, válido para Porto Alegre.
No caso de Florianópolis (figura 4.25d), o acréscimo de pressão foi em torno de 13 hPa em 60 horas, as análises também indicaram esse acréscimo na pressão, no entanto os valores referentes às análises são em todo período superiores aos valores observados. Na figura 4.29a, os erros de previsão referentes às observações indicam tendências em superestimar os valores de PNMM para as versões aninhadas e operacional, principalmente após as 24 horas, onde essas configurações apresentam comportamentos semelhantes. Neste caso a melhor performance foi apresentada pela versão F20km_50L
com RMS em torno de 1.1 hPa. A figura 4.29b mostra a avaliação realizada com as análises. Neste gráfico observa-se que nas primeiras 24 horas as cinco versões subestimam os valores de PNMM, no restante do período as versões aninhadas e operacional superestimam e as outras duas continuam a subestimar. Observa-se também comportamento semelhante entre os modelos aninhados e o operacional, o mesmo acontece com as versões alimentadas pelo modelo global.
(a) (b)
Fig. 4.29 - Evolução temporal dos erros de previsão da pressão ao nível médio do mar e RMS calculado para todo o período, válido para Florianópolis.
A análise dessas localidades e outras não apresentadas, indicam a forte dependência que existe entre os modelos aninhados e o modelo Eta que fornece as condições de contorno, essa dependência é evidenciada quando se observa os padrões semelhantes apresentados na evolução dos erros de previsão. Nota-se também que em situações onde o modelo Eta operacional tem bom desempenho, as versões aninhadas conseguem melhorar significativamente a sua performance, principalmente a versão 20km_38La, como foi o caso de Vitória e Campinas. Nestas duas localidades os modelos aninhados tiveram melhor performance que as versões rodadas com previsão do modelo global. Considerando as situações onde o modelo que fornece as bordas não apresente um bom desempenho, a versão aninhada por conseqüência irá sentir esse impacto negativo em seus campos, porém mesmo nestas situações as versões aninhadas apresentam uma certa
melhoria em relação ao operacional. Nestas situações a performance dos modelos rodados a partir do modelo global são superiores aos aninhados.