Diagnostic approfondi des résultats

7.3.3.1 Gain en finesse et en justesse

Le score CRPS a été décomposé en finesse et justesse de prévision et le gain de performance respectif, par rapport à la méthode A1, a été évalué pour les deux bassins tests (Tableau 7.8 et Tableau 7.9). Les résultats révèlent que l'analogie sur les champs de vitesse verticale permet d'obtenir des distributions nettement plus fines, avec un gain en finesse par rapport à la méthode A1 de plus de 9% pour le bassin de la Saône et de près de 7% pour le bassin de la Seine. Les distributions obtenues par la méthode A2 sont aussi plus justes en moyenne que par la méthode A1, mais le gain en justesse est moins significatif. Si on

s'intéresse individuellement aux sous-bassins, on remarque que les gains sont très variables, dépendant notamment de la valeur du score de référence, i.e. de la valeur du score CRPSS obtenue par la méthode A1. Ainsi, le gain en justesse est positif pour chacun des sous-bassins à l'exception du bassin du Loing à Episy, pour lequel le gain est légèrement négatif.

Tableau 7.8 : Gains G (%) de performance, obtenus par la méthode A2 par rapport à la méthode A1, sur le bassin de la Saône, par décomposition du gain global en finesse et en justesse.

Gain global (%) Gain en finesse (%) Gain en justesse (%)

Doubs 6,29 9,12 3,45

Petite Saône 5,30 8,99 1,76

Saône Intermédiaire 6,22 10,07 2,66

Ensemble des bassins 5,94 9,40 2,61

Tableau 7.9 : Gains G (%) de performance, obtenus par la méthode A2 par rapport à la méthode A1, sur le bassin de la Seine, par décomposition du gain global en finesse et en justesse.

Gain global (%) Gain en finesse (%) Gain en justesse (%)

Yonne-C 4,24 7,08 1,12

Seine-Int 3,90 6,57 1,84

Seine-B 4,49 7,48 2,01

Marne-F 4,24 6,41 2,39

Loing-E 2,78 6,95 -0,45

Ensemble des bassins 3,91 6,89 1,35

La finesse moyenne des distributions, bien plus élevée que précédemment, est donc à l'origine de l'amélioration des performances lorsque la vitesse verticale est introduite. Il est vrai qu'il vaut mieux que les deux composantes de la qualité d'une prévision (finesse et justesse) soient améliorées. Dans notre cas, la finesse est assurément meilleure, et la justesse des prévisions obtenue pour l'ensemble de nos bassins n'est pas dégradée pour autant.

Nous retrouvons ici des résultats similaires à ceux obtenus lors de l'introduction de la température. En introduisant ainsi les deux niveaux de sélection supplémentaires (niveau 0 avec la température et niveau 2 avec la vitesse verticale), nous obtenons des prévisions beaucoup plus fines qu'avec la méthode de référence A0 (gains en finesse de 14,4 % et de 11,2 % respectivement pour l'ensemble du bassin de la Saône et de celui de la Seine), mais aussi un peu plus justes (gains en justesse de 5,6 % et de 4,6 %).

7.3.3.2 Robustesse du gain de performance

Comme pour la température, nous avons analysé la robustesse du gain de performance afin de vérifier si le gain est fréquemment positif. La distribution des écarts entre les valeurs de score CRPS calculées par les méthodes A1 et A2 est représentée sur la Figure 7.11 pour le bassin de la Marne à La Ferté. Le gain est à nouveau loin d'être systématique, avec une distribution centrée en une valeur proche de 0 mais positive. On devine que le gain est plus

fréquemment positif que négatif, contrairement au gain apporté par la méthode A1 par rapport à la méthode A0 où c'était peu évident. Ce résultat se retrouve pour tous les sous- bassins étudiés.

Figure 7.11 : Distribution empirique des écarts de score CRPS entre les méthodes A1 et A2 calculés sur la période de calibration, pour le bassin de la Marne à La Ferté.

Rappelons-nous que la vitesse verticale a été introduite pour caractériser la stabilité des masses d'air, et donc pour améliorer potentiellement la prévision des situations pluvieuses.

Cela nous amène à nous poser la question suivante : gagne-t-on plus souvent à appliquer ce niveau intermédiaire pour les situations cibles pluvieuses ? Nous avons repris les groupes S et P des situations sèches et pluvieuses, séparément pour les bassins de la Saône et de la Seine.

Pour chaque groupe, la distribution des écarts de score CRPS a été tracée. La Figure 7.12 présente, pour le bassin de la Marne à La Ferté, les distributions associées à chacun des deux groupes.

Figure 7.12 : Distribution empirique des écarts de CRPS entre les méthodes A1 et A2 calculés sur la période de calibration, pour le bassin de la Marne à La Ferté. a) situations du groupe S ; b) situations du groupe P.

Les deux distributions ne sont pas nécessairement comparables puisque, rappelons-le, la taille de chaque échantillon est différente (échantillon nettement plus petit pour le groupe S).

Les résultats sont tout de même intéressants : la prévision des situations pluvieuses ne semble pas privilégiée par rapport à celle des situations sèches. On remarque néanmoins que la proportion de situations cibles, pour lesquelles les performances sont meilleures avec la méthode A2, est plus élevée pour le groupe P par rapport au groupe S. Par ailleurs le nombre d'écarts très faibles est beaucoup plus élevé pour le groupe P, avec une courbe en forme de créneau plus prononcée. Cela s'explique par les très faibles valeurs de score CRPS pour les situations de ce type. En effet, comme nous l'avons déjà mentionné, les journées durant lesquelles il ne pleut pas sont mieux prévues que les autres. Enfin, nous constatons également que l'écart positif extrême est plus élevé que l'écart négatif extrême pris en valeur absolue.

Les résultats obtenus pour tous les sous-bassins ont été résumés dans le Tableau 7.10, dans lequel sont indiquées les proportions de situations cibles pour lesquelles le gain est positif ou négatif, et ce pour l'ensemble des situations mais aussi pour celles des groupes S et P. Ces résultats sont similaires pour tous les sous-bassins. On remarque toutefois que la perte de performance est plus fréquente pour les sous-bassins de la Seine, avec en moyenne 44 à 45 % des situations cibles de la période de calibration, contre 39 à 40 % pour les sous-bassins de la Saône. C'est en effet sur les jours sans pluie observée que les performances sont plus souvent moins dégradées pour les sous-bassins de la Saône (moins de 35 % des situations) que pour ceux de la Seine (42 à 47 % des situations). Ces résultats doivent néanmoins être nuancés en raison de l'échantillonnage, plus faible pour le bassin de la Seine (13,8 % de l'effectif) que pour celui de la Saône (26,9 % de l'effectif).

Tableau 7.10 : Proportions (%) de situations cibles pour lesquelles le gain de performance de la méthode A2 par rapport à la méthode A1 est positif (Gain +) et négatif (Gain -), pour toutes les situations confondues, pour les situations sèches (groupe S) et pour les situations pluvieuses (groupe P).

Bassin Toutes situations confondues Situations sèches (S) Situations pluvieuses (P)

Gain + Gain - Gain + Gain - Gain + Gain -

Doubs 57,3 39,0 55,8 31,0 56,8 43,2

Petite Saône 55,0 39,8 50,1 32,5 56,7 43,3

Saône Int. 56,9 39,9 54,7 34,2 57,0 42,9

Yonne-C 55,6 44,3 54,5 45,2 55,6 44,4

Seine-Int 54,9 45,0 52,6 47,1 54,8 45,2

Seine-B 55,7 44,0 53,2 45,5 56,1 43,9

Marne-F 55,7 44,2 55,2 44,3 55,7 44,3

Loing-E 54,0 44,9 52,3 42,2 54,4 45,5