d'élaboration d'une prévision
Dans notre travail, nous serons amenés à évaluer un système de prévision afin d'en mesurer les performances. Puisqu'une série de prévisions ne peut se juger de manière subjective, il est nécessaire de s'appuyer sur des scores pour évaluer les performances de manière objective et systématique. Nous utiliserons par la suite plusieurs scores d'évaluation d'une prévision probabiliste que nous allons définir dans ce chapitre.
La première section s'intéresse aux scores d'évaluation globale d'une prévision. Ces derniers seront notamment utilisés dans la seconde partie lorsque nous développerons la méthode de sélection d'analogues. La seconde section s'emploie à présenter des scores d'évaluation en fonction d'un seuil de précipitations ou de débit, qui seront utilisés dans la troisième partie de ce manuscrit. Deux méthodes permettant d'identifier le biais d'une prévision probabiliste seront présentées dans la troisième section. Enfin dans la dernière partie de ce chapitre, nous définirons les contextes dans lesquels les prévisions de précipitations seront évaluées : le contexte de prévision parfaite et celui de prévision opérationnelle.
3.1.1 Choix du score CRPS
Nous avons retenu le score utilisé par Bontron (2004) pour évaluer une prévision probabiliste : le CRPS (Continuous Ranked Probability Score). Ce score dérive du RPS (Ranked Probability Score), utilisé par Guilbaud (1997), qui est un score de vérification d'une prévision par catégories ordonnées. Pour la prévision d'une variable continue, comme c'est le cas pour les précipitations, le score CRPS (Brown, 1974 ; Matheson and Winkler, 1976) est défini par l'équation 3.1 :
CRPS=
∫
−∞
∞
[Fx−H
xobs0 x]2.dx (3.1)
Où: xobs0 est la valeur observée ;
F est la fonction de répartition prévue de la variable x ; Hxobs0 est la fonction indicatrice, telle que Hx
obs0 x=
{
0 si x1 si xxxobs0obs0 .Ce score rend compte de l'utilité d'une prévision pour un ensemble d'utilisateurs, c'est-à- dire qu'il mesure le coût effectif de la prévision lorsque la valeur observée s'écarte de la valeur que l'ensemble d'utilisateurs avait retenue (cf. Bontron, 2004). Il présente l'avantage, pour une prévision probabiliste, de tenir compte de la finesse (dispersion) et de la justesse (décalage entre prévision et observation) de la prévision (Hersbach, 2000) (équation 3.2). Ces deux parties, définies par les équations 3.3 et 3.4, permettent de quantifier l'utilité d'une prévision.
CRPS=FinesseJustesse (3.2)
Finesse=
∫
−∞
∞
[Fx−HQ
50%x]2.dx (3.3)
Justesse=
∫
xobs0 Q50%
1−2.Fx.dx (3.4)
Où: Q50% est le quantile au non-dépassement d'ordre 50 % de la fonction de répartition F ;
HQ
50% est la fonction indicatrice, telle que HQ
50%x=
{
01 si xQ si xQ50%50% .La Figure 3.1 permet d'interpréter graphiquement le score CRPS et sa décomposition en finesse et en justesse. Sur la Figure 3.1 a), l'aire hachurée correspond à la valeur du CRPS pour une prévision. Sur la Figure 3.1 b) (resp. Figure 3.1 c)), l'aire hachurée correspond à la valeur de la finesse (resp. justesse) du CRPS. Ces aires doivent être les plus faibles possibles,
le CRPS parfait étant égal à 0.
Figure 3.1 : Interprétation graphique a) du CRPS et de sa décomposition en b) finesse et c) justesse. Les aires hachurées doivent être les plus faibles possibles (d'après Bontron (2004)).
La Figure 3.2 présente quatre exemples types de distribution prévue. Une prévision probabiliste peut être a) parfaitement juste (centrée en la valeur finalement observée), mais peu fine (la plage de pluie pouvant être observée est grande) ; b) fine (peu d'incertitude sur la valeur prévue), mais elle peut être peu juste (valeur médiane éloignée de la valeur finalement observée) ; c) peu fine et peu juste à la fois ; d) très fine et très juste. Une prévision probabiliste ne présentant pas, par nature, une finesse et une justesse parfaites, il est donc nécessaire de trouver un équilibre entre les deux.
Notons que dans le cadre de cette thèse, les distributions prévues se seront pas ajustées à une loi statistique. Le score CRPS et ses composantes seront donc évalués directement sur les distributions empiriques des précipitations.
Par ailleurs, pour évaluer la performance d'un système de prévision, nous considérons une série de prévisions. Le score global correspond alors à la moyenne des scores obtenus pour chaque prévision. Lorsque nous développerons la méthode d'analogie, nous évaluerons donc la valeur moyenne du CRPS sur la période de prévision étudiée, et ce pour chaque sous- bassin.
Figure 3.2 : Exemples de fonction de répartition prévue. a) Prévision parfaitement juste mais peu fine ; b) prévision peu juste mais très fine ; c) prévision peu juste et peu fine ; d) prévision très juste et très fine.
3.1.2 Compétence CRPSS du CRPS
Il est fréquent d'exprimer un score en compétence par rapport à une prévision de référence. Cela permet de comparer la performance d'une méthode, mesurée par le score, à la performance d'une prévision de référence généralement naïve. Cela donne ainsi plus de signification aux valeurs numériques. La compétence du CRPS d'une méthode M de prévision est mesurée par le score CRPSS (Continuous Ranked Probability Skill Score, Hamill and Whitaker, 2007), défini par l'équation 3.5 :
CRPSSM= CRPSM−CRPSref
CRPSparfait−CRPSref (3.5)
Où: CRPSM est la valeur moyenne du CRPS obtenue par la méthode M évaluée ; CRPSref est la valeur moyenne du CRPS obtenue par une prévision de référence ; CRPSparfait est la valeur du CRPS obtenue pour une prévision parfaite (égale à 0).
Ce nouveau score CRPSS est égal à 1 pour une prévision parfaite, égal à 0 pour une prévision équivalente à la prévision de référence, et est négatif pour une prévision moins bonne que la prévision de référence. Il est donc sans dimension.
La prévision de référence communément choisie est la prévision climatologique. Dans ce cas, la prévision probabiliste des précipitations correspond à la fonction de répartition de
toutes les précipitations recueillies sur le bassin. D'autres prévisions de référence peuvent également être utilisées, telles que la persistance ou le tirage aléatoire. La persistance prévoit pour les jours suivants un cumul pluviométrique identique à celui mesuré la veille du jour de prévision. Notons que cette référence est souvent utilisée pour la prévision de débit. Le tirage aléatoire peut également être considéré comme prévision de référence (Wetterhall et al., 2005 ; Diomede et al., 2008). Dans ce cas, la prévision émise pour chaque échéance est constituée de valeurs de cumuls tirés aléatoire dans la distribution climatologique. Dans notre cas, nous avons choisi arbitrairement la climatologie comme prévision de référence. Pour respecter l'effet de la saisonnalité pris en compte dans la méthode de référence A0, nous avons choisi de construire la prévision climatologique, pour un jour cible, en considérant seulement les cumuls pluviométriques observés dans une fenêtre temporelle de plus ou moins deux mois autour du jour cible.
Par ailleurs, sauf avis contraire, les performances seront exprimées pour un ensemble de sous-bassins appartenant à un même bassin. Le score CRPSS résultant sera évalué pour l'ensemble des sous-bassins en moyennant les scores CRPSS obtenus pour chaque sous- bassin, selon l'équation 3.6 :
CRPSS= 1 Nsbv
∑
isbv=1 Nsbv
CRPSSsbvisbv (3.6)
où Nsbv est le nombre de sous-bassins versants et CRPSSsbvisbv est le score CRPSS évalué pour le isbvème sous-bassin.
3.1.3 Gain G de performance
Lorsque nous développerons la méthode de prévision par analogie, nous construirons des algorithmes intermédiaires dont nous chercherons à évaluer les performances. Afin de comparer la performance obtenue par une méthode B à celle obtenue par une méthode A antérieure, nous utiliserons le score G défini par le gain de performance de la méthode B par rapport à la méthode A (équation 3.7). Le gain G n'est rien d'autre que la compétence de la compétence du CRPS d'une méthode B par rapport à une méthode A. Cela revient finalement à calculer la compétence du CRPS d'une méthode B par rapport à une prévision de référence définie par la méthode A.
GB/A= CRPSSB−CRPSSA
CRPSSparfait−CRPSSA (3.7)
Ainsi dans la seconde partie de ce mémoire, nous utiliserons généralement ce score pour évaluer le gain de performance apporté par une nouvelle méthode par rapport à une version antérieure.