Tests de robustesse par validation croisée

La certification d’une machine de classement mécanique doit être réalisée séparément pour différentes essences et différentes régions de croissance des arbres.

Compte tenu de l’investissement que représente l’accès à une telle certification, il serait intéressant de pouvoir transposer les réglages réalisés pour une essence et une origine données à une production d’une même essence mais d’une origine différente. Dans ce cas, le processus d’homologation s’en trouve fortement simplifié.

Dans notre cas, cela impliquerait d’utiliser le même jeu de paramètres (f1, f2, sE, p,  et N) pour tous les lots d’une même essence. Or, les résultats donnés précédemment ont fait l’objet d’une optimisation séparée pour les différents lots. Rien ne permet donc d’affirmer que ces résultats seraient conservés avec des jeux de paramètres non optimaux. Bien qu’il soit évident que les valeurs de R² seraient réduites, l’objectif de ces tests de robustesse est de nous assurer que les performances du modèle ne soient pas trop dégradées.

5.6.1 : Méthode

Afin de vérifier la robustesse du modèle du PE, deux tests de validation croisée ont été effectués à partir de la méthode X-1 et sur les lots d’épicéa. Un premier test a été effectué uniquement sur le lot S6 et séparément pour les deux modes de sollicitation. Cinq groupes de sciages ont été définis à partir de celui-ci : le premier est constitué de l’ensemble du lot, puis l’ensemble des sciages a été réparti aléatoirement sur les quatre autres. Pour chacun de ces cinq groupes, une optimisation des paramètres a été réalisée, puis le jeu de paramètres correspondant a été testé sur les quatre autres groupes.

Un second test de validation croisée a été réalisé, cette fois-ci entre les différents lots d’épicéa, plus un lot regroupant l’ensemble des pièces d’épicéa de cette étude. La même

méthode que précédemment a été appliquée : optimisation des paramètres sur un lot, puis évaluation des R² obtenus par ces paramètres sur les autres lots. Nous serons alors en mesure de vérifier la robustesse du modèle au sein d’une même essence et pour différentes origines géographiques des bois.

5.6.2 : Validation croisée appliquée au lot S6

Les résultats du Tableau 12 doivent être lus par colonnes, c’est-à-dire que l’on observe pour chaque sous-lot de sciages les R² obtenus à l’aide des paramètres optimisés pour un autre sous-lot. Notons ici que ce test est volontairement assez sévère : chaque sous- lot A, B, C ou D est constitué de 85 à 89 pièces, ce qui est en principe bien trop faible pour établir un réglage (la norme EN 14081 exige 900 pièces pour une première homologation).

C – MOE FLEXION C – MOE TRACTION

OPTIM POUR

Résultats (R²) OPTIM

POUR

Résultats (R²)

S6 S6 A S6 B S6 C S6 D S6 S6 A S6 B S6 C S6 D

S6 61% 59% 61% 64% 61% S6 73% 79% 64% 69% 83%

S6 A 61% 61% 63% 64% 60% S6 A 73% 80% 62% 70% 83%

S6 B 60% 60% 64% 62% 56% S6 B 73% 77% 66% 67% 83%

S6 C 60% 57% 59% 64% 59% S6 C 70% 77% 57% 72% 78%

S6 D 61% 60% 61% 63% 63% S6 D 74% 78% 65% 69% 84%

Ampl. 1 pt 4 pt 5 pt 2 pt 7 pt Ampl. 4 pt 3 pt 9 pt 5 pt 6 pt

C – MOR FLEXION C – MOR TRACTION

OPTIM POUR

Résultats (R²) OPTIM

POUR

Résultats (R²)

S6 S6 A S6 B S6 C S6 D S6 S6 A S6 B S6 C S6 D

S6 47% 44% 39% 45% 61% S6 65% 69% 63% 68% 65%

S6 A 47% 46% 44% 41% 58% S6 A 65% 70% 63% 68% 63%

S6 B 43% 44% 49% 33% 47% S6 B 64% 66% 65% 66% 62%

S6 C 47% 44% 38% 47% 61% S6 C 65% 69% 63% 70% 62%

S6 D 46% 42% 39% 45% 63% S6 D 63% 63% 61% 65% 68%

Ampl. 4 pt 4 pt 11 pt 14 pt 16 pt Ampl. 2 pt 7 pt 4 pt 5 pt 6 pt

C+E – MOR FLEXION C+E – MOR TRACTION

OPTIM POUR

Résultats (R²) OPTIM

POUR

Résultats (R²)

S6 S6 A S6 B S6 C S6 D S6 S6 A S6 B S6 C S6 D

S6 60% 58% 58% 59% 68% S6 73% 71% 74% 72% 75%

S6 A 60% 60% 58% 57% 68% S6 A 72% 74% 75% 71% 70%

S6 B 60% 57% 62% 55% 68% S6 B 66% 63% 78% 68% 59%

S6 C 60% 58% 58% 59% 66% S6 C 72% 72% 73% 72% 73%

S6 D 60% 57% 57% 58% 69% S6 D 73% 70% 73% 72% 76%

Ampl. 0 pt 3 pt 5 pt 4 pt 3 pt Ampl. 7 pt 11 pt 5 pt 4 pt 17 pt

Tableau 12 : Résultats des tests de validation croisée appliquée au lot S6 (modèle PE X-1) Si l’on observe uniquement les résultats du lot S6 complet, on constate que les valeurs varient finalement assez peu d’un jeu de paramètres à l’autre. L’écart entre les valeurs extrêmes ne dépasse en effet qu’une seule fois les 5 points. En revanche, l’amplitude des R² augmente de manière catastrophique pour les différents sous-lots, dépassant les 10 points à 5 reprises et atteint même 17 points. Ce résultat est de nature à mettre en cause la

robustesse du modèle du PE. Cependant, une observation détaillée des résultats montre qu’une optimisation effectuée sur le lot complet S donne toujours des résultats très proches de l’optimum sur les différents sous-lots. Par ailleurs, on constate que les écarts importants impliquent systématiquement le sous-lot S6 B.

Bien entendu, plus le lot utilisé pour l’optimisation est large et représentatif, meilleurs seront les résultats du modèle sur une production complète. Les résultats précédents nous permettent de considérer que le modèle du PE possède une robustesse satisfaisante à condition d’effectuer l’optimisation dans des conditions appropriées.

5.6.3 : Validation croisée appliquées aux pièces d’épicéa

Le Tableau 13 est construit de la même manière que celui du paragraphe précédent.

Notons ici que le lot S correspond à l’ensemble des pièces d’épicéa disponibles. Certains de ces lots ne comprenant pas de pièces sollicitées en traction, certaines cases des tableaux correspondants doivent être laissées vides.

C – MOE FLEXION C – MOE TRACTION

OPTIM POUR

Résultats (R²) OPTIM

POUR

Résultats (R²)

S S1 S5 S6 S7 S S1 S5 S6 S7

S 65% 58% 60% 60% 63% S 52% - 51% 71% -

S1 61% 61% 41% 59% 62% S1 - - - - -

S5 60% 49% 66% 49% 58% S5 42% - 58% 63% -

S6 63% 59% 52% 61% 63% S6 49% - 54% 73% -

S7 64% 59% 55% 60% 63% S7 - - - - -

Ampl. 5 pt 11 pt 25 pt 12 pt 5 pt Ampl. 3 pt - 7 pt 10 pt -

C – MOR FLEXION C – MOR TRACTION

OPTIM POUR

Résultats (R²) OPTIM

POUR

Résultats (R²)

S S1 S5 S6 S7 S S1 S5 S6 S7

S 52% 47% 52% 47% 47% S 54% - 48% 65% -

S1 51% 48% 47% 47% 47% S1 - - - - -

S5 49% 41% 52% 44% 43% S5 47% - 52% 58% -

S6 50% 45% 48% 47% 45% S6 53% - 44% 65% -

S7 51% 47% 49% 47% 48% S7 - - - - -

Ampl. 3 pt 7 pt 5 pt 3 pt 5 pt Ampl. 7 pt - 8 pt 7 pt -

C+E – MOR FLEXION C+E – MOR TRACTION

OPTIM POUR

Résultats (R²) OPTIM

POUR

Résultats (R²)

S S1 S5 S6 S7 S S1 S5 S6 S7

S 62% 55% 67% 59% 59% S 68% - 59% 73% -

S1 61% 56% 65% 57% 58% S1 - - - - -

S5 61% 53% 67% 60% 59% S5 67% - 59% 71% -

S6 61% 53% 67% 60% 59% S6 68% - 58% 73% -

S7 61% 54% 67% 59% 60% S7 - - - - -

Ampl. 1 pt 3 pt 2 pt 3 pt 2 pt Ampl. 1 pt - 1 pt 2 pt -

Tableau 13 : Résultats des tests de validation croisée appliquée aux différents lots d’épicéa (PE X-1)

On remarque immédiatement que l’amplitude des R² relevés est très importante dans le cas de l’estimation du MOE, bien que l’estimation du MOR reste relativement stable.

De même que dans le Tableau 12, le jeu de paramètres correspondant au lot S convient assez bien à tous les autres. Ce constat est particulièrement intéressant puisqu’il permet d’envisager, si besoin, une optimisation globale, au mieux par essence, à condition d’utiliser à cet effet des bois d’origines différentes. On remarque cependant, que le lot S5 semble particulièrement incompatible avec les autres. Il est intéressant ici de noter que les bois de celui-ci sont d’origine suédoise, alors que les autres ont été prélevés à des latitudes bien différentes : France, Slovaquie, Ukraine et Roumanie. Ceci pourrait peut-être expliquer l’incompatibilité de ce lot avec les paramètres issus de tous les autres.

Ces résultats indiquent une fois de plus que le modèle du Profilé Equivalent est suffisamment robuste malgré l’étape d’optimisation des paramètres. Bien que l’idéal soit d’effectuer une optimisation pour chaque origine géographique de bois, nous avons vu qu’il est possible de trouver un réglage convenant plutôt bien à la plupart des individus d’une même essence. Encore une fois, le choix du lot utilisé pour l’optimisation sera déterminant pour les résultats globaux de la machine de classement.