Nous testons maintenant nos variantes SVM2 et MLP sur d’autres corpus annotés en EPs
(DiMSUM et FTB) qui contiennent des EPs de toute catégorie morphosyntaxique (et pas
seule-ment des EPs verbales). Pour rappel, FTB est un corpus arboré français incluant l’annotation
d’EPs essentiellement continues de tous types (les EPs verbales y sont rares). DiMSUM est un
corpus anglais (de taille modeste) contenant les annotations de tous types d’EPs incluant à la
fois des EPs continues et discontinues (voir Partie 1, section 2.3.3)
Dans un premier temps, nous apprenons les modèles sur les jeux d’entraînement des deux
corpus en utilisant la meilleure combinaison d’hyperparamètres résultant du réglage des
hyper-paramètres sur les données PARSEME 1.1 pour chacune des variantes, i.e. combinaison des
tendances pour le MLP en closed track et combinaison la plus performante issue de la recherche
aléatoire pour SVM2. Nous évaluons ensuite les modèles appris sur les jeux de test. L’objectif est
de tester la robustesse de notre réglage initial des hyperparamètres, lorsque nos variantes sont
apprises et évaluées pour d’autres corpus et d’autres types d’expressions.
Dans un deuxième temps, nous lançons ensuite un tour de réglage des hyperparamètres sur
les jeux d’entraînement et de développement de ces nouvelles données (FTB et DiMSUM), afin de
comparer les résultats avec réglage sur données PARSEME et réglage spécifique. Le réglage fait
ici ressemble à celui des mêmes modèles sur les données de PARSEME 1.1, puisque nous lançons
Hyperparamètre FTB DiMSUM
CT CPPc CPPo CT CPPc CPPo
Basique
Lemmatisation TRUE TRUE TRUE TRUE TRUE TRUE
Dimension de token 300 383 300 300 470 300
Dimension de POS 60 15 125 60 90 72
UtiliserB1 TRUE TRUE TRUE TRUE TRUE TRUE
UtiliserS−1 FALSE TRUE FALSE TRUE FALSE FALSE
Plon.
lex.
Vocab compact TRUE TRUE FALSE TRUE FALSE TRUE
Généralisation FALSE FALSE FALSE TRUE TRUE TRUE
Pre-entraîné TRUE FALSE TRUE TRUE FALSE TRUE
Modifiable TRUE TRUE TRUE TRUE TRUE TRUE
Moyennage TRUE TRUE TRUE TRUE TRUE TRUE
Dense
Nombre de neurones 200 174 105 200 140 580
Dropout 0.3 0.3 0.1 0.3 0.1 0.1
Ré-éc
h. Sur-éch avec seuil de fréq. TRUE TRUE FALSE FALSE FALSE FALSE
Seuil pour joker 16 10 - - -
-multiplication de perte FALSE FALSE FALSE TRUE FALSE FALSE
Coefficient - - - 8 -
-App.
Taux d’apprentissage 0.04 0.015 0.067 0.035 0.016 0.031
Taille de batch 64 64 128 64 16 48
F(eval-eps) 78.6 78.4 78.4 49.0 51.2 51.6
Table 3.8 – MLP : Réglage sur FTB et DiMSUM Les hyperparamètres de (1) la
com-binaison d’hyperparamètres la plus performante sans plongements lexicaux préentraînésCPPc;
(2) la combinaison d’hyperparamètres la plus performante avec plongements lexicaux
préen-traînés CPPo; (3) la combinaison d’hyperparamètres de tendances CT lors du réglage de la
variante MLP sur les jeux de données de FTB et de DiMSUM. La dernière ligne présente les
scoresF(eval-eps) des combinaisons d’hyperparamètres sur les jeux d’évaluation utilisés dans le
réglage.
mille expériences avec différentes combinaisons d’hyperparamètres, générées aléatoirement, sur
une partie tronquée du jeu d’entraînement du FTB (270 milles tokens, comme sur les langues
pilotes de PARSEME 1.1), et sur 80 % du jeu d’entraînement du DiMSUM. Les combinaisons
du FTB sont évaluées sur le jeu de développement du FTB. Et nous sélectionnons la
combi-naison d’hyperparamètres la plus performante (CPP) et la combicombi-naison de tendances (CT). Les
combinaisons pour DiMSUM sont évaluées sur les 20 % restant du jeu d’entraînement.
On a cependant quelques différences par rapport au réglage sur les données PARSEME 1.1 :
nous n’utilisons ici qu’une seule graine d’initialisation et pas 2, pour réduire le temps du réglage.
En outre, nous ajoutons un hyperparamètre booléen contrôlant l’exploitation de plongements
lexicaux préentrainés ou pas. Autrement dit, le réglage a été réalisé à la fois sur la closed track
et l’open track.
Les tableaux 3.8 et 3.7 détaillent les valeurs des hyperparamètres résultant du réglage des
variantes SVM2 et MLP sur les jeux de données de FTB et DiMSUM. Nous observons les mêmes
tendances que celles observées lors du réglage des deux variantes sur PARSEME 1.1. Par contre,
DiMSUM favorise la généralisation du vocabulaire de la variante MLP et FTB a tendance à
explorer le suréchantillonnage avec seuil de fréquence pour le MLP. Par ailleurs, l’exploitation
3.5. Expérimentation et résultats
FTB DiMSUM
Avant Après Avant Après
F P R F P R F P R F P R
SVM2 79.8 84.7 75.4 80.7 85.2 76.7 23.2 56.7 14.6 21.5 52.8 13.5
MLP 78.3 81.5 75.4 78.2 78.4 78.0 23.6 50.2 15.4 39.0 41.9 36.4
Constant-16 81.1
-Schneider-16 - 54.8
Table 3.9 – FTB et DiMSUM- Identification Les scores F, P et R en (eval-eps) des
variantes SVM2 et MLP sur les jeux de données FTB et DiMSUM avant et après le réglage des
hyperparamètres sur ces jeux de données. Les combinaisons d’hyperparamètres utilisées avant le
réglage sont issues du réglage des deux variantes sur les données de PARSEME 1.1. Constant-16
et Schneider-16 représentent les scores F des modèles proposés dans Constant et Nivre (2016);
Schneider et al. (2016) respectivement (développés sur les mêmes jeux de données).
de plongements lexicaux préentrainés et modifiables à l’entraînement semblent avoir un effet
bé-néfique pour les deux corpus, contrairement au données PARSEME 1.0. La dernière ligne de ces
deux tableaux inclut le F-score des combinaisons d’hyperparamètres CPP et CT pour les deux
variantes et pour les deux corpus. Pour FTB, les résultats sont conformes aux résultats observés
sur les données PARSEME 1.1, à savoir : pour SVM2, c’est la combinaison la plus performante
(CPP) qui obtient les meilleures performances ; pour MLP, c’est la combinaison des tendances
(CT). Concernant DiMSUM, on observe des résultats un peu différents. Pour SVM2 et le MLP,
c’est toujours la combinaison CPP qui est la meilleure. Enfin, contrairement aux données
PAR-SEME 1.1, les écarts de performance entre les combinaisons CPP et CT est assez ténue : au
maximum 1,6 points d’écart (pour DiMSUM pour le MLP) alors qu’on observait plus de 3 points
d’écart entre CT et CPP pour le MLP sur les données PARSEME 1.1.
Le tableau 3.9 indique les scoresF,PetRen (eval-eps) des deux variantes sur les jeux de test
de FTB et DiMSUM en utilisant deux classes de combinaisons d’hyperparamètres : la première
comprend les combinaisons issues du réglage des variantes SVM2 et MLP sur les données de
PARSEME 1.1(Avant), alors que la deuxième comprend les meilleures combinaisons issues du
réglage des mêmes variantes sur les données de FTB et DiMSUM(Après).
Concernant FTB, les résultats montrent une supériorité de la variante SVM2 sur le MLP,
que ce soit avant ou après réglage des hyperparamètres sur FTB. Il n’y a qu’un seul point d’écart
entre la combinaison issue du réglage sur PARSEME 1.1 et celle issue du réglage sur FTB.
Enfin, SVM2 obtient un score (Fapres) très proche de celui de Constant et Nivre (2016), l’écart
ne dépassant pas 0,5 point. Il est à noter que le score de Constant et Nivre (2016) représente,
à notre connaissance, le score état-de-l’art sur ce jeu de données. Par contre, les scores ne sont
pas vraiment comparables car Constant et Nivre (2016) exploitent aussi des lexiques externes
contrairement à notre système. Pour le MLP, alors que le réglage des hyperparamètres (sur
FTB) permet d’améliorer le rappel produit, il conduit à une détérioration de la précision. Et,
au final, le réglage des hyperparamètres des variantes MLP sur FTB ne permet pas d’améliorer
les résultats. Par ailleurs, ces résultats sur FTB tendraient à montrer la robustesse de notre
approche de réglage et confirment la forte corrélation entre la performance et la proportion des
EPs vues dans le corpus d’apprentissage (85,7 %).
Concernant DiMSUM, les deux variantes sont très loin d’obtenir des scores compétitifs par
rapport au score de Schneider et al. (2016), puisqu’il existe un écart de plus de 30 points avec
la variante SVM2, avant et après le réglage. Le MLP avant le réglage souffre du même écart
que celui de SVM2. Le réglage des hyperparamètres permet de diminuer cet écart à 16 points
environ. L’analyse des résultats de SVM2 et MLP sur les jeux de données de PARSEME 1.1
a montré qu’il existe une forte corrélation entre le score F et la proportion des EPs du jeu
d’évaluation, vues dans le corpus d’apprentissage. Par rapport à DiMSUM, nous constatons
que cette corrélation est maintenue dans la performance obtenue par SVM2 (avant et après le
réglage) et par MLP (avant le réglage), puisque les EPs vues ne représentent que 22,6 %. Le
réglage des hyperparamètres du MLP sur DiMSUM conduit à une augmentation importante
du rappel (25 points), et une détérioration de la précision de 10 points. Par conséquent, la
performance s’améliore significativement (+15 points environ) pour le MLP. D’ailleurs, l’analyse
de la performance des MLP sur les EPs vues et non vues dans le corpus d’apprentissage montre
que la performance s’améliore énormément (25 points d’écart) sur les EPs non vues pour toutes
les variantes MLP.
On suppose que l’activation de l’hyperparamètre responsable de la généralisation du
voca-bulaire (qui représente le changement le plus saillant dans la combinaison d’hyperparamètres
sélectionnée par rapport à PARSEME 1.1) pourrait être à l’origine de cette amélioration,
puis-qu’elle est conçue pour améliorer la généralisation sur les EPs dont l’un des tokens se produit
fréquemment dans d’autres EPs (voir section 3.1.1). D’un autre côté, et bien que 93 % des EPs
de ce jeu de données ne se produisent qu’une ou deux fois, certains tokens tels que les particules,
les adpositions, les verbes supports,.. se reproduisent au sein de multiples EPs, ce qui permet
d’enrichir le vocabulaire du modèle par un riche ensemble d’entrées fictives capables de modéliser
les EPs partiellement vues.
No documento
O processo de auto-supervisão e a postura de auto-reflexão e auto-observação-autoscopia : um estudo de caso
(páginas 192-200)