4.1 Optimisation du modèle de qualité de locution PESQM
4.1.1 Étude préliminaire de PESQM sur deux tests de locution de la littérature 96
4.1.2.2 Analyse des résultats
Les outils statistiques nécessaires à cette analyse sont présentés dans l'annexe D. Un seuil de signicativité égal à 0.05 sera utilisé systématiquement et un astérisque signalera un niveau signicatif (p< 0.05).
Première session Cette session porte sur l'écho (délai = 100, 200 et 400 ms, atténuation = 40 et 20 dB), le niveau de l'eet local (par défaut, amplié faiblement et amplié fortement) et le bruit (pas de bruit, niveau 1 et niveau 2). Les 24 sujets doivent juger 54 conditions (+ 3 conditions avec de l'eet local seul), selon quatre critères (qualité globale, gêne due à l'écho, gêne due aux bruits, eet local). Une analyse statistique des résultats obtenus est réalisée, en considérant séparément les quatre critères.
Qualité globale : Les résultats de l'ANOVA sont fournis dans le tableau 4.6. Les quatre facteurs (Bruit, Délai, Atténuation et Eet local) ont un eet signicatif, les plus importants étant ceux de l'atténuation d'écho et du bruit. D'après le tableau 4.6, l'eet local a un eet signicatif, mais faible par rapport aux eets des autres facteurs. D'après les interactions de l'eet local avec les 3 autres facteurs, seule celle entre l'eet local et le délai est signicative.
L'eet local semble avoir eu très peu d'eet sur le jugement des sujets : la gure 4.2 va donc représenter l'eet des trois autres facteurs en moyennant sur l'eet local. La gure 4.2 met particulièrement bien en évidence l'eet de l'atténuation de l'écho sur le jugement des sujets, qui se traduit par une baisse de la note MOS quand l'atténuation de l'écho diminue. L'eet du bruit est aussi très visible (plus le bruit augmente, plus la note MOS diminue) et est diérent selon l'atténuation de l'écho (interaction Bruit×Atténuation signicative).
100 200 400
1 2 3 4 5
Délai de l’écho (ms)
Note MOS
Atténuation de l’écho = 40 dB
100 200 400
Délai de l’écho (ms) Atténuation de l’écho = 20 dB
Pas de bruit Bruit niveau 1 Bruit niveau 2
Figure 4.2 : Interaction Bruit×Délai×Atténuation pour le critère de qualité globale - Session 1
Condition Délai de l'écho
(ms) Atténuation de
l'écho (dB) Niveau de
l'eet local Pertes de
paquets Niveau du
bruit
1 Pas d'écho Pas d'écho Par défaut Sans Pas de bruit
2 Pas d'écho Pas d'écho Amplié fortement Sans Pas de bruit
3 100 40 Par défaut Sans Pas de bruit
4 100 40 Amplié fortement Sans Pas de bruit
5 100 20 Par défaut Sans Pas de bruit
6 100 20 Amplié fortement Sans Pas de bruit
7 200 40 Par défaut Sans Pas de bruit
8 200 40 Amplié fortement Sans Pas de bruit
9 200 20 Par défaut Sans Pas de bruit
10 200 20 Amplié fortement Sans Pas de bruit
11 400 40 Par défaut Sans Pas de bruit
12 400 40 Amplié fortement Sans Pas de bruit
13 400 20 Par défaut Sans Pas de bruit
14 400 20 Amplié fortement Sans Pas de bruit
15 100 40 Par défaut Avec Pas de bruit
16 100 40 Amplié fortement Avec Pas de bruit
17 100 20 Par défaut Avec Pas de bruit
18 100 20 Amplié fortement Avec Pas de bruit
19 200 40 Par défaut Avec Pas de bruit
20 200 40 Amplié fortement Avec Pas de bruit
21 200 20 Par défaut Avec Pas de bruit
22 200 20 Amplié fortement Avec Pas de bruit
23 400 40 Par défaut Avec Pas de bruit
24 400 40 Amplié fortement Avec Pas de bruit
25 400 20 Par défaut Avec Pas de bruit
26 400 20 Amplié fortement Avec Pas de bruit
27 100 40 Par défaut Sans Niveau 1
28 100 40 Amplié fortement Sans Niveau 1
29 100 20 Par défaut Sans Niveau 1
30 100 20 Amplié fortement Sans Niveau 1
31 200 40 Par défaut Sans Niveau 1
32 200 40 Amplié fortement Sans Niveau 1
33 200 20 Par défaut Sans Niveau 1
34 200 20 Amplié fortement Sans Niveau 1
35 400 40 Par défaut Sans Niveau 1
36 400 40 Amplié fortement Sans Niveau 1
37 400 20 Par défaut Sans Niveau 1
38 400 20 Amplié fortement Sans Niveau 1
39 100 40 Par défaut Sans Niveau 2
40 100 40 Amplié fortement Sans Niveau 2
41 100 20 Par défaut Sans Niveau 2
42 100 20 Amplié fortement Sans Niveau 2
43 200 40 Par défaut Sans Niveau 2
44 200 40 Amplié fortement Sans Niveau 2
45 200 20 Par défaut Sans Niveau 2
46 200 20 Amplié fortement Sans Niveau 2
47 400 40 Par défaut Sans Niveau 2
48 400 40 Amplié fortement Sans Niveau 2
49 400 20 Par défaut Sans Niveau 2
50 400 20 Amplié fortement Sans Niveau 2
51 100 40 Par défaut Avec Niveau 1
52 100 40 Amplié fortement Avec Niveau 1
53 100 20 Par défaut Avec Niveau 1
54 100 20 Amplié fortement Avec Niveau 1
55 200 40 Par défaut Avec Niveau 1
56 200 40 Amplié fortement Avec Niveau 1
57 200 20 Par défaut Avec Niveau 1
58 200 20 Amplié fortement Avec Niveau 1
59 400 40 Par défaut Avec Niveau 1
60 400 40 Amplié fortement Avec Niveau 1
61 400 20 Par défaut Avec Niveau 1
62 400 20 Amplié fortement Avec Niveau 1
63 100 40 Par défaut Avec Niveau 2
64 100 40 Amplié fortement Avec Niveau 2
65 100 20 Par défaut Avec Niveau 2
66 100 20 Amplié fortement Avec Niveau 2
67 200 40 Par défaut Avec Niveau 2
68 200 40 Amplié fortement Avec Niveau 2
69 200 20 Par défaut Avec Niveau 2
70 200 20 Amplié fortement Avec Niveau 2
71 400 40 Par défaut Avec Niveau 2
72 400 40 Amplié fortement Avec Niveau 2
73 400 20 Par défaut Avec Niveau 2
74 400 20 Amplié fortement Avec Niveau 2
Tableau 4.5 : Conditions - Session 2 du test de locution. NB : Taux de pertes de paquets = 50%, niveau 1 = -55 dBm0p et niveau 2 = -40 dBm0p
Gêne due à l'écho : Les résultats de l'ANOVA sont donnés dans le tableau 4.7. De nouveau, comme pour le critère de qualité globale, les quatre facteurs (Bruit, Délai, Atté-
Facteur SC dl CM F P>F
Bruit 92.7 2 46.4 76.3 0.000*
Délai 7.2 2 3.6 8.6 0.001*
Atténuation 206.2 1 206.2 119.7 0.000*
Eet local 10.6 2 5.3 5.0 0.010*
Bruit×Délai 0.4 4 0.1 0.2 0.958
Bruit×Atténuation 7.2 2 3.6 9.7 0.000*
Délai×Atténuation 0.6 2 0.3 0.4 0.681
Bruit×Eet local 0.9 4 0.2 0.5 0.769
Délai×Eet local 6.0 4 1.5 3.5 0.010*
Atténuation×Eet local 3.2 2 1.6 2.5 0.097
Bruit×Délai×Atténuation 0.6 4 0.1 0.3 0.866
Bruit×Délai×Eet local 4.6 8 0.6 1.3 0.226
Bruit×Atténuation×Eet local 1.2 4 0.3 0.8 0.501 Délai×Atténuation×Eet local 2.1 4 0.5 1.3 0.286 Bruit×Délai×Atténuation×Eet local 2.3 8 0.3 0.7 0.667
Tableau 4.6 : ANOVA pour le critère de qualité globale - Session 1
nuation et Eet local) ont un eet signicatif, l'eet local ayant aussi un eet beaucoup plus faible que les autres facteurs et l'atténuation ayant un eet prédominant sur les eets des trois autres facteurs. L'eet des facteurs Bruit, Délai et Atténuation est analysé en moyennant sur le facteur Eet local dans la gure 4.3. Le facteur Atténuation a un eet très visible, ce qui est logique étant donné que la question portait sur l'écho. Un eet du délai est également observé : il se traduit par une diminution de la note MOS quand le délai augmente. Le bruit a un eet de masquage de l'écho : plus le bruit augmente, plus la note MOS relative à l'écho augmente.
Facteur SC dl CM F P>F
Bruit 55 2 27 43.4 0.000*
Délai 59 2 29 37.5 0.000*
Atténuation 1194 1 1194 443.5 0.000*
Eet local 19 2 10 8.9 0.001*
Bruit×Délai 8 4 2 4.1 0.005*
Bruit×Atténuation 1 2 0.0 0.7 0.491
Délai×Atténuation 1 2 0.0 0.5 0.598
Bruit×Eet local 5 4 1 3 0.023*
Délai×Eet local 5.0 4 1 2.1 0.082
Atténuation×Eet local 8 2 4 4.6 0.015*
Bruit×Délai×Atténuation 5 4 1 2.2 0.071
Bruit×Délai×Eet local 1 8 0.0 0.3 0.959
Bruit×Atténuation×Eet local 3 4 1 1.2 0.324 Délai×Atténuation×Eet local 5 4 1 2.1 0.092 Bruit×Délai×Atténuation×Eet local 3 8 0.0 0.8 0.631
Tableau 4.7 : ANOVA pour le critère de gêne due à l'écho - Session 1
Qualité de l'eet local : Les résultats de l'ANOVA sont donnés dans le tableau 4.8.
Trois des quatre facteurs (Bruit, Atténuation et Eet local) ont un eet signicatif. Contrai- rement à ce qui pouvait être attendu, le facteur Eet local n'est pas le plus signicatif, alors que la question porte sur l'eet local. Il semble que les sujets aient fait la confusion entre eet local et présence de bruits ou d'écho, et aient eu du mal à noter ce critère. D'après les corrélations entre les diérents critères, fournies dans le tableau 4.9, le critère d'eet local est eectivement corrélé avec les trois autres critères et en particulier avec la qualité globale. Cela traduit la diculté que les sujets ont eu à noter ce critère d'eet local.
Gêne due aux bruits : Les résultats de l'ANOVA sont donnés dans le tableau 4.10.
Trois des quatre facteurs (Bruit, Atténuation et Eet local) ont un eet signicatif. Le facteur Bruit a, de façon logique, un eet prédominant par rapport aux trois autres facteurs.
100 200 400 1
2 3 4 5
Délai de l’écho (ms)
Note MOS
Atténuation de l’écho = 40 dB
100 200 400
Délai de l’écho (ms) Atténuation de l’écho = 20 dB
Pas de bruit Bruit niveau 1 Bruit niveau 2
Figure 4.3 : Interaction Bruit×Délai×Atténuation pour le critère de gêne due à l'écho - Session 1
Facteur SC dl CM F P>F
Bruit 63.8 2 31.9 47.99 0.000*
Délai 3.5 2 1.7 3.15 0.052
Atténuation 129.7 1 129.7 37.12 0.000*
Eet local 55.1 2 27.6 9.71 0.000*
Bruit×Délai 2.0 4 0.5 0.63 0.640
Bruit×Atténuation 6.3 2 3.1 6.27 0.004*
Délai×Atténuation 1.0 2 0.5 0.53 0.594
Bruit×Eet local 0.6 4 0.1 0.25 0.907
Délai×Eet local 6.2 4 1.5 2.09 0.088
Atténuation×Eet local 11.2 2 5.6 7.37 0.002*
Bruit×Délai×Atténuation 1.3 4 0.3 0.58 0.679
Bruit×Délai×Eet local 7.5 8 0.9 1.95 0.055
Bruit×Atténuation×Eet local 3.8 4 1.0 1.92 0.113 Délai×Atténuation×Eet local 2.7 4 0.7 1.10 0.362 Bruit×Délai×Atténuation×Eet local 3.5 8 0.4 0.88 0.535
Tableau 4.8 : ANOVA pour le critère de qualité de l'eet local - Session 1
Qualité globale Écho Bruits Eet local
Qualité globale 1 0.40 0.51 0.72
Écho 0.40 1 0.10 0.29
Bruits 0.51 0.10 1 0.38
Eet local 0.72 0.29 0.38 1
Tableau 4.9 : Corrélations entre les critères - Session 1
Seconde session Cette session porte sur l'écho (délai = 100, 200 et 400 ms, atténuation = 40 et 20 dB), le niveau de l'eet local (par défaut et amplié fortement), le bruit (pas de bruit, niveau 1 et niveau 2) et les pertes de paquets (sans et avec). Les 24 sujets devaient donc juger 72 conditions (+ 2 conditions avec de l'eet local seul), avec 4 critères (qualité globale, gêne due à l'écho, gêne due aux bruits, eet local). Une analyse statistique des résultats obtenus est donc réalisée, en considérant séparément les 4 critères.
Qualité globale : Les résultats de l'ANOVA sont donnés dans le tableau 4.11. Quatre des cinq facteurs (Bruit, Pertes de paquets (notées PP), Délai et Atténuation) ont un eet signicatif, alors que le facteur Eet local n'a pas d'eet signicatif. L'eet des quatre autres facteurs va donc être analysé en moyennant sur l'eet local et en séparant l'analyse par rapport au facteur ayant l'eet le plus fort, i.e. l'atténuation. La gure 4.4 présente les résultats de l'interaction Bruit×PP×Délai×Atténuation, avec Atténuation = 40 dB et Atténuation = 20
Facteur SC dl CM F P>F
Bruit 596.5 2 298.3 122.6 0.000*
Délai 0.4 2 0.2 0.4 0.706
Atténuation 18.3 1 18.3 16.5 0.000*
Eet local 8.8 2 4.4 7.9 0.001*
Bruit×Délai 0.3 4 0.1 0.1 0.967
Bruit×Atténuation 2.3 2 1.2 1.8 0.173
Délai×Atténuation 0.2 2 0.1 0.1 0.883
Bruit×Eet local 15.2 4 3.8 6.5 0.000*
Délai×Eet local 4.1 4 1.0 2.0 0.104
Atténuation×Eet local 2.8 2 1.4 2.8 0.072
Bruit×Délai×Atténuation 1.2 4 0.3 0.7 0.591
Bruit×Délai×Eet local 2.5 8 0.3 0.6 0.736
Bruit×Atténuation×Eet local 2.8 4 0.7 1.5 0.220 Délai×Atténuation×Eet local 2.6 4 0.7 1.4 0.231 Bruit×Délai×Atténuation×Eet local 8.6 8 1.1 2.4 0.017*
Tableau 4.10 : ANOVA pour le critère de gêne due aux bruits - Session 1
Sans PP Avec PP 1
2 3 4 5
Pas de bruit
Note MOS
Sans PP Avec PP Atténuation de l’écho = 40 dB
Bruit niveau 1
Sans PP Avec PP Bruit niveau 2 100 ms 200 ms 400 ms
(a) Atténuation de l'écho = 40 dB
Sans PP Avec PP 1
2 3 4 5
Pas de bruit
Note MOS
Sans PP Avec PP Atténuation de l’écho = 20 dB
Bruit niveau 1
Sans PP Avec PP Bruit niveau 2 100 ms 200 ms 400 ms
(b) Atténuation de l'écho = 20 dB
Figure 4.4 : Interaction Bruit×Pertes de paquets×Délai×Atténuation pour le critère de qualité globale - Session 2
dB séparément. Elle illustre l'eet très net de l'atténuation, qui se traduit par une diminution des notes MOS quand l'atténuation diminue. La gure conrme également l'interaction signi- cative qui existe entre le bruit et les pertes de paquets. Ainsi, l'eet des pertes de paquets dépend de la présence ou non de bruit. Dans le cas sans bruit, les pertes de paquets n'ont pas ou peu d'eet, ce qui signie que les sujets ont perçu la présence des pertes de paquets seulement en présence de bruit. En eet, lors du test, le bruit, quand il était présent, était présent en continu pendant la communication (contrairement à l'écho qui n'était présent que quand le sujet parlait), et il était sujet aux pertes de paquets. Les pertes de paquets ont ainsi eu plus d'eet sur la perception du bruit (occurrence des pertes plus fréquentes) que sur la perception de l'écho par les sujets.
Gêne due à l'écho : Les résultats de l'ANOVA sont donnés dans le tableau 4.12.
Les cinq facteurs (Bruit, Pertes de paquets, Délai, Atténuation et Eet local) ont un eet signicatif, avec une prédominance très forte des facteurs Atténuation et Délai, ce qui est logique puisque le critère évalué est la gêne due à l'écho.
Qualité de l'eet local : Les résultats de l'ANOVA sont donnés dans le tableau 4.13.
Les cinq facteurs (Bruit, Pertes de paquets, Délai, Atténuation et Eet local) ont un eet signicatif. Une prédominance forte du facteur Atténuation est constatée, ce qui conrme la conclusion de l'analyse de la première session, à savoir que les sujets ont fait la confusion entre eet local et écho ou alors que les sujets ont noté l'eet local comme la qualité globale.
Facteur SC dl CM F P>F
Bruit 180.8 2 90.4 56.3 0.000*
PP 32.0 1 32.0 46.8 0.000*
Délai 16.0 2 8.0 20.3 0.000*
Atténuation 168.1 1 168.1 134.0 0.000*
Eet local 0.5 1 0.5 0.2 0.634
Bruit×PP 20.8 2 10.4 26.8 0.000*
Bruit×Délai 9.0 4 2.3 8.1 0.000*
PP×Délai 0.2 2 0.1 0.4 0.649
Bruit×Atténuation 15.3 2 7.6 9.6 0.000*
PP×Atténuation 0.7 1 0.7 1.4 0.244
Délai×Atténuation 1.4 2 0.7 2.3 0.117
Bruit×Eet local 7.3 2 3.7 9.7 0.000*
PP×Eet local 0.0 1 0.0 0.1 0.751
Délai×Eet local 1.8 2 0.9 1.7 0.187
Atténuation×Eet local 5.4 1 5.4 9.5 0.005*
Bruit×PP×Délai 4.7 4 1.2 3.5 0.011*
Bruit×PP×Atténuation 0.3 2 0.1 0.3 0.725
Bruit×Délai×Atténuation 1.7 4 0.4 1.4 0.226
PP×Délai×Atténuation 0.5 2 0.3 0.6 0.544
Bruit×PP×Eet local 0.3 2 0.2 0.7 0.524
Bruit×Délai×Eet local 1.3 4 0.3 1.0 0.424
PP×Délai×Eet local 0.5 2 0.2 0.9 0.415
Bruit×Atténuation×Eet local 0.6 2 0.3 0.5 0.581
PP×Atténuation×Eet local 0.1 1 0.1 0.5 0.496
Délai×Atténuation×Eet local 1.4 2 0.7 1.6 0.214
Bruit×PP×Délai×Atténuation 1.4 4 0.4 1.1 0.358
Bruit×PP×Délai×Eet local 6.6 4 1.6 7.2 0.000*
Bruit×PP×Atténuation×Eet local 2.7 2 1.3 3.8 0.031*
Bruit×Délai×Atténuation×Eet local 1.3 4 0.3 1.2 0.310 PP×Délai×Atténuation×Eet local 1.3 2 0.7 2.2 0.121 Bruit×PP×Délai×Atténuation×Eet local 0.4 4 0.1 0.4 0.832
Tableau 4.11 : ANOVA pour le critère de qualité globale - Session 2
L'étude des corrélations entre les diérents critères, fournies dans le tableau 4.14, montre, comme pour la première session, que le critère d'eet local est corrélé avec les trois autres critères et en particulier avec la qualité globale. Cela traduit de nouveau la diculté que les sujets ont eu à noter ce critère d'eet local.
Gêne due aux bruits : Les résultats de l'ANOVA sont donnés dans le tableau 4.15.
Trois des cinq facteurs (Bruit, Pertes de paquets et Atténuation) ont un eet signicatif. Les facteurs Bruit et Pertes de paquets ont, de façon logique, un eet prédominant par rapport aux trois autres facteurs. L'interaction entre les facteurs Bruit et Pertes de paquets est forte, ce qui s'explique, comme pour le critère de qualité globale, par le fait que les pertes de paquets étaient plus perceptibles en présence de bruit qu'en absence de bruit.