Analyse des résultats

Après analyse des notes individuelles, aucun sujet n'a été rejeté. Les eets de quatre facteurs ont été analysés : le contexte dans lequel se trouve le sujet, le délai, l'atténuation

de l'écho et les pertes de paquets. Le facteur Contexte peut prendre trois niveaux (locution, écoute, conversation). Le facteur Délai présente trois niveaux (0, 200, 400 ms). Le facteur Atténuation a trois niveaux (pas d'écho électrique, 30 dB, 20 dB). Le facteur Pertes de paquets (noté PP) présente trois niveaux (0, 5, 10%). Plusieurs questions ont été posées aux sujets selon le contexte dans lequel ils se trouvaient (cf. tableau E.1 de l'annexe E). Ces questions portent sur quatre critères de qualité (qualité globale, gêne due à l'écho, gêne due aux défauts, interruption). L'analyse menée ici consiste à étudier l'eet des quatre facteurs (Contexte, Délai, Atténuation, PP) sur le jugement de qualité des sujets, pour chacun des quatre critères.

Corrélations Nous avons tout d'abord étudié la corrélation qui existait entre ces diérents critères pour chacun des trois contextes (locution, écoute, conversation).

En contexte de locution, les critères évalués sont la qualité globale, la gêne due à l'écho et la gêne due aux défauts. La matrice de corrélation obtenue entre ces trois critères est donnée dans le tableau 3.31. La qualité globale est essentiellement corrélée avec l'écho, moins avec les défauts, ce qui est logique en contexte de locution dans lequel les pertes de paquets ne sont perceptibles qu'en présence d'écho et/ou de bruit transmis.

Écho Défauts Qualité globale

Écho 1 0.224 0.751

Défauts 0.224 1 0.381

Qualité globale 0.751 0.381 1

Tableau 3.31 : Corrélation entre critères en contexte de locution - Test 4 sur l'écho, le délai et les pertes de paquets

En contexte d'écoute, les critères évalués sont la qualité globale et la gêne due aux défauts.

La matrice de corrélation obtenue entre ces deux critères est donnée dans le tableau 3.32. La qualité globale est très corrélée avec les défauts.

Défauts Qualité globale

Défauts 1 0.847

Qualité globale 0.847 1

Tableau 3.32 : Corrélation entre critères en contexte d'écoute - Test 4 sur l'écho, le délai et les pertes de paquets

En contexte de conversation, les critères évalués sont la qualité globale, la gêne due à l'écho, la gêne due aux défauts et l'interruption. La matrice de corrélation obtenue entre ces quatre critères est donnée dans le tableau 3.33. La qualité globale est le plus corrélée avec les défauts et moins fortement avec l'écho et l'interruption. Les autres critères sont peu corrélés entre eux. Il semblerait donc qu'en contexte de conversation les sujets aient basé leur jugement de la qualité globale en premier lieu sur la gêne due aux défauts et ensuite sur la gêne due à l'écho.

Écho Défauts Interruption Qualité globale

Écho 1 0.121 0.252 0.426

Défauts 0.121 1 0.418 0.675

Interruption 0.252 0.418 1 0.461

Qualité globale 0.426 0.675 0.461 1

Tableau 3.33 : Corrélation entre critères en contexte de conversation - Test 4 sur l'écho, le délai et les pertes de paquets

La corrélation entre les trois contextes pour le critère de qualité globale est aussi étudiée et présentée dans le tableau 3.34. Les contextes de locution et d'écoute sont peu corrélés entre eux. Le contexte de conversation est corrélé de manière quasiment similaire avec les contextes de locution et d'écoute, ce qui est cohérent étant données les dégradations étudiées dans ce test.

Conversation Locution Écoute

Conversation 1 0.497 0.549

Locution 0.497 1 0.228

Écoute 0.549 0.228 1

Tableau 3.34 : Corrélation entre contextes pour le critère de qualité globale - Test 4 sur l'écho, le délai et les pertes de paquets

Qualité globale La gure 3.14 montre les notes MOS de qualité globale et les intervalles de conance à 95% correspondants, en fonction des conditions du test et du contexte.

0 5 10 0 5 10 0 5 10 0 5 10 0 5 10 0 5 10 0 5 10 1

1.5 2 2.5 3 3.5 4 4.5 5

MOS

Locution Ecoute Conversation

0 ms 200 ms 400 ms

Pas d’écho Pas d’écho 20 dB 30 dB Pas d’écho 20 dB 30 dB

Figure 3.14 : Notes MOS du critère de qualité globale et intervalles de conance à 95% correspondants - Test 4 sur l'écho, le délai et les pertes de paquets. La première abscisse indique le taux de pertes de paquets (en %), la deuxième l'atténuation de l'écho et la troisième la valeur du délai unidirectionnel

Il semble que le jugement global moyen soit inuencé par le contexte et par les conditions testées. En contexte de locution, la qualité varie en fonction du délai et de l'atténuation d'écho.

En contexte d'écoute, la qualité varie en fonction du taux de pertes de paquets. En contexte de conversation, la qualité semble varier essentiellement en fonction du taux de pertes de paquets et semble moins inuencée par le délai et l'écho.

Une ANOVA conduite sur les notes obtenues pour le critère de qualité globale conrme les eets signicatifs des facteurs Contexte, Atténuation et Pertes de paquets (PP), le facteur Délai n'ayant pas d'eet signicatif. Le tableau 3.35 présente les résultats de l'ANOVA.

L'eet de la perte de paquets est très signicatif (p <0.05). Cet eet dépend du contexte, comme l'indique l'interaction signicative entre les deux facteurs (PP et Contexte). Dans le contexte de locution, la note moyenne globale reste quasiment stable quand le taux de pertes de paquets augmente. Dans le contexte d'écoute, la note moyenne varie logiquement en fonction du taux de pertes de paquets, tout comme dans le contexte de conversation.

L'atténuation de l'écho a un eet signicatif, qui dépend du contexte considéré comme le montre l'interaction signicative entre les deux facteurs (Atténuation et Contexte). En contexte de locution, la note moyenne augmente quand l'atténuation d'écho augmente. En contexte d'écoute, il n'y a pas d'eet de l'atténuation d'écho sur la qualité, ce qui est sans surprise. En contexte de conversation, un léger eet de l'atténuation sur la qualité est observé.

Facteur SC dl CM F P>F

Contexte 18.9 2 9.47 4.47 0.019*

Délai 0.0 1 0.00 0.02 0.891

Atténuation 89.6 2 44.78 34.84 0.000*

PP 173.6 2 86.78 73.30 0.000*

Contexte×Délai 1.2 2 0.58 1.55 0.226

Contexte×Atténuation 68.6 4 17.16 16.62 0.000*

Délai×Atténuation 1.3 2 0.65 1.31 0.283

Contexte×PP 89.5 4 22.38 26.34 0.000*

Délai×PP 2.0 2 0.99 2.52 0.095

Atténuation×PP 3.2 4 0.80 0.94 0.446

Contexte×Délai×Atténuation 0.8 4 0.21 0.54 0.706

Contexte×Délai×PP 1.3 4 0.31 0.71 0.588

Contexte×Atténuation×PP 1.5 8 0.19 0.35 0.943 Délai×Atténuation×PP 1.5 4 0.38 0.52 0.719 Contexte×Délai×Atténuation×PP 3.2 8 0.41 0.96 0.474

Tableau 3.35 : ANOVA pour le critère de qualité globale et pour les 3 contextes - Test 4 sur l'écho, le délai et les pertes de paquets

Gêne due aux défauts La gure 3.15 montre les notes MOS de gêne due aux défauts et les intervalles de conance à 95% correspondants, en fonction des conditions du test et du contexte.

0 5 10 0 5 10 0 5 10 0 5 10 0 5 10 0 5 10 0 5 10 1

1.5 2 2.5 3 3.5 4 4.5 5

MOS

Locution Ecoute Conversation

0 ms 200 ms 400 ms

Pas d’écho Pas d’écho 20 dB 30 dB Pas d’écho 20 dB 30 dB

Figure 3.15 : Notes MOS du critère de gêne due aux défauts et intervalles de conance à 95%

correspondants - Test 4 sur l'écho, le délai et les pertes de paquets. La première abscisse indique le taux de pertes de paquets (en %), la deuxième l'atténuation de l'écho et la troisième la valeur du délai

unidirectionnel

Il semble que le jugement de gêne due aux défauts soit inuencé par le contexte et par les conditions testées. En contexte de locution, la qualité varie peu. En contextes d'écoute et de conversation, la qualité varie en fonction du taux de pertes de paquets, de façon plus prononcée en contexte d'écoute.

Une ANOVA conduite sur les notes obtenues pour le critère de gêne due aux défauts conrme les eets signicatifs des facteurs Contexte et Pertes de paquets (PP), les facteurs Délai et Atténuation n'ayant pas d'eets signicatifs. Le tableau 3.36 présente les résultats

Facteur SC dl CM F P>F

Contexte 289.9 2 144.9 80.8 0.000*

Délai 0.3 1 0.3 1.0 0.335

Atténuation 0.0 2 0.0 0.0 0.968

PP 346.0 2 173.0 101.2 0.000*

Contexte×Délai 0.1 2 0.0 0.1 0.939

Contexte×Atténuation 1.6 4 0.4 0.7 0.612

Délai×Atténuation 4.2 2 2.1 3.9 0.030*

Contexte×PP 135.6 4 33.9 45.6 0.000*

Délai×PP 1.0 2 0.5 0.9 0.404

Atténuation×PP 0.8 4 0.2 0.2 0.910

Contexte×Délai×Atténuation 1.7 4 0.4 0.9 0.465

Contexte×Délai×PP 0.1 4 0.0 0.1 0.989

Contexte×Atténuation×PP 4.1 8 0.5 1.2 0.293

Délai×Atténuation×PP 6.4 4 1.6 3.0 0.023*

Contexte×Délai×Atténuation×PP 2.7 8 0.3 0.9 0.549

Tableau 3.36 : ANOVA pour le critère de gêne due aux défauts et pour les 3 contextes - Test 4 sur l'écho, le délai et les pertes de paquets

de l'ANOVA.

L'eet de la perte de paquets est très signicatif (p <0.05). Cet eet dépend du contexte, comme l'indique l'interaction signicative entre les deux facteurs (PP et Contexte). Dans le contexte de locution, la note moyenne globale reste quasiment stable quand le taux de pertes de paquets augmente, alors que dans les contextes d'écoute et de conversation, la note moyenne varie en fonction du taux de pertes de paquets.

Gêne due à l'écho La gure 3.16 montre les notes MOS de gêne due à l'écho et les inter- valles de conance à 95% correspondants, en fonction des conditions du test et du contexte.

0 5 10 0 5 10 0 5 10 0 5 10 0 5 10 0 5 10 0 5 10 1

1.5 2 2.5 3 3.5 4 4.5 5

MOS

Locution Conversation

0 ms 200 ms 400 ms

Pas d’écho Pas d’écho 20 dB 30 dB Pas d’écho 20 dB 30 dB

Figure 3.16 : Notes MOS du critère de gêne due à l'écho et intervalles de conance à 95% corres- pondants - Test 4 sur l'écho, le délai et les pertes de paquets. La première abscisse indique le taux de pertes de paquets (en %), la deuxième l'atténuation de l'écho et la troisième la valeur du délai

unidirectionnel

Il semble que le jugement de la gêne due à l'écho soit inuencé par le contexte et par les

Facteur SC dl CM F P>F

Contexte 21.1 1 21.1 15.06 0.001*

Délai 3.1 1 3.1 8.30 0.010*

Atténuation 493.1 2 246.6 97.87 0.000*

PP 0.6 2 0.3 0.47 0.630

Contexte×Délai 0.0 1 0.0 0.00 0.957

Contexte×Atténuation 16.0 2 8.0 14.76 0.000*

Délai×Atténuation 1.8 2 0.9 1.53 0.232

Contexte×PP 1.0 2 0.5 1.09 0.349

Délai×PP 2.0 2 1.0 2.65 0.085

Atténuation×PP 2.4 4 0.6 1.31 0.275

Contexte×Délai×Atténuation 1.6 2 0.8 2.52 0.095

Contexte×Délai×PP 0.9 2 0.5 1.43 0.254

Contexte×Atténuation×PP 4.2 4 1.1 2.35 0.063 Délai×Atténuation×PP 2.8 4 0.7 1.42 0.236 Contexte×Délai×Atténuation×PP 2.5 4 0.6 2.00 0.105

Tableau 3.37 : ANOVA pour le critère de gêne due à l'écho et pour les 2 contextes - Test 4 sur l'écho, le délai et les pertes de paquets

Facteur SC dl CM F P>F

Délai 0.077 1 0.077 0.371 0.550

Atténuation 1.210 2 0.605 1.581 0.221

PP 4.321 2 2.160 5.160 0.011*

Délai×Atténuation 0.914 2 0.457 1.373 0.267

Délai×PP 0.691 2 0.346 0.741 0.484

Atténuation×PP 0.346 4 0.086 0.197 0.939 Délai×Atténuation×PP 1.790 4 0.448 1.156 0.338

Tableau 3.38 : ANOVA pour le critère de possibilité d'interruption et pour le contexte de conversation - Test 4 sur l'écho, le délai et les pertes de paquets

conditions testées. En contexte de locution, la perception de gêne due à l'écho varie beau- coup, essentiellement en fonction de l'atténuation de l'écho. En contexte de conversation, la perception de gêne due à l'écho varie en fonction de l'atténuation de l'écho et du délai.

Une ANOVA conduite sur les notes obtenues pour le critère de gêne due à l'écho conrme les eets signicatifs des facteurs Contexte, Délai et Atténuation, le facteur Pertes de paquets n'ayant pas d'eet signicatif. Le tableau 3.37 présente les résultats de l'ANOVA.

L'eet de l'atténuation d'écho est très signicatif (p <0.05). Il dépend du contexte, comme l'indique l'interaction signicative entre les deux facteurs (Atténuation et Contexte). En eet, dans le contexte de locution, la note moyenne varie plus en fonction de l'atténuation d'écho qu'en contexte de conversation.

Interruption La gure 3.17 montre les notes MOS de possibilité d'interruption et les inter- valles de conance à 95% correspondants, en fonction des conditions du test dans le contexte de conversation.

Le jugement de la possibilité d'interruption est quasiment constant. Une ANOVA conduite sur les notes obtenues pour le critère de possibilité d'interruption, dont les résultats sont présentés dans le tableau 3.38, montre un eet signicatif du facteur Pertes de paquets, les facteurs Délai et Atténuation n'ayant pas d'eet signicatif.

Contrairement à ce qui était attendu, le délai n'a pas d'eet signicatif sur la possibilité d'interruption alors que les pertes de paquets en ont un. Ceci peut être expliqué par la diculté probable des sujets à évaluer ce critère d'interruption.

No documento Evaluation objective de la qualité vocale en contexte de conversation (páginas 78-83)