Unidade de Abrantes
SINAIS NEUROLÓGICOS FOCAIS URGENTE
D’après J. Godfrey et A. Zampolli [Cole 1997], le terme « ressources linguistiques » réfère à
un (large) ensemble de données linguistiques, qui sont décrites sous forme exploitable par la
machine, et utilisées pour construire, améliorer et évaluer des systèmes ou des techniques de
traitement automatique des langues naturelles écrites ou orales.
Aujourd’hui, la plupart des techniques de reconnaissance automatique de la parole,
notamment les systèmes de reconnaissance automatique de la parole continue grand
vocabulaire, utilisent des approches statistiques. Cependant, la nature statistique des approches
nécessite de disposer d’un grand nombre de données (textuelles et signaux) pour entraîner les
modèles sous-jacents et tester les performances des systèmes. Par conséquent, un grand corpus
de parole qui contient des dizaines d’heures de signaux enregistrés par une centaine de locuteurs
(pour la modélisation acoustique) et un corpus de texte propre avec des millions de mots écrits
(pour la modélisation statistique du langage) sont nécessaires pour le développement d’un
système de reconnaissance automatique de la parole continue grand vocabulaire. Ces ressources
ne sont, bien sûr, pas disponibles directement pour des langues peu dotées.
Avec l’émergence de la reconnaissance automatique de la parole multilingue, les techniques
de portabilité des systèmes de reconnaissance automatique de la parole vers de nouvelles
langues ont commencé à être étudiées dans la communauté scientifique [Godfrey 1994, Hovy
1999]. Ces domaines de la reconnaissance automatique de la parole multilingue nécessitent des
1
Speech And Language Technology for MInority Languages : http://193.2.100.60/SALTMIL/
2
corpus de texte et de signaux multilingues. Ces corpus, qui couvrent un grand nombre de
langues, doivent être « uniformes » à travers les langues. Cette uniformité se réfère non
seulement à la quantité totale de données par langue mais aussi à la qualité des données telles
que les conditions d’enregistrement (bruit, microphone, etc.), le scénario de collecte (tâche, type
de locuteur, etc.) et le protocole de transcription de signaux [Schultz 2002].
Dans cette section, nous présentons les activités récentes de collection et distribution de
ressources linguistiques (notamment les ressources textuelles et signaux multilingues) dans la
communauté scientifique. Tout d’abord, un aperçu sur les organismes de création, de
regroupement et de distribution des ressources linguistiques sera abordé. Et puis, nous
présentons quelques corpus et bases de données de texte et de parole multilingues utilisés pour
construire des systèmes de reconnaissance automatique de la parole multilingue.
4.1.1. Organismes de distribution des ressources linguistiques
Le consortium de données linguistiques - LDC
1, fondé en 1992 par l’ARPA
2et géré par
l’Université de Pennsylvanie (Etats-Unis), est un consortium composé de laboratoires de
recherche universitaire, industrielle et gouvernementale. Il crée, collecte et distribue des corpus
textuels et oraux, des lexiques et d’autres ressources pouvant être utilisées dans le cadre de
recherches et développements sur le traitement automatique de la langue et l’identification de la
langue parlée (corpus monolingue : TIDIGITS, TIMIT
3, SWITCHBOARD [Godfrey 1992] ;
corpus téléphonique multilingue : POLYPHONE, OGI
4, CALLHOME
5, CALLFRIEND, …).
LDC distribue des centaines de corpus vocaux différents
6qui representent au total des milliers
d’heures de signaux.
L'association européenne pour les ressources linguistiques - ELRA
7, une organisation à but
non lucratif, a été fondée par la Commission Européenne en 1995 dans le but de distribuer des
bases de données aussi bien pour la recherche que pour l’industrie. ELRA joue le rôle d’une
organisation chargée de soutenir les activités en matière de création, de vérification et de
distribution de ressources linguistiques en Europe. Jusqu’à maintenant, ELRA offre des
ressources dans la plupart des langues majoritaires européennes (anglais, français, espagnol,
allemand, italien, suédois, grec, néerlandais, portugais etc.) et d’autres langues du monde en
quantité plus limitée (turc, japonais, russe, chinois, malais, irlandais, arabe, coréen).
De nos jours, sous la gestion et la distribution d’ELRA et de LDC, il existe des corpus
textuels et des bases de données vocales avec la transcription orthographique et phonétique
disponibles dans plus de 20 langues ; une dizaine de langues possèdent quant à elles des
dictionnaires de prononciation distribués.
1
The Linguistic Data Consortium: http://www.ldc.upenn.edu/
2
The Advanced Research Projects Agency (maitenant: DARPA): http://www.darpa.mil/
3
TIMIT - Acoustic-Phonetic Continuous Speech Corpora
4
The OGI Multi-language Telephone Speech Corpus: http://cslu.cse.ogi.edu/corpora/mlts/
5
CALLHOME est un corpus de la parole multilingue qui servira à construire des systèmes de reconnaissance de la conversation téléphonique grand vocabulaire (Large Vocabulary Conversational Speech Recognition).
6
http://www.ldc.upenn.edu/Catalog/byType.jsp#speech
7
4.1.2. Corpus de parole multilingues
Pour le développement des systèmes de reconnaissance automatique de la parole
multilingues, il est nécessaire de construire de grandes bases de données (corpus) multilingues
pour entraîner des modèles acoustiques et tester les systèmes. Dans cette section, nous
présentons quelques corpus de signaux vocaux multilingues bien connus dans la communauté
qui sont enregistrés dans des environnements différents.
a) GlobalPhone
La base de données multilingue GlobalPhone [Schultz 2002] a été collectée dans le cadre du
Projet GlobalPhone
1. En 2002, elle rassemble 15 langues : arabe, chinois (mandarin et
changhaï), croate, tchèque, français, allemand, japonais, coréen, portugais, russe, espagnol,
suédois, tamil et turc.
Pour chaque langue, 100 phrases de texte, collectées à partir des journaux économiques ou
politiques nationaux et internationaux, sont lues par environ 100 locuteurs natifs. Cela
correspond à 20 heures de signaux ou environ 100 000 mots parlés par langue. L’enregistrement
des locuteurs a été fait dans les conditions environnementales de type bureau. Le projet
GlobalPhone rassemble plus de 300 heures de signaux enregistrés par plus de 1500 locuteurs.
La partie française a été enregistrée au CLIPS [Vaufreydaz 2000].
b) SpeechDat
Dans le cadre du projet SpeechDat(II)
2[Hoge 1999], un total de 28 bases de données de
parole a été collecté en couvrant la plupart des langues officielles de l’Union Européenne et
aussi quelques variantes dialectales majoritaires et langues minoritaires. Chaque base de
données de SpeechDat possède une transcription orthographique pour tous les fichiers de
signaux et un dictionnaire phonétique qui contient tous les mots dans les transcriptions
orthographiques. 20 bases de données ont été collectées à travers le réseau téléphonique fixe
(FDB), 5 bases de données à travers le réseau mobile (MDB), et 3 bases de données ont été
recueillies pour la vérification de locuteurs par téléphone (SDB). Les bases de données FDB et
MDB sont enregistrées à partir de 500 à 5000 appels de locuteurs différents en mode session
simple (sauf deux MDBs utilisent le mode multisessions). La durée de chaque session
d'enregistrement est de 4 à 8 minutes. Ces bases de données sont prévues pour le développement
d’un certain nombre d'applications telles que des services d'information (par exemple
l'information d'horaires), des services de transaction (par exemple achats en ligne, opérations
bancaires par téléphone) et d'autres services de traitement d'appel.
Des bases de données supplémentaires ont été enregistrées dans différents cadres :
SpeechDat(E) (FDBs pour cinq langues européennes orientales et centrales), SALA (SpeechDat
des pays Amérique latine), SpeechDat-Car (bases de données de SpeechDat enregistrées dans
1
The GlobalPhone Project: http://www.cs.cmu.edu/~tanja/GlobalPhone/
2