Chapitre VI Les Interfaces Cerveau-Machine émotionnelles
2.1. ICM actives
A l’origine, les ICM ont été mise au point pour permettre aux personnes handicapées physiquement ou ayant des troubles pour réaliser une activité motrice (e.g., personnes tétraplégiques, atteintes de « locked in syndrom ») de retrouver une partie de leur autonomie et leur permettre de communiquer. Les premières ICM étaient de type actif et de nombreuses
100
applications ont été proposées telles que la commande d’un bras articulé, écrire par la pensée, ou encore diriger un fauteuil roulant. Le champ d’application s’est élargi depuis. On trouve des applications en domotique (ouvrir les volets d’une maison, allumer la télé…), dans le domaine des jeux vidéo pour manipuler l’environnement virtuel en complément ou en remplacement d’une manette (Holzner, Guger, Edlinger, Gronegress, & Slater, 2009; Mandel et al., 2009; Valbuena, Cyriacks, Friman, Volosyak, & Graser, 2007).
2.2. ICM passives
Les ICM passives, fondées sur un changement d’activité cérébrale involontaire, vont plutôt servir à enrichir la communication entre la machine et l’individu puisqu’elles vont permettre d’obtenir des informations sur ses états cognitifs ou émotionnels. Des auteurs et concepteurs ont proposé un logiciel éducatif s’adaptant à l’élève en proposant des exercices en fonction de sa fatigue mentale (Molina, Tsoneva, & Nijholt, 2009). D’autres proposent d’utiliser des ICM pour renvoyer des informations à l’utilisateur sur son état cognitif, technique appelée neurofeedback. Ce type de système peut être utilisé pour effectuer des thérapies. L’utilisateur qui a ainsi un retour sur son état, peut apprendre à moduler, à contrôler son activité cérébrale et à se placer dans des états particuliers. Cela peut aussi être utile pour des opérateurs travaillant sur poste de commande qui doivent traiter beaucoup d’information (contrôleur aérien) ou pour des pilotes et conducteurs de véhicules (Putze, Jarvis, & Schultz, 2010). L’interface pourrait entre autre prévenir l’opérateur en cas de fatigue ou de baisse de vigilance trop importante, et lui suggérer de faire une pause.
Assez récemment, de nombreuses applications ont été proposées dans le cadre d’ICM fondées sur la détection d’états émotionnels. Sourina, Liu, & Nguyen, (2011) ont mis au point une ICM qui sélectionne automatiquement la musique à diffuser dans un casque audio parmi une liste de lecture et choisit celle qui correspond le mieux à l’humeur de son utilisateur.
D’autres proposent d’adapter le niveau de difficulté d’un jeu vidéo en fonction de l’état de stress du joueur ou d’adapter le scénario en fonction de réactions émotionnelles suite à des événements particuliers (Garcia–Molina, Tsoneva, & Nijholt, 2013). Dans le domaine de la communication, des auteurs proposent de détecter en direct l’état émotionnel d’un utilisateur et de modifier l’expression de son avatar en conséquence (Liu, Sourina, & Nguyen, 2010), d’autres proposent que des ICM peuvent permettre un étiquetage automatique de média regroupé dans des banques de données (e.g., Youtube, Facebook, IAPS) sur des dimensions émotionnelles (Soleymani, Pantic, & Pun, 2012).
101
3. Principes de fonctionnement
Une ICM comprend un système d’acquisition permettant de recueillir l’activité cérébrale de l’utilisateur et de le transformer en signal numérique. Ensuite, un système numérique, souvent un système informatique, transforme ce signal en une sortie simple qui modifie l’état de la machine (figure 19). Tout l’enjeu des ICM est donc de trouver une fonction qui pour un signal donné est capable d’assigner l’état mental correspondant (appelé aussi classe), soit avec i l’indice de l’essai:
Cette fonction (.) se décompose en deux grandes étapes : une étape de prétraitement, d’extraction et de sélection des caractéristiques puis une étape de classification. Après les prétraitements des données, qui sont assez similaires aux techniques habituelles en EEG, le but de la première étape est d’appliquer des techniques de traitement du signal pour transformer les signaux en « caractéristiques » qui vont servir à la discrimination (i.e., extraction des caractéristiques)comme par exemple la valeur de la puissance dans la bande alpha, beta, ou gamma. Ensuite, la sélection des caractéristiques consiste à ne conserver que les caractéristiques pertinentes relatives à des états/processus émotionnels et à les projeter dans un nouvel espace mathématique où les différents états émotionnels pourront être discriminés plus aisément. Pour plus de simplicité, l’ensemble de cette première étape sera appelé « extraction des caractéristiques » qui consiste à appliquer une fonction transformant les signaux neuronaux en vecteur de caractéristiques soit
La seconde étape dite de classification, utilisant des algorithmes mathématiques, consiste à affecter une classe à chaque vecteur de caractéristiques, autrement dit, à appliquer une fonction sur les vecteurs pour en déduire l’état mental .
La sortie peut-être de type discret, comme prendre la valeur 1 ou -1 correspondant chacune à deux classes dans le cas d’un problème binaire, mais peut aussi prendre pour valeur une probabilité d’appartenance à une classe.
102
Les deux étapes d’extraction de caractéristiques et de classification fonctionnent ensemble. L’une ne va pas sans l’autre. Il y a une multitude de techniques de traitement du signal possibles et adaptées aux signaux EEG pour l’étape de prétraitement et extraction des caractéristiques ainsi qu’une multitude de méthodes de classification du domaine du
« machine learning ». Néanmoins, le choix de la méthode de classification dépend de la technique d’extraction des caractéristiques et inversement. Un classifieur linéaire de type FLDA (Fisher Linear Discriminant Analysis), par exemple, requiert que les caractéristiques soient situées dans un espace où elles sont linéairement séparables. Dans ce cadre-là, certaines méthodes utilisent un noyau (« kernel »), pour se placer dans un espace où les caractéristiques seront sûrement linéairement séparables.
(a)
(b)
Figure 19 : Schémas descriptifs du fonctionnement d’une ICM (a) « active » (b) « passive ». Inspiré de (Molina, Tsoneva, et al., 2009)
Acquisition
Feedback à l’utilisateur Traitement du signal
-Pré-traitement -Extraction des caractéristiques
Classification
Signaux cérébraux Vecteur de caractéristiques
Sortie numérique/
Commande Intention de
contrôler la machine
Acquisition Traitement du signal
-Pré-traitement -Extraction des caractéristiques
Classification
Signaux cérébraux Vecteur de caractéristiques
Sortie numérique/
Commande Changement
d’état cognitif
103 Par ailleurs, la sélection des caractéristiques peut être, selon les algorithmes de classification, intégrée au classifieur ou indépendante.
De l’interdépendance de ces deux étapes provient une des difficultés de mise en œuvre des ICMs. En effet, les algorithmes de classification sont des fonctions à plusieurs paramètres et une étape d’apprentissage est nécessaire pour fixer la valeur de ces paramètres. Avant de fonctionner, la machine doit donc être entrainée à l’aide d’essais, dont elle connait la classe, qui vont servir à calibrer le classifieur (figure 20). On parle alors de classification dite
« supervisée »6. Or, le temps d’apprentissage et le nombre d’essais nécessaires pour fixer les paramètres de la machine dépendent de la technique utilisée mais surtout du nombre de paramètres du classifieur qui eux-mêmes dépendent de la dimension du vecteur de caractéristiques. Comme le nombre d’essais et la durée d’entrainement sont souvent réduits et que le but est d’obtenir les meilleures performances en classification, il s’agit de trouver le juste compromis entre le nombre de caractéristiques à extraire et la durée de la phase d’entrainement. L’étape d’extraction des caractéristiques est donc cruciale et un grand soin doit être accordé pour extraire au plus juste l’information pertinente et discriminante.
6 Dans le cas contraire d’une classification dite « non-supervisée », l’algorithme d’apprentissage ne connait pas les classes des essais mais cherche à fixer les paramètres permettant d’obtenir des groupes d’essais distincts.
Figure 20: Processus de classification. En haut entrainement du classifieur, en bas utilisation du classifieur pour catégoriser un essai inconnu
Prétraitement et extraction des caractéristiques
Espace des caractéristiques
Entrainement du classifieur
?
Classe
« positive »
Classe
« Négative»
?
Classe « positive »Classe
« Négative»
Emotion
« positive » Essai 1
Essai 2
Essai inconnu
104