Les actions gestuelles

dialogue à l’avancement de la tâche. Les actes langagiers et non langagiers constituent ensemble le tissu du dialogue et participent conjointement à sa progression.

des énoncés qui réfèrent à des actions (acte de validation), des énoncés qui impliquent des actions (acte de requête), enfin des énoncés qui demandent la prise en compte de données langagières et non langagières (énoncés multimodaux).

En effet, il apparaît que les expressions langagières et les expressions gestuelles se coréfèrent mutuellement, pour construire une forme d’interaction naturelle en relation avec l’environnement de l’application.

Ainsi, le geste peut répondre à une demande verbale : (228a) I « un peu plus vers le bas » (C5égypte.44) (b) M geste de déplacement (C5égypte.45) (229a) I « stop » (C5lampe.27)

(b) M geste de déclic (C5lampe.28)

(230a) I « et le mettre e,, à, à la même hauteur que celle qui est verticale » (C11ballon.47) (b) M geste de saisie + geste de déplacement (C11ballon.48)

Une expression verbale peut valider une expression gestuelle : (231a) I « encore » (C5égypte.50)

(b) M geste de déplacement (C5égypte.51) (c) I « voilà comme ça » (C5égypte.52)

(232a) I « main’nant tu en prends une autre » (C11église.113) (b) M geste d’exécution (C11église.114)

(c) I « ouais » (C11église.115)

Une expression verbale peut être complétée par un geste de désignation : (233) M « des comme ça ? » + geste de désignation (C11église.73)

(234) M « e perpendiculairement à ça ? » + geste de désignation (C11église.208)

(235) I « e une à ce niveau » + geste de désignation « et une autre là » + geste de désignation (C6égypte.2)

(236) M « celle là » + geste de désignation (C11ballon.9)

On remarque que le rôle des déictiques (« là », « ici », etc.) et des démonstratifs (« ça », « ce »,

« celle-là », « celui-là », etc.) ci-dessus, est d’assurer l’articulation entre le langage et le geste.

Dans ces expressions, le geste est bien souvent réduit à un rôle de désignation d’objets ou d’emplacements sur la représentation graphique affichée à l’écran (Carbonell et al., op. cit.).

(237a) M « lequel ? » (C11ballon.42)

(b) I geste de désignation + « le c'(l)ui là où il y a la flèche » (C11ballon.43)

L’énoncé en (237b) présente un cas un peu particulier dans la mesure où l’expression verbale renvoie explicitement au geste.

Enfin, une expression verbale peut être complétée par l’exécution d’une tâche :

(238) M « j’en mets huit côte à côte comme ça » + geste d’exécution (C11église.22) (239) M « là est-ce que je peux faire comme ça ? » + geste d’exécution (C5lampe.73) Dans ce cas N. Carbonell souligne que :

« le rôle du geste est alors de permettre de simuler, sur la représentation graphique de l’application, le déroulement exact de l’action à effectuer (déplacement ou rotation). Il prend alors la valeur d’une illustration, d’une démonstration de l’action exprimée oralement et précise comment réaliser la commande. Il remplit manifestement cette fonction lorsqu’il est associé à l’expression « comme ça ». » (Carbonell et al., op. cit. : 135).

Il apparaît donc difficile d’interpréter les énoncés langagiers sans tenir compte des expressions gestuelles, et particulièrement lorsqu’il s’agit d’analyser la nature des enchaînements entre énoncés.

En effet, nous avons vu que certaines expressions gestuelles constituaient à elles seules un tour de parole. Ces expressions constituent la plus grande partie des interventions gestuelles.

Elles correspondent à l'exécution d’actions en réponse aux requêtes formulées. Ainsi, au côté d’enchaînements classiques tels que les enchaînements question - réponse, offre - acceptation, etc., nous prenons en compte des enchaînements où les actions sont présentes : requête - action, requête - action - acquiescement, etc.

Ainsi, parmi les énoncés rencontrés, il y a des actions à proprement parler, effectuées à l’aide de la souris. Tout comme les énoncés linguistiques, le geste (l’action souris dans notre corpus) est lui aussi marqué et dans la plupart des cas il est possible d’associer une action souris à une

action primitive de l’application. L’analyse gestuelle demande à ce que le geste soit interprété par rapport à la scène sur laquelle il intervient, et par rapport à l’énoncé verbal qui l’accompagne, tout en tenant compte du contexte d’énonciation qui peut comporter des effets de focalisation résultant des énoncés antérieurs (Bellalem & Romary, 1995).

4.4.2.Les différentes formes d’action

L’exploitation du geste nécessite une étude approfondie partant de l’analyse du signal gestuel, issu du dispositif ayant servi à la capture du geste (action souris), jusqu'à l’identification des objets mis en évidence par le geste (pour une désignation) ou l’identification de la tâche effectuée par la réalisation d’une action. Il s’agit de comprendre la trajectoire du geste c’est-à-dire de pouvoir lui donner une signification relativement à la tâche autour de laquelle le dialogue s’organise.

Lorsque le capteur est une souris, les indices spécifiques auxquels on fait référence sont la pression et le relâchement du bouton de la souris. Il est possible ensuite d’associer ces informations spécifiques aux actions de prise, de déplacement et de pose des objets de l’application.

Ainsi, ces différentes informations permettent d’identifier certains gestes comme des actions, d’autres gestes comme de la désignation et d’autres encore comme délimitant certaines zones de l’espace de travail (ces zones pouvant identifier un lieu ou des objets).

Cependant pour que la compréhension du geste soit complète, il faut considérer d’une part les objets de la scène sur lesquels le geste intervient, et d’autre part il faut prendre en compte l’énoncé verbal qui l’accompagne. En effet, dans le cas de gestes plus ou moins bien faits, ce sont les informations verbales accompagnant le geste qui permettent de se prononcer en faveur d’une interprétation, parmi les différentes hypothèses formulées.

Dans nos corpus les expressions gestuelles peuvent renvoyer à des actions différentes. On distingue ainsi les gestes d’exécution d’action qui interviennent à la suite de requêtes, les gestes d’attente et les gestes de désignation.

4.4.2.1.L’exécution

L’exécution d’une tâche se décompose en plusieurs actions élémentaires qui sont dans le cadre de notre application, la prise d’objets, le déplacement d’objets et enfin la pose des objets. Les actions souris ont été retranscrites soit de manière globale, en regroupant la suite d’actions élémentaires sous une notation générique « geste d’exécution », soit de manière

détaillée, en distinguant les gestes de prise (clic souris sur l’objet), les gestes de déplacement (clic souris maintenu sur l’objet avec déplacement) et les gestes de pose (déclic souris).

Lorsque la requête est énoncée de manière globale, le geste est souvent retranscrit de manière globale comme en (240).

(240a) I « et la même chose à gauche de la grande pyramide » (C6égypte.37) (b) M geste d’exécution

Par contre, lorsque la requête décrit une action précise c’est-à-dire la prise ou le déplacement d’un objet de l’application, alors on notera précisément l’action lui correspondant.

(241a) I « maintenant je je voudrais prendre le grand carré » (C11lampe.1) (b) M « oui » (C11lampe.2)

(c) M geste de saisie (C11lampe.3)

(242a) I « et le mettre à gauche à gauche de la de la barre en haut » (C11lampe.32) (b) M geste de déplacement (C11lampe.33)

(243a) I « tu descends encore » (C11forêt.47) (b) M geste de déplacement (C11forêt.48)

Une action n’est pas toujours consécutive à une requête. Elle peut accompagner un acte de validation sur l’action et ainsi clore une tâche comme en (244). Elle peut aussi répondre à un acte informatif sur la tâche comme en (245).

(244a) I « ouais, là » (C11ballon.25) (b) M geste de déclic (C11ballon.26) (245a) I « à peu près là » (C11ballon.23) (b) M geste déplacement (C11ballon.24)

Par ailleurs, on peut rencontrer des exécutions d’action qui ne répondent à aucune demande, mais qui au contraire accompagnent un énoncé verbal. Dans ce cas, le geste intervient comme une illustration de ce qui est dit dans l’énoncé adjacent (cf. (246) et (247)).

(246) « j’en mets huit côte à côte comme ça » + geste d’exécution (C11église.22)

(247) « là (+ geste de désignation) est-ce que je peux faire comme ça ? » + geste d’exécution C5lampe.73

Tout comme le geste de désignation, le geste illustratif contribue à l’interprétation de l’énoncé. Dans cet emploi, le geste illustratif fonctionne de pair avec l’expression lexicale démonstrative « comme ça ».

Ces différentes actions quel que soit le contexte dans lequel elles interviennent, vont être marquées. On s’appuiera sur les informations données par le capteur utilisé (pression et relâchement du bouton de la souris) pour caractériser l’action exécutée et ensuite l’interpréter en contexte. Nous prenons en compte l’ensemble des actions exécutées avec la souris, à l’exception du geste illustratif qui intervient dans la détermination du contenu propositionnel mais ne caractérise pas la valeur discursive de l’acte dans lequel il apparaît.

4.4.2.2.L’attente interrogative

Il s’agit essentiellement de déplacements lents et de maintiens en prise statique sur l’objet. Les gestes marquant l’attente correspondent soit à une demande de confirmation sur l’action, soit à une demande d’instructions.

Dans un cas, le geste fonctionne comme une demande de validation implicite. Il s’agit de savoir si ce qui est exécuté est conforme à la demande.

(248a) I « un peu plus e à gauche » (C11lampe.15) (b) M geste avec prise maintenue (C11lampe.16) (c) I « voilà comme ça » (C11lampe.17)

Dans l’autre cas, le geste fonctionne comme une demande d’instruction. Il s’agit d’obtenir un complément d’information nécessaire à l’exécution de la tâche en cours.

(249a) I « et le mettre à peu près hum » (C11lampe.4) (b) M geste avec prise maintenue (C11lampe.5) (c) I « un peu plus vers la gauche » (C11lampe.6)

Il n’est pas toujours possible de distinguer si l’on a affaire à une demande de confirmation ou une demande d’instructions, car les contextes de production sont assez semblables. Cependant dans les deux cas, contrairement aux autres expressions gestuelles, l’attente appelle une réponse. Elle ouvre un segment de discours qui doit être complété par l’information implicitement attendue.

4.4.2.3.La désignation

Le geste de désignation est dans la plupart des cas lié à un énoncé langagier qu’il complète. Il est rarement utilisé comme un acte à part entière. En effet, nous n’avons pas observé dans nos corpus de cas où un geste de désignation répondrait directement à une demande sur un lieu ou sur un objet.

Le geste de désignation, lorsqu’il est employé, peut soit compléter un énoncé langagier comme en (250), soit apparaître en redondance avec un énoncé langagier comme en (251).

(250) « ce rond là ? » + geste de désignation

(251) « qu’est-ce qu’on fait du dessin là ? » + geste de désignation (C5maison.3)

Dans le premier exemple, il s’agit d’un énoncé multimodal où le verbal et le gestuel se coréfèrent mutuellement. Dans le second cas, il s’agit d’un énoncé verbal interprétable seul, auquel on a adjoint un geste en complément (dans ce cas le geste n’apporte pas d’information significative, le dessin est unique).

Dans le cadre de notre étude, nous ne nous sommes pas intéressé aux gestes de désignation car ils ne constituent pas d’acte à eux seuls. En effet, le geste de désignation intervient dans le calcul de la référence sur des objets ou sur des lieux. Il est donc impliqué dans la détermination du calcul propositionnel plutôt que dans la détermination de la valeur discursive de l’acte.

*

Actuellement nous ne disposons pas d’analyseur de gestes donc nous ne pouvons pas à proprement parler intégrer le geste dans notre analyse. Cependant, notre corpus étant constitué de dialogues multimodaux, nous simulons les informations gestuelles comme si elles nous étaient transmises par un analyseur adéquat. Celles-ci ont été notées dans la transcription du corpus, ce qui permet de les prendre en compte.

Les informations gestuelles retenues dans notre analyse, sont les actions qui constituent un acte à part entière, en l’occurrence ici, les différentes formes d’exécution (prise d’objets, déplacement d’objets, pose d’objets, etc.), et les gestes d’attente.

Il est ainsi possible d’analyser les enchaînements où les actions sont présentes et de prendre en compte les énoncés multimodaux où le geste complète le langagier.

Dans la section suivante, nous verrons comment l’ensemble des marques que nous avons collecté, est interprété en contexte. Il s’agit de correctement interpréter chacune des marques et de déterminer le rôle exact occupé au sein de l’énoncé.