Annotation manuelle

Dans le chapitre 2, nous avons vu que l’indexation textuelle manuelle, dont la premi`ere phase, celle de l’extraction de mots-cl´es, est une ´etape d’annotation manuelle, ´etait la plus efficace. Par contre, nous avons constat´e que cette technique est coˆuteuse pour l’utilisateur et qu’elle devient tr`es difficile `a appliquer sur de grandes bases. De plus, l’image ´etant polys´emique, on a vu qu’une mˆeme image pouvait ˆetre index´ee diff´eremment par diff´erents indexeurs. Ce ph´enom`ene s’av`ere d’autant plus courant dans le cas de grandes bases d’images g´en´eralistes, o`u les indexeurs, mˆeme s’ils sont experts dans un ou plusieurs domaines, ne sont pas experts dans tous les domaines qui peuvent ˆetre repr´esent´es dans de grandes bases d’images g´en´eralistes.

Afin de pallier ces probl`emes, et de pouvoir annoter et indexer manuellement de grandes bases d’images g´en´eralistes de fa¸con correcte, des sites Web d’annotation d’images ont vu le jour.

Par exemple, l’outil d’annotation en ligne LabelMe [Russell 08], permet aux utilisateurs de segmenter les images en r´egions, puis d’annoter ces r´egions en choisissant des mots-cl´es dans une liste. La liste de mots-cl´es propos´ee est diff´erente pour chaque image. Elle est ´etablie en fonction des mots-cl´es d´ej`a choisis par d’autres utilisateurs pour cette image. De cette fa¸con, on limite les erreurs dues `a l’ambigu¨ıt´e des termes. De mˆeme, sur certaines images, on peut observer que des r´egions sont d´ej`a d´elimit´ees. Cela veut dire que cette image a d´ej`a ´et´e segment´ee par un autre utilisateur, et que l’on peut observer les r´egions qu’il a d´elimit´ees. De plus, si une r´egion a d´ej`a ´et´e annot´ee, il suffit de passer la souris dessus pour afficher les mots-cl´es l’annotant. Par exemple, la figure 4.1 montre une image en cours d’annotation avec l’outil LabelMe. D´etour´ees en bleu, rouge, et violet, on peut observer les r´egions d´ej`a reconnues par d’autres utilisateurs.

En particulier, le building, rep´er´e en violet, est annot´e par le mot-cl´e building. Les mots-cl´es qui ont d´ej`a servi `a annoter cette image figurent `a droite de l’image. L’utilisateur peut alors segmenter l’image en entourant les r´egions/objets de son choix et/ou annoter des r´egions `a

l’aide des mots-cl´es fournis.

Figure4.1 – Annotation d’une image avec LabelMe

Il existe d’autres outils d’annotation en ligne, pr´esent´es sous forme de jeu [Von Ahn 06], pour faire oublier `a l’utilisateur le cˆot´e«coˆuteux»de l’annotation. L’exemple le plus connu est l’ESP game[von Ahn 04]. Dans ce jeu, la r`egle du jeu est la suivante : deux utilisateurs, connect´es en mˆeme temps, se voient proposer par le syst`eme la mˆeme image. Chacun propose des mots-cl´es pour annoter cette image. Le syst`eme ne propose pas de vocabulaire. Par contre l’utilisateur n’est pas compl`etement libre d’utiliser les mots de son choix. En effet, une liste de mot tabous est fournie pour chaque image, et l’utilisateur ne peut pas choisir des mots de cette liste. Les mots tabous, pour une image donn´ee, correspondent aux mots d´ej`a valid´es pour cette image. Si l’image n’a encore jamais ´et´e annot´ee, la liste de mots tabous est vide. Une fois que les deux utilisateurs sont d’accord sur un mot-cl´e, ce mot-cl´e est valid´e, et les deux utilisateurs gagnent des points. Une autre image leur est alors propos´ee, et ainsi de suite pendant 3 minutes. Quand un utilisateur atteint un certain nombre de points en une semaine, il se voit offrir un cadeau.

De ce fait, ces outils, en plus de motiver les internautes `a annoter des images, grˆace `a l’appˆat du gain, r´esolvent aussi, en partie, le probl`eme de polys´emie de l’image. En effet, il faut que deux utilisateurs au moins aient choisi le mˆeme mot-cl´e pour la mˆeme image pour qu’il soit valid´e.

Ceci r´eduit les erreurs d’annotation dues `a la polys´emie de l’image. Par contre, ce jeu conduit `a des annotations redondantes. En effet, aucun vocabulaire n’est utilis´e. La seule contrainte r´eside dans le fait que les mots d´ej`a valid´es pour une image ne peuvent pas ˆetre choisis de nouveau.

Ce fort degr´e de libert´e peut conduire `a annoter deux fois une mˆeme image avec le mˆeme mot mais en genre et/ou nombre diff´erente. Par exemple, une image contenant des arbres pourra ˆetre annot´ee par les mots«tree»et«trees», qui seront consid´er´es comme diff´erents. Des approches ont donc ´et´e propos´ees afin d’am´eliorer la qualit´e des annotations en r´eduisant ce manque de normalisation [Robertson 09].

Un exemple de ce jeu sur une image est donn´e figure 4.2. Deux joueurs sont en train d’annoter cette image en mˆeme temps. On observe l’´ecran du joueur 1. Celui-ci peut soit proposer des mots pour annoter l’image (`a l’aide du champ de saisie et du bouton«submit»en bas `a droite de la page), soit passer `a une autre image (`a l’aide du bouton «pass») s’il n’a pas d’id´ees de mots pour annoter l’image ou s’il n’arrive pas `a se mettre d’accord sur un mot avec l’autre utilisateur.

On peut voir que le joueur 1 a d´ej`a propos´e 4 mots-cl´es («water»,«sky»,«fire»et«building», affich´es dans la liste `a droite de l’image). A gauche de l’image, une liste de deux mots tabous («lake»et«ship») est donn´ee, dans laquelle les joueurs n’ont pas le droit de choisir leurs mots.

Cela signifie que ces deux mots ont d´ej`a ´et´e valid´es pour le syst`eme suite aux duels d’autres joueurs sur cette image. Au bout d’un certain temps, une fenˆete finit par afficher le message

«Matched on : water». Cela veut dire que le joueur 2 a enfin propos´e le mot «water», en commun avec les mots d´ej`a donn´es par le joueur 1. Le syst`eme a donc valid´e ce mot comme annotation de l’image. Si l’image est de nouveau propos´ee `a d’autres joueurs, la liste de mots tabous contiendra alors 3 mots : «lake»,«ship»et«water».

Figure 4.2 – Le jeu d’annotation d’images en ligne : EPS game

Enfin, dans notre ´equipe, nous avons mis en place notre propre site web d’annotation d’images, afin d’´etablir une v´erit´e terrain sur nos bases d’images, pour faciliter l’´evaluation de nos m´ethodes. Par exemple, la figure 4.3 montre la page de s´election d’une image `a annoter.

L’utilisateur choisit dans une liste d´eroulante la base d’images de son choix, et, dans cette base, une classe d’images de son choix. Les images de cette classe s’affichent alors en dessous. Ici, la classe «fleurs»a ´et´e choisie.

Figure4.3 – S´election d’une image `a annoter - outil d’annotation de l’´equipe

Une fois qu’une image a ´et´e s´electionn´ee dans une classe, cette image est affich´ee en bas de la page, ainsi qu’une liste de mots-cl´es, dans laquelle l’utilisateur peut choisir les mots-cl´es de son choix pour annoter l’image. Cette liste de mots correspond en fait `a un vocabulaire contrˆol´e

´etabli `a la cr´eation de la base. Par exemple, la figure 4.4 montre l’image choisie dans la classe

«fleurs»et les mots-cl´es du vocabulaire associ´e `a cette base. Pour cette image, l’utilisateur a choisi, en les cochant, les mots-cl´es«flower»et«nature». Une fois que les mots-cl´es choisis ont

´et´e valid´es, ils apparaissent surlign´es en vert.

Figure 4.4 – Annotation d’une image - outil d’annotation de l’´equipe

Ces sites web d’annotation d’images sont donc une id´ee astucieuse pour r´eduire les erreurs d’annotation li´ees `a la polys´emie de l’image. De plus, les sites sous forme de jeu, grˆace `a l’ap- pˆat du gain et leur cˆot´e ludique et comp´etitif (chacun cherche `a trouver le mˆeme mot que son adversaire, le plus rapidement possible), paraissent ˆetre la solution id´eale pour motiver les uti- lisateurs `a annoter des images, mˆeme dans de grandes bases. Par contre ils ne permettent pas aux utilisateurs de charger leurs propres images pour les proposer `a l’annotation. De plus les images `a annoter sont des images g´en´eralistes. L’annotation de grandes bases d’images li´ees `a un domaine particulier ne peut donc pas ˆetre facilit´ee grˆace `a ces sites internet et reste la tˆache, coˆuteuse, destin´ee `a des indexeurs expert du domaine.

Pour pallier ce probl`eme de coˆut de l’annotation qui subsiste malgr´e ces outils d’annotations, les m´ethodes d’annotation automatique ont fait leur apparition.