Conception de sch´ emas bio-inspir´ es de compression vid´ eo

Demande d’allocation fl´ech´ee sur th`emes scientifiques prioritaires

Conception de sch´ emas bio-inspir´ es de compression vid´ eo

Sujet propos´e par Marc Antonini (I3S) et Pierre Kornprobst (INRIA) Le nom de l’´ecole doctorale : Ecole doctorale STIC

Le nom et label de l’unit´e de recherche : Laboratoire I3S UMR 6070 Universit´e de Nice-Sophia Antipolis, CNRS, Projet CReATIVe de l’´equipe IMAGES et INRIA Projet Odyss´ee

La localisation : Laboratoire I3S

Le nom du directeur de th`ese et du co-directeur : Marc Antonini DR CNRS, HDR (I3S), Pierre Kornprobst CR INRIA, HDR (INRIA) L’adresse courriel du contact scientifique : am@i3s.unice.fr,pierre.kornprobst@inria.fr

Le titre de la th`ese : Conception de sch´emas bio-inspir´es de compression vid´eo

Les connaissances et comp´etences requises : Master en STIC ou neurosciences computationnelles, con- naissances en th´eorie de l’information. Maˆıtrise des langages de programmation C, C++

La description du projet :

Le point de d´epart de notre ´etude sera le travail men´e par Simon Thorpe sur la cat´egorisation ultra-rapide d’images. Dans ses travaux, Simon Thorpe a montr´e que la classification d’images statiques peut ˆetre r´ealis´ee par le cortex visuel avec des latences d’environ 150 ms et mˆeme plus vite. Pourtant, si l’on consid`ere les temps de latence de la voie visuelle, de tels temps de r´eponse ne peuvent s’expliquer que par une architecture et des m´ecanismes de calculs sp´ecifiques. Comme explication `a cette extraordinaire performance, l’id´ee du codage par rang a ´et´e propos´ee [13, 4] : l’information neuronale serait cod´ee par l’ordre relatif des temps d’impulsions.

Les neurones les plus excit´es seraient donc aussi les premiers `a ´emettre leurs impulsions. En regardant les temps d’arriv´ee des impulsions, on a donc une id´ee du message contenu dans le train d’impulsions.

Pour une image statique, cette th´eorie a donn´e lieu `a plusieurs interpr´etations et impl´ementations<sup>1</sup>, dont celle propos´ee par [10], qui int`egre des inhibitions lat´erales permettant une repr´esentation ´eparse de l’image, et qui finalement se ram`ene `a un algorithme de poursuite gourmande, comme introduit par Mallatet al. Une impulsion est ici associ´ee `a une fonction de base, et l’on ne consid`ere ”qu’une seule impulsion par neurone”.

Il est donc int´eressant d’observer qu’une mod´elisation issue du champ des neurosciences rejoigne des mod`eles propos´es en th´eorie de l’information.

Plus g´en´eralement, la th´eorie du codage par rang semble s’appliquer dans le cadre de flux vid´eos. Dans [14], les auteurs abordent l’extension de leur th´eorie, qui est bas´ee sur une id´ee de ”r´einitialisation p´eriodique du temps”, permettant de redonner un sens `a des temps de latence, regroupant ainsi les trains d’impulsion en diff´erentes vagues. L’origine possible d’un tel m´ecanisme de ”r´einitialisation” serait l’existence des rythmes oscillatoires corticaux ou sous-corticaux, qui d´efiniraient des intervalles de temps s´epar´es dans lesquels les latences pourraient ˆetre interpr´et´ees [8]. Cependant, aucune impl´ementation de tels m´ecanismes n’a ´et´e en- treprise `a notre connaissance.

Le premier objectif de ce travail de th`ese sera d’´etudier les caract´eristiques des trains d’impulsions, issus de la repr´esentation par rang de l’information neurale, en terme de distribution statistique, quantit´e d’information, entropie etc. L’int´erˆet principal de cette ´etude serait de mettre en ´evidence le potentiel de compression que pr´esentent les trains d’impulsions et permettrait d’aboutir `a l’´etablissement d’un mod`ele d´ebit/distorsion n´ecessaire dans la conception d’un quantificateur [2, 5]. Notre objectif sera de proposer une approche de codage ´eparse pour les vid´eos bas´ee sur cette th´eorie.

Dans cette optique, il sera donc n´ecessaire de mieux savoir quantifier l’efficacit´e des sch´emas de codage par rang, en fonction des dictionnaires choisis, et dans un objectif de compression, afin de les comparer `a des sch´emas de compression existants tels que JPEG2000 ou H264. Ce travail sera aussi mis en relation avec d’autres approches computationnelles du mˆeme type, comme par exemple les travaux d’Olshausen [9].

Dans une deuxi`eme partie, il s’agira d’´etudier plus en d´etail la litt´erature en neurophysiologie d´ecrivant les propri´et´es du code neural, afin de comprendre comment ce code est construit et optimis´e, et de proposer des sch´emas de compression bio-inspir´es.

1Le codage par rang est `a aussi la base de la soci´et´eSpikenet technologyqui propose plusieurs produits d’analyse d’images.

Selon des consid´erations th´eoriques [3], afin d’optimiser la transmission d’information en pr´esence de bruit, les champs recepteurs des cellules ganglionnaires r´ealiseraient un compromis entre la suppression du bruit et la decorr´elation statistique avec les sorties des cellules voisines.

Pourtant, selon certaines ´etudes r´ecentes, la r´etine transmettrait de fa¸con tr`es redondante l’information et les corr´elations semblent jouer un rˆole fondamental. Dans [11], les auteurs mesurent l’information mutuelle entre la sortie d’un neurone et le stimulus, leur permettant de quantifier cette redondance d’information.

La corr´elation des informations, observ´ee par exemple dans [6, 12], serait donc un moyen efficace de coder l’information, compte-tenu des possibilit´es physiologiques du syst`eme nerveux. D’autre propri´et´es nous sem- blent int´eressantes `a mieux comprendre. Par exemple, les ph´enom`enes d’adaptations lentes, qui semblent ˆetre des m´ecanismes permettant d’optimiser la r´eponse r´etinienne en fonction du type de stimulus. D’autre part, il est int´eressant de remarquer la diff´erence de comportement du syst`eme visuel, en fonction du type de stimulis pr´esent´es, quand il s’agit de s´equences naturelles ou non. La statistique du signal d’entr´ee semble donc jouer un rˆole important qui influence la fa¸con dont le syst`eme code l’information [7].

Toutes ces propri´et´es, qui ont ´et´e probablement ´elabor´ees avec l’objectif d’am´eliorer le codage de l’information, semblent apporter des ´el´ements de r´eponses pour de futurs sch´emas de compression. C’est ce travail d’analyse qui sera entrepris, en se basant par exemple sur le d´eveloppement r´ecent d’un simulateur impulsionnel de r´etine [15], appel´e Virtual Retina², qui nous permettra de faire des simulations grande ´echelle, et donc de mieux comprendre le code neural.

• Le premier travail consistera `a d´efinir une mesure statistique de l’efficacit´e du codage (si possible, une mesure th´eorique de l’information [1]), et d’utiliser la modularit´e du logiciel Virtual Retina afin d’´evaluer l’impact des diff´erents attributs de la r´etine. Un sch´ema incorporant les synchronisations des impulsions en fonction du stimulus pourrait ˆetre impl´ement´e et ´evalu´e, comme dans [6].

• Ensuite, il s’agira de d´efinir comment d´ecoder ce message impulsionnel. La m´ethode propos´ee actuelle- ment dans le simulateur n’est qu’une repr´esentation de l’activit´e impulsionnelle du r´eseau. D’autres solutions devront ˆetre d´efinies pour arriver `a des reconstructions plus pr´ecises.

Ces deux ´etapes d´efiniront un sch´ema de codage-d´ecodage, que nous chercherons `a comparer avec des sch´emas classiques de compression.

Bibliographie

[1] T. Andr´e, M. Antonini, M. Barlaud, and R.M. Gray. Entropy-based distortion measure and bit allocation for wavelet image compression. IEEE Transactions on Image Processing, 16(12):3058–3064, December 2007.

[2] T. Andr´e, M. Cagnazzo, M. Antonini, and M. Barlaud. Jpeg2000-compatible scalable scheme for wavelet-based video coding.

J. Image Video Process., 2007(1):1–9, 2007.

[3] J.J. Atick. Could information theory provide an ecological theory of sensory processing? Network: Computation in Neural Systems, 3(2):213–251, 1992.

[4] J. Gautrais and S. Thorpe. Rate coding vs temporal order coding : a theorical approach.Biosystems, 48:57–65, 1998.

[5] A. Gersho and R.M. Gray.Vector Quantization and Signal Compression. Kluwer Academic Publishers, 1992.

[6] G. T. Kenyon, J. Theiler, J. S. George, B. J. Travis, and D. W. Marshak. Correlated firing improves stimulus discrimination in a retinal model. Neural Computation, 16:2261–2291, 2004.

[7] N.A. Lesica and G. B. Stanley. Encoding of natural scene movies by tonic and burst spikes in the Lateral Geniculate Nucleus.

Journal of Neuroscience, 24(47):10731–10740, 2004.

[8] S. Neuenschwander, M. Castelo-Branco, and W. Singer. Synchronous oscillations in the cat retina. Vision Research, 39(15):2485–2497, 1999.

[9] B.A. Olshausen. Learning sparse, overcomplete representations of time-varying natural images. In IEEE International Conference on Image Processing, 2003.

[10] L. Perrinet, M. Samuelides, and S. Thorpe. Sparse spike coding in an asynchronous feed-forward multi-layer neural network using matching pursuit.Neurocomputing, 57:125–134, 2003.

[11] J.L. Puchalla, E. Schneidman, R.A. Harris, and M.J. Berry. Redundancy in the population code of the retina. Neuron, 46(3):493–504, 2005.

[12] W. Singer. Neuronal synchrony: a versatile code for the definition of relations? Neuron, 24(1):49–65, 1999.

[13] SJ. Thorpe. Spike arrival times: A highly efficient coding scheme for neural networks. Parallel processing in neural systems and computers, pages 91–94, 1990.

[14] R. VanRullen and S. J. Thorpe. Surfing a spike wave down the ventral stream. Vision Research, 42:2593–2615, 2002.

[15] A. Wohrer, T. Vi´eville, and P. Kornprobst. Virtual Retina : A biological retina model and simulator, with contrast gain control. Journal of Computiational Neuroscience, 2008. to appear.

2INRIA CeCILL C open-source license (2007) [http://www-sop.inria.fr/odyssee/software/virtualretina]