Imagerie Tridimensionnelle Morphologique et Fonctionnelle en Multimodalité

Projection orientée écran - Ray Tracing 48 1.6. LE PROCESSUS DE VISUALISATION TRIDIMENSIONNELLE EN IMAGERIE MÉDICALE 50 II.2 VISUALISATION MULTIDIMENSIONNELLE 53 2.1. MODÈLES CONTINUS COMPLEXES DE R.311URI. MODÈLE D'ACIONSHIP PAR MESURE DE SIMILARITÉ 138 IV.2. METHODES D'INSCRIPTION EN IMAGERIE MEDICALE, ETUDE BIBLIOGRAPHIQUE.

INTRODUCTION

Une technique permettant de faire correspondre des données acquises à différents moments selon une modalité identique est également présentée. La fusion d'images 3D obtenues avec la même modalité ou avec des modalités différentes est principalement une mise en correspondance de primitives communes aux deux bases de données.

PRIMITIVES ET REPRESENTATIONS EN IMAGERIE MEDICALE

Acquisition de données

• Présentation de l'information
• Modalités d'acquisition
• Données bidimensionnelles
• Données tridimensionnelles

Le module de présentation détermine la dimension topologique de l'espace de présentation d'informations. D'autres sources d'informations (capteurs de position) peuvent également fournir une image de l'emplacement de la surface.

Représentation des primitives utilisées en imagerie médicale

• Volume 3D
• Volume numérique 3D
• Volume extrait 3D - Segmentation 3D
• Structuration de la base de données-arbre octal
• Modélisation du volume
• Représentation du volume
• Surface gauche
• Surface implicite
• Surface explicite
• Représentation de surfaces
• Primitives 1D
• Contours
• Structures morphologiques 1D
• Primitives 1D d'analyse
• Primitive 1D externe
• Problèmes liés à la visualisation 3D de primitives 1D
• Résumé des formes de primitives 1D
• Primitives 0D -points
• Points morphologiques
• Points caractéristiques externes
• Résumé des primitives de codage
• Recalage d'images
• Facteur temps

L'intérêt principal de la modélisation est lié aux propriétés de continuité (reformatage de sections) et de débit (extraction de surface). La technique précédente est basée sur une modélisation de surface à partir de points de surface.

TECHNIQUES DE VISUALISATION TRI ET

MULTIDIMENSIONNELLE

Visualisation tridimensionnelle

• Définition
• Représentation plane
• Modèle numérique de l'écran
• Repère objet - repère écran
• Arithmétique de Projection
• Projection orientée objet
• Projection orientée écran - Lancer de Rayons
• Processus de visualisation tridimensionnelle en imagerie médicale L'information tridimensionnelle, ou du moins une partie de cette information, doit être

Leur perception – leur visualisation – est le résultat de la projection sur l'écran des différents monstres. La perception tridimensionnelle est grandement améliorée par le mouvement de la scène (ou de l'observateur).

Visualisation multidimensionnelle

• Modèles continus de la fonction multi-variables
• Modélisation de données volumiques
• Modélisation de fonctions surfaciques
• Mise en forme des données
• Représentations volumiques
• Représentations surfaciques
• Représentation 2D
• Représentation des données modélisées
• Couleur
• Lignes topologiques
• Visualisation scientifique

Pour modéliser une fonction portée par une surface, la connaissance ou non du domaine affecte le modèle de la fonction. Les deux aspects de la représentation de la surface sont donc : (1) la définition du modèle de surface 3D et (2) l'interpolation (modélisation continue) de la fonction sur la surface définie par (1). La modélisation peut être divisée en deux problèmes : - la modélisation de la surface à partir de (xi, yi, zi), i=1,..N ; -la modélisation de F(x, y, z) sur le modèle surfacique précédent.

Les couleurs et opacités sont affectées aux différents éléments du volume selon la classification de la fonction F. Le champ distance permet de définir des surfaces à isodistance de la surface extérieure. Les couleurs (Teinte) des éléments de surface sont définies par les valeurs de fonction.

L'interprétation d'une fonction à partir de lignes est plus sensible que l'interprétation à partir d'une représentation de couleurs.

LANCER DE RAYONS

Lancer de rayons - études bibliographiques

• Techniques d'ombrage
• Modèles globaux d'illumination
• Modèles d'illumination surfacique
• Modèles d'illumination volumique
• Définition d'un rayon
• Conditions d'intersection
• Techniques d'accélération du lancer de rayons
• Cohérence des objets
• Cohérence des rayons
• Cohérence inter-images
• Autres techniques d'accélération
• Tableaux de synthèse
• Lancer de rayons à usage médical
• Techniques volumiques

Le traçage de rayons de contraste doit aller à l'encontre de la scène et des sources de lumière (traçage de rayons actif). Ce paramètre indique le degré de brillance (concentration autour de la direction principale de réflexion) de la surface. Ir représente l'intensité de la lumière provenant de la direction de réflexion (Rv sur la figure III-1).

Ils attribuent une couleur (sous forme d'ombrage) aux différents voxels de la base de données. Si [Levoy88], [Sabella88], [Krüger90], [Tiede90] explorent la scène par ray tracing intégrant directement les différents paramètres lors de la visualisation, [Drebin88] projette cette information sur l'écran après rotation de la scène. D'autres techniques limitent le nombre de rayons en fonction de la dégénérescence des informations qu'ils contiennent.

Cette mise en œuvre a été rendue possible grâce au haut degré de parallélisme de la technique de lancer de rayons (chaque rayon peut être traité indépendamment).

Lancer de rayons multi-fonctions

• Principe
• Détection de surfaces par l'utilisation d'un schéma de détection- estimation statistique
• Utilisation d'un opérateur 3D de détection de surfaces basé sur les moments géométriques
• Opérateur moment
• Estimation de l'intersection rayon/surface
• Evaluation des performances sur des données simulées et réelles le long du rayon
• Réduction du bruit sur le lancer de rayons
• Lancer de rayons à interpolation locale
• Lancer de rayons dans une image 3D anisotrope
• Interpolation locale
• Reparcours local dans la zone interpolée
• Résultats et discussion
• Conclusion
• Conclusion

Le mode de codage des données non segmentées (arbre octal ou matrice voxel) intervient dans le choix de la représentation. Le lancer de rayons est préféré à la projection de la matrice de voxels sur l'écran. La scène est définie, le seul but du ray tracing est d'évaluer au mieux la fonction d'éclairage de la scène.

Le tableau III-11 présente les erreurs d'estimation de zone lors du lancer de rayons par rapport à la zone analytique. Dans ce cas, l'opérateur offre également de meilleures performances en localisation superficielle (les creux et sillons sont plus marqués, les couronnes sont affinées). Il est donc possible de définir les différents points de la surface de l'objet dans l'environnement discret du rayon.

Le lancer de rayons avec interpolation locale illustre parfaitement les objectifs de la visualisation multifonctionnelle.

Lancer de rayons avec incrément spatial

• Reprojection de l'information
• Recherche du complément d'information
• Approche globale
• Cohérence image-connexité de la scène
• Ombre
• Résultats
• Conclusion

Une solution plus intelligente consiste à accélérer le processus de visualisation pour donner à l’utilisateur le contrôle de l’exploration de la scène. Le protocole d'analyse de scène cité ci-dessus remplit les conditions pour assurer la cohérence entre les images [SigBadt88] [Rhodes88] (voir § III-1-4-4). La cohérence spatiale permet d'exploiter les informations de la première image (que nous appellerons par la suite image I) pour accélérer le calcul de la seconde (image II).

Une solution plus économique en terme de temps de calcul est d'intégrer les points issus de la reprojection directement dans la Figure II. La connexion de l'objet nous offre encore une solution : la surface de l'objet est fermée, les bords de la projection sont continus. Les détails sous la forme correcte peuvent être récupérés par synthèse classique lorsque la séquence est arrêtée.

Cette image potentielle représente la surface de projection sur l'écran du volume composant la scène (parallélépipède rectangle, sphère, etc. cf. § III-1-4-1-1).

RECALAGE D'IMAGES 3D

Modèle de recalage général

• Définition du modèle de relation entre les deux scènes
• Définition d'un modèle de similarité

Besl [Besl88b] tente de formaliser de la manière la plus générale possible le problème de la coordination entre la représentation d'un objet par un système d'acquisition et cet objet dans un référentiel lié au monde physique. L'estimation des transformations entre deux scènes doit être confirmée par un critère de similarité après enregistrement de la deuxième scène. Mise à jour du modèle de relation par mesure de similarité Lors de la recherche de la relation entre deux scènes à faire correspondre, le maximum du critère de similarité est recherché après enregistrement.

Si R représente la relation de transformation entre les deux bases et S(a, b) le critère d'égalité entre a et b, l'estimation de la transformation globale G entre Y et Z est donnée par. Les approches de recalage se caractérisent par l'utilisation du critère de similarité dans la recherche de la transformation optimale entre deux scènes. L'estimation de G(Z, Y) (ou L(Z, Y)) est en fait la recherche de la transformation R qui maximise la similarité.

Par exemple, le critère Somme Absolue des Distances est parfaitement adapté pour une recherche par minimisation au sens des moindres carrés de la somme des distances entre deux scènes.

Méthodes de recalage en imagerie médicale, étude bibliographique

• Recalage rigide
• Approches non basées sur un critère de similitude - Recalage d'images 3D à partir des moments d'inertie
• Recalage élastique

Le premier exemple est illustré par des méthodes itératives de réduction de la distance entre deux images 3D. En pratique, les méthodes proposées séparent l’estimation de translation de l’estimation de rotation. Les rayons sont projetés depuis les points vers le centre de masse de la première surface.

Les points p2i sont extraits de la deuxième surface (l'échantillonnage spatial de ce deuxième nuage de points peut avoir une résolution beaucoup plus faible). Il détermine la vitesse et la qualité de la convergence (un mauvais choix initial peut conduire à une convergence vers un minimum local). L'utilisation de la fonction de corrélation est davantage réservée à l'estimation de translation entre structures identiques (mêmes formes, mêmes valeurs de la fonction f(X)).

Il semble intéressant d'étendre la méthode indirecte (obtention de la fonction de corrélation pour l'ensemble du domaine de transformation) à l'estimation de la rotation.

Recalage de volumes 3D basé sur un formalisme de quaternions

• Définition des quaternions
• Représentation paramétrique des rotations
• Utilisation des quaternions
• Recalage de volume 3D
• Détermination de l'axe de rotation dans R 3
• Estimation de l'angle de rotation
• Recalage en rotation
• Evaluation du recalage
• Discussion
• Conclusion

L'estimation de l'axe de rotation découle directement de la recherche de points invariants entre l'image 3D initiale et celle après transformation. Pour estimer la droite de régression du nuage de points de l’image différence, nous proposons l’algorithme suivant. L'axe de rotation passe par le centre de rotation de la base de données (la translation est estimée à l'avance, le centre de rotation -le centre de gravité- est connu).

L'estimation de l'axe de rotation dépend en outre de la similarité des données le long de l'axe. L'estimation de l'axe de rotation est parfaitement applicable aux objets ne présentant que des correspondances partielles (par exemple, objets tronqués par fermeture). Ses principaux inconvénients proviennent de la méthode d’estimation de l’axe de rotation et de la précision qui y est associée.

Cette technique introduit également une imprécision importante dans l'estimation de la matrice de rotation.

REPRESENTATION MULTI- VARIABLES EN MEDECINE

MORPHOLOGIQUE ET

FONCTIONNELLE EN ELECTRO- ET MAGNETO-ENCEPHALOGRAPHIE

Représentation multi-variables en médecine

V : Représentation multivariée en médecine : application à l'imagerie morphologique et fonctionnelle en électro- et magnétoencéphalographie. L'utilisation de l'imagerie fonctionnelle (physiologique) n'est optimale qu'en concordance avec l'imagerie anatomique (morphologique). Ce cas se rencontre en médecine nucléaire lors de la délimitation de lésions ou de tumeurs.

Certaines se limitent cependant à la surface des objets, comme la modélisation de la vision au niveau du cortex visuel [Schwartz88] ou la cartographie du potentiel épicardique en cardiologie [d'Alche90]. La simulation et la mise en œuvre de stratégies opératoires en médecine interventionnelle nécessitent une imagerie liée aux fonctions interventionnelles. La fonction liée à l'intervention (dose de rayonnement reçue par le patient) doit être indiquée dans les données anatomiques.

Nous nous concentrerons sur un domaine plus spécifique, l'imagerie morphologique et fonctionnelle liée à l'électro- et à la magnétoencéphalographie (respectivement EEG et MEG).

Etude d'une imagerie fonctionnelle 3D : application à la fusion de données fonctionnelles et morphologiques en Electro-

• Problématique de la localisation de sources
• Localisation et positionnement des points de mesure sur les structures anatomiques
• Résolution des problèmes Direct et Inverse
• Modélisation géométrique multi-couches
• Modèles d'éléments de surface
• Modèles aux éléments finis
• Modélisation et représentation liées à la méthode des trois sphères concentriques

Le modèle de codage des données morphologiques peut résulter directement de la solution préconisée pour résoudre le problème inverse. Le choix de la technique dépend du modèle de description des structures anatomiques et du degré de réalisme souhaité. La localisation des électrodes par rapport aux structures internes et leur répartition sur le cuir chevelu constitue l'un des principaux problèmes de la méthodologie générale.

Un critère d'erreur entre ces deux distributions (par exemple, les différences quadratiques entre le modèle et les mesures) est minimisé en faisant varier de manière répétée les paramètres source. Ces dernières sont extraites de la base de données morphologiques puis modélisées au moyen de plans (voir chapitre I sur les techniques de triangulation). Les surfaces sont définies par la face externe du polyèdre située à la limite de la surface.

Les algorithmes de synthèse d'images d'objets composés de facettes planaires sont parfaitement adaptés pour visualiser la répartition des potentiels de surface.