Cette thèse a débuté à Lifia, j'ai donc un avis sur les personnes que j'ai pu y rencontrer et notamment les membres de l'équipe Prima. Je remercie également Istari de m'avoir fourni les images aériennes utilisées dans cette thèse.
Contexte
Il gère une grande variété de problèmes allant de la correspondance de deux images à la correspondance d'une image avec un modèle CAO défini par des primitives géométriques. Par exemple, vous savez quelle partie d'une image correspond à l'anse d'une tasse ou au pied d'un dinosaure.
Approche proposee
Il existe d'autres méthodes dans la littérature basées sur les informations du signal (cf. section 5.1). Ces informations sont calculées aux points d'intérêt et stockées dans des vecteurs (cf. Figure 1.1).
Contributions
Dans le cas d'une correspondance entre deux images, il suffisait de rechercher les points les plus similaires. En pouvant retrouver une image dans une base de données d'images, il est alors possible de modéliser un objet 3D à partir d'un ensemble d'images.
Plan du memoire
Le choix des points d'intérêt comme primitives de bas niveau est d'abord expliqué à la section 2.1. Les points d'intérêt sont des maxima de courbure calculés à partir des coefficients de ces B-splines.
Etat de l'art
Methodes basees sur les contours
Le principe des méthodes basées sur les contours est soit de trouver des points de courbure maximale le long de chaînes de contours soit d'effectuer une approximation polygonale afin d'en déduire certains points (intersection, inection,. Au lieu "d'utiliser les changements de courbure d'une courbe plane , ils en utilisent les points d'excision.
Methodes basees sur le signal
Asada et Brady [Asa 86] extraient des points d'intérêt pour des objets 2D à partir de courbes planes. Cette carte de symétrie peut être appliquée dans une variété de tâches, en particulier l'extraction de points d'intérêt.
Methodes basees sur un modele theorique du signal
Cependant, la qualité de l'approche repose sur une bonne estimation initiale de la position. Deriche et Giraudon [Der 90, Gir 91, Der 93c] ont présenté une autre méthode pour améliorer la précision de détection, tout en utilisant un modèle théorique pour un angle.
Stabilisation du detecteur de Harris
Methode d'evaluation
- Criteres d'evaluation
- Denition de la repetabilite
- Mesure de repetabilite
- Cadre d'evaluation
La localisation, en revanche, signifie qu'un point détecté dans l'image correspond exactement à un point 3D dans la scène. Tout d'abord, il faut noter qu'un certain nombre de points ne peuvent pas être répétés car ils correspondent à une partie de la scène qui n'est pas visible sur les deux images.
Etude comparative de repetabilite
- Exemples de detections et detecteurs consideres
- Rotation image
- Changement d'echelle
- Changement de luminosite
- Changement de point de vue
- Bruit de la camera
2.16 { A gauche l'image 0 de la séquence pour un changement de luminance complexe, au milieu l'image 7 et à droite l'image 15. Fig. 2.18 {Taux de reproductibilité pour la séquence de bruit de caméra et de scène \ Van Gogh" .
Robustesse a l'echelle - une approche multi-echelle
Conclusion
- Derivees
- Descriptions frequentielles
- Moments
- Autres caracterisations
Pour un point donné, le rayon local est fonction d'un paramètre : la grandeur de la gaussienne. Un exemple simple est l'utilisation de la tangente et de la normale dans les transformations rigides.
Introduction aux invariants
- Denition theorique d'un invariant
- Calcul des invariants
- Denombrement des invariants
- Theoreme de Burns
- Quasi-invariants
Il utilise un système de coordonnées canonique qui est localement amorti par les propriétés de la forme. Dans le cadre de la définition 3.2 ci-dessus, ces fonctions vont de E vers E et l'ensemble des transformations est un groupe noté G.
Invariance et transformations de l'image
- Rotation image
- Changement d'echelle
- Changement de luminosite
- Autres transformations image
- Changement de point de vue
Il est possible de calculer les invariants pour différentes tailles de la gaussienne car ils sont séparés par Li. Florak [Flo 94] montre que le plan local permet aussi de calculer des invariants par rapport à toute transformation de luminosité réversible.
Evaluation de la caracterisation
Conclusion
Appariement base sur des donnees photometriques
La méthode d'appariement la plus ancienne est la corrélation de signal (voir par exemple [Fau 92a] pour une comparaison des méthodes, voir aussi [Zha 89] ou [Zab 94] pour la corrélation binaire rapide). Il est également possible de devenir robuste à la rotation en utilisant des mesures de corrélation multidirectionnelles telles que Hu [Hu 94].
Appariement a partir de donnees geometriques
Pour améliorer les résultats obtenus, pour une paire de points appariés, les points dans des voisinages respectifs de même taille doivent également correspondre. De plus, ces points de voisinage doivent avoir la même position relative dans les deux images.
Algorithme d'appariement
- Principe de l'appariement
- Distance entre images
- Procedure d'appariement
- Contraintes semi-locales
La qualité des résultats obtenus avec cette distance dépend de la représentativité de la matrice de covariance. Pour rendre l'appariement robuste à un changement d'échelle, le vecteur d'un point d'intérêt dans la première image est comparé aux vecteurs d'un point dans la deuxième image calculés à plusieurs tailles de Gaussienne.
Evaluation de l'appariement
- Cadre d'evaluation
- Rotation image
- Changement d'echelle
- Changement de luminosite
- Changement de point de vue
- Bruit de la camera
- Transformations complexes
- Inuence des dierentes composantes du vecteur
La figure 4.5 trace le pourcentage de correspondances correctes en fonction de l'angle de rotation pour la scène \Van Gogh". Fig.4.13{Pourcentage de correspondances correctes pour la séquence changement de point de vue et la scène \Van Gogh".
Conclusion
Recherche basee sur les donnees photometriques
Plusieurs auteurs ont amélioré les performances de la technique originale de mise en correspondance des histogrammes de couleurs en introduisant des mesures plus ou moins sensibles aux changements de luminosité. L'ajustement se fait alors sur une partie de la caractérisation et les résultats s'affaiblissent considérablement.
Recherche basee sur des donnees geometriques
Slater [Sla 96] a démontré que les moments de la distribution des couleurs sont invariants à un changement de luminosité sous l'hypothèse d'un modèle linéaire de réflexion de la lumière. Le positionnement de la grille est difficile à réaliser une fois l'objet présenté sur un fond complexe.
Algorithme de recherche
- Principe de la recherche
- Structure de la base d'images
- Mesure de ressemblance
- Adaptation de l'approche multi-echelle
La figure 5.3 montre le contenu de la table de vote T sous forme d'histogramme. La figure 5.4 montre le contenu de la table de vote T sous forme d'histogramme lorsque la restriction de voisinage est appliquée.
Indexation
Changement de base
Cependant, ce problème est résolu en utilisant les contraintes semi-locales présentées dans la section précédente 4.2.4. Les résultats expérimentaux présentés dans la section 5.4 montrent qu'une approche multi-échelle est efficace dès que des contraintes semi-locales sont utilisées.
Table de hachage multi-dimensionnelle
Cela s'explique facilement par le fait qu'une dimensionnalité élevée permet une meilleure différenciation spatiale des vecteurs de caractéristiques. Nous avons observé un temps de reconnaissance optimal pour un seuil de trois points.
Experimentation
- Cadre d'evaluation
- Illustration de la recherche d'images
- Evaluation systematique de la recherche
- Temps de recherche
La figure 5.9 montre quelques images du changement d'ordre d'échelle pour le tableau \le semeur" de Van Gogh. Fig.5.16{Quelques images du changement d'ordre de point de vue du \semeur" de Van Gogh.
Conclusion
Modele geometrique 3D
De plus, son approche permet l'utilisation de contraintes avec un intervalle de condensation dans le cas d'objets génériques. Dans le cas d'images en niveaux de gris, leur accès est limité aux objets 2D.
Graphe d'aspect
En effet, ces représentations sont trop simples pour modéliser des objets non construits et sont difficiles à faire correspondre avec les résultats des algorithmes d'extraction de primitives existants. L'une des principales raisons de cette erreur est que les images ne reflètent pas directement les informations CAO abstraites sur les objets : l'image d'intensité 2D est trop différente de la structure 3D abstraite.
Ensemble d'images
Modelisation a partir d'images 2D
Principe
Pour mettre en oeuvre un tel modèle, se pose le problème de déterminer quelles images sont nécessaires pour représenter un objet 3D. Il n'entre pas dans le cadre de ce travail d'étudier la possibilité d'utiliser une distribution non uniforme en fonction de la forme de l'objet 3D à modéliser, comme cela a été fait dans [Gda 96] et dans [Gro 95].
Exemple d'une modelisation sur un cercle
Si le taux de correspondance correct entre deux images est élevé, cela signifie qu'elles peuvent être représentées par la même image modèle. Pour des objets moins complexes tels que \Abstract Hand", seules 9 vues se sont avérées suffisantes pour définir le modèle objet (cf. Figure 6.4).
Extension a la modelisation sur une sphere
Resultats de reconnaissance
Quelques exemples de reconnaissance
Points selectionnes
Evaluation systematique
En utilisant les mêmes conditions expérimentales que les autres chercheurs, le taux de reconnaissance était de 100%, ce qui est le même que celui obtenu par d'autres chercheurs. La sélection automatique des points à caractériser et l'utilisation d'invariants permet ainsi d'obtenir les mêmes résultats que Rao avec des coûts nettement inférieurs.
Localisation de donnees symboliques 3D
Ajout de donnees symboliques
Les données symboliques étant contenues dans les images, il est aisé d'associer ces positions à toutes sortes d'informations symboliques ou numériques correspondantes. En particulier, ce type d'informations peut permettre de connaître la position relative de points, ce qui est important pour de nombreuses applications (téléguidage assisté par ordinateur ou service visuel).
Identication des informations symboliques
Ainsi, il est possible de calculer les positions des données symboliques dans une image si on connaît les positions de ces données dans deux autres images. Soit I0 et I00 deux images modèles pour lesquelles on connaît la position de la donnée symbolique et soit I une image pour laquelle on recherche cette donnée.
Resultats de localisation
Selon les couples entre l'image recherchée et l'image modèle correspondante, les données symboliques dans l'image recherchée doivent être trouvées. Ce nombre confirme la précision avec laquelle les données sont placées sur l'image recherchée.
Conclusion
Premièrement, la distance de Mahalanobis permet de tenir compte de l'incertitude des vecteurs de caractéristiques pouvant survenir en raison du bruit dans les images ou de l'instabilité de la position des points d'intérêt. Cela permet de supprimer le bruit de fond des images et d'augmenter encore la robustesse de la détection.
Une modelisation 3D pour la reconnaissance
Perspectives
Changement complexe de luminosite
Des invariants colorimétriques permettront de conserver cette information de luminance sous une forme invariante au changement de luminance.
Large base d'images
A l'inverse, l'invariant correspondant à une grande valeur de la fonction de densité est partagé par plusieurs objets. La fonction de densité inverse peut donc être utilisée comme facteur de pondération dans l'algorithme de recherche.
Generalisation
Pour développer une telle méthode, nous proposons d'utiliser la distribution des invariants de la base image pour connaître la discrimination d'un invariant donné. Nous avons vu, lors de la reconnaissance d'objets 3D et du calcul de la relation trilinéaire entre 3 images, qu'il était possible d'éliminer les erreurs d'appariement en utilisant une contrainte globale.
Applications
On the sensitivity of the Hough transform for object recognition. Ieee Transactions on Pattern Analysis and Machine Intelligence. Dans Proceeding of the Darpa{Esprit Workshop on Applications of Invariants in Computer Vision, pp.
