Nous proposerons ensuite une taxonomie permettant la classification la plus complète de toutes les textures dynamiques. La deuxième partie de ce chapitre sera consacrée à un état de l'art des méthodes de caractérisation dynamique des textures.
Qu’est ce qu’une texture dynamique ?
Un domaine de recherche r´ecent et dynamique
Détecter un accident ou un comportement dangereux dans la circulation routière, surveiller et caractériser le mouvement d'une foule, détecter l'apparition d'un feu de forêt ou de fumée sont des exemples pour lesquels une description robuste de la structure dynamique est nécessaire. Elle peut conduire à la détection de perturbations au sein d'une texture dynamique (la présence d'un véhicule au milieu d'une forêt, d'un canard dans un plan d'eau), à aider à construire des synthèses vidéo (la présence à un moment donné d'une texture dynamique ), pour compresser plus efficacement les vidéos selon qu'elles sont texturées ou non.
Discussion sur les textures dynamiques
Les textures dynamiques correspondent à des scènes naturelles de séquences d'images animées de nature stochastique. D'autre part, dans le contexte de la séquence d'images de la figure 1.5, nous avons deux textures dynamiques d'un état chacune dans le composant de texture vidéo.
Bases de donn´ees existantes
Cependant, seule la moitié de la base de données est actuellement étiquetée. Cependant, en 2001, elle offrait un cadre expérimental bien meilleur que la base de données du MIT.
Caract´erisation de textures dynamiques
Approches fond´ees sur le mouvement
Les descripteurs extraits sont les éléments de la matrice de cooccurrence comme v . Dans le cas du jeu de données du MIT (10 classes de textures dynamiques), l’approche utilisant le flux normal surpasse l’approche utilisant le flux optique complet, puisque cette dernière atteint un taux de reconnaissance de 95,4 % contre 93,8 % pour l’autre.
Approches s’appuyant sur un mod`ele math´ematique
Cependant, le grand nombre de paramètres du modèle nécessite un temps de calcul considérable. L'apprentissage des différents paramètres du modèle se fait à l'aide de l'algorithme EM.
Techniques utilisant la g´eom´etrie spatio-temporelle
Cette approche est ensuite testée sur 9 classes de textures dynamiques issues de la base de données du MIT. Les auteurs effectuent ensuite une régression multiple pour estimer les caractéristiques dynamiques de la texture.
Approches fond´ees sur des transform´ees spatio-temporelles
Nous présentons ensuite différentes familles de transformations géométriques multi-échelles issues de la littérature. On obtient ainsi le tracé de la figure 2.3, dont la résolution temps-fréquence dépend de l’échelle.
Analyse multi-r´esolutions
- Bases d’ondelettes et analyse multi-r´esolutions
- Bancs de filtres
La transformée en ondelettes de la fonction superniveau est alors définie comme la projection de cette fonction sur les sous-espaces vectoriels Vnet {Wj}16j6n puisque . 2.4 – Schéma du banc de filtres à transformée en ondelettes permettant de passer du niveau de résolution j à j+1.
Analyse de s´equences d’images par transform´ees en ondelettes
- D´ecomposition en ondelettes spatiales
- D´ecomposition en ondelettes temporelles
- D´ecomposition en ondelettes 2D+T
- D´ecomposition en ondelettes par la m´ethode de J. R. Smith et al. 62
Cette extension du domaine temporel de la transformée en ondelettes est similaire à la transition du 1D au 2D. L'analyse Ridgelet consiste à projeter le signal à l'aide de la transformée de Radon, puis à calculer la transformée en ondelettes pour chaque projection.
Transform´ee en curvelets
Curvelets 2D continues
La distribution dans le domaine fréquentiel de cette transformée est illustrée sur la figure 2.11. Base optimale Grâce à sa construction, la transformation curvelet est optimale pour la représentation des courbes C2 [Cand`es 04, Cand`es 05a]. Pour plus d'informations sur les propriétés et la construction de la transformée en courbettes continue, nous invitons le lecteur à consulter [Cand`es 05c, Cand`es 05d, Cand`es 03].
Nous faisons maintenant une présentation de la transformation en courbes dans le cadre discret.
Curvelets 2D discr`etes
- Description
- Impl´ementations
- Exp´erimentations
En raison du pavage qu'elle génère, la mise en œuvre de la transformée en courbet est délicate. Fig.2.14 – Les différentes étapes de la mise en œuvre en inscrivant la transformation curllet par wrapper. Nous proposons donc également d'autres formes de visualisation. 2.17 – Résultat de la transformation curllet sur une image utilisant 2 échelles de décomposition.
Les premiers coefficients de transformation de courbe sont véritablement représentatifs de l'information et permettent de se rapprocher rapidement de l'image.
Transform´ee en curvelets tri-dimensionelle
- Description
- Passage au 2D+T
- Application aux s´equences d’images
2.26 - Projection Mercator des énergies des sous-bandes détaillées des courbes de transformation des séquences d'images synthétiques. 2.28 – ♠Les cartes Mercator des énergies de sous-ensembles de détails de courbe sont transformées en séquence d'images d'un escalier mécanique. 2.29 – ♠Les cartes Mercator de l'énergie des sous-bandes détaillées de la courbe sont transformées en séquence d'images de la surface d'un lac.
14h30 – ♠Les cartes Mercator des énergies de sous-ensembles de détails de courbes sont transformées en séquence d'images d'un champ d'herbe.
D´efinition du mod`ele
Une texture dynamique Υi peut s'écrire comme la composition d'une onde se propageant à grande échelle et de phénomènes localement oscillatoires ; il suit alors le modèle suivant. Pi et Li sont deux fonctions qui décrivent respectivement les phénomènes porteur et local d'une texture dynamique Υi. Phénomènes locaux Il s'agit de phénomènes oscillant localement, tant dans l'espace que dans le temps.
Les phénomènes locauxL d'une texture dynamique Υ sont définis par : Li(x) = qui décrit sa localisation spatiale et temporelle.
Evaluation du mod`ele de textures dynamiques propos´e ´
Ce phénomène, comme son nom l’indique, propage des informations de texture et plus particulièrement des phénomènes locaux. Le modèle prend en compte cette localisation spatio-temporelle grâce à un noyau gaussien spatio-temporel dont les paramètres prennent en compte le taux d'apparition/disparition des phénomènes ainsi que leur support spatial. Aℓk ∈ R+∗, ωℓk ∈ R3 et ψℓk ∈ R représentent l'amplitude, la pulsation et le déphasage associés à ce phénomène local ℓ.
Cependant, cette recherche s'est avérée longue et fastidieuse, puisqu'il faut, d'une part, paramétrer chaque exponentielle complexe de l'onde porteuse (une dizaine pour l'exemple de la figure 3.3), et d'autre part, paramétrer chaque exponentielle complexe de chaque phénomène local (environ 4 à 5 pour une dizaine de phénomènes locaux dans notre exemple).
Perspectives du mod`ele
La manière idéale d’évaluer le modèle est une comparaison entre une séquence d’images réelle et sa version synthétisée. À l’annexe B, une approche est proposée pour envisager une évaluation quantitative du modèle.
Etude de l’onde porteuse ´
Caract´eristiques de l’onde porteuse
Segmentation spatio-temporelle utilisant directement la transform´ee en
- Sch´ema g´en´eral
- Resultats et discussion
- Perspectives
Segmentation spatio-temporelle ` a l’aide d’une structure en octree et de la
- Schema g´en´eral
- Discussion sur les crit`eres d’homog´en´eit´e
- R´esultats
- Perspectives concernant la structure en octree
3.6 – ♠Projection énergétique Mercator de la transformation de courbe d'une séquence d'images synthétiques. Tâche : Création d'une structure d'octave de la vidéo selon le critère d'homogénéité. Calcul de la transformation de courbe sur les huit sous-cubes vidéo qui composent le cube vidéo Cx,y,t(tx, ty, tt).
Dans le cas de la séquence (c), la méthode de segmentation détecte correctement les deux régions (en haut à gauche et en bas à droite).
Discussion
Nous mettons ensuite en évidence les limitations en temps de calcul des algorithmes de la littérature appliqués aux séquences d’images. Cependant, l’ajout de la dimension temporelle modifie significativement les temps de convergence de l’algorithme. Ceux-ci seront étudiés les uns par rapport aux autres et comparés à ceux de la littérature.
Enfin, les résultats de décomposition sur des séquences d'images de notre base de données seront présentés et interprétés.
L’analyse en composantes morphologiques (MCA)
- Cadre th´eorique
- Impl´ementation
- Strat´egies de seuillage
L'algorithme 5 fournit les principales opérations d'analyse sur les N composantes morphologiques d'un signal nD y observé. L'algorithme d'analyse des composantes morphologiques étant un algorithme de seuillage itératif hybride, ses deux points les plus importants sont le vocabulaire de base et la stratégie de seuillage. Stratégie de seuillage linéaire (SSL) Dans cette approche, à chaque étape, une constante δSSL détermine la décroissance de λ lors des itérations de l'algorithme.
Stratégie de seuil exponentiel (SSE) Dans certains cas, la distribution des coefficients est concentrée autour de l'origine.
Application aux textures dynamiques
Choix du dictionnaire
Une texture dynamique écrite comme la somme d'une onde porteuse P et de phénomènes locaux L peut être décomposée par analyse en composantes morphologiques à l'aide du dictionnaire Φ suivant. Nos expérimentations sont réalisées sur des séquences issues de la base de données DynTex. Soit la fonction T() mesurer le temps d'exécution d'une transformation d'un signal vers la base Φi pendant un cycle de l'algorithme (analyse via Ti et synthèse via TTi.
Pour indexer une base de données comme DynTex, les temps de calcul de la stratégie SSMoM ne sont pas acceptables.
Nouvelles strat´egies de seuillage
- Th´eorie
- Evaluation ´
Dans la section suivante, nous proposons d'étudier la qualité de la décomposition obtenue selon des stratégies de seuillage. Les temps de calcul des stratégies de la littérature sont également résumés. 4.2 – Estimation des temps de calcul nécessaires pour effectuer la décomposition à l'aide de l'algorithme MCA selon les différentes stratégies de seuillage.
La stratégie de seuil adaptatif la plus proche de toutes les stratégies originales est la stratégie SSAcE.
Exp´erimentations
- Param`etres utilis´es
- R´esultats
Figure 4.8 –♠Résultat de la décomposition de la séquence d'images à l'aide de l'algorithme MCA et selon la stratégie SSAcE. Figure 4.9 –♠Résultat de la décomposition de la séquence d'images à l'aide de l'algorithme MCA et selon la stratégie SSAcE. Figure 4.10 –♠Résultat de la décomposition de séquences à l'aide de l'algorithme MCA et selon la stratégie SSAcE.
Figure 4.12 –♠Résultat de la décomposition de séquences à l'aide de l'algorithme MCA et selon la stratégie SSAcE.
Construction des vecteurs caract´eristiques
5.1 - Découpage des coefficients de la transformée en cosinus locale pour obtenir, comme en analyse multi-résolution, différentes sous-bandes de détail. un ensemble de fréquences directionnelles et d’échelles similaires. Les descripteurs sont calculés de la même manière que dans le cadre de transformations multi-échelles. Dans notre cible d’indexation, nous observons cinq signatures différentes, quatre construites directement à partir d’un seul descripteur et une à partir d’une concaténation de quatre descripteurs.
Vecteur descriptif basé sur la moyenne des sous-bandes de détail : Sµm=. 5.5) avec Nℓj le nombre d'orientations sur le niveau j et Nj le nombre de niveaux.
M´ethode de validation
Bases de donn´ees utilis´ees
R´esultats et discussion
5.2 - Taux de reconnaissance (en %) d'indexation des textures dynamiques selon différents descripteurs et dans trois bases de données. Cela permet d'obtenir le meilleur degré de reconnaissance pour 4 des vecteurs caractéristiques proposés (Sσm, SEm, SHm et SmA). Gamma : La transformée en ondelettes 2D+T est la méthode qui atteint les plus hauts niveaux de reconnaissance pour cette base.
Comme pour les autres bases de données, les méthodes varient peu et les taux de reconnaissance restent relativement proches.
Recherche par le contenu
Fig.5.4 – Résultats d'une recherche de contenu utilisant une recherche de séquence d'images.
Estimation du mouvement global
L'utilisation conjointe de la transformée en courbes 2D+T et d'une structure octree a rendu cela possible. 1 Segmentation de textures dynamiques dans le sens de directions spatio-temporelles utilisant l'énergie de la transformée en courbe 2D+T. 56 2.4 Schéma du banc de filtres de la transformée en ondelettes qui permet le passage.
70 2.14 Les différentes étapes de mise en œuvre par inscription de la transformation en cours. 82 2.28 ♠ Cartes Mercator des énergies des sous-bandes de détails de la transformation. en courbe sur la séquence d'images d'un escalator. 4.8 ♠ Résultat de la décomposition d'une séquence d'images à l'aide de l'algorithme MCA et selon la stratégie SSAcE.
