Faculté des sciences et techniques de l'ingénieur STI, Section de génie électrique et électronique, Institut de traitement des signaux ITS (Laboratoire de traitement des signaux 5 LTS5)

Image segmentation with variational active contours

Bresson, Xavier ; Thiran, Jean-Philippe (Dir.)

Thèse sciences techniques Ecole polytechnique fédérale de Lausanne EPFL : 2005 ; no 3283.

Ajouter à la liste personnelle
    Summary
    An important branch of computer vision is image segmentation. Image segmentation aims at extracting meaningful objects lying in images either by dividing images into contiguous semantic regions, or by extracting one or more specific objects in images such as medical structures. The image segmentation task is in general very difficult to achieve since natural images are diverse, complex and the way we perceive them vary according to individuals. For more than a decade, a promising mathematical framework, based on variational models and partial differential equations, have been investigated to solve the image segmentation problem. This new approach benefits from well-established mathematical theories that allow people to analyze, understand and extend segmentation methods. Moreover, this framework is defined in a continuous setting which makes the proposed models independent with respect to the grid of digital images. This thesis proposes four new image segmentation models based on variational models and the active contours method. The active contours or snakes model is more and more used in image segmentation because it relies on solid mathematical properties and its numerical implementation uses the efficient level set method to track evolving contours. The first model defined in this dissertation proposes to determine global minimizers of the active contour/snake model. Despite of great theoretic properties, the active contours model suffers from the existence of local minima which makes the initial guess critical to get satisfactory results. We propose to couple the geodesic/geometric active contours model with the total variation functional and the Mumford-Shah functional to determine global minimizers of the snake model. It is interesting to notice that the merging of two well-known and "opposite" models of geodesic/geometric active contours, based on the detection of edges, and active contours without edges provides a global minimum to the image segmentation algorithm. The second model introduces a method that combines at the same time deterministic and statistical concepts. We define a non-parametric and non-supervised image classification model based on information theory and the shape gradient method. We show that this new segmentation model generalizes, in a conceptual way, many existing models based on active contours, statistical and information theoretic concepts such as mutual information. The third model defined in this thesis is a variational model that extracts in images objects of interest which geometric shape is given by the principal components analysis. The main interest of the proposed model is to combine the three families of active contours, based on the detection of edges, the segmentation of homogeneous regions and the integration of geometric shape prior, in order to use simultaneously the advantages of each family. Finally, the last model presents a generalization of the active contours model in scale spaces in order to extract structures at different scales of observation. The mathematical framework which allows us to define an evolution equation for active contours in scale spaces comes from string theory. This theory introduces a mathematical setting to process a manifold such as an active contour embedded in higher dimensional Riemannian spaces such as scale spaces. We thus define the energy functional and the evolution equation of the multiscale active contours model which can evolve in the most well-known scale spaces such as the linear or the curvature scale space.
    Résumé
    Un domaine de recherche important en vision artificielle est la segmentation d'image. L'objectif de la segmentation d'image est d'extraire les objects significatifs présents dans les images soit en divisant les images en régions sémantiques contigües, soit en extrayant un ou plusieurs objects spécifiques dans les images, telles que les structures médicales. La tâche de segmentation d'image est, en général, très difficile à réaliser puisque les images naturelles sont diverses, complexes et la manière de les percevoir varie selon les individus. Depuis plus d'une décennie, un cadre mathématique prometteur, basé sur les modèles variationnels et les équations différentielles partielles, a été éxaminé pour résoudre le problème de la segmentation d'image. Cette nouvelle approche repose sur des théories mathématiques bien établies qui permettent d'analyser, de comprendre et de développer les méthodes de segmentation. De plus, ce cadre de travail s'inscrit dans une approche continue dont les modèles sont indépendants de la grille d'images numériques. Cette thèse propose quatre nouveaux modèles de segmentation d'image basés sur des modèles variationnels et sur la méthode des contours actifs. Le modèle des contours actifs, ou "serpents", est de plus en plus utilisé en segmentation d'image car il repose sur des propriétés mathématiques solides et son implémentation numérique utilise la méthode efficace des courbes de niveaux pour faire évoluer des contours. Le premier modèle défini dans cette dissertation propose de déterminer des minimiseurs globaux du modèle des contours actifs/serpents. Malgré ses grandes propriétés mathématiques, le modèle des contours actifs souffre de l'existence de minima locaux, qui rend la condition initiale critique et ne permet pas d'obtenir de résultats satisfaisants. Nous proposons de coupler le modèle des contours actifs géodésiques/géométriques avec la fonctionelle de la variation totale et la fonctionnelle de Mumford-Shah pour déterminer des minimiseurs globaux du modèle des serpents. Il est intéressant de remarquer que la fusion des modèles bien connus et "opposés" des contours actifs géodésiques/géométriques et des contours actifs sans bords fournit un minimum global à l'algorithme de segmentation d'image. Le second modèle présente une méthode qui combine simultanément des concepts déterministes et statistiques. Nous définissons un modèle de classification d'image non supervisé et non paramétrique basé sur la théorie de l'information et la méthode du gradient de forme. Nous montrons que ce nouveau modèle de segmentation généralise, d'une manière conceptuelle, plusieurs modèles existants basés sur les contours actifs et des concepts issus de la statistique et de la théorie de l'information tels que l'information mutuelle. Le troisième modèle défini dans cette thèse est un modèle variationnel qui extrait des images des objets d'intérêt dont la forme géométrique est donnée par l'analyse en composantes principales. L'intérêt principal du modèle proposé est de combiner les trois familles de contours actifs, qui se fondent sur la détection de bords, la segmentation de régions homogènes et l'intégration a priori de formes géométriques, afin d'utiliser simultanément les avantages de chaque famille. Finalement, le dernier modèle présente une généralisation du modèle des contours actifs dans les espaces échelles dans le but d'extraire des structures à différentes échelles d'observation. Le cadre de travail mathématique qui nous permet de définir une équation d'évolution pour les contours actifs dans les espaces échelles s'inscrit dans la théorie des cordes. Cette théorie présente un environnement mathématique qui traite une variété telle qu'un contour actif dans des espaces Riemanniens de dimension supérieure, comme les espaces échelles. Nous définissons ainsi la fonctionnelle énergétique et l'équation d'évolution du modèle des contours actifs multi-échelles qui peuvent évoluer dans les espaces échelles les plus connus comme l'espace échelle linéaire et de courbure.