Faculté informatique et communications IC, Section d'informatique, Institut des systèmes informatiques et multimédias ISIM (Laboratoire de vision par ordinateur CVLAB)

Implicit meshes : unifying implicit and explicit surface representations for 3D reconstruction and tracking

Ilic, Slobodan ; Fua, Pascal (Dir.)

Thèse sciences Ecole polytechnique fédérale de Lausanne EPFL : 2005 ; no 3243.

Ajouter à la liste personnelle
    Summary
    This thesis proposes novel ways both to represent the static surfaces, and to parameterize their deformations. This can be used both by automated algorithms for efficient 3–D shape reconstruction, and by graphics designers for editing and animation. Deformable 3–D models can be represented either as traditional explicit surfaces, such as triangulated meshes, or as implicit surfaces. Explicit surfaces are widely accepted because they are simple to deform and render, however fitting them involves minimizing a non-differentiable distance function. By contrast, implicit surfaces allow fitting by minimizing a differentiable algebraic distance, but they are harder to meaningfully deform and render. Here we propose a method that combines the strength of both representations to avoid their drawbacks, and in this way build robust surface representation, called implicit mesh, suitable for automated shape recovery from video sequences. This surface representation lets us automatically detect and exploit silhouette constraints in uncontrolled environments that may involve occlusions and changing or cluttered backgrounds, which limit the applicability of most silhouette based methods. We advocate the use of Dirichlet Free Form Deformation (DFFD) as generic surface deformation technique that can be used to parameterize objects of arbitrary geometry defined as explicit meshes. It is based on the small set of control points and the generalized interpolant. Control points become model parameters and their change causes model's shape modification. Using such parameterization the problem dimensionality can be dramatically reduced, which is desirable property for most optimization algorithms, thus makes DFFD good tool for automated fitting. Combining DFFD as a generic parameterization method for explicit surfaces and implicit meshes as a generic surface representation we obtained a powerfull tool for automated shape recovery from images. However, we also argue that any other avaliable surface parameterization can be used. We demonstrate the applicability of our technique to 3–D reconstruction of the human upper-body including – face, neck and shoulders, and the human ear, from noisy stereo and silhouette data. We also reconstruct the shape of a high resolution human faces parametrized in terms of a Principal Component Analysis model from interest points and automatically detected silhouettes. Tracking of deformable objects using implicit meshes from silhouettes and interest points in monocular sequences is shown in following two examples: Modeling the deformations of a piece of paper represented by an ordinary triangulated mesh; tracking a person's shoulders whose deformations are expressed in terms of Dirichlet Free Form Deformations.
    Résumé
    Cette thèse propose de nouveaux outils génériques permettant de représenter des surfaces statiques et de paramétrer leur déformations. Ces outils peuvent être utilisés à la fois pour la reconstruction automatique de surfaces, et par un concepteur humain pour l'édition et l'animation de modèles graphiques. Un modèle tridimensionnel déformable peut être représenté soit par une surface explicite classique tel qu'un maillage triangulé, soit par une surface implicite. Le rendu graphique et la déformation de surfaces explicites sont relativement faciles à réaliser, et celles-ci sont plus fréquemment utilisées. Néanmoins, les mettre en correspondance avec des données tel qu'un nuage de points 3D nécessiterait la minimisation d'une fonction de distance non différentiable. Les surfaces implicites, en revanche, permettent de définir facilement une distance algébrique différentiable, même si leur rendu est plus difficile et leurs déformations moins intuitives. Nous proposons une méthode combinant les points forts de ces deux représentations en une représentation robuste de surfaces, que nous appelons implicit mesh, ou maillage implicite. Cette représentation nous permet alors de reconstruire des objets tri-dimensionnels à partir d'une séquence vidéo. Les informations de silhouette peuvent être prises en compte facilement pour contraindre cette reconstruction, même dans le cas d'un environnement non controlé, où l'arrière-plan peut être complexe et des occultations peuvent survenir. Nous montrons également que les Dirichlet Free Form Deformation (DFFD) sont un bon outil pour déformer des objets de géométrie arbitraire définis par un maillage explicite. Les DFFD sont basées sur un petit ensemble de points de contrôle et une interpolation généralisée. Les points de contrôle peuvent être utilisés comme paramètres, et leur modification est répercutée sur la forme du modèle. Grâce à cette paramétrisation, la dimensionalité de notre problème est considérablement réduite, ce qui facilite l'optimisation, et fait des DFFD un très bon outil pour la reconstruction automatique. En utilisant les DFFD pour la paramétrisation de surface explicite, et les implicit meshes comme représentation de surface générique, nous obtenons un outil puissant pour l'estimation automatique de formes à partir d'images. Nous montrons que notre technique nous permet de reconstruire en 3D le haut du corps d'une personne, en particulier le visage, le cou et les épaules, et aussi la forme d'une oreille, à partir de données bruitées constituées de points 3D et de silhouettes 2D. Nous pouvons également reconstruire la forme du visage avec une grande précision, le visage étant modélisé en termes de Composantes en Analyse Principale. Cette reconstruction est faite à partir de mises en correspondance de points d'intérêt et de silhouettes retrouvées automatiquement. Le suivi d'objets déformables grâce aux implicit meshes, également à partir de points d'intérêt et de silhouettes dans des séquences monoculaires, est démontré sur deux exemples: La modélisation des déformations d'une feuille de papier représentée par un maillage triangulé classique, et le suivi des épaules d'une personne, dont les déformations sont exprimées en termes de DFFD.