Faculté informatique et communications IC, Section d'informatique, Institut des systèmes informatiques et multimédias ISIM (Laboratoire de vision par ordinateur CVLAB)

Probabilistic modeling of texture transition for fast tracking and delineation

Shahrokni, Seyed Ali ; Fua, Pascal (Dir.)

Thèse sciences Ecole polytechnique fédérale de Lausanne EPFL : 2005 ; no 3377.

Ajouter à la liste personnelle
    Summary
    In this thesis a probabilistic approach to texture boundary detection for tracking applications is presented. We have developed a novel fast algorithm for Bayesian estimation of texture transition locations from a short sequence of pixels on a scanline that combines the desirable speed of edge-based line search and the sophistication of Bayesian texture analysis given a small set of observations. For the cases where the given observations are too few for reliable Bayesian estimation of probability of texture change we propose an innovative machine learning technique to generate a probabilistic texture transition model. This is achieved by considering a training dataset containing small patches of blending textures. By encompassing in the training set enough examples to accurately model texture transitions of interest we can construct a predictor that can be used for object boundary tracking that can deal with few observations and demanding cases of tracking of arbitrary textured objects against cluttered background. Object outlines are then obtained by combining the texture crossing probabilities across a set of scanlines. We show that a rigid geometric model of the object to be tracked or smoothness constraints in the absence of such a model can be used to coalesce the scanline texture crossing probabilities obtained using the methods mentioned above. We propose a Hidden Markov Model to aggregate robustly the sparse transition probabilities of scanlines sampled along the projected hypothesis model contour. As a result continuous object contours can be extracted using a posteriori maximization of texture transition probabilities. On the other hand, stronger geometric constraints such as available rigid models of the target are directly enforced by robust stochastic optimization. In addition to being fast, the allure of the proposed probabilistic framework is that it accommodates a unique infrastructure for tracking of heterogeneous objects which utilizes the machine learning-based predictor as well as the Bayesian estimator interchangeably in conjunction with robust optimization to extract object contours robustly. We apply the developed methods to tracking of textured and non textured rigid objects as well as deformable body outlines and monocular articulated human motion in challenging conditions. Finally, because it is fast, our method can also serve as an interactive texture segmentation tool.
    Résumé
    Cette thèse présente une approche probabiliste de la détection de changement de texture appliquée au suivi d'objets texturés. Nous avons développé un nouvel algorithme pour estimer la position d'un changement de texture à partir d'une courte séquence de pixels. Cet algorithme cumule la rapidité des méthodes basées sur le gradient et la sophistication de l'analyse Bayésienne de textures étant donné un ensemble limité d'observations. Lorsque les observations données ne sont pas suffisantes pour une estimation Bayésienne fiable de la probabilité du changement de texture, nous proposons une technique novatrice d'apprentissage pour construire un modèle probabiliste de transition de textures. Ceci est obtenu en considérant un ensemble d'apprentissage formé de petites images composées de deux moitiés de textures différentes. Ayant suffisamment d'exemples dans la base d'apprentissage pour modeler exactement des transitions de texture d'intérêt, nous pouvons construire un prédicteur qui peut être employé pour le suivi de frontière d'objets. Les probabilités de transitions de texture ainsi obtenues sur plusieurs scanlines peuvent être combinées pour obtenir des contours d'objet. Nous démontrons qu'un modèle géométrique rigide de l'objet à suivre ou des contraintes de connectivité en l'absence d'un tel modèle peuvent être employés pour fusionner les probabilités de transition de textures de scanlines obtenues en utilisant les méthodes mentionnées ci-dessus. Nous proposons un Modèle de Markov Caché pour combiner les probabilités de transition de scanlines de manière robuste. En conséquence, des bords d'objet continus peuvent être extraits en maximisant des probabilités postérieures de transitions de textures. D'autre part, des contraintes géométriques plus fortes telles que les modèles rigides de la cible sont directement imposées par optimisation stochastique robuste. En plus d'être rapide, le cadre proposé fournit une infrastructure unique pour le suivi d'objets hétérogènes qui utilise aussi bien un prédicteur basé sur des techniques d'apprentissage statistique qu'un estimateur Bayésien, combiné avec une optimisation robuste pour extraire des bords d'objet. Nous appliquons les méthodes développées au suivi, dans les conditions difficiles, d'objets rigides texturés ou non texturés ainsi que des contours déformables de corps et mouvement humain articulé monoculaire. Grâce à sa rapidité, nous avons pu utiliser notre méthode pour un outil interactif de segmentation de texture.