Faculté informatique et communications IC, Section d'informatique, Institut des systèmes informatiques et multimédias ISIM (Laboratoire de vision par ordinateur CVLAB)

Using biomechanical constraints to improve video-based motion capture

Herda, Lorna ; Fua, Pascal (Dir.)

Thèse sciences Ecole polytechnique fédérale de Lausanne EPFL : 2003 ; no 2892.

Ajouter à la liste personnelle
    Summary
    In motion capture applications whose aim is to recover human body postures from various input, the high dimensionality of the problem makes it desirable to reduce the size of the search-space by eliminating a priori impossible configurations. This can be carried out by constraining the posture recovery process in various ways. Most recent work in this area has focused on applying camera viewpoint-related constraints to eliminate erroneous solutions. When camera calibration parameters are available, they provide an extremely efficient tool for disambiguating not only posture estimation, but also 3D reconstruction and data segmentation. Increased robustness is indeed to be gained from enforcing such constraints, which we prove in the context of an optical motion capture framework. Our contribution in this respect resides in having applied such constraints consistently to each main step involved in a motion capture process, namely marker reconstruction and segmentation, followed by posture recovery. These steps are made inter-dependent, where each one constrains the other. A more application-independent approach is to encode constraints directly within the human body model, such as limits on the rotational joints. This being an almost unexplored research subject, our efforts were mainly directed at determining a new method for measuring, representing and applying such joint limits. To the present day, the few existing range of motion boundary representations present severe drawbacks that call for an alternative formulation. The joint limits paradigm we propose not only overcomes these drawbacks, but also allows to capture intra- and inter-joint rotation dependencies, these being essential to realistic joint motion representation. The range of motion boundary is defined by an implicit surface, its analytical expression enabling us to readily establish whether a given joint rotation is valid or not. Furthermore, its continuous and differentiable nature provides us with a means of elegantly incorporating such a constraint within an optimisation process for posture recovery. Applying constrained optimisation to our body model and stereo data extracted from video sequence, we demonstrate the clearly resulting decrease in posture estimation errors. As a bonus, we have integrated our joint limits representation in character animation packages to show how motion can be naturally constrained in this manner.
    Résumé
    Dans le contexte des applications de capture de mouvement dont le but est d’inférer la posture de modèles de corps humain, la haute dimensionalité du problème implique qu’il est souhaitable de réduire la taille de l’espace de recherche en éliminant des solutions a priori impossibles. Ceci peut être réalisé en contraignant le processus de détermination de la posture de diverses manières. La majorité des récents travaux dans ce domaine a focalisé sur l’imposition de contraintes liées aux points de vue des caméras dans le but d’éliminer les solutions erronées. Quand les paramètres de calibration des caméras sont disponibles, ils présentent un outil extrêmement efficace pour éliminer les ambiguités, et ceci pas seulement dans le cadre de l’estimation de la posture, mais aussi lors de la reconstruction 3D et de la segmentation des données. Un gain en robustesse certain s’obtient en effet par l’application de telles contraintes, ce que nous démontrons dans le cadre de la capture de mouvement optique. Notre contribution dans ce domaine réside dans le fait d’avoir appliqué de telles contraintes de le manière consistante à chaque étape qu’implique le processus de capture de mouvement, c’est-à-dire la reconstruction des marqueurs et leur segmentation, suivies de l’estimation de la posture. Ces étapes sont rendues inter-dépendantes, chacune contraignant l’autre. Une approche plus indépendente vis-à-vis de l’application consiste à encoder des constraintes directement dans le modèle de corps humain utilisé, sous forme, par exemple, de limites sur les rotations des articulations. Ceci étant un axe de recherche quasiment inexploré, nos efforts ont principalement porté sur la mise au point d’une nouvelle méthode pour mesurer, représenter et appliquer de telles limites sur l’espace de mouvement d’une ou plusieurs articulations. A ce jour, les quelques rares représentations de limites articulaires existantes présentent de sérieux désavantages, appelant ainsi le besoin d’une formulation alternative. Le paradigme que nous proposons ne se contente pas de pallier ces inconvénients, mais permet aussi de capturer les dépendences intra- et inter-articulaires, celles-ci étant primordiales à une représentation réaliste des mouvements articulaires. L’espace de mouvement d’une articulation est défini par une surface implicite, son expression analytique nous permettant aisément de déterminer si une rotation est valable ou non. De plus, son caractère continu et différentiable nous fournit un moyen d’incorporer élégamment une telle contrainte dans un processus d’optimisation en vue d’estimer la posture. En appliquant une optimisation contrainte à notre modèle de corps humain et à des données stéréo extraites de séquences vidéo, nous démontrons la nette décroissance des erreurs d’estimation. Nous avons également integré notre représentation de limites articulaires dans des applications d’animation afin de montrer à quel point le mouvement peut être naturellement contraint de cette manière.