Faculté informatique et communications IC, Section d'informatique, Institut des systèmes informatiques et multimédias ISIM (Laboratoire de réalité virtuelle VRLAB)

Simulation of nonverbal social interaction and small groups dynamics in virtual environments

Guye-Vuillème, Anthony ; Thalmann, Daniel (Dir.)

Thèse sciences Ecole polytechnique fédérale de Lausanne EPFL : 2004 ; no 2933.

Add to personal list
    Summary
    How can the behaviour of humans who interact with other humans be simulated in virtual environments? This thesis investigates the issue by proposing a number of dedicated models, computer languages, software architectures, and specifications of computational components. It relies on a large knowledge base from the social sciences, which offers concepts, descriptions, and classifications that guided the research process. The simulation of nonverbal social interaction and group dynamics in virtual environments can be divided in two main research problems: (1) an action selection problem, where autonomous agents must be made capable of deciding when, with whom, and how they interact according to individual characteristics of themselves and others; and (2) a behavioural animation problem, where, on the basis of the selected interaction, 3D characters must realistically behave in their virtual environment and communicate nonverbally with others by automatically triggering appropriate actions such as facial expressions, gestures, and postural shifts. In order to introduce the problem of action selection in social environments, a high-level architecture for social agents, based on the sociological concepts of role, norm, and value, is first discussed. A model of action selection for members of small groups, based on proactive and reactive motivational components, is then presented. This model relies on a new tagbased language called Social Identity Markup Language (SIML), allowing the rich specification of agents' social identities and relationships. A complementary model controls the simulation of interpersonal relationship development within small groups. The interactions of these two models create a complex system exhibiting emergent properties for the generation of meaningful sequences of social interactions in the temporal dimension. To address the issues related to the visualization of nonverbal interactions, results are presented of an evaluation experiment aimed at identifying the application requirements through an analysis of how real people interact nonverbally in virtual environments. Based on these results, a number of components for MPEG-4 body animation, AML — a tag-based language for the seamless integration and synchronization of facial animation, body animation, and speech — and a high-level interaction visualization service for the VHD++ platform are described. This service simulates the proxemic and kinesic aspects of nonverbal social interactions, and comprises such functionalities as parametric postures, adapters and observation behaviours, the social avoidance of collisions, intelligent approach behaviours, and the calculation of suitable interaction distances and angles.
    Résumé
    Comment simuler dans les environnements virtuels le comportement d'humains en interaction avec d'autres humains ? Cette thèse contribue à l'avancement de la recherche dans ce domaine en proposant différents modèles comportementaux, languages, architectures et composants logiciels. Les contributions présentées sont fortement basées sur l'apport des sciences sociales, qui, par les concepts, descriptions et classifications qu'elles proposent, ont guidé le processus de recherche et de développement. La simulation des interactions sociales non-verbales et de la dynamique des groupes restreints dans les environnements virtuels peut être divisée en deux problèmes principaux: (1) un problème de sélection d'action, qui consiste à permettre à des agent autonomes de décider quand, avec qui, et comment ils interagissent, en fonction de leurs caractéristiques et de celles des autres agents, (2) un problème d'animation comportementale, qui consiste à représenter visuellement de manière réaliste, à partir des types d'interaction sélectionnés, les comportements des personnages virtuels en générant un flux d'animations faciales et corporelles appropriées. Afin d'introduire le problème de la sélection d'action dans un contexte social, une architecture de haut niveau pour agents sociaux, basée sur les concepts sociologiques de rôle, norme et valeur, est tout d'abord discutée. Un modèle de sélection d'action applicable aux membres de groupes restreints, comprenant des composants aussi bien réactifs que proactifs, est ensuite présenté. Ce modèle est basé sur SIML, un language de type XML developpé pour permettre la spécification aisée de différentes identités sociales. Un second modèle simule l'évolution des relations interpersonnelles au sein des groupes restreints. Les interactions de ces deux modèles créent un système complexe ayant des propriétés émergentes, permettant la génération de séquences d'interactions réalistes dans le temps. Pour déterminer les besoins en termes de fonctionnalités liés à la visualisation des interactions non-verbales, les résultats d'une évaluation qualitative de la manière dont des sujets réels agissent entre eux dans le contexte d'un environnement virtuel sont tout d'abord présentés. Un certain nombre de composants pour le standard d'animation MPEG-4, AML — un language permettant l'intégration et la synchronisation d'animations faciales, corporelles et de la synthèse de parole, ainsi qu'une service de visualisation d'interactions non-verbales pour la plateforme logicielle VHD++ sont ensuite décrits. Il est expliqué comment ce service permet la simulation des aspects kinésiques et proxémiques des interactions sociales, comprenant entre autre la génération automatique de postures et de comportements d'observation, l'évitement social de collision, des trajectoires d'approche intelligentes, et le positionnement adéquat des participants aux interactions en termes de distance et d'orientation.