Université de Fribourg

Frameworks, description languages and fusion engines for multimodal interactive systems

Dumas, Bruno ; Lalanne, Denis (Dir.)

Thèse de doctorat : Université de Fribourg, 2010 ; no. 1695.

Le domaine de l’interaction multimodale a pris beaucoup d’importance lors de cette dernière décennie, du fait de la création et de la mise sur le marché de nombreuses interfaces novatrices, ainsi que de l’évolution de domaines de recherche tels que la reconnaissance vocale. Cependant, la fusion et la combinaison de modalités n’ont pas évolué avec la même vigueur, aboutissant à...

Université de Fribourg

Description languages for multimodal interaction : a set of guidelines and its illustration with SMUIML

Dumas, Bruno ; Lalanne, Denis ; Ingold, Rolf

In: Journal on multimodal user interfaces, 2010, vol. 3, no. 3, p. 237-247

This article introduces the problem of modeling multimodal interaction, in the form of markup languages. After an analysis of the current state of the art in multimodal interaction description languages, nine guidelines for languages dedicated at multimodal interaction description are introduced, as well as four different roles that such language should target: communication, configuration,...