Faculté informatique et communications IC, Section des systèmes de communication, Institut de systèmes de communication ISC (Laboratoire de communications audiovisuelles LCAV)

Binaural localization and separation techniques

Viste, Harald ; Vetterli, Martin (Dir.) ; Evangelista, Gianpaolo (Dir.)

Thèse sciences Ecole polytechnique fédérale de Lausanne EPFL : 2004 ; no 3043.

Ajouter à la liste personnelle
    Summary
    Abstract Based on binaural signals, i.e. the signals observed at the two ears, a listener can localize and recognize different sound sources and then focus on one of these. For decades, researchers have tried to invent a machine that can do the same under similar conditions. Despite all the efforts, the human auditory system is, by far, superior to any machine that has been devised. The topic of this thesis is computational techniques for the localization and separation of sources in binaural signals. In order to give an overview of different areas of research that have considered the problems of source localization and separation, we start with a review of existing techniques. This provides the background for the techniques that we propose subsequently. Binaural Localization The most important cues for localization of sound sources in binaural signals are the level and time differences between the ears. We propose a technique for the joint evaluation of these cues where noisy level difference estimates are combined with less noisy but ambiguous time difference estimates in order to provide accurate azimuth estimates. The proposed technique enables the localization of sources and the tracking of these in dynamic scenes. Head model Based on a study of the level and time differences as function of azimuth angle for different heads, we propose a generic model that is parametrized by the distance between the ears only. This enables the use of the binaural localization technique mentioned above for a listener whose head related transfer functions have not been measured. Binaural separation For the separation of sources we propose a method based on spatial windowing in the azimuth parameter space. Separation of overlapping partials Finally, we propose a technique for the separation of overlapping partials in mixtures of harmonic instruments. The technique is based on the similarity of temporal envelopes between the different partials of a harmonic note.
    Résumé
    A partir des signaux observés avec les oreilles, une personne peut localiser et reconnaître différentes sources puis se concentrer sur l'une d'elle. Depuis des siècles les chercheurs ont essayé d'inventer une machine qui peut faire la même chose sous les mêmes conditions. Malgré tous leurs efforts, les machines sont toujours loin de la performance du système auditif humain. Le sujet de cette thèse concerne les techniques numeriques pour la localisation et la séparation de sources sonores dans les signaux observés avec nos deux oreilles. Afin de donner une vue générale sur différents domaines de recherche qui traitent des problèmes de localisation et de séparation, nous donnons d'abord une présentation des différentes techniques existantes. Celles-ci forment la base des techniques que nous proposons dans les chapitres suivants. Localisation Pour la localisation des sources, les différences de temps et de puissance entre les oreilles sont les informations les plus importantes. Afin d'estimer précisément les angles d'arrivé, nous proposons une technique pour leur évaluation commune. Cette technique permet de localiser des sources, et de les suivre dans les scènes dynamiques. Modèles des différences de temps et de puissance entre les oreilles Après une étude de ces différences pour plusieurs sujets dans une base de données dont les HRTFs ont été mesurés, nous proposons un modèle générique qui permet la localisation des sources pour des personnes dont les HRTFs n'ont pas été mesurés. Séparation Afin de séparer les sources nous présentons une technique de fenêtrage dans l'espace des paramètres spatiaux. Harmoniques superposés Finalement, nous attaquons le problème de sources dont les énergies en temps-fréquence se superposent. Pour les instruments harmoniques nous proposons une technique pour la separation des harmoniques superposés qui se base sur la similitude des enveloppes temporelles.