Faculté des sciences et techniques de l'ingénieur STI, Section de génie électrique et électronique, Institut de génie électrique et électronique IEL (Laboratoire de l'IDIAP LIDIAP)

Ensembles for sequence learning

Dimitrakakis, Christos ; Bourlard, Hervé (Dir.) ; Bengio, Sami (Dir.)

Thèse sciences Ecole polytechnique fédérale de Lausanne EPFL : 2006 ; no 3518.

Ajouter à la liste personnelle
    Summary
    This thesis explores the application of ensemble methods to sequential learning tasks. The focus is on the development and the critical examination of new methods or novel applications of existing methods, with emphasis on supervised and reinforcement learning problems. In both types of problems, even after having observed a certain amount of data, we are often faced with uncertainty as to which hypothesis is correct among all the possible ones. However, in many methods for both supervised and for reinforcement learning problems this uncertainty is ignored, in the sense that there is a single solution selected out of the whole of the hypothesis space. Apart from the classical solution of analytical Bayesian formulations, ensemble methods offer an alternative approach to representing this uncertainty. This is done simply through maintaining a set of alternative hypotheses. The sequential supervised problem considered is that of automatic speech recognition using hidden Markov models. The application of ensemble methods to the problem represents a challenge in itself, since most such methods can not be readily adapted to sequential learning tasks. This thesis proposes a number of different approaches for applying ensemble methods to speech recognition and develops methods for effective training of phonetic mixtures with or without access to phonetic alignment data. Furthermore, the notion of expected loss is introduced for integrating probabilistic models with the boosting approach. In some cases substantial improvements over the baseline system are obtained. In reinforcement learning problems the goal is to act in such a way as to maximise future reward in a given environment. In such problems uncertainty becomes important since neither the environment nor the distribution of rewards that result from each action are known. This thesis presents novel algorithms for acting nearly optimally under uncertainty based on theoretical considerations. Some ensemble-based representations of uncertainty (including a fully Bayesian model) are developed and tested on a few simple tasks resulting in performance comparable with the state of the art. The thesis also draws some parallels between a proposed representation of uncertainty based on gradient-estimates and on"prioritised sweeping" and between the application of reinforcement learning to controlling an ensemble of classifiers and classical supervised ensemble learning methods.
    Résumé
    Cette thèse explore l'application de méthodes d'ensemble à différentes tâches d'apprentissage séquentiel, ainsi qu'à leurs relations, en insistant sur les problèmes d'apprentissage supervisé et par renforcement. Elle se concentre sur le développement et l'examen critique de nouvelles méthodes ou de nouvelles applications des méthodes existantes. Dans ces deux types de problèmes, même après avoir observé une certaine quantité de données, on n'est souvent pas sûr de l'hypothèse correcte parmi les possibles. Cependant, dans beaucoup de méthodes pour problèmes supervisés et aussi par renforcement, cette incertitude est ignorée, dans le sens qu'il n'y a qu'une solution sélectionnée dans tout l'espace des hypothèses. En dehors de la solution classique offerte par la formulation bayésienne analytique, les méthodes d'ensemble offrent une approche alternative pour représenter cette incertitude. Cela se fait simplement en maintenant un ensemble d'hypothèses alternatives. Le problème séquentiel supervisé qui est considéré est la reconnaissance automatique de la parole par des modèles de Markov cachés. L'application de méthodes d'ensemble sur ce problème présente des difficultés en soi, puisque la plupart d'entre elles ne peuvent être facilement adaptées à des tâches d'apprentissage séquentiel. Cette thèse propose différentes approches pour appliquer des méthodes d'ensemble à la reconnaissance automatique de la parole, et ainsi développe des méthodes pour l'entraînement efficace des mélanges phonétiques avec ou sans accès des données pour l'alignement phonétique. De plus, une notion de perte attendue est introduite pour l'intégration des modèles probabilistes avec l'approche de boosting. Dans certains cas il y a des améliorations substantielles par rapport au système de base. Dans les problèmes d'apprentissage par renforcement le but est d'agir d'une manière qui maximise les récompenses futures dans un certain environnement. Dans ces problèmes, l'incertitude devient importante parce que ni l'environnement ni la distribution des récompenses ne sont connus. Cette thèse présente de nouveaux algorithmes pour agir de façon optimale en présence d'incertitude, basés sur des considérations théorétiques. Des représentations d'incertitude basées sur des méthodes d'ensemble sont développées et testées sur quelques tâches simples, avec une performance comparable à l'état de l'art. Le thèse fait aussi des parallèles entre les représentations d'incertitude proposées qui sont basées sur des estimations du gradient et le "prioritised sweeping", et aussi entre l'application d'apprentissage par renforcement sur le contrôle d'un ensemble des classificateurs et des méthodes d'apprentissage d'ensemble supervisées classiques.