Faculté informatique et communications IC, Section d'informatique, Institut des systèmes informatiques et multimédias ISIM

Spatial learning and navigation in the rat : a biomimetic model

Chavarriaga Lozano, Ricardo ; Gerstner, Wulfram (Dir.)

Thèse sciences Ecole polytechnique fédérale de Lausanne EPFL : 2005 ; no 3421.

Ajouter à la liste personnelle
    Summary
    Animals behave in different ways depending on the specific task they are required to solve. In certain cases, if a cue marks the goal location, they can rely on simple stimulusresponse associations. In contrast, other tasks require the animal to be endowed with a representation of space. Such a representation (i.e. cognitive map) allows the animal to locate itself within a known environment and perform complex target-directed behaviour. In order to efficiently perform, the animal not only should be able to exhibit these types of behaviour, but it should be able to select which behaviour is the most appropriate at any given task conditions. Neurophysiological and behavioural experiments provide important information on how such processes may take place in the rodent's brain. Specifically, place- and orientation sensitive cells in the rat Hippocampus have been interpreted as a neural substrate for spatial abilities related to the theory of the cognitive map proposed in the late 1940s by Tolman. Moreover, recent dissociation experiments using selectively located lesions, as well as pharmacological studies have shown that different brain regions may be involved in different types of behaviour. Accordingly, one memory system involving the hippocampus and the ventral striatum would be responsible for cognitive navigation, while navigation based on stimulus-response associations would be mediated by the dorsolateral striatum. Based on these studies, the aim of this work is to develop a neural network model of the spatial abilities of the rat. The model, based on functional properties and anatomical inter-connections of the brain areas involved in spatial learning should be able to establish a distributed representation of space composed of place-sensitive units. Such a representation takes into account both internal and external sensory information, and the model reproduces physiological properties of place cells such as changes in their directional dependence. Moreover, the spatial representation may be used to perform cognitive navigation. Modelled place cells drive an extra-hippocampal population of action-coding cells, allowing the establishment of place-response associations. These associations encoded in synaptic connections between place- and action-cells are modified by means of reinforcement learning. In a similar way, simple sensory input can be used to establish stimulus-response associations. These associations are encoded in a different set of action cells which corresponds to a different neural substrate encoding for non-cognitive navigation strategies (i.e. taxon or praxic). Both cognitive and non-cognitive navigation strategies compete for action control to determine the actual behaviour of the agent. Tests of the performance of the model show that it is able to establish a representation of space, and modelled place cells reproduce some physiological properties of their biological counterparts. Furthermore, the model reproduces goal-based behaviour based on both cognitive and non-cognitive strategies as well as behaviour in conflicting situations reported in experimental studies in animals.
    Résumé
    Les animaux sont capables d'adapter leur comportement selon la tâche spécifique qu'ils doivent accomplir. Face à des tâches de navigation (comme trouver de la nourriture, retourner au nid, etc.) ils peuvent utiliser différentes stratégies selon les informations disponibles. Lorsque le but est visible, l'animal peut utiliser une stratégie basée sur des associations du type stimulus-réponse (S-R). Dans d'autres situations, s'il n'existe aucune indication sensorielle de la position du but, l'animal doit utiliser une représentation spatiale. Une telle représentation (carte cognitive) permet à l'animal de se localiser dans l'environnement et d'accomplir des tâches spatiales plus complexes. L'animal doit non seulement être capable d'utiliser ces deux types de stratégies, mais il doit aussi pouvoir choisir laquelle est la plus appropriée en fonction du contexte environnemental. Les données issues de l'expérimentation neurobiologique chez le rat fournissent des informations importantes sur les structures du cerveau qui sont impliquées dans ces différentes stratégies. Les cellules de lieu dans l'hippocampe du rat semblent être la base neurologique de la carte cognitive comme proposée par Tolman dans les années 1940. De même, les données expérimentales suggèrent que si l'hippocampe est impliqué dans des tâches de navigation cognitive, il ne l'est pas dans les tâches de navigation basées sur des associations S-R. La partie dorsolatérale du striatum semble être impliquée dans ce type de navigation. L'objectif de cette thèse est de développer un modèle neuronal de l'apprentissage spatial chez le rat. Ce modèle, basé sur des données expérimentales (i.e. propriétés fonctionelles et interconnectivité des aires du cerveau impliquées dans ce type d'apprentissage) doit être capable de construire une représentation spatiale composée de cellules de lieu. L'activation de ces cellules dépendant d'informations allothétiques ainsi que d'informations idiothétiques. Cette représentation spatiale est la base d'un système de navigation cognitive, construit à partir d'associations entre la position spatiale et les différentes actions. Ces associations sont mis à jour en utilisant l'apprentissage par renforcement. D'une manière similaire, les associations entre stimulus sensoriels et actions sont apprises pour développer des stratégies de navigation non cognitives (S-R). Un processus de sélection entre les différents types de stratégies détermine l'action qui est finalement entreprise. Le modèle a été testé en simulation en utilisant des tâches semblables à celles utilisées dans l'expérimentation animale. Ces tests démontrent que le modèle est capable de construire une représentation spatiale et que les cellules de lieu générées ont des propriétés physiologiques similaires à celles des cellules de lieu trouvées chez le rat. De plus, le modèle reproduit des comportements issus de stratégies de navigation cognitives et non-cognitives. Enfin, il est capable de choisir quel type de stratégie doit être suivie selon les conditions environnementales.