Faculté de l'environnement naturel, architectural et construit ENAC, Section des sciences et ingénierie de l'environnement (Laboratoire de topométrie TOPO)

Development of a robotic mobile mapping system by vision-aided inertial navigation : a geomatics approach

Bayoud, Fadi Atef ; Merminod, Bertrand (Dir.)

Thèse sciences Ecole polytechnique fédérale de Lausanne EPFL : 2005 ; no 3440.

Ajouter à la liste personnelle
    Summary
    Vision-based inertial-aided navigation is gaining ground due to its many potential applications. In previous decades, the integration of vision and inertial sensors was monopolised by the defence industry due to its complexity and unrealistic economic burden. After the technology advancement, high-quality hardware and computing power became reachable for the investigation and realisation of various applications. In this thesis, a mapping system by vision-aided inertial navigation was developed for areas where GNSS signals are unreachable, for example, indoors, tunnels, city canyons, forests, etc. In this framework, a methodology on the integration of vision and inertial sensors was presented, analysed and tested when the only available information at the beginning is a number of features with known location/coordinates (with no GNSS signals accessibility), thus employing the method of "SLAM: Simultaneous Localisation And Mapping". SLAM is a term used in the robotics community to describe the problem of mapping the environment and at the same time using this map to determine (or to help in determining) the location of the mapping device. In addition to this, a link between the robotics and geomatics community was established where briefly the similarities and differences were outlined in terms of handling the navigation and mapping problem. Albeit many differences, the goal is common: developing a "navigation and mapping system" that is not bounded to the limits imposed by the used sensors. Classically, terrestrial robotics SLAM is approached using LASER scanners to locate the robot relative to a structured environment and to map this environment at the same time. However, outdoors robotics SLAM is not feasible with LASER scanners alone due to the environment's roughness and absence of simple geometric features. Recently in the robotics community, the use of visual methods, integrated with inertial sensors, has gained an interest. These visual methods rely on one or more cameras (or video) and make use of a single Kalman Filter with a state vector containing the map and the robot coordinates. This concept introduces high non-linearity and complications to the filter, which then needs to run at high rates (more than 20 Hz) with simplified navigation and mapping models. In this study, SLAM is developed using the Geomatics Engineering approach. Two filters are used in parallel: the Least-Squares Adjustment (LSA) for feature coordinates determination and the Kalman Filter (KF) for navigation correction. For this, a mobile mapping system (independent of GPS) is introduced by employing two CCD cameras (one metre apart) and one IMU. Conceptually, the outputs of the LSA photogrammetric resection (position and orientation) are used as the external measurements for the inertial KF. The filtered position and orientation are subsequently employed in the Photogrammetric intersection to map the surrounding features that are used as control points for the resection in the next epoch. In this manner, the KF takes the form of a navigation only filter, with a state vector containing the corrections to the navigation parameters. This way, the mapping and localisation can be updated at low rates (1 to 2 Hz) and use more complete modelling. Results show that this method is feasible with limitation induced from the quality of the images and the number of used features. Although simulation showed that (depending on the image geometry) determining the features' coordinates with an accuracy of 5-10 cm for objects at distances of up to 10 metres is possible, in practice this is not achieved with the employed hardware and pixel measurement techniques. Navigational accuracies depend as well on the quality of the images and the number and accuracy of the points used in the resection. While more than 25 points are needed to achieve centimetre accuracy from resection, they have to be within a distance of 10 metres from the cameras; otherwise, the resulting resection output will be of insufficient accuracy and further integration quality deteriorates. The initial conditions highly affect SLAM performance; these are the method of IMU initialisation and the a-priori assumptions on error distribution. The geometry of the system will furthermore have a consequence on possible applications. To conclude, the development consisted in establishing a mathematical framework, as well as implementing methods and algorithms for a novel integration methodology between vision and inertial sensors. The implementation and validation of the software have presented the main challenges, and it can be considered the first of a kind where all components were developed from scratch, with no pre-existing modules. Finally, simulations and practical tests were carried out, from which initial conclusions and recommendations were drawn to build upon. It is the author's hope that this work will stimulate others to investigate further this interesting problem taking into account the conclusions and recommendations sketched herein.
    Résumé
    La navigation inertielle assistée par l'imagerie progresse grâce à ses nombreuses applications potentielles. Au cours des dernières décennies, l'intégration de capteurs inertiels et vidéo fut le monopole de l'industrie militaire, en raison de sa complexité et de son coût élevé. Avec les avancées technologiques, davantage de moyens devinrent accessibles pour la recherche et pour la réalisation d'applications variées. Dans cette thèse, un système de cartographie par navigation inertielle assistée par imagerie fut développé pour des zones où les signaux satellitaires sont hors de portée, par exemple : à l'intérieur de bâtiments, dans des tunnels, des canyons urbains, des forêts, etc… Dans ce cadre, une méthodologie sur l'intégration de capteurs inertiels et vidéo fut présentée, analysée et testée lorsque la seule information disponible au départ est un ensemble de points connus en coordonnées (sans disponibilité de signaux satellitaires), en utilisant la méthode de la localisation et de la cartographie simultanées (SLAM). Cet acronyme est utilisé dans le domaine de la robotique pour décrire la problématique de la cartographie de l'environnement en utilisant cette carte pour déterminer (ou tout au moins aider à déterminer) la position de la plateforme cartographique. En outre, un lien entre les communautés de la géomatique et de la robotique fut établi tout en soulignant les similarités et les différences avec lesquelles les dites communautés traitent le problème de la cartographie et de la navigation. En dépit de nombreuses divergences, leur but est unique : le développement d'un système de navigation et de cartographie qui n'est pas limité par des contraintes imposées par les capteurs utilisés. Traditionnellement, l'implémentation du SLAM en robotique terrestre implique l'utilisation de scanners laser pour localiser un robot dans un environnement construit, et pour cartographier cet environnement en même temps. Cependant, le SLAM de la robotique n'est pas réalisable en extérieur avec les seuls scanners laser, en raison de la complexité de cet environnement et de l'absence d'éléments géométriques simples. Dans la communauté de la robotique, l'utilisation de l'imagerie, intégrée avec des capteurs inertiels, a récemment connu un regain d'intérêt. Ces méthodes visuelles reposent sur (au moins un) appareil photo numérique ou une caméra vidéo, et utilisent un seul filtre de Kalman dont le vecteur d'état contient les coordonnées de la carte et du robot. Ce concept introduit une forte non-linéarité et complique le filtre, qui doit être exécuté à une fréquence élevée (plus de 20 Hz) avec des modèles de navigation et de carte simplifiés. Dans cette étude, le SLAM est implémenté selon la stratégie de l'ingénierie géomatique. Deux filtres sont déployés en parallèle : l'ajustement par moindres carrés pour la détermination des coordonnées des éléments d'intérêt, et le filtre de Kalman pour la navigation. Pour ce faire, on introduit un système de cartographie mobile (indépendant de GPS) qui emploie deux caméras CCD (distantes de 1 m) et une plateforme inertielle. Du point de vue conceptuel, les résultats d'un relèvement photogrammétrique à l'issue d'un ajustement par moindres carrés (position et orientation) sont utilisés comme mesures externes du filtre de Kalman. Les position et orientation filtrées sont ensuite utilisées dans une intersection stéréoscopique compensée pour cartographier les éléments environnants qui sont utilisés comme points de contrôle pour le relèvement à la prochaine époque. De cette manière, le filtre de Kalman est uniquement dédié à la navigation, avec un vecteur d'état contenant les corrections des paramètres de navigation. Ainsi, la localisation et la cartographie peuvent être mises à jour à des fréquences moindres (1 à 2 Hz) et reposer sur une modélisation plus aboutie. Les résultats obtenus démontrent que cette méthode est exploitable sans subir les limitations liées à la qualité des images et au nombre d'éléments utilisés. Bien que la simulation montre la possibilité de déterminer (en fonction de la géométrie de l'image) les coordonnées d'éléments d'intérêt avec une précision de 5 à 10 cm pour des objets distants d'au plus 10 m, en pratique, cela n'est pas réalisé avec le matériel et la technique de mesure pixellaire employés. La précision de la navigation dépend aussi bien de la qualité des images que du nombre et de la précision des points utilisés dans le relèvement. Plus de 25 points sont nécessaires pour atteindre une précision centimétrique par relèvement, et ils doivent être choisis dans une zone de 10 m autour des caméras ; sinon, les résultats du relèvement auront une précision insuffisante et l'intégration ultérieure se détériorera rapidement. Les conditions initiales surtout affectent significativement les performances du SLAM ; ces sont les méthodes d'initialisation de la plateforme inertielle et les hypothèses sur la distribution des erreurs. La géométrie du système aura en outre une conséquence sur les applications possibles. Pour conclure, le développement a consisté en la définition d'un cadre mathématique, de méthodes d'implémentation et d'algorithmes concernant une technologie d'intégration novatrice entre des capteurs inertiels et vidéo. Les principaux défis résidèrent dans l'implémentation et la validation du logiciel développé. Ce dernier peut être considéré comme le précurseur d'une nouvelle catégorie : il fut écrit à l'aide d'un code totalement original, sans recours à des modules préexistants. Finalement, la réalisation de simulations et de tests pratiques a conduit à l'émission de conclusions liminaires et de recommandations. L'auteur souhaite vraiment que ce travail stimule une recherche approfondie dans cette problématique intéressante, tenant compte des conclusions et des recommandations ébauchées ici.