Faculté informatique et communications IC, Section des systèmes de communication, Institut de systèmes de communication ISC (Laboratoire de communications audiovisuelles 1 LCAV1)

Super-resolution from unregistered aliased images

Vandewalle, Patrick ; Vetterli, Martin (Dir.) ; Süsstrunk, Sabine (Dir.)

Thèse sciences Ecole polytechnique fédérale de Lausanne EPFL : 2006 ; no 3591.

Ajouter à la liste personnelle
    Summary
    Aliasing in images is often considered as a nuisance. Artificial low frequency patterns and jagged edges appear when an image is sampled at a too low frequency. However, aliasing also conveys useful information about the high frequency content of the image, which is exploited in super-resolution applications. We use a set of input images of the same scene to extract such high frequency information and create a higher resolution aliasing-free image. Typically, there is a small shift or more complex motion between the different images, such that they contain slightly different information about the scene. Super-resolution image reconstruction can be formulated as a multichannel sampling problem with unknown offsets. This results in a set of equations that are linear in the unknown signal coefficients but nonlinear in the offsets. This thesis concentrates on the computation of these offsets, as they are an essential prerequisite for an accurate high resolution reconstruction. If a part of the image spectra is free of aliasing, the planar shift and rotation parameters can be computed using only this low frequency information. In such a case, the images can be registered pairwise to a reference image. Such a method is not applicable if the images are undersampled by a factor of two or larger. A higher number of images needs to be registered jointly. Two subspace methods are discussed for such highly aliased images. The first approach is based on a Fourier description of the aliased signals as a sum of overlapping parts of the spectrum. It uses a rank condition to find the correct offsets. The second one uses a more general expansion in an arbitrary Hilbert space to compute the signal offsets. The sampled signal is represented as a linear combination of sampled basis functions. The offsets are computed by projecting the signal onto varying subspaces. Under certain conditions, in particular for bandlimited signals, the nonlinear super-resolution equations can be written as a set of polynomial equations. Using Buchberger's algorithm, the solution can then be computed as a Gröbner basis for the corresponding polynomial ideal. After a description of a standard algorithm, adaptations are made for the use with noisy measurements. The techniques presented in this thesis are tested in simulations and practical experiments. The experiments are performed on sets of real images taken with a digital camera. The results show the validity of the algorithms: registration parameters are computed with subpixel precision, and aliasing is accurately removed from the resulting high resolution image. This thesis is produced according to the concepts of reproducible research. All the results and examples used in this thesis are reproducible using the code and data available online.
    Résumé
    En imagerie numérique, le repliement spectral est souvent considéré comme un défaut. Quand une image est échantillonnée à une fréquence trop basse, des basses fréquences artificielles et des bords en escalier apparaissent. Cependant, le repliement spectral contient de l'information utile sur le contenu à haute fréquence de l'image, qui peut être exploité dans les applications de super-résolution. Une série d'images de la même scène est utilisée pour extraire cette information à haute fréquence et construire une image à résolution plus élevée, ne contenant plus de repliement spectral. Typiquement, les images diffèrent par un léger décalage ou un mouvement plus complexe et présentent des informations légèrement différentes sur la scène. La reconstruction d'images super-résolution peut être formulée comme un problème d'échantillonnage multi-canaux avec décalages inconnus. Cette formulation fournit une série d'équations linéaires pour les coefficients inconnus du signal mais non linéaires pour les décalages. Cette thèse se concentre sur le calcul de ces décalages, car ils sont nécessaires pour une précise reconstruction à haute résolution. Si une partie du spectre de l'image ne contient pas de repliement spectral, les paramètres de décalage et de rotation planaires peuvent être obtenus en utilisant uniquement l'information à basse fréquence. Dans un tel cas, les images peuvent être alignées deux par deux par rapport à une image de référence. Une telle méthode n'est pas utilisable si les images sont sous-échantillonnées par un facteur de deux ou plus. Un plus grand nombre d'images doivent être alignées simultanément. Deux méthodes sont présentées qui utilisent des sous-espaces pour aligner ces images fortement sous-échantillonnées. La première méthode est fondée sur une description du signal sous-échantillonné dans la base de Fourier comme une somme de différentes parties superposées du spectre. Elle utilise le rang d'une matrice pour trouver les paramètres. La deuxième méthode utilise une expansion du signal dans un espace de Hilbert pour calculer les paramètres d'alignement. Le signal échantillonné est représenté comme une combinaison linéaire des fonctions de base elles aussi échantillonnées. Les paramètres d'alignement sont calculés en projetant le signal sur des sous-espaces. Sous certaines conditions, les équations non-linéaires de super-résolution peuvent être écrites comme une série d'équations polynomiales. La solution peut alors être obtenue avec l'algorithme de Buchberger qui calcule une base de Gröbner pour l'idéal polynomial correspondant à ces équations. Après la description de l'algorithme de base, des adaptations sont proposées pour son utilisation lorsque les mesures sont bruitées. Les techniques présentées dans cette thèse ont été testées par simulations et expériences pratiques faites sur des séries d'images prises avec un appareil photographique numérique. Les résultats prouvent la validité des algorithmes: les paramètres d'alignement sont calculés avec une précision sous-pixélique, et l'image reconstruite à haute résolution ne contient plus de repliement spectral. Cette thèse est générée selon les principes de la recherche reproductible. Tous les résultats et les exemples dans cette thèse sont reproductibles avec le code et les données disponibles en ligne.