Faculté des sciences et techniques de l'ingénieur STI, Section de génie électrique et électronique, Institut de traitement des signaux ITS (Laboratoire de traitement des signaux 1 LTS1)

Full-reference objective quality metrics for video watermarking, video segmentation and 3D model watermarking

Drelie Gelasca, Elisa ; Ebrahimi, Touradj (Dir.)

Thèse sciences Ecole polytechnique fédérale de Lausanne EPFL : 2005 ; no 3411.

Ajouter à la liste personnelle
    Summary
    Quality assessment is a central issue in the design, implementation, and performance testing of all systems. Digital signal processing systems generally deal with visual information that are meant for human consumption. An image, a video, or a 3D model may go through different stages of processing before being presented to a human observer, and each stage of processing may introduce distortions that could reduce the quality of the final display. To conceive quantitative metrics that can automatically predict the perceived quality, the way humans perceive such distortions has to be taken into account and can be greatly beneficial for quality assessment. In general, an objective quality metric plays an important role in a broad range of applications, such as visual information acquisition, compression, analysis and watermarking. Quality metrics can be used to optimize algorithm parameter settings and to benchmark different processing systems and algorithms. In this dissertation, new objective quality metrics that take into account how distortions are perceived, are proposed and three different signal processing systems are considered: video watermarking, video object segmentation and 3D models watermarking. First, two new objective metrics for watermarked video quality assessment are proposed. Based on several different watermarking algorithms and video sequences, the most predominant distortions are identified as spatial noise and temporal flicker. Corresponding metrics are designed and their performance is tested through subjective experiments. Second, the problem of video object segmentation quality evaluation is discussed, proposing both subjective evaluation methodology and perceptual objective quality metric. Since a perceptual metric requires a good knowledge of the kinds of artifacts present in segmented video objects, the most typical artifacts are synthetically generated. Psychophysical experiments are carried out to study the perception of individual artifacts by themselves or combined. A new metric is proposed by combining the individual artifacts using the Minkowski metric and a linear model. An in-depth evaluation of the performance of the proposed method is carried out. The obtained perceptual metric is also used to benchmark different video object segmentation techniques for general frameworks as well as specific applications, ranging from object-based coding to video surveillance. Third, two novel metrics for watermarked 3D model quality assessment are proposed on the basis of two subjective experiments. The first psychophysical experiment is carried out to investigate the perception of distortions caused by watermarking 3D models. Two roughness estimation metrics have been devised to perceptually measure the amount of visual distortions introduced on the model's surface. The second psychophysical experiment is conducted in order to validate the two proposed metrics with other watermarking algorithms. All of the proposed metrics for the three kinds of visual information processing systems are based on the results of the psychophysical experiments. Subjective tests are carried out to study and characterize the impact of distortions on human perception. An evaluation of the performance of these perceptual metrics with respect to the most common state of the art objective metrics is performed. The comparison shows a better performance of the proposed perceptual metrics than that of the state of the art metrics. The performance is investigated in terms of correlation with subjective opinion. The results demonstrate that including the perception of distortions in objective metrics is a reliable approach and improve the performance of such metrics.
    Résumé
    Le contrôle de qualité est un problème essentiel dans l'implémentation, la conception et les tests de performance de tout système. L'analyse du signal numérique traite généralement d'information visuelle destinée à l'oeil humain. Avant d'être présenté à l'oeil humain, une image, une vidéo ou un modèle 3D passe par différentes étapes de traitement, ce qui conduit à ajouter d'une étape à l'autre des distorsions qui peuvent altérer la qualité du signal final. Afin de développer une métrique quantitative qui peut automatiquement évaluer la qualité perçue, la manière dont sont perçues les distorsions par l'oeil humain doit être prise en compte et peut s'avérer très bénéfique pour le contrôle de qualité. En général une mesure objective de qualité peut jouer un rôle important sur une grande variété d'applications telles que l'acquisition, la compression, l'analyse et le tatouage numérique d'informations visuelles. Les mesures de qualité peuvent être utilisées d'une part pour optimiser le réglage de paramètres de l'algorithme et d'autre part pour tester et évaluer différents algorithmes et systèmes de traitement. Dans ce mémoire, on propose de nouvelles mesures objectives de qualité qui prennent en compte la perception humaine des distorsions. On considérera dans cette thèse différents systèmes de traitement du signal: tatouage numérique vidéo, segmentation d'objet vidéo et des modèles de tatouage numérique 3D. Dans un premier temps, deux nouvelles mesures pour le contrôle de qualité du tatouage numérique vidéo sont proposées. En se basant sur différents algorithmes de tatouage numérique et de séquences vidéo, les distorsions prédominantes sont issues du bruit spatial et temporel. Ces mesures sont construites et leur performance est testée à travers des expériences subjectives. En deuxième lieu, l'évaluation de la qualité de la segmentation d'objet vidéo est discutée à l'aide d'une méthodologie d'évaluation subjective et une mesure de qualité perceptuelle objective. Sachant qu'une mesure perceptuelle demande une bonne connaissance des types d'artéfact présents dans l'objet vidéo segmenté, quatre des artéfacts les plus courants sont générés synthétiquement. Des expériences psychophysiques sont menées pour l'étude de la perception d'artéfacts isolés ou combinés. La mesure perceptuelle est testée sur différentes techniques de segmentation d'objet vidéo que ce soit dans un cadre général ou dans des applications plus spécifiques allant du codage basé objet à la vidéo surveillance. Pour terminer, deux nouvelles mesures de contrôle de qualité pour les modèles 3D de tatouage numérique, basées sur des expériences subjectives, sont proposées. La première expérience psychophysique est menée pour étudier la perception des distorsions causées par les modèles de tatouage numérique 3D. Deux métriques grossières d'estimation ont été élaborées pour mesurer perceptuellement la quantité de distorsion visuelle introduite sur la surface du modèle. La deuxième expérience psychophysique valide les deux métriques proposées avec d'autres algorithmes de tatouages numériques. Toutes les métriques proposées pour les trois types de systèmes de traitement d'information visuelle sont basées sur les résultats d'expériences psychophysiques. Les tests subjectifs sont réalisés pour étudier et caractériser l'impact des distorsions sur la perception humaine. On réalise l'évaluation de la performance de ces métriques perceptuelles par rapport à l'état de l'art. L'étude comparative montre une meilleure performance des métriques perceptuelles proposées dans cette thèse par rapport à l'état de l'art. On évalue la performance en terme de corrélation avec l'opinion subjective. Les résultats démontrent que l'approche consistant à inclure la perception des distorsions dans les métriques objectives est fiable.