German Title: Graphenbasierte Bewegungsverfolgung unter Verwendung affin-kovarianter Regionen

Preview

PDF, English Download (5MB) | Terms of use

Abstract

This thesis considers the task of spatial motion reconstruction from image sequences using a stereoscopic camera setup. In a variety of fields, such as flow analysis in physics or the measurement of oscillation characteristics and damping behavior in mechanical engineering, efficient and accurate methods for motion analysis are of great importance. This work discusses each algorithmic step of the motion reconstruction problem using a set of freely available image sequences. The presented concepts and evaluation results are of a generic nature and may thus be applied to a multitude of applications in various fields, where motion can be observed by two calibrated cameras. The first step in the processing chain of a motion reconstruction algorithm is concerned with the automated detection of salient locations (=features or regions) within each image of a given sequence. In this thesis, detection is directly performed on the natural texture of the observed objects instead of using artificial marker elements (as with many currently available methods). As one of the major contributions of this work, five well-known detection methods from the contemporary literature are compared to each other with regard to several performance measures, such as localization accuracy or the robustness under perspective distortions. The given results extend the available literature on the topic and facilitate the well-founded selection of appropriate detectors according to the requirements of specific target applications. In the second step, both spatial and temporal correspondences have to be established between features extracted from different images. With the former, two images taken at the same time instant but with different cameras are considered (stereo reconstruction) while with the latter, correspondences are sought between temporally adjacent images from the same camera instead (monocular feature tracking). With most classical methods, an observed object is either spatially reconstructed at a single time instant yielding a set of three-dimensional coordinates, or its motion is analyzed separately within each camera yielding a set of two-dimensional trajectories. A major contribution of this thesis is a concept for the unification of both stereo reconstruction and monocular tracking. Based on sets of two-dimensional trajectories from each camera of a stereo setup, the proposed method uses a graph-based approach to find correspondences not between single features but between entire trajectories instead. Thereby, the influence of locally ambiguous correspondences is mitigated significantly. The resulting spatial trajectories contain both the three-dimensional structure and the motion of the observed objects at the same time. To the best knowledge of the author, a similar concept does not yet exist in the literature. In a detailed evaluation, the superiority of the new method is demonstrated.

Translation of abstract (German)

Die vorliegende Arbeit behandelt das Problem der räumlichen Bewegungsrekonstruktion aus Bildsequenzen unter Verwendung eines stereoskopischen Kameraaufbaus. Die zuverlässige und genaue Bestimmung von Bewegungsparametern spielt eine bedeutende Rolle in einer Vielzahl von Anwendungsgebieten, z.B. der Analyse von Strömungsfeldern in der Physik oder der Messung von Schwingungscharakteristiken und des Dämpfungsverhaltens im Maschinenbau. Im Rahmen dieser Arbeit wird jeder Verarbeitungsschritt des Rekonstruktionsproblems anhand von frei verfügbaren Bildsequenzen diskutiert. Die vorgestellten Konzepte und die Untersuchungsergebnisse sind allgemeiner Natur und können daher auf eine Vielzahl von Anwendungsfällen übertragen werden, in denen die Beobachtung von Bewegung mittels zweier kalibrierter Kameras möglich ist. Der erste Schritt in der vorgestellten Verarbeitungskette befasst sich mit der automatischen Detektion geeigneter Merkmale (oder Regionen) in jedem Einzelbild einer Bildsequenz. Im Rahmen dieser Arbeit erfolgt dieser Schritt direkt auf Basis der Eigentextur der beobachteten Objekte, d.h. es werden keine künstlichen Messmarken oder sonstige Markierungselemente verwendet. Als ein wesentlicher Beitrag dieser Arbeit werden fünf populäre Detektionsmethoden aus der Literatur hinsichtlich verschiedener Leistungskriterien miteinander verglichen. Diese beinhalten z.B. die Positionsgenauigkeit der detektierten Merkmale und deren Robustheit gegenüber perspektivischen Verzerrungen des Bildinhaltes. Die umfangreichen Untersuchungsergebnisse ergänzen die vorhandene Literatur zum Thema und ermöglichen die wohlbegründete Auswahl eines geeigneten Detektionsverfahrens anhand der Erfordernisse einer Zielapplikation. Im zweiten Schritt werden sowohl räumliche als auch zeitliche Korrespondenzen zwischen Merkmalen aus verschiedenen Bildern extrahiert. Erstere werden aus Bilddaten gewonnen, die zum gleichen Zeitpunkt von unterschiedlichen Kameras erzeugt wurden (Stereorekonstruktion). Letztere hingegen stammen aus zeitlich benachbarten Bildern der gleichen Bildsequenz, d.h. die Aufnahme erfolgt unter Verwendung einer einzelnen Kamera (monokulare Merkmalsverfolgung). Die meisten klassischen Methoden befassen sich entweder mit der dreidimensionalen Rekonstruktion eines Objektes zu einem Zeitpunkt oder mit der Analyse dessen zweidimensionaler Bewegung. Ein weiterer Beitrag dieser Arbeit besteht in einem Konzept zur Vereinigung von Stereorekonstruktion und monokularer Merkmalsverfolgung. Dieses beinhaltet im Kern einen graphenbasierten Ansatz zur Korrespondenzanalyse, der anstelle von Einzelmerkmalen aus zwei Bildern zweidimensionale Merkmalstrajektorien aus mehreren Bildern als Datenbasis verwendet. Hierdurch wird der Einfluss von Mehrdeutigkeiten deutlich gesenkt. Ergebnisse dieses Verarbeitungsschrittes sind sowohl die räumliche Struktur des beobachteten Objektes als auch dessen Bewegung. Nach Kenntnis des Autors existiert in der Literatur derzeit kein vergleichbares Verfahren. Die Leistungsfähigkeit der neuen Methode wird anhand von detaillierten Untersuchungen demonstriert.