German Title: Behandlung von Artefakten in dynamischen Sequenzen von Tiefenbildern

Preview

PDF, English - main document Download (13MB) | Lizenz: Handling Artifacts in Dynamic Depth Sequences by Gottfried, Jens-Malte underlies the terms of Creative Commons Attribution-NonCommercial-NoDerivatives 3.0 Germany

Abstract

Image sequences of dynamic scenes recorded using various depth imaging devices and handling the artifacts arising within are the main scope of this work. First, a framework for range flow estimation from Microsoft’s multi-modal imaging device Kinect is presented. All essential stages of the flow computation pipeline, starting from camera calibration, followed by the alignment of the range and color channels and finally the introduction of a novel multi-modal range flow algorithm which is robust against typical (technology dependent) range estimation artifacts are discussed. Second, regarding Time-of-Flight data, motion artifacts arise in recordings of dynamic scenes, caused by the sequential nature of the raw image acquisition process. While many methods for compensation of such errors have been proposed so far, there is still a lack of proper comparison. This gap is bridged here by not only evaluating all proposed methods, but also by providing additional insight in the technical properties and depth correction of the recorded data as base-line for future research. Exchanging the tap calibration model necessary for these methods by a model closer to reality improves the results of all related methods without any loss of performance.

Translation of abstract (German)

Bildsequenzen bewegter Szenen, aufgenommen mit verschiedenen Tiefenkameras, die dabei auftretenden Artefakte und deren Handhabung sind das übergreifende Thema dieser Arbeit. Zunächst wird ein Verfahren zur Bestimmung des Tiefenflusses auf Daten der Kinect Kamera von Microsoft vorgestellt. Alle wichtigen Schritte, beginnend mit der Kamerakalibrierung über die Ausrichtung der Tiefen- und Bilddaten bis zur Einführung eines neuartigen multi-modalen Tiefenflussalgorithmus, der sich robust gegenüber typischen (technologiebedingten) Artefakten verhält, werden dabei behandelt. Anschließend werden Daten aus Lichtlaufzeitkameras und die Bewegungsartefakte, die durch die sequenzielle Natur des Aufnahmeprozesses hervorgerufen werden, betrachtet. Bisher wurden viele Methoden vorgeschlagen, solche Fehler zu beheben, allerdings gibt es noch keinen aussagekräftigen Vergleich. Dies wird hier behoben, indem nicht nur die Ergebnisse der vorhandenen Methoden verglichen, sondern zusätzlich auch technische Eigenschaften und eine nötige Tiefenkorrektur der aufgenommenen Daten als Basis für zukünftige Forschung beleuchtet werden. Ein Austausch des Kalibrierungsmodells der verschiedenen Aufnahmeeinheiten auf dem Sensor, das von den vorgestellten Methoden gebraucht wird, durch ein anderes, das die Realität besser widerspiegelt, verbessert die Ergebnisse aller damit zusammenhängenden Methoden ohne Leistungseinbußen.