German Title: Dynamische variationelle Methoden zur Bewegungsschätzung und Bilddatenrekonstruktion in Bildfolgen unter Verwendung von physikalischem Vorwissen

Preview

PDF, English (Stahl Dissertation 2009) Download (9MB) | Terms of use

Abstract

Diese Arbeit ist einzureihen in das Wissenschaftsgebiet der Bildverarbeitung, das sich unter anderem mit der Analyse von Bildfolgen befaßt. Wir sind daran interessiert neue Ansätze zur Bewegungsschätzung in Bildfolgen vorzustellen und zu untersuchen. Der grundlegende Beitrag dieser Arbeit ist die Einführung des Burgers-Regularisierungsterms, der im Rahmen der variationellen Bewegungsschätzung von Bildfolgen physikalisches Vorwissen für die Bewegungsschätzung beisteuert, das in dieser Art und Weise neu im Bereich der Bildfolgenverarbeitung ist. Unter Verwendung dieser Ansätze und unter Einbindung einer anderen physikalischen Transportgleichung stellen wir auch einen neuen Ansatz zur Rekonstruktion von fehlenden Bilddaten in Bildfolgen vor. Wir benutzen und erweitern das bestehende Rahmenwerk von herkömmlichen Variationsansätzen um das optische Flussfeld mittels der Minimierung eines geeigneten Energiefunktionals zu erhalten. Diese Energiefunktionale bestehen aus zwei Haupttermen: Dem Datenterm, der für optische Flussansätze im Allgemeinen auf der Annahme der Grauwerterhaltung basiert, und dem Regularisierungsterm, der uns die Möglichkeit bietet Vorwissen, basierend auf physikalischen Transportgleichungen in die Energieminimierung mit einzubinden, im speziellen die Burgersgleichung, welche eine grundlegende Gleichung in der Strömungsmechanik darstellt. Die physikalischen Eigenschaften der Gleichung repräsentieren Gleichförmigkeit und Kontinuität der Bewegung, sowie das Trägkeitsverhalten bewegter Objekte in Bezug auf Bewegungsänderung. Speziell präsentieren wir eine neue auf einer partiellen Differentialgleichung basierende Darstellung zur Berechnung von Bewegung in Bildfolgen. Darin wird die Burgersgleichung als physikalisch plausibler Regularisierungsterm zur Modellierung dynamischer Bewegung in Bildern eingesetzt. Im Gegensatz zu herkömmlichen raum-zeitlich regulierten Ansätzen, wo das ganze Bildvolumen zur Bewegungsschätzung vorliegen muss, werden die Bewegungsfelder in dem resultierenden Ansatz rekursiv und online berechnet. Die charakteristische Trägheitseigenschaft der Burgersgleichung führt zu einem zeitlichen Filterungseffekt, welcher dem Ansatz bei fehlenden Bilddaten zu Gute kommt und Bewegungsschätzungen zuläßt auch wenn Daten fehlen. Im Weiteren weisen wir auf die Anwendbarkeit unseres Ansatzes im Bereich der visuellen Wahrnehmung hin, im speziellen der Modellierung des Phänomens der Nachwirkungserscheinungen von Bewegungen. Darüber hinaus, formulieren wir einen Kontrollansatz zur Bewegunsschätzung, in welchem die Vektorfelder ebenfalls der zweidimensionalen Burgersgleichung genügen sollen. Dazu führen wir Kontrollvariablen ein, die den optischen Fluss so kontrollieren, dass er der Bewegung der gemessenen Bilddaten folgt und möglichst der Burgersgleichung genügt. Um die Bewegung in den Bilddaten zu schätzen wird eine geeignete Zielfunktion bezüglich der Bewegungsvariablen und Kontrollvariablen minimiert. Die neuen Ansätze zeigen eine Eigenschaft die für Anwendungen in der Bildverarbeitung ausgenutzt werden kann: Nicht vom Modell vorhergesehene und daher nicht erwartete Bewegungen können einem übergeordneten Kontrollmechanismus mitteilen, dass eine ungewöhnliche Bewegung vorliegt und eine entsprechende Aktion eingeleitet werden kann. Basierend auf den Grundlagen dieser neuen Ansätze entwickeln wir einen neuartigen Algorithmus zur Rekonstruktion beschädigter Bildregionen in Bildfolgen. Die fehlende Bildinformation wird strukturerhaltend aus den umliegenden nicht beschädigten Regionen des Bildes mit Hilfe der Bewegungsschätzung und einem weiteren physikalischen Transportmechanismus in die Fehlstellen transportiert. Die ersten Ergebnisse dieses Ansatzes sind vielversprechend und können die Basis für fortgeschrittene Anwendungen bilden. Mit unseren experimentellen Untersuchungen der resultierenden Ansätze haben wir die neuen Eigenschaften und ihre potenziellen Nutzen abgeschätzt. Die wohl wichtigste Eigenschaft basiert auf der Transport- und Trägheitseigenschaft der Burgersgleichung und dem damit einhergehenden zeitlichen Filterungseffekt. Aber ebenso die Herausbildung klarer Bewegungsgrenzen in Bewegungsrichtung stellt eine oft erwünschte Eigenschaft für optische Flussansätze dar.

Translation of abstract (English)

This thesis belongs to the field of image sequence analysis in computer vision with the main focus to propose and to explore new motion estimation approaches. The main contribution is the incorporation of the Burgers regularisation term for variational motion estimation approaches exploiting physical prior knowledge that is new in the field of image sequence processing. Using one of the motion estimation approaches along with an appropriate transport process we also propose a new reconstruction approach for missing data in image sequences, also known as video inpainting. We exploit and extend the existing framework of standard variational optical flow approaches, which we use to recover optical flow fields from image sequences by minimising an appropriate energy functional. In general, these energy functionals consist of two terms: a data term that imposes e.g. for optical flow approaches the brightness constancy assumption and a regularisation term that enables us to incorporate prior knowledge into the energy functional. We concentrate on the latter term for the exploration of new priors based on physical transport processes. In particular we present a novel partial differential equation based representation for image motion computation. The Burgers equation is employed in order to obtain a physical plausible regularisation term for dynamic image motion modelling. The resulting distributed-parameter approach incorporates a spatio-temporal regularisation in a recursive online fashion, contrary to previous variational approaches which are designed to evaluate the entire spatio-temporal image volumes in a batch processing mode. The inertia behaviour of the Burgers equation leads to a temporal filtering effect that is superior to common spatio-temporal approaches with respect to missing image measurements. We also speculate about relations of our approach to visual perceptual phenomena like the motion aftereffect. Furthermore, we design an optimal control approach for image sequence processing using the two-dimensional Burgers equation as a constraint equation. The flow fields are forced towards vector fields which satisfy the Burgers equation. In order to estimate the motion of apparent velocities of image measurements in an image sequence, control variables are included and determined by minimising an appropriate objective functional. Control variables and optical flow adjust to the observed image data. For computer vision applications these new approaches show an often desired property that might be exploited to design an attentional mechanism within a superordinate processing stage: Un-modeled and therefore unexpected motion events lead to an increased force field that is localised around the unexpected motion and may therefore help to identify an event of interest. We exploit some of the above developed ideas to obtain a new algorithm for video inpainting to reconstruct damaged parts in image sequences. Image information is transported in a structure preserving way into the inpaint region using a fluid based advection-diffusion equation. The first results are very promising and motivate the development of more sophisticated video processing algorithms. We experimentally explore the properties and the potential benefits of the presented variational approaches. The most prominent features that our approaches show are the inertia behaviour along with its temporal filtering effect and the composition of sharp motion boundaries in motion direction which is an often desired property in optical flow computations.