Directly to content
  1. Publishing |
  2. Search |
  3. Browse |
  4. Recent items rss |
  5. Open Access |
  6. Jur. Issues |
  7. DeutschClear Cookie - decide language by browser settings

Orientation Analysis in 4D Light Fields

Wanner, Sven

German Title: Orientierungsanalyse in 4D Lichtfeldern

[thumbnail of dissertation.pdf]
Preview
PDF, English
Download (17MB) | Terms of use

Citation of documents: Please do not cite the URL that is displayed in your browser location input, instead use the DOI, URN or the persistent URL below, as we can guarantee their long-time accessibility.

Abstract

This work is about the analysis of 4D light fields. In the context of this work a light field is a series of 2D digital images of a scene captured on a planar regular grid of camera positions. It is essential that the scene is captured over several camera positions having constant distances to each other. This results in a sampling of light rays emitted by a single scene point as a function of the camera position. In contrast to traditional images – measuring the light intensity in the spatial domain – this approach additionally captures directional information leading to the four dimensionality mentioned above. For image processing, light fields are a relatively new research area. In computer graphics, they were used to avoid the work-intensive modeling of 3D geometry by instead using view interpolation to achieve interactive 3D experiences without explicit geometry. The intention of this work is vice versa, namely using light fields to reconstruct geometry of a captured scene. The reason is that light fields provide much richer information content compared to existing approaches of 3D reconstruction. Due to the regular and dense sampling of the scene, aside from geometry, material properties are also imaged. Surfaces whose visual appearance change when changing the line of sight causes problems for known approaches of passive 3D reconstruction. Light fields instead sample this change in appearance and thus make analysis possible. This thesis covers different contributions. We propose a new approach to convert raw data from a light field camera (plenoptic camera 2.0) to a 4D representation without a pre-computation of pixel-wise depth. This special representation – also called the Lumigraph – enables an access to epipolar planes which are sub-spaces of the 4D data structure. An approach is proposed analyzing these epipolar plane images to achieve a robust depth estimation on Lambertian surfaces. Based on this, an extension is presented also handling reflective and transparent surfaces. As examples for the usefulness of this inherently available depth information we show improvements to well known techniques like super-resolution and object segmentation when extending them to light fields. Additionally a benchmark database was established over time during the research for this thesis. We will test the proposed approaches using this database and hope that it helps to drive future research in this field.

Translation of abstract (German)

Die vorliegende Arbeit besch¨aftigt sich mit der Analyse von 4D Lichtfeldern. Als Lichtfeld bezeichnen wir in diesem Zusammenhang eine Serie von digitalen 2D Bilder einer Szene die auf einem planaren regul¨aren Gitter von Kamerapositionen aufgenommen werden. Essenziell ist dabei die Aufnahme einer Szene mittels vieler Kamerapositionen konstanten Abstandes zueinander. Dadurch werden die von einem Punkt der Szene ausgehenden Lichtstrahlen als Funktion der Kameraposition abgetastet. Dadurch ergibt sich die bereits erw¨ahnte Vierdimensionalit¨at der Daten da, im Gegensatz zu einem klassischen Bild, zus¨atzlich zur Ortsinformation eine Richtungsinformation der Lichtintensit¨at abgebildet wird. Lichtfelder sind ein relativ neues Forschungsfeld f¨ur die Bildverarbeitung, deren moderner Ursprung eher in der Computergrafik zu suchen ist. Dort wurden sie verwendet, um die aufwendige Modellierung der 3D Geometrie zu umgehen und mittels Interpolation der Blickwinkel auch ohne Informationen ¨uber die Geometrie einen interaktiven 3D Eindruck zu erzielen. Die vorliegende Arbeit hat die umgekehrte Intention und m¨ochte aufgenommene Lichtfelder dazu verwenden um die Geometrie der Szene zu rekonstruieren. Der Grund ist, dass Lichtfelder im Vergleich zu existierenden Verfahren der 3D Rekonstruktion einen viel reicheren Informationsgehalt besitzen. Durch die regul¨are Abtastung des Lichtfeldes werden neben Information ¨uber die Geometrie ebenfalls Materialeigenschaften abgebildet. Oberfl¨achen, deren visuelle Erscheinung sich unter ¨ Anderung des Betrachtungswinkels nicht konstant verh¨alt, f¨uhren bei bekannten passiven Rekonstruktionsverfahren zu großen Problemen. Das Verhalten solcher Oberfl¨achen unter Blickwinkel¨anderung wird in Lichtfeldern allerdings abgetastet und somit unmittelbar analysierbar. Der wissenschaftliche Beitrag dieser Arbeit besteht aus verschiedenen Teilbeitr¨agen. Es wird ein neues Verfahren vorgestellt, das aus den Rohdaten einer Lichtfeldkamera (Plenopik Kamera 2.0) ohne explizite pixelweise Vorberechnung der Tiefeninformation eine 4D Lichtfeldrepr¨asentation erzeugt. Diese spezielle Repr¨asentation, auch Lumigraph genannt, erm¨oglicht den Zugang zu Epipolarebenen genannten 2D-Unterr¨aumen dieser Datenstruktur. Es wird ein Verfahren vorgestellt das aus einer Analyse dieser Epipolarebenen eine robuste Tiefensch¨atzung unter der Annahme Lambertscher Oberfl¨achen erm¨oglicht. Darauf aufbauend wird eine Erweiterung dieses Verfahrens auf kompliziertere Materialien, zum Beispiel spiegelnder oder teiltransparenter Oberfl¨achen, entwickelt. Als Anwendungsbeispiele f¨ur die inherent vorhandene Tiefeninformation in Lichtfeldern werden bekannte Verfahren wie Superresolution oder Objektsegmentierung auf Lichtfelder erweitert und mit Ergebnissen auf Einzelbildern verglichen. Außerdem ist im Laufe dieser Arbeit eine große Benchmark Datenbank, bestehend aus simulierten und realen Lichtfeldern entstanden, mit Hilfe derer die hier vorgestellten Verfahren getestet werden, und die zuk¨unftiger Forschung auf diesem Feld als V ergleichsbasis dienen soll.

Document type: Dissertation
Supervisor: Jähne, Prof. Dr. Bernd
Place of Publication: Heidelberg
Date of thesis defense: 6 February 2014
Date Deposited: 27 Feb 2014 10:06
Date: 2014
Faculties / Institutes: The Faculty of Physics and Astronomy > Dekanat der Fakultät für Physik und Astronomie
Service facilities > Heidelberg Collaboratory for Image Processing (HCI)
DDC-classification: 004 Data processing Computer science
500 Natural sciences and mathematics
530 Physics
About | FAQ | Contact | Imprint |
OA-LogoDINI certificate 2013Logo der Open-Archives-Initiative