Directly to content
  1. Publishing |
  2. Search |
  3. Browse |
  4. Recent items rss |
  5. Open Access |
  6. Jur. Issues |
  7. DeutschClear Cookie - decide language by browser settings

Variational Approaches for Image Labeling on the Assignment Manifold

Savarino, Fabrizio

[img]
Preview
PDF, English - main document
Download (6MB) | Terms of use

Citation of documents: Please do not cite the URL that is displayed in your browser location input, instead use the DOI, URN or the persistent URL below, as we can guarantee their long-time accessibility.

Abstract

The image labeling problem refers to the task of assigning to each pixel a single element from a finite predefined set of labels. In classical approaches the labeling task is formulated as a minimization problem of specifically structured objective functions. Assignment flows for contextual image labeling are a recently proposed alternative formulation via spatially coupled replicator equations. In this work, the classical and dynamical viewpoint of image labeling are combined into a variational formulation. This is accomplished by following the induced Riemannian gradient descent flow on an elementary statistical manifold with respect to the underlying information geometry. Convergence and stability behavior of this approach are investigated using the log-barrier method. A novel parameterization of the assignment flow by its dominant component is derived, revealing a Riemannian gradient flow structure that clearly identifies the two governing processes of the flow: spatial regularization of assignments and gradual enforcement of unambiguous label decisions. Also, a continuous-domain formulation of the corresponding potential is presented and well-posedness of the related optimization problem is established. Furthermore, an alternative smooth variational approach to maximum a-posteriori inference based on discrete graphical models is derived by utilizing local Wasserstein distances. Following the resulting Riemannian gradient flow leads to an inference process which always satisfies the local marginalization constraints and incorporates a smooth rounding mechanism towards unambiguous assignments.

Translation of abstract (German)

Das Kennzeichnungsproblem von Bildern bezeichnet die Aufgabe, jedem Pixel eines Bildes genau ein Element einer vordefinierten Menge an Kennzeichnungen zuzuweisen. Klassische Ansätze dieses Kennzeichnungsproblems sind als Minimierungsprobleme spe\-zi\-ell strukturierter Funktionen formuliert. Zuweisungsflüsse für kontextbasiertes Kenn\-zeich\-nen von Bildern sind eine neuartige, alternative dynamische For\-mu\-lie\-rung durch räumlich gekoppelte Replikatorgleichungen. In dieser Arbeit werden die klassische und dynamische Sichtweise in einer variationellen Formulierung kombiniert. Dies wird dadurch erreicht, dass das System dem induzierten Riemannschen Gradientenfluss auf einer elementaren statistischen Mannigfaltikeit bezüglich der Informationsgeometrie folgt. Konvergenz und Stabilität dieses Ansatzes werden mithilfe der lo\-ga\-rith\-mi\-schen Barrierefunktion untersucht. Eine neue Parametrisierung des Zuweisungsflusses durch seine dominante Komponente deckt die enthaltene Struktur eines Riemannschen Gradientenfluss auf, wodurch die beiden beherrschenden Prozesse des Flusses identifiziert werden: räumliche Regularisierung von Zuweisungen und allmähliches Erzwingen eindeutiger Entscheidungen. Des Weiteren wird eine räumlich kontinuierliche Formulierung des zugehörigen Potenzials vorgestellt und nachgewiesen, dass das entsprechende Optimierungsproblem gut gestellt ist. Darüber hinaus wird ein alternativer variationeller Ansatz für Maximum-a-posteriori Inferenz hergeleitet, basierend auf diskreten graphischen Mo\-del\-len unter Verwendung lokaler Wassersteindistanzen. Im resultierenden In\-fe\-renz\-pro\-zess, basierend auf dem Riemannschen Gradientenfluss, sind die lokalen Mar\-gi\-na\-li\-sie\-rungs\-be\-din\-gun\-gen immer erfüllt und eindeutige Entscheidungen werden asymptotisch erreicht.

Item Type: Dissertation
Supervisor: Schnörr, Prof. Dr. Christoph
Date of thesis defense: 18 June 2020
Date Deposited: 30 Jun 2020 10:22
Date: 2020
Faculties / Institutes: The Faculty of Mathematics and Computer Science > Department of Applied Mathematics
Service facilities > Interdisciplinary Center for Scientific Computing
Subjects: 510 Mathematics
Controlled Keywords: Bildsegmentierung, Gradientenfluss, Bilderkennung
Uncontrolled Keywords: Assignment Flow, Replicator Equation, Information Geometry
About | FAQ | Contact | Imprint |
OA-LogoDINI certificate 2013Logo der Open-Archives-Initiative