Preview

PDF, English Download (5MB) | Terms of use

Abstract

Image labeling is a fundamental problem in the area of low-level image analysis. In this work, we present novel approaches to maximum a posteriori (MAP) inference and model parameter learning for image labeling, respectively. Both approaches are formulated in a smooth geometric setting, whose respective solution space is a simple Riemannian manifold. Optimization consists of multiplicative updates that geometrically integrate the resulting Riemannian gradient flow.

Our novel approach to MAP inference is based on discrete graphical models. By utilizing local Wasserstein distances for coupling assignment measures across edges of the underlying graph, we smoothly approximate a given discrete objective function and restrict it to the assignment manifold. A corresponding update scheme combines geometric integration of the resulting gradient flow, and rounding to integral solutions that represent valid labelings. This formulation constitutes an inner relaxation of the discrete labeling problem, i.e. throughout this process local marginalization constraints known from the established linear programming relaxation are satisfied.

Furthermore, we study the inverse problem of model parameter learning using the linear assignment flow and training data with ground truth. This is accomplished by a Riemannian gradient flow on the manifold of parameters that determine the regularization properties of the assignment flow. This smooth formulation enables us to tackle the model parameter learning problem from the perspective of parameter estimation of dynamical systems. By using symplectic partitioned Runge--Kutta methods for numerical integration, we show that deriving the sensitivity conditions of the parameter learning problem and its discretization commute. A favorable property of our approach is that learning is based on exact inference.

Translation of abstract (German)

Die Bildsegmentierung ist ein grundlegendes Problem im Bereich der Bildverarbeitung. In dieser Arbeit präsentieren wir jeweils einen neuen Ansatz zur Maximum A Posteriori (MAP) Inferenz und zum Lernen der Modellparameter für die Bildsegmentierung. Beide Ansätze werden in einem glatten geometrischen Rahmen formuliert, deren jeweiliger Lösungsraum eine einfache Riemannsche Mannigfaltigkeit ist. Numerische Optimierungsschritte bestehen aus multiplikativen Updates, die den resultierenden Riemannschen Gradientenfluss geometrisch integrieren.

Unser neuer Ansatz zur MAP-Inferenz basiert auf diskreten graphischen Modellen. Mittels lokaler Wasserstein Distanzen koppeln wir an jeder Kante die Zuordnungsmaße des zugrunde liegenden Graphen. Dadurch wird die gegebene diskrete Zielfunktion glatt approximiert und auf die Zuordnungs-Mannigfaltigkeit beschränkt. Ein entsprechendes Diskretisierungsschema kombiniert die geometrische Integration des resultierenden Gradientenflusses mit der Rundung zu integralen Lösungen, die zulässige Segmentierungen darstellen. Diese Formulierung stellt eine innere Relaxierung des diskreten Segmentierungsproblems dar, bei der die lokalen Marginalisierungsnebenbedingungen, die aus der etablierten Relaxierung der linearen Programmierung bekannt sind, jederzeit erfüllt sind.

Desweiteren untersuchen wir das inverse Problem des Modellparameter-Lernens unter Verwendung des linearen Zuordnungsflusses und Trainingsdaten, bei denen die Segmentierung bekannt ist. Dies wird durch einen Riemannschen Gradientenfluss auf der Mannigfaltigkeit der Parameter, welche die Regularisierungseigenschaften des Zuordnungsflusses bestimmen, erreicht. Diese glatte dynamische Formulierung ermöglicht es das Problem des Modellparameter-Lernens aus der Perspektive der Parameterschätzung dynamischer Systeme anzugehen. Mit Hilfe von symplektisch partitionierten Runge--Kutta Methoden zur numerischen Integration wird gezeigt, dass die Herleitung der Sensitivitätsbedingungen des Parameter-Lernproblems und dessen Diskretisierung kommutieren. Eine wichtige Konsistenzeigenschaft unseres Ansatzes ist, dass das Lernen auf exakter Inferenz basiert.