eprintid: 35516
rev_number: 19
eprint_status: archive
userid: 8500
dir: disk0/00/03/55/16
datestamp: 2024-10-24 11:33:01
lastmod: 2024-10-29 12:41:52
status_changed: 2024-10-24 11:33:01
type: doctoralThesis
metadata_visibility: show
creators_name: Draxler, Felix Matthias
title: Architectural Constraints of Normalizing Flows
subjects: ddc-004
subjects: ddc-510
divisions: i-110001
adv_faculty: af-11
abstract: In this thesis, we consider Normalizing Flows, a class of models that leverage neural networks to represent probability distributions, enabling efficient sampling and density estimation. The focus of our work is to develop versatile normalizing flows, that is flexible methods readily applicable to arbitrary problems.

We therefore theoretically examine the expressivity of existing architectures. We find that volume-preserving flows are fundamentally biased and identify a fix. We improve on universality guarantees for coupling-based flows, showing that well-conditioned affine coupling flows are universal. We find that the latter scale favorably with dimension in comparison to Gaussianization flows.

We then proceed to lift architectural restrictions from normalizing flows altogether via the introduction of Free-Form Flows. This framework trains arbitrary neural network architectures as normalizing flows. This allows for the first time, among others, cheap rotation-equivariant normalizing flows, normalizing flows on arbitrary Riemannian manifolds, and injective flows based on feed-forward autoencoders. This model is significantly more flexible to adapt to novel problems, performs comparable or better than existing normalizing flows and competitive with methods with iterative inference such as diffusion models and flow matching.
abstract_translated_text: In dieser Dissertation betrachten wir Normalizing Flows, eine Klasse von Methoden, die neuronale Netzwerke nutzen, um Wahrscheinlichkeitsverteilungen darzustellen, die effizientes Sampling und Dichteschätzung ermöglichen. Der Schwerpunkt dieser Arbeit liegt auf der Entwicklung von \textit{flexiblen Normalizing Flows}, die problemlos auf beliebige Probleme anwendbar sind.

Daher untersuchen wir zunächst die Eigenschaften bestehender Architekturen theoretisch. Wir stellen fest, dass volumenerhaltende Flows eine verzerrte Dichte lernen und entwickeln eine Lösung dafür. Wir verbessern existierende Universalitätsgarantien für coupling-basierte Flows, indem wir die Universalität von wohlkonditionierten affinen Coupling Flows bestätigen. Außerdem stellen wir fest, dass letztere im Vergleich zu Gaussianization Flows günstig mit der Dimension skalieren.

Anschließend heben wir die architektonischen Beschränkungen existierender Normalizing Flows auf, indem wir Free-Form Flows einführen. Dieses Framework ermöglicht es, beliebige neuronale Netzwerkarchitekturen als Normalizing Flows zu trainieren. Das ermöglicht erstmals unter anderem kostengünstige rotationsequivariante Normalizing Flows, Normalizing Flows auf beliebigen Riemannschen Mannigfaltigkeiten und injektive Flows basierend auf Autoencodern. Free-Form Flows sind erheblich flexibler in der Anpassung an neue Probleme, zeigen vergleichbare oder bessere Performanz als bestehende Normalizing Flows und sind wettbewerbsfähig mit Methoden mit iterativer Inferenz wie Diffusionsmodellen und Flow Matching.
abstract_translated_lang: ger
date: 2024
id_scheme: DOI
id_number: 10.11588/heidok.00035516
ppn_swb: 1907108173
own_urn: urn:nbn:de:bsz:16-heidok-355164
date_accepted: 2024-10-15
advisor: HASH(0x55bdeadb4280)
language: eng
bibsort: DRAXLERFELARCHITECTU
full_text_status: public
place_of_pub: Heidelberg
citation:   Draxler, Felix Matthias  (2024) Architectural Constraints of Normalizing Flows.  [Dissertation]     
document_url: https://archiv.ub.uni-heidelberg.de/volltextserver/35516/1/PhD_Draxler-final.pdf