German Title: Modellierung spärlich vorhandener und unregelmäßiger medizinischer Bildzeitreihen

Preview

PDF, English - main document Download (9MB) | Lizenz: Modeling of Sparse and Irregular Medical Image Time Series by Disch, Nico Albert underlies the terms of Creative Commons Attribution-NonCommercial 4.0

Abstract

This thesis presents several contributions toward modeling disease progression and temporal dynamics in medical imaging. We begin by revisiting key methods for temporal prediction, specifically adapting Neural Processes and Neural Ordinary Differential Equations to longitudinal medical data. We then analyze the limitations of these approaches in handling sparse and irregular observations. Building on these insights, we propose a framework for longitudinal augmentation and data generation using biologically-informed deformations. The core of this thesis is the development of Temporal Flow Matching (TFM), a flow-based generative model. This model learns continuous velocity fields that describe how anatomical structures evolve over time. TFM scales to 3D and 4D data, generalizes across datasets, and supports inference at arbitrary temporal resolutions through a continuous-time extension. To further constrain and interpret temporal dynamics, we propose two variants of TFM: one deformation-based and one using a Schrödinger Bridge formulation. These variants link flow-based modeling to physical and probabilistic motion representations. Extensive evaluations across synthetic and clinical, which contain cardiac MRI, perfusion CT, and longitudinal brain tumors, datasets show these methods outperform existing baselines, excelling in both predictive accuracy and temporal consistency. Together, these contributions establish a principled framework for learning continuous, anatomically meaningful trajectories from sparse longitudinal medical imaging data.

Translation of abstract (German)

Diese Arbeit präsentiert mehrere Beiträge zur Modellierung des Krankheitsverlaufs und der zeitlichen Dynamik in der medizinischen Bildgebung. Zunächst werden wichtige Methoden zur zeitlichen Vorhersage betrachtet, insbesondere die Anpassung von Neural Processes und Neural Ordinary Differential Equations an longitudinale medizinische Daten. Anschließend werden die Einschränkungen dieser Ansätze bei der Verarbeitung von wenigen und unregelmäßigen Beobachtungen analysiert. Aufbauend auf diesen Erkenntnissen schlagen wir einen Rahmen für longitudinale Augmentation und Datengenerierung unter Verwendung biologisch informierter Deformationen vor. Das Kernstück dieser Arbeit ist die Entwicklung von Temporal Flow Matching (TFM), eines flow-basierten generativen Modells. Dieses Modell lernt kontinuierliche Geschwindigkeitsfelder, die beschreiben, wie sich anatomische Strukturen im Laufe der Zeit verändern. TFM skaliert auf 3D- und 4D-Daten, generalisiert über Datensätze hinweg und unterstützt Inferenz bei beliebigen zeitlichen Auflösungen durch eine kontinuierliche Zeiterweiterung. Um die zeitliche Dynamik weiter einzuschränken und interpretierbar zu machen, schlagen wir zwei Varianten von TFM vor: eine deformationsbasierte und eine, die auf Schrödinger-Brücken aufbaut. Diese Varianten verbinden flow-basierte Modellierung mit physikalischen und probabilistischen Bewegungsrepräsentationen. Umfangreiche Auswertungen an synthetischen und klinischen Datensätzen zeigen, dass diese Methoden bestehende Baselines übertreffen und sowohl in der Vorhersagegenauigkeit als auch in der zeitlichen Konsistenz überzeugen. Zusammen begründen diese Beiträge einen prinzipiellen Rahmen für das Lernen kontinuierlicher, anatomisch sinnvoller Trajektorien aus spärlichen longitudinalen medizinischen Bildgebungsdaten.