German Title: Lernen interpretierbarer Modelle dynamischer Systeme aus multimodalen empirischen Zeitreihen

Preview

PDF, English - main document Download (21MB) | Lizenz: Learning Interpretable Dynamical Systems Models from Multimodal Empirical Time Series by Brenner, Manuel Benjamin underlies the terms of Creative Commons Attribution-NoDerivatives 4.0

Abstract

Dynamical systems (DS) theory provides a rich framework to model dynamic processes across science and engineering. However, traditional scientific model building is often laborious and struggles with the complexities of real-world DS. Advances in machine learning (ML) have led to the development of automated, data-driven techniques for approximating governing equations from time series, called Dynamical Systems Reconstruction (DSR). Yet, these approaches often struggle with real-world systems characterized by chaos, noise, non-Gaussian and multimodal observations, or multistability. The black-box nature of many ML models further complicates their analysis even if they describe the data well. This thesis introduces novel methods for inferring interpretable DSR models from challenging empirical time series. This includes several recurrent neural network models and training algorithms, tailored to extracting low-dimensional and tractable DSR models, and a flexible framework for DSR from multimodal and non-Gaussian observations. It further introduces a hierarchical inference framework, an analysis pipeline for a class of piecewise linear DSR models, and a novel pruning approach that yields interpretable network topologies. Extensive comparisons to state-of-the-art DSR algorithms illustrate the significant advancements made by the proposed methods, promising applications in physics, neuroscience, and beyond.

Translation of abstract (German)

Die Theorie dynamischer Systeme (DS) bietet einen reichen Rahmen für die Modellierung dynamischer Prozesse in Wissenschaft und Technik. Die traditionelle wissenschaftliche Modellbildung ist jedoch oft mühsam und hat Schwierigkeiten, die Komplexität realer DS abzubilden. Fortschritte im maschinellen Lernen (ML) haben zur Entwicklung automatisierter, datengesteuerter Verfahren für die Approximation zugrundeliegender Gleichungen aus Zeitreihen geführt, die als dynamische Systemrekonstruktion (DSR) bezeichnet werden. Diese Ansätze haben jedoch oft Probleme mit realen Daten, die durch Chaos, Rauschen, nicht-gaußsche und multimodale Beobachtungen oder Multistabilität gekennzeichnet sind. Die Black-Box-Natur vieler ML-Modelle macht ihre Analyse schwierig, selbst wenn sie die Daten gut beschreiben. In dieser Arbeit werden neue Methoden zur Ableitung interpretierbarer DSR-Modelle aus empirischen Zeitreihen vorgestellt. Dazu gehören mehrere rekurrente neuronale Netzwerkmodelle und Trainingsalgorithmen, die auf die Extraktion niedrigdimensionaler und interpretierbarer DSR-Modelle zugeschnitten sind, sowie ein flexibler Ansatz für DSR aus multimodalen und nicht-gaußschen Beobachtungen. Darüber hinaus werden ein hierarchischer Inferenzansatz, eine Analysemethode für eine Klasse von stückweise linearen DSR-Modellen und ein neuartiger Pruning-Ansatz vorgestellt, der interpretierbare Netzwerktopologien liefert. Ausführliche Vergleiche mit führenden DSR-Algorithmen veranschaulichen die bedeutenden Fortschritte der vorgestellten Methoden, die vielversprechende Anwendungen in Physik, Neurowissenschaften und darüber hinaus bieten.