Preview

PDF, English - main document Download (5MB) | Terms of use

Abstract

Personalized medicine aims to tailor treatments to patients based on individual patient characteristics and plays an essential role for advancing healthcare and achieving better patient outcomes. As patients often respond very differently, improving personalized treatment decisions is a key challenge in this field. In clinical practice, such decisions are based on predictive biomarkers that indicate whether a patient might benefit from treatment. While established predictive biomarkers often require invasive procedures, medical imaging offers a non-invasive alternative by providing high-dimensional, spatially resolved information that could reveal patterns relevant for making treatment decisions. However, existing approaches, such as radiomics, rely on handcrafted features rather than directly estimating treatment-specific effects from imaging data.

To address the current gaps, this thesis investigates the task of discovering predictive imaging biomarkers in a data-driven way directly from images and providing treatment recommendations using pre-treatment imaging data without a separate feature extraction step.

In the first part of this thesis, the first approach for discovering predictive imaging biomarkers using deep-learning-based causal models for estimating heterogeneous treatment effects is presented. Its main contribution is an evaluation protocol for assessing identified predictive imaging biomarker candidates and for assessing model performances, which enables quantitative benchmarking and qualitative interpretation of image-based treatment effect estimation models. The proposed protocol specifically makes the important distinction between predictive and prognostic biomarkers, the latter of which can predict patient outcomes independently of treatment, by comparing predictive and prognostic effects.

In the second part, image-based treatment effect estimation methods are applied to both semi-synthetic and real clinical imaging data from a randomized phase II/III trial in glioblastoma by developing an extension of previous models for binary or continuous outcomes adapted to more clinically relevant survival outcomes. Furthermore, it investigates the impact of multimodal integration of clinical tabular data and the use of pre-trained image encoders on the resulting treatment recommendations of the proposed model and patient stratification.

The experimental results demonstrate that image-based treatment effect estimation models can identify predictive imaging biomarkers from semi-synthetic image datasets and provide interpretable insights, although the performance on real clinical data remains limited due to small sample sizes and weak treatment effect signals. Nevertheless, the findings of this work offer valuable insights into the opportunities and current limitations of image-based treatment effect estimation under realistic constraints and highlight key directions for future research. Overall, this work bridges causal inference and medical image analysis, establishing a foundation for future research on radiomics-free predictive imaging biomarker discovery and for advancing image-based methods that support personalized treatment decision-making.

Translation of abstract (German)

Die personalisierte Medizin hat das Ziel, Behandlungen auf Grundlage individueller Patientenmerkmale auf Patient:innen maßzuschneidern und spielt eine wesentliche Rolle dabei, das Gesundheitswesen weiterzuentwickeln und bessere Patientenergebnisse zu erreichen. Da Patient:innen oft sehr unterschiedlich auf Behandlungen ansprechen, ist die Verbesserung personalisierter Behandlungsentscheidungen eine zentrale Herausforderung in diesem Bereich. In der klinischen Praxis basieren solche Entscheidungen auf prädiktiven Biomarkern, die anzeigen, ob Patient:innen von einer Behandlung profitieren könnten. Während etablierte prädiktive Biomarker oft invasive Eingriffe erfordern, bietet die medizinische Bildgebung eine nicht-invasive Alternative, indem sie hochdimensionale, räumlich aufgelöste Informationen liefert, die Muster erkennen könnten, die für Behandlungsentscheidungen relevant sind. Allerdings verlassen sich bestehende Ansätze wie Radiomics auf manuell entwickelte Merkmale, anstatt behandlungsspezifische Effekte direkt aus Bilddaten abzuschätzen.

Um diese bestehenden Lücken zu schließen, untersucht diese Dissertation die Aufgabe, ohne einen separaten Schritt prädiktive bildgebende Biomarker auf eine datengestützte Weise direkt aus Bildern zu entdecken und Behandlungsempfehlungen anhand von Bildgebungsdaten zu geben, die vor einer Behandlung aufgenommen wurden.

Im ersten Teil dieser Dissertation wird der erste Ansatz zur Ermittlung prädiktiver bildgebender Biomarker vorgestellt, der Deep-Learning-basierte kausale Modelle zur Abschätzung heterogener Behandlungseffekte verwendet. Der zentrale Beitrag ist ein Evaluierungsprotokoll, das dazu dient, identifizierte prädiktive bildgebende Biomarker-Kandidaten zu bewerten und die Leistung eines Modells zu beurteilen, welches ein quantitatives Benchmarking und qualitative Interpretation bildbasierter Modelle zur Schätzung von Behandlungseffekten ermöglicht. Das vorgeschlagene Protokoll unterscheidet ausdrücklich zwischen prädiktiven und prognostischen Biomarkern, wobei letztere Patientenergebnisse unabhängig von der Behandlung vorhersagen können, indem es prädiktive und prognostische Effekte vergleicht.

Im zweiten Teil werden bildbasierte Methoden für die Schätzung von Behandlungseffekten sowohl auf semi-synthetische als auch auf echte klinische Bilddaten aus einer randomisierten Phase-II/III-Studie zu Glioblastomen angewendet, indem eine Erweiterung früherer Modelle entwickelt werden, die ursprünglich für binäre oder kontinuierliche Ergebnisse konzipiert wurden, auf klinisch relevantere Überlebensergebnisse zu erweitern. Darüber hinaus wird der Einfluss der multimodalen Integration von klinischen tabellarischen Daten und der Verwendung von vortrainierten Bildencodern auf die resultierenden Behandlungsempfehlungen des vorgeschlagenen Modells sowie die Patientenstratifizierung untersucht.

Die experimentellen Ergebnisse zeigen, dass bildbasierte Modelle zur Schätzung von Behandlungseffekten prädiktive bildgebende Biomarker aus semi-synthetischen Bilddatensätzen identifizieren und interpretierbare Einblicke liefern können, obwohl die Leistungsfähigkeit in der Anwendung auf echte klinische Daten aufgrund kleiner Stichprobengrößen und schwacher Signale für die Behandlungswirkung nach wie vor begrenzt bleibt. Dennoch bieten die Ergebnisse dieser Dissertation wertvolle Einblicke in die Möglichkeiten und aktuellen Einschränkungen der bildbasierten Schätzung von Behandlungseffekten unter realistischen Bedingungen und weisen auf wichtige Richtungen für zukünftige Forschung hin. Insgesamt schlägt diese Arbeit eine Brücke zwischen kausaler Inferenz und medizinischer Bildanalyse und schafft damit eine Grundlage für die zukünftige Radiomics-freie Entdeckung prädiktiver bildgebender Biomarker sowie für die Weiterentwicklung bildbasierter Methoden, die personalisierte Behandlungsentscheidungen unterstützen.