German Title: Erlernen von Gewebegeometrien für die photoakustische Bildanalyse

Preview

PDF, English - main document Download (28MB) | Terms of use

Abstract

Photoacoustic imaging (PAI) holds great promise as a novel, non-ionizing imaging modality, allowing insight into both morphological and physiological tissue properties, which are of particular importance in the diagnostics and therapy of various diseases, such as cancer and cardiovascular diseases. However, the estimation of physiological tissue properties with PAI requires the solution of two inverse problems, one of which, in particular, presents challenges in the form of inherent high dimensionality, potential ill-posedness, and non-linearity. Deep learning (DL) approaches show great potential to address these challenges but typically rely on simulated training data providing ground truth labels, as there are no gold standard methods to infer physiological properties in vivo. The current domain gap between simulated and real photoacoustic (PA) images results in poor in vivo performance and a lack of reliability of models trained with simulated data. Consequently, the estimates of these models occasionally fail to match clinical expectations.

The work conducted within the scope of this thesis aimed to improve the applicability of DL approaches to PAI-based tissue parameter estimation by systematically exploring novel data-driven methods to enhance the realism of PA simulations (learning-to-simulate). This thesis is part of a larger research effort, where different factors contributing to PA image formation are disentangled and individually approached with data-driven methods. The specific research focus was placed on generating tissue geometries covering a variety of different tissue types and morphologies, which represent a key component in most PA simulation approaches. Based on in vivo PA measurements (N = 288) obtained in a healthy volunteer study, three data-driven methods were investigated leveraging (1) semantic segmentation, (2) Generative Adversarial Networks (GANs), and (3) scene graphs that encode prior knowledge about the general tissue composition of an image, respectively.

The feasibility of all three approaches was successfully demonstrated. First, as a basis for the more advanced approaches, it was shown that tissue geometries can be automatically extracted from PA images through the use of semantic segmentation with two types of discriminative networks and supervised training with manual reference annotations. While this method may replace manual annotation in the future, it does not allow the generation of any number of tissue geometries. In contrast, the GAN-based approach constitutes a generative model that allows the generation of new tissue geometries that closely follow the training data distribution. The plausibility of the generated geometries was successfully demonstrated in a comparative assessment of the performance of a downstream quantification task. A generative model based on scene graphs was developed to gain a deeper understanding of important underlying geometric quantities. Unlike the GAN-based approach, it incorporates prior knowledge about the hierarchical composition of the modeled scene. However, it allowed the generation of plausible tissue geometries and, in parallel, the explicit matching of the distributions of the generated and the target geometric quantities. The training was performed either in analogy to the GAN approach, with target reference annotations, or directly with target PA images, circumventing the need for annotations. While this approach has so far been exclusively conducted in silico, its inherent versatility presents a compelling prospect for the generation of tissue geometries with in vivo reference PA images. In summary, each of the three approaches for generating tissue geometry exhibits distinct strengths and limitations, making their suitability contingent upon the specific application at hand.

By opening a new research direction in the form of learning-to-simulate approaches and significantly improving the realistic modeling of tissue geometries and, thus, ultimately, PA simulations, this work lays a crucial foundation for the future use of DL-based quantitative PAI in the clinical setting.

Translation of abstract (German)

Die photoakustische Tomographie (PAT) ist ein vielversprechendes, aufstrebendes, nichtionisierendes bildgebendes Verfahren, das sowohl Einblicke in morphologische als auch physiologische Gewebeeigenschaften ermöglicht. Diese Eigenschaften sind von besonderer Bedeutung für die Diagnose und Therapie verschiedener Krankheiten, wie zum Beispiel Krebs und Herz-Kreislauf-Erkrankungen. Die Verwendung von PAT zur Schätzung physiologischer Gewebeeigenschaften erfordert jedoch die Lösung zweier inverser Probleme, von denen vor allem eines aufgrund seiner inhärenten hohen Dimensionalität, potenziell schlechten Problemstellung und Nichtlinearität Herausforderungen darstellt. ”Deep Learning” (DL) Ansätze haben ein großes Potenzial, die genannten Herausforderungen zu bewältigen. Jedoch sind diese in der Regel auf simulierte Trainingsdaten angewiesen, die die Grundwahrheiten liefern, da bisher keine Goldstandard-Methoden für die in vivo Bestimmung physiologischer Eigenschaften existieren. Die momentane Diskrepanz zwischen simulierten und gemessenen photoakustischen (PA) Bildern führt bei Modellen, die auf simulierten Daten trainiert wurden, zu einer schwachen Leistung bei in vivo Anwendungen und einer mangelnden Zuverlässigkeit. Dies führt dazu, dass die Schätzungen dieser Modelle gelegentlich klinischen Erwartungen nicht entsprechen.

Die im Rahmen dieser Arbeit durchgeführten Herangehensweisen zielten darauf ab, die Anwendbarkeit von DL-Ansätzen zur PAT-basierten Schätzung von Gewebeparametern zu verbessern, indem neuartige, datengetriebene Methoden zur Verbesserung der Realitätsnähe von PA-Simulationen (”learning-to-simulate”) systematisch erforscht wurden. Diese Arbeit ist Teil eines größeren Forschungsvorhabens, bei dem verschiedene Faktoren, die zur PA Bildentstehung beitragen, entschlüsselt und mithilfe von datengetriebenen Methoden einzeln angegangen werden. Der besondere Forschungsschwerpunkt lag auf der Erzeugung von Gewebegeometrien. Diese decken eine Vielzahl verschiedener Gewebetypen und -morphologien ab und stellen eine Schlüsselkomponente der meisten PA-Simulationsansätze dar. Basierend auf in vivo PA-Messungen (N = 288), die in einer Studie mit gesunden Probanden gewonnen wurden, konnten drei datengetriebene Methoden entwickelt werden, die jeweils eines der folgenden Prinzipen ausnutzen: (1) semantische Segmentierung, (2) ”Generative Adversarial Networks” (GANs) und (3) Szenengraphen, die Vorwissen über die allgemeine Gewebezusammensetzung eines Bildes kodieren.

Die Machbarkeit aller drei Ansätze wurde erfolgreich demonstriert. Zunächst wurde als Grundlage für die fortgeschritteneren Ansätze gezeigt, dass Gewebegeometrien durch semantische Segmentierung mit zwei Arten diskriminativer Netzwerke und überwachtem Training mit manuellen Referenzannotationen automatisch aus PA-Bildern extrahiert werden können. Diese Methode könnte in Zukunft ein Ersatz für die manuelle Annotation sein. Die Erzeugung einer beliebigen Anzahl neuer Gewebegeometrien ist damit jedoch nicht möglich. Die GAN-basierte Methode stellt im Gegensatz dazu ein generatives Modell dar. Damit können neue Gewebegeometrien erzeugt werden, die der Verteilung der Trainingsdaten eng folgen. Die Plausibilität der generierten Geometrien wurde in einem Vergleich der Leistung einer nachgelagerten Quantifizierungsaufgabe erfolgreich nachgewiesen. Ein auf Szenengraphen basierender Ansatz wurde entwickelt, um ein tieferes Verständnis wichtiger zugrunde liegender geometrischer Größen zu gewinnen. Im Gegensatz zum GAN-basierten Ansatz erfordert dieser Ansatz Vorwissen über die hierarchische Zusammensetzung der modellierten Szene. Er ermöglichte jedoch die Generierung plausibler Gewebegeometrien und parallel dazu den expliziten Abgleich der Verteilungen der generierten und der gegebenen geometrischen Größen. Das Training erfolgte entweder analog zum GAN-Ansatz mit Ziel-Referenzannotationen oder direkt mit PA-Bildern, wodurch der Bedarf an Referenzannotationen umgangen wurde. Während dieser Ansatz bisher ausschließlich in silico durchgeführt wurde, stellt seine inhärente Vielseitigkeit eine hervorragende Möglichkeit zur Optimierung anhand von in vivo PA-Referenzbildern dar. Abschließend bleibt festzuhalten, dass jeder der drei Ansätze zur Generierung von Gewebegeometrien unterschiedliche Stärken und Grenzen aufweist, sodass ihre Eignung von der jeweiligen Anwendung abhängt.

Durch die Eröffnung einer neuen Forschungsrichtung in Form von ”learning-to-simulate”-Ansätzen und die deutliche Verbesserung der realistischen Modellierung von Gewebegeometrien und damit letztlich der PA-Simulationen legt diese Arbeit eine entscheidende Grundlage für den zukünftigen Einsatz DL-basierter quantitativer PAT im klinischen Umfeld.