English Title: Xeno-learning: knowledge transfer across species in deep learning-based spectral image analysis

Preview

PDF, English - main document Download (57MB) | Lizenz: Xeno-learning: knowledge transfer across species in deep learning-based spectral image analysis by Qasim, Ahmad Bin underlies the terms of Creative Commons Attribution 4.0

Abstract

Differentiating between tissue types accurately and reliably, in particular with regard to pathological regions and critical anatomical structures, presents a perennial challenge in surgical interventions. Conventional RGB imaging is limited to the visible spectrum and thereby often fails to provide the necessary contrast for informed decision-making. hsi in contrast captures rich spectral signatures across dozens to hundreds of narrow wavelength bands, enabling superior tissue classification and organ boundary delineation. The widespread clinical adoption of hsi is however significantly hampered by the scarcity of large, annotated datasets that are crucial for training robust dl algorithms, which have shown great promise in the field of medical imaging. This issue is exacerbated by the inherent unpredictability of real-world intraoperative conditions as these can lead to significant domain shifts in spectral data.

This thesis introduces two novel augmentation-based approaches designed to overcome the limitations of sparse data availability for robust semantic scene segmentation in hsi. The core idea is to inject relevant data samples during either model training or inference with the purpose of enhancing model generalizability.

To begin with, we address the issue of pathology-related domain shifts. Domain shifts such as changes in tissue perfusion can be caused by surgical interventions and underlying health conditions. This results in malperfused organs that largely deviate from the physiological data on which models are usually trained. To reduce such occurrences, we propose a new tta strategy that employs physics-informed synthetic spectral data. We utilize physics-based simulations to produce synthetic data that compensates for perfusion-related variations as opposed to generative models that require big data sets. This tta method adjusts the distribution of unseen test images and aligns them with the training data, thus improving the robustness of models trained solely on physiological data to pathology shifts. We illustrate that this approach effectively bridges the domain gap between physiological and malperfused datasets and thus enables a more reliable segmentation performance in different clinical scenarios.

Furthermore, inspired by the concept of xenotransplantation, this thesis proposes a novel ”xeno-learning” framework for cross-species knowledge transfer in medical imaging. Acquiring diverse human medical imaging data is extremely challenging due to ethical and practical constraints. Animal models (e.g., pig and rat), however, offer more readily available and diverse datasets, including a wider array of tissue conditions. Our main observation is that, despite the fact that the absolute spectral characteristics of tissues may differ across species, the relative spectral changes caused by physiological changes (e.g. changes in organ perfusion or the administration of contrast agents like icg), tend to remain consistent. This forms the basis of our xeno-learning framework. We develop a novel ”physiology-based data augmentation” technique that transfers knowledge about domain shifts learned from animal data to augment human data during training. This enables models to generalize effectively to unseen pathological human test datasets. We demonstrate that xeno-learning not only enables successful knowledge transfer but also outperforms traditional adversarial domain adaptation methods, highlighting its potential for improving model generalizability between species

To summarize, this thesis establishes the feasibility of automatic semantic scene segmentation on human physiological HSI data and offers innovative solutions that address critical data scarcity and domain shift challenges. The proposed tta strategy and xeno-learning framework offer robust pathways for enhancing the generalizability and clinical applicability of DL-based spectral image analysis. This allows for advancements in robotically-assisted surgery, organ-aware perfusion assessment, and ar/vr-based surgical guidance.

Translation of abstract (German)

Die genaue und verlässliche Unterscheidung zwischen Gewebetypen, insbesondere in Bezug auf pathologische Regionen und kritische anatomische Strukturen, stellt eine dauerhafte Herausforderung bei chirurgischen Eingriffen dar,. Die RGB-Bildgebung ist auf das sichtbare Spektrum beschränkt und bietet deswegen häufig nicht den erforderlichen Kontrast für fundierte Entscheidungen. Im Gegensatz dazu erfasst die hyperspektrale Bildgebung (HSI) reichhaltige spektrale Signaturen über Dutzende bis Hunderte schmaler Wellenlängenbänder hinweg, was eine überlegene Gewebeklassifikation und Abgrenzung von Organstrukturen ermöglicht. Die breite klinische Anwendung von HSI wird jedoch erheblich durch das Fehlen großer, annotierter Datensätze behindert, die für das Training robuster Deep-Learning-Algorithmen (DL) unerlässlich sind. Dieses Problem wird durch die inhärente Unvorhersehbarkeit realer intraoperativer Bedingungen verschärft, da diese zu erheblichen Domänenverschiebungen in den spektralen Daten führen können.

Diese Arbeit stellt zwei neuartige, auf Augmentierung basierende Ansätze vor, die darauf abzielen, die Einschränkungen der begrenzten Datenverfügbarkeit für eine robuste semantische Szenensegmentierung in der HSI zu überwinden. Die zentrale Idee besteht darin, während des Modelltrainings oder der Inferenz relevante Datensamples einzubringen, um die Generalisierbarkeit des Modells zu verbessern.

Zunächst wird das Problem pathologiebasierter Domänenverschiebungen adressiert. Solche Verschiebungen, z.B. Veränderungen in der Gewebeperfusion, können durch chirurgische Eingriffe oder zugrunde liegende Gesundheitszustände verursacht werden. Dies führt zu minderdurchbluteten Organen, die stark von den physiologischen Daten abweichen, auf denen Modelle üblicherweise trainiert werden. Um solchen Fällen entgegenzuwirken, schlagen wir eine neue Testzeit-Augmentierungsstrategie (Test-time Augmentation, TTA) vor, die physikalisch informierte synthetische Spektraldaten nutzt. Dabei verwenden wir physikbasierte Simulationen zur Erzeugung synthetischer Daten, die Perfusionsveränderungen ausgleichen – im Gegensatz zu generativen Modellen, die große Datensätze erfordern. Diese TTA-Methode passt die Verteilung der bisher ungesehenen Testbilder an die der Trainingsdaten an und erhöht so die Robustheit von ausschließlich auf physiologischen Daten trainierten Modellen gegenüber pathologischen Verschiebungen. Wir zeigen, dass dieser Ansatz die Domänenlücke zwischen physiologischen und minderdurchbluteten Datensätzen effektiv überbrückt. Somit wird eine verlässlichere Segmentierungsleistung in unterschiedlichen klinischen Szenarien ermöglicht.

Darüber hinaus wird in Anlehnung an das Konzept der Xenotransplantation ein neuartiges „Xeno-Learning“-Framework für den interspezifischen Wissenstransfer in der medizinischen Bildgebung vorgeschlagen. Die Gewinnung vielfältiger medizinischer Bilddaten vom Menschen ist aufgrund ethischer und praktischer Einschränkungen äußerst schwierig. Tiermodelle (z. B. Schwein und Nagetier) bieten hingegen leichter verfügbare und vielfältigere Datensätze mit einem breiteren Spektrum an Gewebezuständen. Unsere zentrale Beobachtung ist, dass – obwohl sich die absoluten spektralen Eigenschaften von Gewebe zwischen Spezies unterscheiden können – die relativen spektralen Veränderungen, die durch physiologische Prozesse (z. B. Änderungen der Organperfusion oder die Verabreichung von Kontrastmitteln wie Indocyaningrün (ICG)) verursacht werden, tendenziell konsistent bleiben. Diese Erkenntnis bildet die Grundlage unseres Xeno-Learning-Frameworks. Wir entwickeln eine neuartige „physiologiebasierte Datenaugmentierung“, bei der Wissen über Domänenverschiebungen, das aus Tierdaten gewonnen wurde, genutzt wird, um menschliche Trainingsdaten gezielt zu augmentieren. Dadurch können Modelle effektiv auf bisher ungesehene pathologische Testdatensätze beim Menschen generalisieren. Wir zeigen, dass Xeno-Learning nicht nur erfolgreichen Wissenstransfer ermöglicht, sondern auch traditionellen Methoden der adversarialen Domänenadaption überlegen ist und somit ein hohes Potenzial zur Verbesserung der Generalisierbarkeit zwischen Spezies aufweist.

Zusammenfassend zeigt diese Arbeit die Machbarkeit der automatischen semantischen Szenensegmentierung auf humanen physiologischen HSI-Daten auf und bietet innovative Lösungen für die Herausforderungen von Datenknappheit und Domänenverschiebungen. Die vorgeschlagene TTA-Strategie und das Xeno-Learning-Framework bieten robuste Ansätze zur Verbesserung der Generalisierbarkeit und klinischen Anwendbarkeit von DL-basierter spektraler Bildanalyse. Dies ermöglicht Fortschritte in der roboterassistierten Chirurgie, organbezogenen Perfusionsbewertung un AR/VR-basierter chirurgischer Navigation.