Preview

PDF, English - main document Download (79MB) | Lizenz: Robust AI-Driven Spectral Imaging for Perioperative Care by Seidlitz, Silvia underlies the terms of Creative Commons Attribution 4.0

Abstract

Physicians face major challenges in perioperative decision-making, as they need to rely on clinical intuition and limited information for critical real-time judgments. Spectral imaging (SI) could support this process by rapidly and non-invasively revealing changes in tissue composition that alter spectral signatures. While such changes often remain invisible to the human eye or conventional RGB imaging, SI captures subtle variations in tissue reflectance spectra at each pixel. Combined with machine learning (ML), this high-dimensional data could efficiently yield clinically relevant insights.

Numerous proof-of-concept studies have demonstrated the potential of SI, particularly for estimating functional tissue parameters such as oxygenation, thereby enabling non-invasive distinction between perfused and ischemic tissue during surgery. However, several important clinical applications of SI remain underexplored:

Clinical Gap: Automated Surgical Scene Segmentation Visual discrimination of tissue types remains an important challenge for surgeons, and automated surgical scene segmentation is a key component of surgical data science applications such as surgical phase recognition and robot-assisted surgery. However, SI-based segmentation, particularly in open surgeries, has received little attention. Consequently, it remains unclear whether SI offers advantages over other imaging modalities (e.g., RGB imaging) for surgical scene segmentation and how to optimally represent the input data in terms of spatial granularity (e.g., pixels, entire images). Leveraging the largest semantically annotated SI database to date, we close this gap and demonstrate that SI consistently outperforms RGB across all spatial granularities. Our image-based SI segmentation reaches performance comparable to a second human expert.

Clinical Gap: Sepsis Diagnosis and Mortality Prediction in Critically Ill Patients Sepsis remains a leading cause of mortality and critical illness. Early detection is vital to reduce mortality risk, yet reliable biomarkers for timely diagnosis and outcome prediction are still lacking. Sepsis diagnosis in intensive care unit (ICU) patients is particularly challenging due to high baseline illness severity. SI could potentially close this gap by capturing early signs such as edema formation and microcirculatory dysfunction. However, prior studies compare sepsis patients to healthy volunteers or narrowly selected cohorts, introducing a substantial risk of shortcut learning from confounding factors such as age and treatment regimens. We address this critical gap through a prospective study in ICU patients, comprising the largest SI patient cohort to date, in which we diagnose sepsis and predict mortality on the day of admission. Our SI-based ML models achieve high accuracy, particularly when combined with minimal clinical data, and outperform widely used biomarkers and scores, while enabling rapid, non-invasive, cost-effective and mobile assessments.

Technical Gap: Investigation of Domain Shifts A key challenge for SI analysis is its clinical translation. Numerous studies outside medical SI have shown that domain shifts between training and real-world application data can severely degrade algorithm performance, yet this issue has received little attention in medical SI. We are the first to investigate the impact of important real-world domain shifts: Illuminant and hardware-related shifts in functional tissue parameter estimation, geometric shifts (e.g., situs occlusions) in surgical scene segmentation, and population shifts in sepsis diagnosis and mortality prediction. Our results show that such shifts can substantially degrade downstream task performance.

Technical Gap: Mitigating performance degradation under domain shifts We propose methods to mitigate the performance degradation under domain shifts and improve algorithm robustness. To address drops in functional tissue parameter estimation due to illuminant changes, we introduce the first intraoperative, live illuminant estimation approach. Our method outperforms state-of-the-art illuminant estimation techniques from nonmedical domains, achieving accuracy close to the ideal scenario of a perfectly known illuminant. Additionally, we provide recommendations to mitigate hardware-related bias in SI study design. To enable robust surgical scene segmentation under geometric domain shifts, we introduce a surgery-inspired data augmentation strategy which restores in-distribution performance across diverse out-of-distribution scenarios.

In conclusion, this thesis contributes substantial advancements towards the robust and reliable application of ML-based SI analysis in real-world clinical settings. Specifically, it enables, for the first time, (1) intraoperative functional tissue parameter estimation under illuminant and hardware-related shifts, (2) automated surgical scene segmentation under geometric domain shifts, and (3) automated sepsis diagnosis and mortality prediction among ICU patients. Our findings are supported by extensive validation studies which are among the largest in the field of medical SI to date. To support the research community and facilitate the clinical translation of SI, we have publicly released datasets, as well as our code and pretrained models.

Translation of abstract (German)

Ärzt:innen stehen im perioperativen Entscheidungsprozess vor großen Herausforderungen, da sie auf klinische Intuition und begrenzte Informationen angewiesen sind, um kritische Entscheidungen in Echtzeit zu treffen. Spektrale Bildgebung (SI) könnte diesen Prozess unterstützen, indem sie schnell und nicht-invasiv Veränderungen in der Gewebezusammensetzung aufzeigt, die spektrale Signaturen beeinflussen. Während solche Veränderungen für das menschliche Auge oder herkömmliche RGB-Bildgebung oft unsichtbar bleiben, erfasst SI subtile Unterschiede in den Gewebereflexionsspektren auf Pixelebene. In Kombination mit maschinellem Lernen (ML) könnten diese hochdimensionalen Daten effizient klinisch relevante Informationen liefern.

Zahlreiche Machbarkeitsstudien haben das Potenzial von SI insbesondere zur Schätzung funktioneller Gewebeparameter wie der Oxygenierung gezeigt. Dies ermöglicht beispielsweise eine nicht-invasive Unterscheidung zwischen durchblutetem und ischämischem Gewebe während chirurgischer Eingriffe. Andere wichtige klinische Anwendungen von SI sind jedoch bislang nicht ausreichend erforscht:

Klinische Lücke: Automatisierte Segmentierung chirurgischer Szenen Die visuelle Differenzierung von Gewebetypen stellt für Chirurg:innen weiterhin eine zentrale Herausforderung dar. Außerdem ist die automatisierte Segmentierung chirurgischer Szenen ist ein Schlüsselelement zahlreicher Anwendungen, beispielsweise in der robotergestützten Chirurgie. Die Segmentierung mithilfe von SI wurde bislang kaum untersucht, insbesondere in offenen Operationen. Folglich ist unklar, ob SI gegenüber anderen Bildgebungsmodalitäten (z. B. RGB) Vorteile bei der Segmentierung chirurgischer Szenen liefert und wie die Eingangsdaten optimal hinsichtlich ihrer räumlichen Granularität (z. B. Pixel, ganze Bilder) verarbeitet werden sollten. Aufbauend auf der bisher größten semantisch annotierten SI-Datenbank schließen wir diese Lücke und zeigen, dass SI über alle räumlichen Granularitäten hinweg besser abschneidet als RGB. Unsere bildbasierte SI-Segmentierung erreicht eine zu einem menschlichen Experten vergleichbare Leistung.

Klinische Lücke: Sepsisdiagnose und Mortalitätsprognose bei Intensivpatienten Sepsis bleibt eine führende Ursache für Mortalität und kritische Erkrankungen. Eine frühzeitige Erkennung ist entscheidend, um das Sterberisiko zu senken, jedoch fehlen bislang verlässliche Biomarker für eine rechtzeitige Diagnose und Prognose. Bei Patienten auf der Intensivstation ist die Sepsisdiagnose aufgrund der hohen zugrundliegenden Krankheitsschwere besonders herausfordernd. SI könnte diese Lücke schließen, indem sie frühe Anzeichen wie Ödembildung und mikrozirkulatorische Dysfunktion erfasst. Frühere Studien verglichen Sepsispatienten jedoch lediglich mit gesunden Probanden oder selektiven Kohorten, was ein erhebliches Risiko von "Shortcut Learning" durch Störfaktoren wie Alter- oder Behandlungsregimes birgt. Wir adressieren diese kritische Lücke durch eine prospektive Studie an Intensivpatienten, der bislang größten SI-Patientenkohorte, in der wir am Tag der Aufnahme auf die Intensivstation Sepsis diagnostizieren und die 30-Tage-Mortalität vorhersagen. Unsere SI-basierten ML-Modelle erreichen hohe Genauigkeit, insbesondere in Kombination mit wenigen klinischen Daten, und übertreffen weit verbreitete Biomarker und Scores. Gleichzeitig ermöglichen sie schnelle, nicht-invasive, kosteneffiziente und mobile Messungen.

Technische Lücke: Untersuchung von Domänenverschiebungen Die klinische Translation SI-basierter Algorithmen stellt eine zentrale Herausforderung dar. Zahlreiche Studien aus anderen Bereichen haben gezeigt, dass Domänenverschiebungen zwischen Trainings- und Einsatzdaten die Leistungsfähigkeit von Algorithmen erheblich beeinträchtigen können. In der medizinischen SI-Analyse wurde dieses Problem jedoch bislang kaum berücksichtigt. In unserer Arbeit untersuchen wir erstmals relevante Domänenverschiebungen und deren Auswirkungen, wie Beleuchtungs- und hardwarebedingter Variationen auf die Schätzung funktioneller Gewebeparameter, geometrischer Veränderungen (z. B. Situsverdeckungen) auf die Segmentierung chirurgischer Szenen sowie populationsbedingte Unterschiede auf Sepsisdiagnose und Mortalitätsprognose. Unsere Ergebnisse belegen, dass solche Domänenverschiebungen die Leistungsfähigkeit SI-basierter Algorithmen deutlich reduzieren können.

Technische Lücke: Adressierung von Domänenverschiebungen Wir schlagen Methoden vor, um Leistungseinbußen bei Domänenverschiebungen zu mindern. Um Ungenauigkeiten bei der Schätzung funktioneller Gewebeparameter aufgrund von Beleuchtungsänderungen zu beheben, präsentieren wir den ersten intraoperativen Ansatz zur automatisierten Beleuchtungsschätzung. Unsere Methode übertrifft den Stand der Technik aus nicht-medizinischen Bereichen und erreicht eine Genauigkeit, die dem Idealfall einer bekannten Beleuchtung nahekommt. Darüber hinaus geben wir Empfehlungen zur Vorbeugung hardwarebedingter Variationen im Design von SI Studien. Für die Segmentierung chirurgischer Szenen bei geometrischen Domänenverschiebungen führen wir eine von der Chirurgie inspirierte Strategie zur Datenaugmentierung ein, die zur Trainingsdomäne vergleichbare Leistungen erzielt.

Zusammenfassend leistet diese Arbeit bedeutende Fortschritte für die robuste und zuverlässige Anwendung von ML-basierter SI-Analyse in realen klinischen Umgebungen. Sie ermöglicht erstmals (1) die intraoperative Schätzung funktioneller Gewebeparameter unter beleuchtungs- und hardwarebedingten Veränderungen, (2) die automatisierte Segmentierung chirurgischer Szenen unter geometrischen Domänenverschiebungen und (3) die automatisierte Sepsisdiagnose und Mortalitätsprognose bei Intensivpatienten. Unsere Ergebnisse werden durch umfangreiche Validierungsstudien gestützt, die zu den größten im Bereich der medizinischen SI zählen. Zur Unterstützung der Forschungsgemeinschaft und Förderung der klinischen Translation von SI haben wir Daten sowie unseren Code und trainierte Modelle öffentlich zugänglich gemacht.