German Title: Auf Deep Learning Basierende Generierung Chirurgischer Hyperspektraler Bilder

Preview

PDF, English - main document Download (34MB) | Lizenz: Rights reserved - Free Access

Abstract

Postoperative death within 30 days after surgical intervention is the third largest contributor to mortality globally. Causes of postoperative mortality are manifold but also comprise challenging perception and the inability to estimate physiological tissue parameters during interventions. To capture data emanating from underlying physiological tissue properties, hyperspectral imaging (HSI) together with machine learning-based analyses has been proposed as a solution in recent literature. However, HSI data in the clinical setting is sparse, as its acquisition is crucially limited by a small number of approved devices and the need for clinical trials. Therefore, the present work investigates common deep learning frameworks for HSI and proposes a two-step image generation pipeline to synthesize hyperspectral tissue images. To validate the image generation pipeline, spectral correctness and textural realism were assessed both qualitatively and quantitatively. Results of the textural Kernel Inception Distance (KID) exhibited state of the art (SOTA) performance for both paired and random generated HSI patches. Furthermore, the feasibility of using the synthetic, unlabelled data for an image segmentation task was tested and found to not lead to improvement. From the conducted experiments it can be concluded that RGB image synthesis can be adapted to the HSI domain, while synthetic additional data has to be tailored for individual tasks.

Translation of abstract (German)

Postoperative Todesfälle bis zu 30 Tage nach chirurgischen Eingriffen sind weltweit die dritthäufigste Todesursache. Die Gründe für postoperative Sterblichkeit sind vielfältig, aber umfassen auch schwierige Sichtverhältnisse und das Unvermögen, physiologische Gewebeparameter während der Intervention bestimmen zu können. Für die Gewinnung solcher Gewebedaten, welche aus den physiologischen Gewebeeigenschaften resultieren, wurde in der Literatur hyperspektrale Bildgebung (HSI) zusammen mit auf Machine Learning basierenden Analysen als Lösungsansatz vor- gestellt. Allerdings sind HSI Bilder im medizinischen Bereich rar, da nur wenige zugelassene Aufnahmegeräte zur Verfügung stehen und klinische Studien erforderlich sind. Deshalb untersucht die vorliegende Arbeit Deep Learning Ansätze für HSI und stellt eine Bildgenerierungspipeline mit zwei Schritten für hyperspektrale Gewebeaufnahmen vor. Um die Bildgenerierungspipeline zu überprüfen wurde hierfür die Korrektheit von Spektren und Texturen wurde qualitativ und quantitativ bewertet. Ergebnisse der Textur-messenden KID zeigten sowohl für gepaarte, wie auch für zufällige synthetische Aufnahmen SOTA Resultate. Darüber hinaus wurde die Nutzbarkeit der generierten, nicht annotierten HSI Daten für Bildsegmentierung untersucht, welche zu keiner Verbesserung führten. Aus den durchgeführten Experimenten wird geschlossen, dass RGB Bildgenerierung für HSI Daten adaptiert werden kann, sowie dass künstliche Bilddaten auf die individuelle Aufgabe zugeschnitten werden müssen.