Directly to content
  1. Publishing |
  2. Search |
  3. Browse |
  4. Recent items rss |
  5. Open Access |
  6. Jur. Issues |
  7. DeutschClear Cookie - decide language by browser settings

Surgical data science in endoscopic surgery

Roß, Tobias

German Title: Chirurgische Datenwissenschaften in der endoskopischen Chirurgie

[thumbnail of PhD_Thesis_Tobias_Ross.pdf]
Preview
PDF, English - main document
Download (14MB) | Terms of use

Citation of documents: Please do not cite the URL that is displayed in your browser location input, instead use the DOI, URN or the persistent URL below, as we can guarantee their long-time accessibility.

Abstract

Surgical data science (SDS) is a research field that aims to improve the quality of interventional healthcare by observing all aspects of the patient treatment process to provide the right assistance at the right time. To date, most SDS applications are based on the deep learning technique, which has shown great potential to solve challenging tasks in a complex surgical environment.However, such algorithms are dependent on a large amount of training data, which not only must contain data, but also labels (e.g., localization of an instrument in the image), so that they can be used for training. To date, however, such a mass of training data is not available. This is primarily because the creation of such data would often require medical experts, as well as significant time and money resources. This data scarcity motivates the two major challenges of surgical data science, namely, (1) how algorithms based on machine learning methods can be trained despite the limited availability of such data and (2) how more training data could be provided. For this work, as a concrete example of a surgical data science application, instrument segmentation of medical instruments in images of laparoscopic videos was used.

This thesis investigated several means to alleviate this data scarcity in the context of laparoscopic instrument segmentation resulting in the following main contributions: First, it was examined how \textbf{unlabeled data can be integrated into the training of a machine-based algorithm to reduce the amount of annotated data}. Although with this method, the performance of a deep learning model trained on only a few labeled data could be significantly increased, the achieved performance was not high enough to cover the lack of training data. For this reason, as second contribution, \textbf{the largest dataset to date for the segmentation of multiple instruments in images of laparoscopic videos was created}. Generating the dataset followed a strict annotation protocol and was quality controlled. The created data was then \textbf{published as part of an international challenge to test the submitted methods and identify unresolved problems}. The third contribution was that \textbf{image characteristics were determined which negatively affect the segmentation quality}. In order to identify and quantify the influence of such characteristics, a statistical method has been developed. This analysis then flowed into the last contribution, \textbf{the targeted development of an algorithm that was designed to address the identified difficult characteristics} and achieved the best performance on the challenge dataset.

As a result, this work provided a new tool for dealing with data sparsity by revealing the great potential of unlabeled data and the performance gain that can be achieved when generating high-quality datasets. Further, it showed that an in-depth statistical analysis of challenge results could be used to identify open issues of state-of-the-art methods and develop algorithms that are specifically designed to address those issues. This problem-driven approach even leads to a new best score on the task of multi-instance segmentation. Based on this thesis's results, one can confidently assume that the combination of generating data and problem-driven algorithm development and design has the potential to bridge the gap between research and the transition into clinical practice.

Translation of abstract (German)

Die Surgical Data Science (SDS) ist ein Forschungsgebiet, das darauf abzielt die Qualität der konventionellen Gesundheitsversorgung zu verbessern, indem alle Aspekte des Patientenbehandlungsprozesses beobachtet werden und die richtige Unterstützung zur richtigen Zeit bereitgestellt wird. Zum aktuellen Zeitpunkt basieren die meisten SDS-Applikationen auf der Machine Learning Technik "Deep Learnings", welche ein großes Potenzial für die Lösung von komplizierten Aufgaben in der komplexen chirurgischen Umgebung gezeigt hat. Solche Algorithmen sind jedoch auf eine große Menge an Trainingsdaten angewiesen, die nicht nur Daten, sondern auch sogenannte Trainingsziele (z. B. Lokalisation eines Instruments im Bild) beinhalten müssen, damit sie zuverlässig eingesetzt werden können. Zum aktuellen Zeitpunkt jedoch, steht diese Masse an Trainingsdaten nicht zur Verfügung, weil die Erstellung von solchen Daten oftmals medizinische Experten, sowie große Zeit und Geldressourcen beansprucht. Diese Datenknappheit motiviert die zwei großen Herausforderungen des SDS-Forschungsgebiets, nämlich (1) wie können, trotz der geringen Verfügbarkeit solcher Daten, Algorithmen die auf maschinellen Lernverfahren basieren trainiert werden und (2), wie können Trainingsdaten bereitgestellt werden. Dabei konzentriert sich diese Arbeit auf das konkrete Anwendungsbeispiel der Instrumentensegmentierung von medizinischen Instrumenten in Bildern von laparoskopischen Videos.

Diese Arbeit untersucht verschiedene Methoden, um diese Datenknappheit im Zusammenhang mit der Segmentierung laparoskopischer Instrumente zu verringern, was zu den folgenden Hauptbeiträgen führte: Zunächst wurde untersucht, wie \textbf{ungelabelte Daten mit in das Training eines maschinellen lernverfahrenbasierten Algorithmusses eingebunden werden} können, mit dem Ziel, die Anzahl an annotierten Daten zu verringern. Obwohl mit dieser Methode die Performanz eines deep learning Modells, welches mit nur wenigen gelabelten Daten trainiert wurde, signifikant gesteigert werden konnte, war die Performanz noch nicht hoch genug, um den Mangel an Trainingsdaten zu decken. Aus diesem Grund wurde als zweiter Beitrag dieser Arbeit zusätzlich der bis dahin \textbf{größte Datensatz für die Segmentierung von mehreren Instrumenten in Bildern von laparoskopischen Videos erstellt}. Die Erstellung des Datensatzes folgte dabei einem strikten Annotationsprotokoll und wurde qualitätskontrolliert. Der so erstellte Datensatz wurde anschließend \textbf{im Rahmen einer internationalen Challenge veröffentlicht}, mit dem Ziel noch ungelöste Probleme zu identifizieren. Der dritte Beitrag besteht darin, dass \textbf{Bildeigenschaften identifiziert wurden, welche die Segmentierungsqualität negativ beeinflussen}. Um den Einfluss solcher Charakteristika eindeutig zu identifizieren und zu quantifizieren, wurde eine statistische Methode entwickelt. Die Ergebnisse dieser Analyse flossen dann in den letzten Beitrag dieser Arbeit ein, nämlich in die \textbf{zielgerichtete Entwicklung eines Algorithmus der die identifizierten schwierigen Merkmale adressiert} und welcher anschließend die beste Performanz auf dem Challengedatensatz erreichte.

Infolgedessen bietet diese Arbeit ein neues Werkzeug für den Umgang mit dem Datenmangel, indem das große Potenzial ungelabelter Daten und der Performanzgewinn, der beim Generieren hochwertiger Datensätze erzielt werden kann, aufgezeigt wurde. Darüber hinaus zeigte sich, dass eine eingehende statistische Analyse von Challengeergebnissen verwendet werden kann, um offene Probleme aktueller Methoden zu identifizieren und Algorithmen zu entwickeln, welche explizit auf die Probleme zugeschnitten sind. Dieser problemorientierte Ansatz führte zu einem neuen Spitzenwert für den Task der Multi-Instanz Instrumentensegmentierung. Basierend auf den Ergebnissen dieser Arbeit kann man davon ausgehen, dass die Kombination aus Datengenerierung und problemgesteuerter Algorithmenentwicklung das Potenzial hat, die Lücke zwischen der Forschung und der Überführung der Ergebnisse in die klinische Praxis zu schließen.

Document type: Dissertation
Supervisor: Maier-Hein, Prof. Dr. Lena
Place of Publication: Heidelberg
Date of thesis defense: 1 December 2021
Date Deposited: 01 Mar 2022 09:24
Date: 2022
Faculties / Institutes: Medizinische Fakultät Heidelberg > Dekanat der Medizinischen Fakultät Heidelberg
Service facilities > German Cancer Research Center (DKFZ)
DDC-classification: 004 Data processing Computer science
610 Medical sciences Medicine
Controlled Keywords: Medizinische Informatik, Deep learning, Minimal-invasive Chirurgie
Uncontrolled Keywords: surgical data science, self-supervised learning, labeling, challenges
About | FAQ | Contact | Imprint |
OA-LogoDINI certificate 2013Logo der Open-Archives-Initiative