Preview

PDF, English - main document Download (55MB) | Terms of use

Abstract

Deep learning has revolutionized the field of digital image processing. However, training a Convolutional Neural Network (CNNs) requires a complex pipeline consisting of image normalization, data augmentation, sample mining, parameter updates, performance evaluation and monitoring. Regardless of the image processing task, development of new approaches requires this pipeline to work before any experiments can be performed. For tomographic image data, special care is necessary with regard to the modality-specific image properties.

The work presented in this thesis provides a training pipeline based on the commonly used TensorFlow library. The pipeline is tailored to three medical image processing tasks: image regression, semantic segmentation and image classification. It was utilized to train CNNs in four studies on medical deep learning.

In an initial study the pipeline was used to train CNNs for limited angle artifact correction in circular tomosynthesis. The CNNs were trained on simulated data and were subsequently able to correct artifacts in synthetic and real scans. On the real data an artifact reduction of 30 to 40% was achieved using a 3D ResNet.

In a second study intra-individual volume change analysis in serial T1-weighted magnetic resonance imaging scans of the brain was realized with a 3D U-Net. The results demonstrated that the deep learning version could approximate the complex Voxel-guided Morphometry mapping at high quality (structural similarity index measure = 0.9521±0.0236) while reducing the computation time by 99.62%.

In a third study, the pipeline was applied to vessel segmentation in contrast enhanced computed tomography (CT). Ratio-based sampling was proposed to counter the class-ratio imbalance. Using the pipeline, 2D and 3D versions of the U-Net, the V-Net and the DeepVesselNet were trained. Well performing networks were combined into an ensemble. The method achieved Dice similarity coefficients of 0.758±0.050 (veins) and 0.838±0.074 (arteries) on the IRCAD data set. Application to the BTCV data set showed a high transfer ability.

In the final study, the pipeline was used to train several CNNs to classify whether CT images show an abdominal aortic aneurysm. Across the whole data set the algorithm achieved an accuracy of 0.856 and area under the receiver operating characteristic curve of 0.926. Using layer-wise relevance propagation, relevance maps were generated that offer interpretable visualization of the CNN's decision process.

The presented framework enables fast prototyping of deep learning applications for medical image processing. Due to the modular design individual components can be switched easily. It is a valuable tool in the development of clinically relevant artificial intelligence algorithms.

Translation of abstract (German)

Deep Learning hat den Bereich der digitalen Bildverarbeitung revolutioniert. Jedoch erfordert das Training von Convolutional Neural Networks (CNNs) eine komplexe Pipeline aus Normalisierung, Datenaugmentierung, Sample Auswahl, Parameter-Updates, Evaluierung und Überwachung. Die Entwicklung neuer Ansätze erfordert zunächst das Funktionieren dieser Pipeline, unabhängig davon, welche Aufgabe gelöst werden soll. Bei tomographischen Bilddaten ist besondere Sorgfalt im Hinblick auf die modalitätsspezifischen Bildeigenschaften geboten.

In dieser Arbeit wird eine Trainingspipeline vorgestellt, die auf der weit verbreiteten TensorFlow-Bibliothek basiert. Die Pipeline ist auf drei Aufgaben der medizinischen Bildverarbeitung zugeschnitten: Bildregression, semantische Segmentierung und Bildklassifikation. Sie wurde zum Trainieren von CNNs in vier Studien zu medizinischem Deep Learning eingesetzt.

In einer ersten Studie wurde die Pipeline verwendet, um CNNs für die Korrektur von Unterabtastungsartefakten in zirkulärer Tomosynthese zu trainieren. Die CNNs wurden auf simulierten Daten trainiert und waren anschließend in der Lage, Artefakte in synthetischen und echten Scans zu korrigieren. Auf den realen Daten wurde mit einem 3D-ResNet eine Artefaktreduktion von 30 bis 40% erreicht.

In einer zweiten Studie wurde eine intra-individuelle Volumenänderungsanalyse in seriellen T1-gewichteten Magnetresonanztomographieaufnahmen des Gehirns mit einem 3D-U-Net realisiert. Die Ergebnisse zeigten, dass die Deep-Learning-Version den komplexen Voxel-guided Morphometry Algrithmus mit hoher Qualität (structural similarity index measure = 0.9521±0.0236) approximieren konnte, während die Berechnungszeit um 99.62% reduziert wurde.

In einer dritten Studie wurde die Pipeline zur Gefäßsegmentierung in der kontrastverstärkten Computertomographie (CT) eingesetzt. Es wurde ein verhältnisbasiertes Sampling vorgeschlagen, um dem Ungleichgewicht zwischen den Klassen entgegenzuwirken. Mit der Pipeline wurden 2D- und 3D-Versionen des U-Netzes, des V-Netzes und des DeepVesselNet trainiert. Gut funktionierende Netze wurden zu einem Ensemble kombiniert. Die Methode erreichte Dice-Koeffizienten von 0.758±0.050 (Venen) und 0.838±0.074 (Arterien) auf dem IRCAD-Datensatz. Die Anwendung auf den BTCV-Datensatz zeigte eine hohe Übertragungsfähigkeit.

In der letzten Studie wurde die Pipeline verwendet, um mehrere CNNs zur Klassifikation von abdominalen Aortenaneurysmen in CT-Bildern zu trainieren. Auf dem gesamten Datensatz erreichte der Algorithmus eine Genauigkeit von 0.856 und eine Fläche unter der Receiver-Operating-Characteristic-Kurve von 0.926. Mittels Layer-wise Relevance Propagation wurden Relevanzkarten erzeugt, die eine interpretierbare Visualisierung des Entscheidungsprozesses des CNNs bieten.

Das vorgestellte Framework ermöglicht das schnelle Prototyping von Deep-Learning-Anwendungen für die medizinische Bildverarbeitung. Durch den modularen Aufbau können einzelne Komponenten leicht ausgetauscht werden. Es ist ein wertvolles Werkzeug bei der Entwicklung von klinisch relevanten Deep-Learning-Algorithmen.