English Title: Efficient workflow for 3D image data considering the image acquisition noise using the example of pathology

Preview

PDF, German - main document Download (46MB) | Terms of use

Abstract

Heutige Kamerasysteme und Bildsensoren werden stetig performanter bei gleichzeitig wachsender Auflösung. Dies beschleunigt den aktuell voranschreitenden Wandel von einer 2D Bildgebung hin zu 3D, 4D oder sogar 5D. Allerdings erfolgt die Entwicklung unterschiedlich schnell. Während die Computertomografie (CT) schon lange auf 3D Bildgebung setzt, arbeitet die Pathologie meist mit 2D Bildern. Das BMBF Forschungsprojekt 3DPatho entwickelt eines der ersten Systeme für die Pathologie, das dreidimensionale Proben analysieren kann. Da es sich um eine komplette Neuentwicklung handelt, existieren noch keine Abläufe für derartige Daten. In dieser Arbeit wird eine vollständige Verarbeitungskette für diese 3D Bilddaten entwickelt. Der Fokus liegt dabei gleichermaßen auf einer allgemeingültigen Umsetzung und der Integration in pathologische Arbeitsabläufe. Da es sich um sehr große Bildstapel handelt, werden diese in einem ersten Schritt komprimiert. Hierzu wird eine erweiterte Rauschequilibrierung entwickelt, die den kombinierten Effekt von zeitlichem und räumlichem Rauschen eines Bildsensors, sowie des Rauschens im Beleuchtungssystem, berücksichtigt, ohne dabei die Nutzinformation im Bild zu verändern. So ist es möglich, Bilddaten mit einer Dynamik von bis zu 16 Bit auf 8 Bit zu komprimieren und damit Speicherplatz und weitere Verarbeitungszeit entsprechend zu reduzieren. Das nächste Glied der Verarbeitungskette ist eine effiziente Ablage der Daten in einem geeigneten Format. Da es sich um medizinische Daten handelt, wird hierfür das DICOM Format gewählt und um eine 3D Gauß-Laplace Pyramide (GLP) mit performanten Zugriffsmöglichkeiten und einem optimierten Glättungsfilter mit minimalem Aliasing-Effekt erweitert. Daran angepasst wird mithilfe der quelloffenen Bibliotheken ITK und VTK eineMethode geschaffen, die die Bilder, oder Bereiche daraus, aus der GLP rekonstruiert. Hierfür werden neue ITK Algorithmen entwickelt, die dies unter Verwendung des entworfenen optimierten Glättungsfilters realisieren. Zusammen mit bereits existierenden Funktionalitäten der Bibliotheken wird damit eine ITK und VTK Verarbeitungskette zur Rekonstruktion von Bildbereichen erstellt. Partielles Laden, Verteilung auf mehrere Prozesse und intelligente Rekonstruktion sorgen für die erforderliche Leistungsfähigkeit. In einem letzten Schritt wird die Rekonstruktion in eine Visualisierungssoftware integriert. Beispielhaft sind gängige Darstellungstechniken mithilfe von VTK umgesetzt. Die Software kann flexibel erweitert werden, um für künftige Projekte und Anwendungen gut einsetzbar zu sein. Resultate zeigen, dass sich die so entwickelte Verarbeitungskette sehr gut auf reale Datensätze anwenden lässt, aber auch für beliebige dreidimensionale Daten anderer Forschungsgebiete nutzbar ist.

Translation of abstract (English)

Today’s camera systems and image sensors are steadily increasing performance with simultaneously growing resolution. This development accelerates the ongoing change in image acquisition from 2D towards 3D, 4D or even 5D, but the speed of transition differs with the application area. While computer tomography (CT) already uses 3D imaging for a long time, pathology mostly still works with 2D images. The FMER research project 3DPatho develops one of the first pathological systems, which has the ability to analyze three-dimensional probes. Since this is a completely new concept, there are no workflows available for handling such data. This thesis develops a complete processing pipeline for such 3D image data. The work focusses on an universal implementation and the integration into pathological workflows. As the image stacks are very large, they will be compressed as a first step. Therefore an extended noise equalisation is developed, taking into account the combined effect of temporal and spatial noise of an image sensor, as well as the noise of the illumination system, while keeping the relevant information of the image untouched. In this way it is possible to compress image data with a range of 16 bit to 8 bit and to reduce storage space and processing time correspondingly. The next link in the processing pipeline is an effective storage of the data using a suitable file format. As the images are medical data, the DICOM format is chosen and extended with a 3D Gauß-Laplacian pyramid (GLP) including performant access methods and an optimized smoothing filter with minimum aliasing effects. Adapted to this, a method is created, using the open source libraries ITK and VTK, to reconstruct the images, or parts of them, from the GLP. Therefore new ITK algorithms are developed to implement this using an optimized smoothing filter. In conjunction with already existing functionalities of the libraries, an ITK and VTK pipeline is created to reconstruct image parts. The performance is increased by partial loading, multi-threading and intelligent reconstruction. In a last step the reconstruction is integrated into a visualization software. Some commonly used displaying techniques are realized as examples using VTK. The software can flexibly be extended to make it easy usable for future projects and applications. The results show that the processing pipeline, developed in this thesis, can be applied to real datasets. However, it can also be applied to arbitrary three dimensional data from other research areas.