German Title: Global optimale Zellsegmentierung unter Nutzung von Form- und Intensitätsinformationen

Preview

PDF, English Download (14MB) | Lizenz: Globally optimal cell segmentation using shape and intensity information by Kostrykin, Leonid underlies the terms of Creative Commons Attribution-NonCommercial-NoDerivatives 4.0

Abstract

Studies of cellular structures and processes are of key interest in biomedical research and pathology. Such studies often require segmentation of cell nuclei in microscopy images, for example, for cell counting, analysis of the morphology, or for analysis of other cellular structures in the proximity of nuclei. Since accurate manual segmentation of cell nuclei is tedious, automatic segmentation methods are indispensable to facilitate the analysis. Segmentation of cell microscopy images is particularly challenging due to imaging artifacts like strong image noise and intensity inhomogeneities, but also due to closely clustered or partially overlapping objects and shape variation of cell nuclei.

In this thesis, three new cell segmentation methods are introduced. The methods are based on implicitly parameterized shape models and address major challenges in cell segmentation by jointly exploiting shape and intensity information. Model fitting is performed by energy minimization, comprising convex and combinatorial optimization schemes, which yields results close to global optimality. Convexity is a computationally favorable property which permits fast, robust, and reproducible energy minimization, independently of the initialization.

The proposed cell segmentation methods are based on three new shape parameterizations. First, a non-linear parameterization for elliptical models is presented, which uses the locations of priorly detected objects. Energy minimization is performed by convex optimization using a sequential approximation scheme. Second, a linear parameterization for elliptical models is proposed. This parameterization has the advantage of directly yielding a convex energy, thus sequential approximation is not required. Third, a linear parameterization for deformable shape models is introduced, which also yields a convex energy but permits coping with more general shapes.

To enable joint cell segmentation and cluster splitting, the shape parameterizations are generalized from the single-object to the multi-object case. The corresponding energy is non-convex, yet, we show that it is structurally similar to the min-weight set-cover problem. We develop a novel iterative global energy minimization method which exploits the set-cover structure and provably determines a solution close to global optimality. This is achieved by a new necessary optimality condition, which is iteratively evaluated and refined. In addition, a closed-form solution for non-clustered cell nuclei is derived, which directly determines the corresponding segmentation result and further accelerates the computations.

The proposed methods were applied to challenging image data, comprising fluorescence microscopy images of six different cell types and publicly available benchmark datasets, and a quantitative comparison with previous methods was performed. It turned out that the proposed methods generally yield competitive or improved results. Furthermore, the applicability of the methods to H&E-stained pathology images was investigated.

Translation of abstract (German)

Studien über zelluläre Strukturen und Prozesse sind von zentralem Interesse in der biomedizinischen Forschung und der Pathologie. Solche Studien erfordern häufig eine Segmentierung der Zellkerne in Mikroskopieaufnahmen, beispielsweise für Zellzählung, Analyse der Morphologie oder für die Analyse anderer zellulärer Strukturen in der Umgebung der Zellkerne. Da eine genaue manuelle Segmentierung der Zellkerne mühsam ist, sind automatische Zellsegmentierungsverfahren zur Durchführung der Bildanalyse unverzichtbar. Besonders schwierig ist die Segmentierung von Zellmikroskopiebildern aufgrund von Bildgebungsartefakten wie starkem Bildrauschen und Intensitätsinhomogenitäten, aber auch aufgrund von zusammenhängenden oder teilweise überlappenden Objekten sowie Formvariationen der Zellkerne.

In dieser Arbeit werden drei neue Methoden zur Zellsegmentierung vorgestellt. Die Methoden basieren auf implizit parametrisierten Formmodellen und begegnen den Herausforderungen der Zellsegmentierung durch die gleichzeitige Nutzung von Form- und Intensitätsinformationen. Die Modellanpassung erfolgt durch Energieminimierung, die konvexe und kombinatorische Optimierungsverfahren umfasst und Ergebnisse nahe der globalen Optimalität liefert. Konvexität ist eine rechnerisch günstige Eigenschaft, die eine schnelle, robuste und reproduzierbare Energieminimierung ermöglicht, unabhängig von der Initialisierung.

Die vorgeschlagenen Methoden basieren auf drei neuen Parametrisierungen der Formmodelle. Zunächst wird eine nicht-lineare Parametrisierung für elliptische Modelle präsentiert, die die Positionen der zuvor detektierten Objekte berücksichtigt. Die Energieminimierung erfolgt durch konvexe Optimierung unter Verwendung eines sequenziellen Approximationsverfahrens. Zweitens wird eine lineare Parametrisierung für elliptische Modelle beschrieben. Diese Parametrisierung hat den Vorteil, dass sie direkt zu einer konvexen Energie führt, so dass eine sequenzielle Approximation nicht erforderlich ist. Drittens wird eine lineare Parametrisierung für deformierbare Formmodelle eingeführt, die ebenfalls zu einer konvexen Energie führt, aber es gestattet mit allgemeineren Formen umzugehen.

Um die Segmentierung und Trennung zusammenhängender Zellen simultan durchführen zu können, werden die Formmodelle für ein einzelnes Objekt auf mehrere Objekte verallgemeinert. Die entsprechende Energie ist nichtkonvex, jedoch zeigen wir, dass sie strukturell dem minimal-gewichteten Mengenüberdeckungsproblem ähnlich ist. Wir entwickeln ein neuartiges iteratives globales Energieminimierungsverfahren, das die Struktur des Mengenüberdeckungsproblems ausnutzt und nachweislich eine Lösung nahe der globalen Optimalität liefert. Dies wird durch eine neue notwendige Optimalitätsbedingung erreicht, die iterativ ausgewertet und verbessert wird. Darüber hinaus wird eine Lösung in analytisch geschlossener Form für nicht-zusammenhängende Zellkerne hergeleitet, die das entsprechende Segmentierungsergebnis direkt bestimmt und die Berechnungen dadurch weiter beschleunigt.

Die vorgeschlagenen Methoden wurden auf herausfordernde Bilddaten angewendet, die Fluoreszenzmikroskopiebilder von sechs verschiedenen Zelltypen und öffentlich zugänglichen Benchmark-Datensätzen umfassen, und ein quantitativer Vergleich mit früheren Methoden wurde durchgeführt. Es zeigte sich, dass die vorgeschlagenen Methoden im Allgemeinen vergleichbare oder bessere Ergebnisse liefern. Auch wurde die Anwendbarkeit der Methoden auf H&E-gefärbte Pathologiebilder untersucht.