German Title: Skalierbare Instanzen Segmentierung für Mikroskopie

Preview

PDF, English Download (61MB) | Terms of use

Abstract

Modern microscopy techniques acquire images at very high rates, high spatial resolution and with a large field of view. To analyze the large image data-sets acquired with such microscopes, accurate and scalable automated analysis is desperately needed. A key component is the instance segmentation of structures of interest, such as cells, neurons or organelles.

In this thesis, we develop scalable methods for boundary based instance segmentation. We make use of Lifted Multicut graph partitioning and develop a method achieving state-of-the-art results on challenging benchmark data-sets. In order to scale this approach up, we introduce a new approximate solver for Multicut and Lifted Multicut, which can solve problems that were previously infeasible. We further establish a method to incorporate domain knowledge into the segmentation problem, which can significantly improve quality. To overcome the brittleness of seeded watersheds, used extensively in segmentation for microscopy, we introduce the Mutex Watershed. This efficient algorithm can segment images directly from pixels without the need for seeds or thresholds. Finally, we apply our methods in collaborative work, demonstrating their utility to answer biological research questions.

In summary, our contributions enable scalable instance segmentation, thus eliminating one of the major obstacles to the automated analysis of large microscopy data-sets.

Translation of abstract (German)

Moderne Mikroskopie Verfahren ermöglichen Aufnahmen mit sehr hoher Rate, hoher räumlicher Auflösung und großem Blickfeld. Um große Datensätze, die mit solchen Mikroskopen aufgenommen wurden, zu analysieren werden akkurate und skalierbare automatisierte Analyseverfahren dringend benötigt. Ein zentraler Bestandteil ist die Instanz Segmentierung der zu untersuchenden Strukturen, wie etwa Zellen, Neuronen oder Organellen.

In dieser Arbeit entwickeln wir skalierbare Methoden zur Membran-basierten Instanz Segmentierung. Wir benutzen Lifted Multicut Graph Partitionierung und zeigen, dass unsere Methode beste Ergebnisse auf schwierigen Referenz-Datensätzen erzielen. Um diesen Ansatz auf großen Daten anzuwenden entwicklen wir neue approximative Lösungsverfahren für Multicut und Lifted Multicut, die zuvor undurchführbare Problem lösen können. Ausserdem führen wir eine Methode zur Einbeziehung von domänen-spezifischen Wissen ein, welche die Segmentierungsqualität signifikant verbessern kann. Um den marker-basierten Wasserscheiden Algorithmus, der häufig in der Segmentierung von Mikroskopie Bildern verwendet wird, zu verbessern, führen wir den Mutex Watershed ein. Dieser effiziente Algorithmus kann Bilder direkt von Pixeln segmentieren, ohne Marker oder Grenzwerte zu benötigen. Wir wenden die von uns entwickelten Methoden im Rahmen mehrerer Forschungs-Kollaborationen an und demonstrieren ihre Tauglichkeit um biolgische Fragestellungen zu beantworten.

Unsere Arbeit ermöglicht skalierbare Instanz Segmentierung und beseitigt somit eines der größten Hindernisse zur automatisierten Analyse von großen Mikroskopie Datensätzen.