Directly to content
  1. Publishing |
  2. Search |
  3. Browse |
  4. Recent items rss |
  5. Open Access |
  6. Jur. Issues |
  7. DeutschClear Cookie - decide language by browser settings

Multi-Target Tracking with Probabilistic Graphical Models

Schiegg, Martin Josef

[thumbnail of thesis.pdf]
Preview
PDF, English - main document
Download (15MB) | Terms of use

Citation of documents: Please do not cite the URL that is displayed in your browser location input, instead use the DOI, URN or the persistent URL below, as we can guarantee their long-time accessibility.

Abstract

Thanks to revolutionary developments in microscopy techniques such as robotic high-throughput setups or light sheet microscopy, vast amounts of data can be acquired at unprecedented temporal and spatial resolution. The mass of data naturally prohibits manual analysis, though, and life scientists thus have to rely more and more on automated cell tracking methods. However, automated cell tracking involves intricacies that are not commonly found in traditional tracking applications. For instance, cells may undergo mitosis, which results in variable numbers of tracking targets across successive frames. These difficulties have been addressed by tracking-by-assignment models in the past, which dissect the task into two stages, detection and tracking. However, as with every two-stage framework, the approach hinges on the quality of the first stage, and errors propagate partially irrevocably from the detection to the tracking phase.

The research in this thesis thus focuses on methods to advance tracking-by-assignment models in order to avoid these errors by exploiting synergy effects between the two (previously) separate stages. We propose two approaches, both in terms of probabilistic graphical models, which allow for information exchange between the detection and the tracking step to different degrees. The first algorithm, termed Conservation tracking, models both possible over- and undersegmentation errors and implements global consistency constraints in order to reidentify target identities even across occlusion or erroneous detections. Wrong detections from the first step can hence be corrected in the second stage. The second method goes one step further and optimizes the two stages completely jointly in one holistic model. In this way, the detection and tracking step can maximally benefit from each other and reach the overall most likely interpretation of the data. Both algorithms yield notable results which are state-of-the-art.

In spite of the distinguished results achieved with these methods, automated cell tracking methods are still error-prone and manual proof-reading is often unavoidable for life scientists. To avoid the time-consuming manual identification of errors on very large datasets, most ambiguous predictions ought to be detected automatically so that these can be corrected by a human expert with minimal effort. In response, we propose two easy-to-use methods to sample multiple solutions from a tracking-by-assignment graphical model and derive uncertainty measures from the variations across the samples. We showcase the usefulness for guided proof-reading on the cell tracking model proposed in this work.

Finally, the successful application of structured output learning algorithms to cell tracking in previous work inspired us to advance the state-of-the-art by an algorithm called Coulomb Structured Support Vector Machine (CSSVM). The CSSVM improves the expected generalization error for unseen test data by the training of multiple concurrent graphical models. Through the novel diversity encouraging term, motivated from experimental design, the ensemble of graphical models is learned to yield diverse predictions for test data. The best prediction amongst these models may then be selected by an oracle or with respect to a more complex loss. Experimental evaluation shows significantly better results than using only one model and achieves state-of-the-art performance on challenging computer vision tasks.

Translation of abstract (German)

Dank revolutionärer Entwicklungen in der Mikroskopiertechnik, wie zum Beispiel High-Throughput-Roboter oder die Lichtscheibenmikroskopie, können gewaltige Datenmengen mit beispielloser zeitlicher und räumlicher Auflösung aufgenommen werden. Allerdings macht die riesige Masse an Daten eine manuelle Analyse unmöglich, weshalb Biowissenschaftler immer mehr auf automatische Zell-Tracking-Methoden angewiesen sind. Automatisches Zell-Tracking bringt jedoch Schwierigkeiten mit sich, welche in traditionellen Tracking-Anwendungen kaum eine Rolle spielen. Beispielsweise durchlaufen Zellen Mitose, wodurch sich die Anzahl der Tracking-Objekte in aufeinanderfolgenden Zeitschritten stark verändern kann. Diese Komplexitäten wurden in der Vergangenheit durch so genannte Tracking-by-assignment-Methoden angegangen, welche die Aufgabe in zwei Abschnitte aufteilen: Erkennung und Tracking. Wie jedes Zwei-Phasen-Modell steht und fällt jedoch auch dieses mit der Qualität des ersten Schrittes, und Fehler pflanzen sich teilweise unwiderruflich von der Erkennungs- zur Tracking-Phase fort.

Diese Forschungsarbeit beschäftigt sich deshalb mit Methoden, welche Tracking-by-assignment-Modelle durch das Ausnutzen von Synergieeffekten zwischen den beiden (bisher) getrennten Schritten verbessern sollen, um solche Fehler zu vermeiden. Wir schlagen zwei Ansätze vor, beide in Form von probabilistischen graphischen Modellen, die einen Informationsaustausch zwischen der Erkennungs- und der Tracking-Phase zu unterschiedlichen Graden ermöglichen. Der erste Algorithmus, den wir Conservation Tracking nennen, modelliert sowohl mögliche Über- als auch Untersegmentierungsfehler und führt globale Konsistenzbedingungen ein um Objektidentitäten sogar nach Verdeckung oder fehlerhafter Erkennung wiederzufinden. Falsch erkannte Objekte aus dem ersten Schritt können somit in der zweiten Phase korrigiert werden. Die zweite Methode geht noch einen Schritt weiter und optimiert die beiden Schritte komplett gemeinsam in einem ganzheitlichen Modell. Auf diese Weise können Erkennung und Tracking maximal voneinander profitieren und zusammen die insgesamt wahrscheinlichste Dateninterpretation erreichen. Beide Algorithmen erzielen hervorragende Ergebnisse, die dem neuesten Stand der Technik entsprechen.

Trotz der überzeugenden Ergebnisse, die mit diesen Methoden erzielt werden, ist das automatische Zell-Tracking jedoch immer noch fehleranfällig, was eine manuelle Fehlersuche für Biowissenschaftler unumgänglich macht. Um eine zeitraubende manuelle Identifikation solcher Fehler auf sehr großen Datensätzen zu vermeiden, sollten deshalb die unsichersten Vorhersagen automatisch gefunden werden, so dass diese von einem menschlichen Experten mit möglichst wenig Aufwand korrigiert werden können. Aus diesem Grund schlagen wir zwei einfach anwendbare Methoden vor um mehrere Lösungen von einem Tracking-by-assignment-Modell zu sampeln und leiten Unsicherheitsmaße von der Variabilität dieser Lösungen ab. Wir demonstrieren die Nützlichkeit für eine gesteuerte Fehlersuche auf dem in dieser Arbeit vorgestellten Zell-Tracking-Modell.

In früheren Arbeiten wurden strukturierte Lernalgorithmen erfolgreich auf Zell-Tracking-Modelle angewendet, was uns letztlich inspiriert hat, den Stand der Technik in dieser Richtung durch eine Methode namens Coulomb Structured Support Vector Machine (CSSVM) weiterzuentwickeln. Die CSSVM verbessert den erwarteten Generalisierungsfehler für zukünftige Testdaten durch das Training von mehreren konkurrierenden graphischen Modellen. Der neu eingeführte Term belohnt Diversität unter den Modellen und wird aus dem Bereich der Versuchsanordnung motiviert. Durch ihn wird ein Ensemble von graphischen Modellen so trainiert, dass es diverse Vorhersagen auf Testdaten liefert. Anschließend können die besten Vorhersagen von diesen Modellen durch ein Orakel oder durch eine komplexere Funktion ausgewählt werden. In der experimentellen Evaluation zeigen sich für die CSSVM deutlich bessere Ergebnisse gegenüber den Vorhersagen nur eines Modells und es werden Ergebnisse auf herausfordernden Problemen aus dem Computer-Vision-Bereich erzielt, die dem neuesten Stand der Technik entsprechen.

Document type: Dissertation
Supervisor: Hamprecht, Prof. Dr. Fred A.
Date of thesis defense: 20 May 2015
Date Deposited: 29 May 2015 10:15
Date: 2015
Faculties / Institutes: The Faculty of Mathematics and Computer Science > Dean's Office of The Faculty of Mathematics and Computer Science
DDC-classification: 004 Data processing Computer science
500 Natural sciences and mathematics
510 Mathematics
570 Life sciences
600 Technology (Applied sciences)
Controlled Keywords: Maschinelles Lernen, Objektverfolgung, Graphisches Modell, Optimierung
Uncontrolled Keywords: machine learning, tracking, cell tracking, probabilistic graphical model, discrete optimization, structured prediction
About | FAQ | Contact | Imprint |
OA-LogoDINI certificate 2013Logo der Open-Archives-Initiative