PDF, English Download (94MB) | Terms of use

Abstract

Neuroscientists are increasingly convinced that it is necessary to reconstruct the precise wiring and synaptic connectivity of biological nervous systems to eventually decipher their function. The urge to reconstruct ever larger and more complete synaptic wiring diagrams of animal brains has created an entire new subfield of neuroscience: Connectomics. The reconstruction of connectomes is difficult because neurons are both large and small. They project across distances of many millimeters but each individual neurite can be as thin as a few tens of nanomaters. In order to reconstruct all neurites in densely packed neural tissues, it is necessary to image this tissue at nanometer resolution which, today, is only possible with 3D electron microscopy (3D-EM). Over the last decade, 3D-EM has become significantly more reliable than ever before. Today, it is possible to routinely image volumes of up to a cubic millimeter, covering the entire brain of small model organisms such as that of the fruit fly Drosophila melanogaster. These volumes contain tens or hundreds of tera-voxels and cannot be analyzed manually. Efficient computational methods and tools are needed for all stages of connectome reconstruction: (1) assembling distortion and artifact free volumes from serial section EM, (2) precise automatic recon- struction of neurons and synapses, and (3) efficient and user-friendly solutions for visualization and interactive proofreading. In this dissertation, I present new computational methods and tools that I developed to address previously unsolved problems covering all of the above mentioned aspects of EM connectomics. In chapter 2, I present a new method to correct for planar and non-planar axial distortion and to sort unordered section series. This method was instrumental for the first ever acquisition of a complete brain of an adult Drosophila melanogaster imaged with 3D-EM. Machine learning, in particular deep learning, and the availability of public training and test data has had tremendous impact on the automatic reconstruction of neurons and synapses from 3D-EM. In chapter 3, I present a novel artificial neural network architecture that predicts neuron boundaries at quasi-isotropic resolution from non-isotropic 3D-EM. The goal is to create a high-quality over- segmentation with large three-dimensional fragments for faster manual proof- reading. In chapter 4, I present software libraries and tools that I developed to support the processing, visualization, and analysis of large 3D-EM data and connectome reconstructions. Using this software, we generated the largest currently existing training and test data for connectome reconstruction from non-isotropic 3D-EM. I will particularly emphasize my flexible interactive proof-reading tool Paintera that I built on top of the libraries and tools that I have developed over the last four years.

Translation of abstract (German)

Neurowissenschaftler sind zunehmend davon überzeugt, dass es notwendig ist, die synaptische Verbindung und den „Schaltplan“ biologischer Nervensysteme präzise zu rekonstruieren, um deren Funktion zu entschlüsseln. Die Dringlichkeit, immer größere und vollständigere synaptische Schaltpläne zu rekonstruieren, hat eine gänzlich neue Disziplin der Neurowissenschaften begründet: Konnektomiks. Die Rekonstruktion von Konnektomen ist deshalb schwer, weil Nervenzellen zugleich sehr groß und sehr klein sind. Eine einzelne Zelle kann sich über mehrere Millimeter erstrecken, während einzelne Neuriten dünner als hundert Nanometer sind. Um alle Neuriten in dichtgepacktem neuronalen Gewebe vollständig zu rekonstruieren, ist es notwendig, das Gewebe mit einer Auflösung von wenigen Nanometern pro Pixel abzubilden. Das ist heutzutage ausschließlich mit 3D- Elektronen-Mikroskopie (3D-EM) möglich. Im Verlauf des letzten Jahrzehnts ist 3D-EM immer zuverlässiger geworden. Heute ist es möglich, Volumina von bis zu einem Kubikmillimeter aufzunehmen, die das gesamte Gehirn kleiner Modellorganismen, wie z.B. der Fruchtfliege Dro- sophila melanogaster, enthalten. Diese Volumina haben eine Größe von mehreren zehn oder gar hundert Teravoxeln und können nicht mehr vollständig manuell analysiert werden. Alle Aspekte der Konnektom-Rekonstruktion erfordern den Einsatz effizienter computerbasierter Methoden und Werkzeuge: (1) Die Rekon- struktion verzerrungs- und störungsfreier Volumina aus EM-Bildserien, (2) die präzise und automatische Rekonstruktion von Neuronen und Synapsen, und (3) benutzerfreundliche und effizienter Lösungen für die Visualisierung und manuelle Korrektur dieser Resultate. In dieser Dissertation beschreibe ich com- puterbasierte Methoden, die ich entwickelt habe, um bislang ungelöste Probleme aus allen der drei aufgezählten Bereiche zu adressieren. In Kapitel 2 präsentiere ich eine neue Methode, planare und nicht-planare axiale Verzerrungen zu entfernen, sowie unsortierte Bildserien zu sortieren. Diese Methode war von entscheidender Bedeutung für die erfolgreiche 3D-EM- Aufnahme des ersten vollständigen Gehirns einer erwachsenen Drosophila melano- gaster. Maschinelles Lernen, insbesondere „Deep Learning“, sowie die Verfügbarkeit öffentlicher Trainings- und Test-Datensätze haben die automatische Rekonstruk- tion von Neuronen und Synapsen in 3D-EM bemerkenswert verbessert. In Kapitel 3 beschreibe ich eine neue Architektur für künstliche neuronale Netzwerke, die aus nicht-isotropen 3D-EM-Daten quasi-isotrope Rekonstruktionen von Nerven- zellen generiert. Ziel ist es, eine qualitativ hochwertige Übersegmentierung aus großen Fragmenten zu erzeugen, um die manuelle Korrektur zu beschleunigen. In Kapitel 4 beschreibe ich Programmierbibliotheken und Anwendungen, die ich für die Verarbeitung, Visualisierung und Analyse großer 3D-EM Daten und Konnektomrekonstruktionen entwickelt habe. Mit Hilfe dieser Anwendungen haben wir den derzeit größten existierenden Trainings- und Testdatensatz für die Rekonstruktion von Konnektomen aus nicht-isotroper 3D-EM generiert. Beson- dere Beachtung widme ich meinem flexiblen interaktiven Visualisierungs- und 6 Bearbeitungswerkzeug Paintera, das ich unter Zuhilfenahme dieser Bibliotheken und Werkzeuge entwickelt habe.