Directly to content
  1. Publishing |
  2. Search |
  3. Browse |
  4. Recent items rss |
  5. Open Access |
  6. Jur. Issues |
  7. DeutschClear Cookie - decide language by browser settings

Harnessing function from form: towards bio-inspired artificial intelligence in neuronal substrates

Dold, Dominik

[img]
Preview
PDF, English - main document
Download (25MB) | Lizenz: Creative Commons LizenzvertragHarnessing function from form: towards bio-inspired artificial intelligence in neuronal substrates by Dold, Dominik underlies the terms of Creative Commons Attribution 4.0

[img] Compressed Archive, English (Videos S1-S3 (GIF format) belonging to Appendix A.2) - Supplemental Material
Download (53MB) | Lizenz: Creative Commons LizenzvertragHarnessing function from form: towards bio-inspired artificial intelligence in neuronal substrates by Dold, Dominik underlies the terms of Creative Commons Attribution 4.0

Citation of documents: Please do not cite the URL that is displayed in your browser location input, instead use the DOI, URN or the persistent URL below, as we can guarantee their long-time accessibility.

Abstract

Despite the recent success of deep learning, the mammalian brain is still unrivaled when it comes to interpreting complex, high-dimensional data streams like visual, auditory and somatosensory stimuli. However, the underlying computational principles allowing the brain to deal with unreliable, high-dimensional and often incomplete data while having a power consumption on the order of a few watt are still mostly unknown. In this work, we investigate how specific functionalities emerge from simple structures observed in the mammalian cortex, and how these might be utilized in non-von Neumann devices like “neuromorphic hardware”. Firstly, we show that an ensemble of deterministic, spiking neural networks can be shaped by a simple, local learning rule to perform sampling-based Bayesian inference. This suggests a coding scheme where spikes (or “action potentials”) represent samples of a posterior distribution, constrained by sensory input, without the need for any source of stochasticity. Secondly, we introduce a top-down framework where neuronal and synaptic dynamics are derived using a least action principle and gradient-based minimization. Combined, neurosynaptic dynamics approximate real-time error backpropagation, mappable to mechanistic components of cortical networks, whose dynamics can again be described within the proposed framework. The presented models narrow the gap between well-defined, functional algorithms and their biophysical implementation, improving our understanding of the computational principles the brain might employ. Furthermore, such models are naturally translated to hardware mimicking the vastly parallel neural structure of the brain, promising a strongly accelerated and energy-efficient implementation of powerful learning and inference algorithms, which we demonstrate for the physical model system “BrainScaleS–1”.

Translation of abstract (German)

Trotz der jüngsten Erfolge im Bereich Deep Learning ist das Gehirn der Säugetiere immer noch ungeschlagen im Verarbeiten komplexer, hochdimensionaler Datenströme wie visuelle, auditive und somatosensorische Stimuli. Die zugrundeliegenden Rechenprinzipien, die es dem Gehirn ermöglichen mit unzuverlässigen, hochdimensionalen und oft unvollständigen Daten umzugehen, während eine Leistung in der Größenordnung weniger Watt verbraucht wird, sind jedoch noch größtenteils unbekannt. In dieser Arbeit untersuchen wir, wie aus im Kortex von Säugetieren vorkommenden Strukturen Funktionalität hervorgeht, und wie diese in Nicht-von-Neumann-Geräten wie “neuromorpher Hardware” Anwendung finden könnte. Zuerst zeigen wir, dass Ensembles aus deterministischen, spikenden neuronalen Netzen, durch eine lokale Lernregel trainiert, Bayessche Inferenz implementieren. Dies deutet auf ein Codierungsschema hin, bei dem Spikes (oder “Aktionspotentiale”) Stichproben einer A-posteriori-Verteilung darstellen – ohne dass eine Quelle für Stochastizität erforderlich ist. Darüberhinaus führen wir ein theoretisches Konzept ein welches die Herleitung neuronaler und synaptischer Dynamik durch ein Wirkungsfunktional sowie gradientenbasierter Minimierung ermöglicht. Vereint approximiert die neurosynaptische Dynamik Fehlerrückpropagation in Echtzeit und lässt sich auf mechanistische Komponenten des Kortex abbilden, deren Dynamik wieder durch dieselben Konzepte beschrieben werden kann. Die vorgestellten Modelle reduzieren die Diskrepanz zwischen wohldefinierten, funktionalen Algorithmen und deren biophysikalischer Implementierung, was zu einem verbesserten Verständnis der Rechenprinzipien, die das Gehirn anwenden könnte, führt. Darüber hinaus sind diese Modelle ideale Kandidaten für Hardware Systeme, welche die massiv parallele neuronale Struktur des Gehirns nachahmen und eine stark beschleunigte und energieeffiziente Realisierung leistungsfähiger Lern- und Inferenzalgorithmen versprechen – was wir für das physikalische Modellsystem “BrainScaleS–1” demonstrieren.

Item Type: Dissertation
Supervisor: Mielke, Prof. Dr. Andreas
Place of Publication: Heidelberg
Date of thesis defense: 11 May 2020
Date Deposited: 27 May 2020 09:19
Date: 2020
Faculties / Institutes: The Faculty of Physics and Astronomy > Kirchhoff Institute for Physics
Service facilities > Graduiertenschulen > Graduiertenschule Fundamentale Physik (HGSFP)
Subjects: 000 Generalities, Science
310 General statistics
500 Natural sciences and mathematics
530 Physics
570 Life sciences
600 Technology (Applied sciences)
About | FAQ | Contact | Imprint |
OA-LogoDINI certificate 2013Logo der Open-Archives-Initiative