eprintid: 28374
rev_number: 22
eprint_status: archive
userid: 5185
dir: disk0/00/02/83/74
datestamp: 2020-05-27 09:19:35
lastmod: 2020-06-15 09:02:27
status_changed: 2020-05-27 09:19:35
type: doctoralThesis
metadata_visibility: show
creators_name: Dold, Dominik
title: Harnessing function from form: towards
bio-inspired artificial intelligence in
neuronal substrates
subjects: 000
subjects: 310
subjects: 500
subjects: 530
subjects: 570
subjects: 600
divisions: 130700
divisions: 741010
adv_faculty: af-13
abstract: Despite the recent success of deep learning, the mammalian brain is still unrivaled when it comes
to interpreting complex, high-dimensional data streams like visual, auditory and somatosensory stimuli.
However, the underlying computational principles allowing the brain to deal with unreliable, high-dimensional
and often incomplete data while having a power consumption on the order of a few watt are still mostly
unknown.
In this work, we investigate how specific functionalities emerge from simple structures observed in the
mammalian cortex, and how these might be utilized in non-von Neumann devices like “neuromorphic
hardware”. Firstly, we show that an ensemble of deterministic, spiking neural networks can be shaped by
a simple, local learning rule to perform sampling-based Bayesian inference. This suggests a coding scheme
where spikes (or “action potentials”) represent samples of a posterior distribution, constrained by sensory
input, without the need for any source of stochasticity. Secondly, we introduce a top-down framework where
neuronal and synaptic dynamics are derived using a least action principle and gradient-based minimization.
Combined, neurosynaptic dynamics approximate real-time error backpropagation, mappable to mechanistic
components of cortical networks, whose dynamics can again be described within the proposed framework.
The presented models narrow the gap between well-defined, functional algorithms and their biophysical
implementation, improving our understanding of the computational principles the brain might employ.
Furthermore, such models are naturally translated to hardware mimicking the vastly parallel neural
structure of the brain, promising a strongly accelerated and energy-efficient implementation of powerful
learning and inference algorithms, which we demonstrate for the physical model system “BrainScaleS–1”.
abstract_translated_text: Trotz der jüngsten Erfolge im Bereich Deep Learning ist das Gehirn der Säugetiere immer noch ungeschlagen
im Verarbeiten komplexer, hochdimensionaler Datenströme wie visuelle, auditive und somatosensorische
Stimuli. Die zugrundeliegenden Rechenprinzipien, die es dem Gehirn ermöglichen mit unzuverlässigen,
hochdimensionalen und oft unvollständigen Daten umzugehen, während eine Leistung in der Größenordnung
weniger Watt verbraucht wird, sind jedoch noch größtenteils unbekannt.
In dieser Arbeit untersuchen wir, wie aus im Kortex von Säugetieren vorkommenden Strukturen Funktionalität
hervorgeht, und wie diese in Nicht-von-Neumann-Geräten wie “neuromorpher Hardware” Anwendung
finden könnte. Zuerst zeigen wir, dass Ensembles aus deterministischen, spikenden neuronalen Netzen, durch
eine lokale Lernregel trainiert, Bayessche Inferenz implementieren. Dies deutet auf ein Codierungsschema
hin, bei dem Spikes (oder “Aktionspotentiale”) Stichproben einer A-posteriori-Verteilung darstellen – ohne
dass eine Quelle für Stochastizität erforderlich ist. Darüberhinaus führen wir ein theoretisches Konzept
ein welches die Herleitung neuronaler und synaptischer Dynamik durch ein Wirkungsfunktional sowie
gradientenbasierter Minimierung ermöglicht. Vereint approximiert die neurosynaptische Dynamik Fehlerrückpropagation
in Echtzeit und lässt sich auf mechanistische Komponenten des Kortex abbilden, deren
Dynamik wieder durch dieselben Konzepte beschrieben werden kann.
Die vorgestellten Modelle reduzieren die Diskrepanz zwischen wohldefinierten, funktionalen Algorithmen
und deren biophysikalischer Implementierung, was zu einem verbesserten Verständnis der Rechenprinzipien,
die das Gehirn anwenden könnte, führt. Darüber hinaus sind diese Modelle ideale Kandidaten für Hardware
Systeme, welche die massiv parallele neuronale Struktur des Gehirns nachahmen und eine stark beschleunigte
und energieeffiziente Realisierung leistungsfähiger Lern- und Inferenzalgorithmen versprechen – was wir für
das physikalische Modellsystem “BrainScaleS–1” demonstrieren.
abstract_translated_lang: ger
date: 2020
id_scheme: DOI
id_number: 10.11588/heidok.00028374
fp7_project_id: 269921 (BrainScaleS) and 604102, 720270, 785907 (Human Brain Project, HBP)
ppn_swb: 1699937753
own_urn: urn:nbn:de:bsz:16-heidok-283745
date_accepted: 2020-05-11
advisor: HASH(0x55611cd16fe8)
language: eng
bibsort: DOLDDOMINIHARNESSING2020
full_text_status: public
place_of_pub: Heidelberg
citation:   Dold, Dominik  (2020) Harnessing function from form: towards bio-inspired artificial intelligence in neuronal substrates.  [Dissertation]     
document_url: https://archiv.ub.uni-heidelberg.de/volltextserver/28374/1/Dissertation%20%281%29.pdf
document_url: https://archiv.ub.uni-heidelberg.de/volltextserver/28374/2/Videos.zip