Preview

PDF, English - main document Download (14MB) | Terms of use

Abstract

This dissertation is concerned with gradient-based optimization or ”learning” in spiking neural networks and their applications. Based on a method well known in the optimal control literature, I derive a novel algorithm ”Event- Prop,” which computes exact gradients for arbitrary loss functions and allows for the optimization of spiking point neural networks. In the special case of time-invariant linear systems with jumps, this suggests an exact integration algorithm. Based on the same starting point, it is also possible to derive approximate online learning rules for spiking point neurons. More broadly, the adjoint method with jumps can be applied to structured neurons and other dynamical nets. In the case of structured neurons, the adjoint equations couple so that they can be interpreted as being associated with the same physical struc- ture. This partially resolves the weight transport problem. Finally, I turn to the question of how stochastic classical systems, such as networks of deterministic spiking neurons stimulated by Poissonian noise, can emulate properties of small quantum systems.

Translation of abstract (German)

In dieser Dissertation beschäftige ich mit gradienten basierter Optimierung oder ”Lernen” in Spikenden Neuronalen Netzen und deren Anwendung. Anfangend mit einer Methode die in der Kontrolltheorie Literatur wohlbekannt ist, leite ich einen neuartigen Algorithmus ”EventProp” her, welcher exakte Gradienten für beliebige Zielfunktionen berechnet und es erlaubt Spikende Punkt Neuron Netze zu optimieren. In dem Spezialfall von zeitinvarianten linearen Systemen mit Sprüngen, erhält man so einen exakten Integrationsalgorithmus. Angefan- gen vom selben Ausgangspunkt kann man auch genäherte Online Lern Algorith- men herleiten. In einem weiteren Kontext lässt sich die selbe Methode auch auf ausgedehnte Neuronen und andere dynamische Netze anwenden. Im Fall von ausgedehnten Neuronen stellt sich heraus, dass die adjoint Dynamik sich mit der selben Struktur assoziieren lässt. Dadurch wird zum Teil das ”weight trans- port” Problem gelöst. Schliesslich wende ich mich der Frage zu wie klassische stochastische Systeme, wie Netzwerke von deterministischen Spikenden Neuro- nen, welche von Poisson Noise stimuliert werden, Eigenschaften von kleinen Quantensystemen emulieren können.