German Title: Probleme des maschinellen lernens mit biologischen Prinzipien lösen

PDF, English - main document Download (8MB) | Terms of use

Abstract

Spiking neural networks (SNNs) have been proposed both as models of cortical computation and as candidates for solving problems in machine learning. While increasing recent works have improved their performances in benchmark discriminative tasks, most of them learn by surrogates of backpropagation where biological features such as spikes are regarded more as defects than merits. In this thesis, we explore the enerative abilities of SNNs with built-in biological mechanisms. When sampling from high-dimensional multimodal distributions, models based on general Markov chain Monte Carlo methods often have the mixing problem that the sampler is easy to get trapped in local minima. Inspired from traditional annealing or tempering approaches, we demonstrate that increasing the rate of background Poisson noise in an SNN can flatten the energy landscape and facilitate mixing of the system. In addition, we show that with synaptic short-term plasticity (STP) the SNN can achieve more efficient mixing by local modulation of active attractors and eventually outperforming traditional benchmark models. We reveal diverse sampling statistics of SNNs induced by STP and finally study its implementation on conventional machine learning methods. Our work thereby highlights important computational consequences of biological features that might otherwise appear as artifacts of evolution.

Translation of abstract (German)

Spikende neuronale Netze (SNN) sind vielversprechende Modellsysteme für die Untersuchung der Funktionsweise des menschlichen Gehirns. Auch im Bereich des maschinellen Lernens finden sie zunehmend Verwendung. Obwohl die Leistungsfähigkeit solcher Netze in letzter Zeit deutlich verbessert wurde, sind die Trainingsmethoden häufig nur Abwandlungen des traditionellen Fehlerrückführens, wobei Spikes hier eher als Hindernisse als als Vorteil gesehen werden. Die vorliegende Arbeit untersucht die generativen Eigenschaften von SNNs, im besonderen unter Zuhilfenahme biologischer Mechanismen. Ein Beispiel ist die Aufgabe, Stichproben aus hoch-dimensionalen Verteilungen mit vielen lokalen Minima zu ziehen. Traditionelle Sampler, basierend auf Markov-Chain-Monte-Carlo-Verfahren, bleiben dabei häufig in einer dieser Moden gefangen. Inspiriert von traditionellem Simulated Annealing bzw. Tempering, wird in dieser Arbeit gezeigt, dass eine Erhöhung des Hintergrund-Poisson-Rauschens eines SNNs zu einer Verflachung der Energielandschaft führt und somit das Mixing verbessert wird. Weiterhin wird gezeigt, dass mit Hilfe von synaptischer Short-Term-Plasticity (STP) SNNs besseres Mixing zeigen, was auf die lokale Modulation von Attraktoren zurückgeführt wird. Die Ergebnisse übertreffen in der Qualität des Mixings die von traditionellen Methoden. Statistische Mae des Samplings von SNNs mit STP werden entwickelt und ihre Eigenschaften werden auf konventielles maschinelles Lernen übertragen. Das Ergebnis dieser Arbeit macht deutlich, dass biologische Eigenschaften nicht nur nicht als Balast der Evolution zu sehen sind, sondern sogar Vorteile gegenüber traditionellen Herangesehensweisen aufzeigen können.