German Title: Lernen und Generalisierung in neuronalen Netzen mit lokaler Vorverarbeitung
Preview |
PDF, English
Download (1MB) | Terms of use |
Abstract
We study learning and generalisation ability of a specific two-layer feed-forward neural network and compare its properties to that of a simple perceptron. The input patterns are mapped nonlinearly onto a hidden layer, much larger than the input layer, and this mapping is either fixed or may result from an unsupervised learning process. Such preprocessing of initially uncorrelated random patterns results in the correlated patterns in the hidden layer. The hidden-to-output mapping of the network is performed by a simple perceptron, trained using a supervised learning process. We investigate the effects of the correlations on the learning and generalisation properties as opposed to those of a simple perceptron with uncorrelated patterns. As it turns out, this architecture has some advantages over a simple perceptron.
Translation of abstract (German)
Wir untersuchen Lern- und Generalisierungsverhalten eines zweischichtigen feedforward neuronalen Netzes und vergleichen sie mit den Eigenschaften eines einfachen Perzeptrons. Die Eingangsmuster werden nichtlinear in einer Zwischenschicht abgebildet, die viel größer als die Eingangsschicht ist. Diese Abbildung ist entweder vorgegeben oder wird durch einen unüberwachten Lernprozess bestimmt. Derartige Vorverarbeitung ursprünglich unkorrelierter zufälliger Muster erzeugt Korrelationen in der Zwischenschicht. Von der Zwischenschicht werden die Muster durch ein einfaches Perzeptron klassifizert, das mithilfe eines überwachten Lernprozesses trainiert wird. Wir untersuchen den Einfluss der Korrelationen auf das Lern- und Generalisierungsverhalten des Netzes und vergleichen die Ergebnisse mit dem Fall eines einfachen Perzeptrons mit unkorrelierten Mustern. Diese Architektur weist einige Vorteile gegenüber einem einfachen Perzeptron.
Document type: | Dissertation |
---|---|
Supervisor: | Horner, Prof. Dr. Heinz |
Date of thesis defense: | 23 July 2007 |
Date Deposited: | 11 Sep 2007 13:05 |
Date: | 2007 |
Faculties / Institutes: | The Faculty of Physics and Astronomy > Institute for Theoretical Physics |
DDC-classification: | 530 Physics |
Controlled Keywords: | Neuronales Netz, Generalisierung, Überwachtes Lernen, Vorverarbeitung, Feedforward-Netz, Perzeptron, Support-Vektor-Maschine, Spinglas |
Uncontrolled Keywords: | neural network , generalisation , perceptron , support vector machine , spin glass |