Directly to content
  1. Publishing |
  2. Search |
  3. Browse |
  4. Recent items rss |
  5. Open Access |
  6. Jur. Issues |
  7. DeutschClear Cookie - decide language by browser settings

Learning and Generalisation in Neural Networks with Local Preprocessing

Kutsia, Merab

German Title: Lernen und Generalisierung in neuronalen Netzen mit lokaler Vorverarbeitung

[img]
Preview
PDF, English
Download (1250Kb) | Terms of use

Citation of documents: Please do not cite the URL that is displayed in your browser location input, instead use the persistent URL or the URN below, as we can guarantee their long-time accessibility.

Abstract

We study learning and generalisation ability of a specific two-layer feed-forward neural network and compare its properties to that of a simple perceptron. The input patterns are mapped nonlinearly onto a hidden layer, much larger than the input layer, and this mapping is either fixed or may result from an unsupervised learning process. Such preprocessing of initially uncorrelated random patterns results in the correlated patterns in the hidden layer. The hidden-to-output mapping of the network is performed by a simple perceptron, trained using a supervised learning process. We investigate the effects of the correlations on the learning and generalisation properties as opposed to those of a simple perceptron with uncorrelated patterns. As it turns out, this architecture has some advantages over a simple perceptron.

Translation of abstract (German)

Wir untersuchen Lern- und Generalisierungsverhalten eines zweischichtigen feedforward neuronalen Netzes und vergleichen sie mit den Eigenschaften eines einfachen Perzeptrons. Die Eingangsmuster werden nichtlinear in einer Zwischenschicht abgebildet, die viel größer als die Eingangsschicht ist. Diese Abbildung ist entweder vorgegeben oder wird durch einen unüberwachten Lernprozess bestimmt. Derartige Vorverarbeitung ursprünglich unkorrelierter zufälliger Muster erzeugt Korrelationen in der Zwischenschicht. Von der Zwischenschicht werden die Muster durch ein einfaches Perzeptron klassifizert, das mithilfe eines überwachten Lernprozesses trainiert wird. Wir untersuchen den Einfluss der Korrelationen auf das Lern- und Generalisierungsverhalten des Netzes und vergleichen die Ergebnisse mit dem Fall eines einfachen Perzeptrons mit unkorrelierten Mustern. Diese Architektur weist einige Vorteile gegenüber einem einfachen Perzeptron.

Item Type: Dissertation
Supervisor: Horner, Prof. Dr. Heinz
Date of thesis defense: 23. July 2007
Date Deposited: 11. Sep 2007 13:05
Date: 2007
Faculties / Institutes: The Faculty of Physics and Astronomy > Institute for Theoretical Physics
Subjects: 530 Physics
Controlled Keywords: Neuronales Netz, Generalisierung, Überwachtes Lernen, Vorverarbeitung, Feedforward-Netz, Perzeptron, Support-Vektor-Maschine, Spinglas
Uncontrolled Keywords: neural network , generalisation , perceptron , support vector machine , spin glass
About | FAQ | Contact | Imprint |
OA-LogoLogo der Open-Archives-Initiative