eprintid: 7598 rev_number: 8 eprint_status: archive userid: 1 dir: disk0/00/00/75/98 datestamp: 2007-09-11 13:05:04 lastmod: 2014-04-03 20:21:17 status_changed: 2012-08-14 15:22:41 type: doctoralThesis metadata_visibility: show creators_name: Kutsia, Merab title: Learning and Generalisation in Neural Networks with Local Preprocessing title_de: Lernen und Generalisierung in neuronalen Netzen mit lokaler Vorverarbeitung ispublished: pub subjects: 530 divisions: 130300 adv_faculty: af-13 keywords: neural network , generalisation , perceptron , support vector machine , spin glass cterms_swd: Neuronales Netz cterms_swd: Generalisierung cterms_swd: Überwachtes Lernen cterms_swd: Vorverarbeitung cterms_swd: Feedforward-Netz cterms_swd: Perzeptron cterms_swd: Support-Vektor-Maschine cterms_swd: Spinglas abstract: We study learning and generalisation ability of a specific two-layer feed-forward neural network and compare its properties to that of a simple perceptron. The input patterns are mapped nonlinearly onto a hidden layer, much larger than the input layer, and this mapping is either fixed or may result from an unsupervised learning process. Such preprocessing of initially uncorrelated random patterns results in the correlated patterns in the hidden layer. The hidden-to-output mapping of the network is performed by a simple perceptron, trained using a supervised learning process. We investigate the effects of the correlations on the learning and generalisation properties as opposed to those of a simple perceptron with uncorrelated patterns. As it turns out, this architecture has some advantages over a simple perceptron. abstract_translated_text: Wir untersuchen Lern- und Generalisierungsverhalten eines zweischichtigen feedforward neuronalen Netzes und vergleichen sie mit den Eigenschaften eines einfachen Perzeptrons. Die Eingangsmuster werden nichtlinear in einer Zwischenschicht abgebildet, die viel größer als die Eingangsschicht ist. Diese Abbildung ist entweder vorgegeben oder wird durch einen unüberwachten Lernprozess bestimmt. Derartige Vorverarbeitung ursprünglich unkorrelierter zufälliger Muster erzeugt Korrelationen in der Zwischenschicht. Von der Zwischenschicht werden die Muster durch ein einfaches Perzeptron klassifizert, das mithilfe eines überwachten Lernprozesses trainiert wird. Wir untersuchen den Einfluss der Korrelationen auf das Lern- und Generalisierungsverhalten des Netzes und vergleichen die Ergebnisse mit dem Fall eines einfachen Perzeptrons mit unkorrelierten Mustern. Diese Architektur weist einige Vorteile gegenüber einem einfachen Perzeptron. abstract_translated_lang: ger class_scheme: pacs class_labels: 84.35.+i, 75.10.Nr date: 2007 date_type: published id_scheme: DOI id_number: 10.11588/heidok.00007598 ppn_swb: 555712699 own_urn: urn:nbn:de:bsz:16-opus-75985 date_accepted: 2007-07-23 advisor: HASH(0x564e1c439758) language: eng bibsort: KUTSIAMERALEARNINGAN2007 full_text_status: public citation: Kutsia, Merab (2007) Learning and Generalisation in Neural Networks with Local Preprocessing. [Dissertation] document_url: https://archiv.ub.uni-heidelberg.de/volltextserver/7598/1/Kutsia_PhD.pdf