Directly to content
  1. Publishing |
  2. Search |
  3. Browse |
  4. Recent items rss |
  5. Open Access |
  6. Jur. Issues |
  7. DeutschClear Cookie - decide language by browser settings

Stepwise Evolutionary Training Strategies for Hardware Neural Networks

Hohmann, Steffen Gunther

German Title: Schrittweise evolutionäre Trainingsstrategien für neuronale Netzwerke in Hardware

[img]
Preview
PDF, English
Download (7Mb) | Terms of use

Citation of documents: Please do not cite the URL that is displayed in your browser location input, instead use the persistent URL or the URN below, as we can guarantee their long-time accessibility.

Abstract

Analog and mixed-signal implementations of artificial neural networks usually lack an exact numerical model due to the unavoidable device variations introduced during manufacturing and the temporal fluctuations in the internal analog signals. Evolutionary algorithms are particularly well suited for the training of such networks since they do not require detailed knowledge of the system to be optimized. In order to make best use of the high network speed, fast and simple training approaches are required. Within the scope of this thesis, a stepwise training approach has been devised that allows for the use of simple evolutionary algorithms to efficiently optimize the synaptic weights of a fast mixed-signal neural network chip. The training strategy is tested on a set of nine well-known classification benchmarks: the breast cancer, diabetes, heart disease, liver disorder, iris plant, wine, glass, E.coli, and yeast data sets. The obtained classification accuracies are shown to be more than competitive to those achieved by software-implemented neural networks and are comparable to the best reported results of other classification algorithms that could be found in literature for these benchmarks. The presented training method is readily suited for a parallel implementation and is fit for use in conjunction with a specialized coprocessor architecture that speeds up evolutionary algorithms by performing the time-consuming genetic operations within a configurable logic. This way, the proposed strategy can fully benefit from the speed of the neural hardware and thus provides efficient means for the training of large networks on the used mixed-signal chip for demanding real-world classification tasks.

Translation of abstract (German)

Rein analoge und gemischt analog-digitale Realisierungen künstlicher neuronaler Netzwerke in Hardware entziehen sich für gewöhnlich einer exakten quantitativen Beschreibung. Die Gründe dafür sind die bei der Halbleiterherstellung unvermeidlichen Schwankungen der Bauteilparameter sowie zeitliche Fluktuationen der internen analogen Signale. Evolutionäre Algorithmen eignen sich besonders gut für das Training solcher Systeme, da sie keinerlei detaillierte Informationen über das zu optimierende System benötigen. Um die hohe Arbeitsgeschwindigkeit der neuronalen Netzwerke voll auszunutzen, werden einfache und schnelle Trainingsverfahren benötigt. Im Rahmen dieser Arbeit wurde eine spezielle schrittweise Trainingsmethode entwickelt, die es erlaubt, die synaptischen Gewichte eines gemischt analog-digitalen neuronalen Netzwerkchips unter Zuhilfenahme einfacher evolutionärer Algorithmen auf effiziente Weise zu optimieren. Die vorgestellte Trainingsstrategie wurde an neun verbreiteten standardisierten Aufgabenstellungen für Klassifikationsprobleme getestet: den breast cancer, diabetes, heart disease, liver disorder, iris plant, wine, glass, E.coli und yeast Datensätzen. Es zeigt sich, dass die erreichten Klassifikationsgenauigkeiten sehr gut mit denen von in Software realisierten neuronalen Netzwerken konkurrieren können. Weiterhin sind sie mit den besten Resultaten vergleichbar, die für andere Klassifikationsverfahren in der Literatur recherchiert werden konnten. Die vorgestellte Trainingsmethode begünstigt eine parallele Realisierung und eignet sich darüber hinaus gut zur Verwendung in Kombination mit einem speziell entwickelten Koprozessor, der die zeitaufwendigen genetischen Operationen in einer konfigurierbaren Logik realisiert und damit eine beschleunigte Ausführung evolutionärer Algorithmen ermöglicht. Auf diese Weise kann das entwickelte Trainingsverfahren optimal von der Geschwindigkeit neuronaler Hardware profitieren und stellt daher eine effiziente Methode dar, große neuronale Netzwerke auf dem verwendeten gemischt analog-digitalen Netzwerkchip für anspruchsvolle, praxisrelevante Klassifikationsprobleme zu trainieren.

Item Type: Dissertation
Supervisor: Meier, Prof. Dr. Karlheinz
Date of thesis defense: 30 May 2005
Date Deposited: 31 May 2005 08:40
Date: 2005
Faculties / Institutes: The Faculty of Physics and Astronomy > Kirchhoff Institute for Physics
Subjects: 530 Physics
Controlled Keywords: Neuronales Netz, Hardware, Evolutionärer Algorithmus, Automatische Klassifikation
Uncontrolled Keywords: neural network , hardware , evolutionary algorithm , classification
About | FAQ | Contact | Imprint |
OA-LogoLogo der Open-Archives-Initiative