eprintid: 5529
rev_number: 8
eprint_status: archive
userid: 1
dir: disk0/00/00/55/29
datestamp: 2005-05-31 08:40:26
lastmod: 2014-04-03 18:59:16
status_changed: 2012-08-14 15:15:04
type: doctoralThesis
metadata_visibility: show
creators_name: Hohmann, Steffen Gunther
title: Stepwise Evolutionary Training Strategies for Hardware Neural Networks
title_de: Schrittweise evolutionäre Trainingsstrategien für neuronale Netzwerke in Hardware
ispublished: pub
subjects: 530
divisions: 130700
adv_faculty: af-13
keywords: neural network , hardware , evolutionary algorithm , classification
cterms_swd: Neuronales Netz
cterms_swd: Hardware
cterms_swd: Evolutionärer Algorithmus
cterms_swd: Automatische Klassifikation
abstract: Analog and mixed-signal implementations of artificial neural networks usually lack an exact numerical model due to the unavoidable device variations introduced during manufacturing and the temporal fluctuations in the internal analog signals. Evolutionary algorithms are particularly well suited for the training of such networks since they do not require detailed knowledge of the system to be optimized. In order to make best use of the high network speed, fast and simple training approaches are required. Within the scope of this thesis, a stepwise training approach has been devised that allows for the use of simple evolutionary algorithms to efficiently optimize the synaptic weights of a fast mixed-signal neural network chip. The training strategy is tested on a set of nine well-known classification benchmarks: the breast cancer, diabetes, heart disease, liver disorder, iris plant, wine, glass, E.coli, and yeast data sets. The obtained classification accuracies are shown to be more than competitive to those achieved by software-implemented neural networks and are comparable to the best reported results of other classification algorithms that could be found in literature for these benchmarks. The presented training method is readily suited for a parallel implementation and is fit for use in conjunction with a specialized coprocessor architecture that speeds up evolutionary algorithms by performing the time-consuming genetic operations within a configurable logic. This way, the proposed strategy can fully benefit from the speed of the neural hardware and thus provides efficient means for the training of large networks on the used mixed-signal chip for demanding real-world classification tasks.
abstract_translated_text: Rein analoge und gemischt analog-digitale Realisierungen künstlicher neuronaler Netzwerke in Hardware entziehen sich für gewöhnlich einer exakten quantitativen Beschreibung. Die Gründe dafür sind die bei der Halbleiterherstellung unvermeidlichen Schwankungen der Bauteilparameter sowie zeitliche Fluktuationen der internen analogen Signale. Evolutionäre Algorithmen eignen sich besonders gut für das Training solcher Systeme, da sie keinerlei detaillierte Informationen über das zu optimierende System benötigen. Um die hohe Arbeitsgeschwindigkeit der neuronalen Netzwerke voll auszunutzen, werden einfache und schnelle Trainingsverfahren benötigt. Im Rahmen dieser Arbeit wurde eine spezielle schrittweise Trainingsmethode entwickelt, die es erlaubt, die synaptischen Gewichte eines gemischt analog-digitalen neuronalen Netzwerkchips unter Zuhilfenahme einfacher evolutionärer Algorithmen auf effiziente Weise zu optimieren. Die vorgestellte Trainingsstrategie wurde an neun verbreiteten standardisierten Aufgabenstellungen für Klassifikationsprobleme getestet: den breast cancer, diabetes, heart disease, liver disorder, iris plant, wine, glass, E.coli und yeast Datensätzen. Es zeigt sich, dass die erreichten Klassifikationsgenauigkeiten sehr gut mit denen von in Software realisierten neuronalen Netzwerken konkurrieren können. Weiterhin sind sie mit den besten Resultaten vergleichbar, die für andere Klassifikationsverfahren in der Literatur recherchiert werden konnten. Die vorgestellte Trainingsmethode begünstigt eine parallele Realisierung und eignet sich darüber hinaus gut zur Verwendung in Kombination mit einem speziell entwickelten Koprozessor, der die zeitaufwendigen genetischen Operationen in einer konfigurierbaren Logik realisiert und damit eine beschleunigte Ausführung evolutionärer Algorithmen ermöglicht. Auf diese Weise kann das entwickelte Trainingsverfahren optimal von der Geschwindigkeit neuronaler Hardware profitieren und stellt daher eine effiziente Methode dar, große neuronale Netzwerke auf dem verwendeten gemischt analog-digitalen Netzwerkchip für anspruchsvolle, praxisrelevante Klassifikationsprobleme zu trainieren.
abstract_translated_lang: ger
class_scheme: msc
class_labels: 84.35.+i
date: 2005
date_type: published
id_scheme: DOI
id_number: 10.11588/heidok.00005529
ppn_swb: 1644060221
own_urn: urn:nbn:de:bsz:16-opus-55295
date_accepted: 2005-05-30
advisor: HASH(0x556120917e08)
language: eng
bibsort: HOHMANNSTESTEPWISEEV2005
full_text_status: public
citation:   Hohmann, Steffen Gunther  (2005) Stepwise Evolutionary Training Strategies for Hardware Neural Networks.  [Dissertation]     
document_url: https://archiv.ub.uni-heidelberg.de/volltextserver/5529/1/Hohmann_Diss.pdf