eprintid: 7027
rev_number: 8
eprint_status: archive
userid: 1
dir: disk0/00/00/70/27
datestamp: 2006-12-21 07:34:56
lastmod: 2014-04-03 19:59:26
status_changed: 2012-08-14 15:20:21
type: doctoralThesis
metadata_visibility: show
creators_name: Fieres, Johannes
title: A Method for Image Classification Using Low-Precision Analog Computing Arrays
title_de: Eine Methode zur Bildklassifikation mit analogen Recheneinheiten beschränkter Genauigkeit
ispublished: pub
subjects: 004
divisions: 130700
adv_faculty: af-13
keywords: Bildklassifizierung , FaltungsnetzwerkImage classification , Convolutional Neural Network
cterms_swd: VLSI
cterms_swd: Neuronales Netz
cterms_swd: Bilderkennung
cterms_swd: Analogrechner
cterms_swd: Analogschaltung
cterms_swd: Selbstorganisation
cterms_swd: Cluster-Analyse
cterms_swd: Fehlertoleranz
cterms_swd: Bildverarbeitung
abstract: Computing with analog micro electronics can offer several advantages over standard digital technology, most notably: Low space and power consumption and massive parallelization. On the other hand, analog computation lacks the exactness of digital calculations due to inevitable device variations introduced during the chip production, but also due to electric noise in the analog signals. Artificial neural networks are well suited for parallel analog implementations, first, because of their inherent parallelity and second, because they can adapt to device imperfections by training. This thesis evaluates the feasibility of implementing a convolutional neural network for image classification on a massively parallel low-power hardware system. A particular, mixed analogdigital, hardware model is considered, featuring simple threshold neurons. Appropriate, gradient-free, training algorithms, combining self-organization and supervised learning are developed and tested with two benchmark problems (MNIST hand-written digits and traffic signs). Software simulations evaluate the methods under various defined computation faults. A model-free closed-loop technique is shown to compensate for rather serious computation errors without the need for explicit error quantification. Last but not least, the developed networks and the training techniques are verified on a real prototype chip.
abstract_translated_text: Das Rechnen mit analogen integrierten Schaltkreisen kann gegenüber der weit verbreiteten Digitaltechnik einige Vorteile bieten, z.B.: geringerer Fläche- und Stromverbrauch und die M¨oglichkeit der massiven Parallelisierung. Dabei muss allerdings aufgrund unvermeidlicher Produktionsschwankungen und analogen Rauschens auf die Präzision digitaler Rechner verzichtet werden. Künstliche neuronale Netzwerke sind hinsichtlich einer Realisierung in paralleler, analoger Elektronik gut geeignet. Erstens zeigen sie immanente Paralleliät und zweitens können sie sich durch Training an eventuelle Hardwarefehler anpassen. Diese Dissertation untersucht die Implementierbarkeit eines neuronalen Faltungsnetzwerkes zur Bilderkennung auf einem massiv parallelen Niedrigleistungs-Hardwaresystem. Das betrachtete, gemischt analog-digitale, Hardwaremodell realisiert einfache Schwellwertneuronen. Geeignete gradientenfreie Trainingsalgorithmen, die Elemente der Selbstorganisation und des überwachten Lernens verbinden, werden entwickelt und an zwei Testproblemen (handschrifltiche Ziffern (MNIST) und Verkehrszeichen) erprobt. In Softwaresimulationen wird das Verhalten der Methode unter verschiedenen Arten von Rechenfehlern untersucht. Durch die Einbeziehung der Hardware in die Trainingsschleife können selbst schwere Rechenfehler, ohne dass diese quantifiziert werden müssen, implizit ausgeglichen werden. Nicht zuletzt werden die entwickelten Netzwerke und Trainingstechniken auf einem existierenden Prototyp-Chip überprüft. 
abstract_translated_lang: ger
date: 2006
date_type: published
id_scheme: DOI
id_number: 10.11588/heidok.00007027
ppn_swb: 524676801
own_urn: urn:nbn:de:bsz:16-opus-70279
date_accepted: 2006-11-29
advisor: HASH(0x564e1c52ca98)
language: eng
bibsort: FIERESJOHAAMETHODFOR2006
full_text_status: public
citation:   Fieres, Johannes  (2006) A Method for Image Classification Using Low-Precision Analog Computing Arrays.  [Dissertation]     
document_url: https://archiv.ub.uni-heidelberg.de/volltextserver/7027/1/heidok_fieres15.12.06.pdf