Preview

PDF, English (Dissertation) - main document Download (47MB) | Terms of use

Abstract

In den letzten Jahren gab es eine rasante Entwicklung von Fahrerassistenzsystemen (Englisch: Advanced Driver Assistance Systems oder kurz ADAS). Diese Systeme unterstützen nicht nur den Fahrer, sondern erhöhen durch das automatische Einleiten von Sicherheitreaktionen des Fahrzeuges selber auch die Sicherheit aller anderen Verkehrsteilnehmer. Zukünftige aktive Fußgängerschutzsystem in Intelligentem Fahrzeugen müssen nun noch einen Schritt weiter gehen und lernen, ein genaues Bild ihrer Umgebung und der darin während der Fahrt zu erwartenden Änderungen zu entwickeln.

Diese Arbeit widmet sich der Verbesserung bildgestützter Fußgängerschutzsysteme. Es werden darin neue Methoden der Bildhypothesengenerierung (englisch: region of interest (ROI) generation), Fußgängerklassifikation, Pfadvorhersage und Absichstserkennung entwickelt. Die Leistung der Fußgängererkennung in realen, dynamischen Umgebungen mittels einer bewegten Kamera wird durch die Verwendung von dichtem Stereo in den unterschiedlichen Modulen verbessert.

In einer Experimentalstudie wurde die Effizienz eines Systems zur monokularen Fußgängererkennung mit einem System verglichen, dass erweitert wurde um dichtes Stereo für die Hypothesengenerierung und der Fußgängerverfolgung (englisch: tracking) zu nutzen. Das neue System erwies sich hierin als deutlich effizienter als das monokulare System. Diese Leistungssteigerung gab Anlass für eine erweiterte Nutzung von dichtem Stereo bei der Fußgängererkennung. Die Hypothesengenerierung wurde durch die dynamische Schätzung der Kameraorientierung und des Straßenprofils weiter verbessert. Insbesondere bei hügeligen Straßen steigerte sich die Erkennungsleistung durch die Optimierung des Suchbereichs. Zusätzlich konnte die Klassifikationsleistung durch die Fusion von unterschiedlichen Merkmalen aus Bild und Tiefeninformation verbessert werden.

Aufbauend auf den Erfolgen bei der Fußgängererkennung wird in der Arbeit ein System für den Aktiven Fußgängerschutz vorgestellt, welches die Funktionen Fußgängererkennung, Situationsanalyse und Fahrzeugsteuerung kombiniert. Für die Fußgängerkennung wurden Ergebnisse eines Verfahrens zur bewegungsbasierten Objekterkennung mit Ergebnissen eines Fußgängerklassifikators fusioniert. Das System wurde in einen Versuchsträger eingebaut und half dabei, Unfälle durch einen aktiven Lenkeingriff oder ein Notbremsemanöver zu vermeiden.

Der letzte Teil der Arbeit befasst sich mit dem Problem der Pfadvorhersage und dem Erkennen der Fußgängerabsicht in Situationen, in denen sich der Fußgänger nicht mit einer konstanten Geschwindigkeit bewegt. Zwei neue, lernbasierte Ansätze werden vorgestellt und mit aktuellen Verfahren verglichen. Durch die Verwendung von Merkmalen, die aus dichtem optischem Fluss generiert werden, ist es möglich den Pfad und die Absicht einer Fußgängers vorherzusagen. Das erste Verfahren lernt eine niedrigdimensionale Mannigfaltigkeit der Merkmale, die eine Vorhersage von Merkmale, Pfad und Absicht erlaubt. Das zweite Verfahren verwendet einen Suchbaum in dem Trajektorien abgelegt sind die mit Bewegungsmerkmalen erweitert wurden. Ein probabilistischer Suchalgorithmus ermöglicht die Vorhersage des Fußgängerpfads und Absicht. Die Leistungsfähigkeit der Systeme wurde zusätzlich mit der Leistung von menschlichen Probanden verglichen.

In dieser Arbeit wurde großer Wert auf die ausführliche Analyse der vorgestellten Verfahren und die Verwendung von realistischen Testdatensätzen gelegt. Die Experimente zeigen das die Leistungsfähigkeit eines Systems zur Fußgängererkennung durch die Verwendung von dichtem Stereo verbessert werden kann. Die Vorgestellten Verfahren zur Pfadvorhersage und Absichtserkennung ermöglichen ein frühzeitiges erkenne der Fußgängerabsicht. Die Zuverlässigkeit zukünftiger System für den Aktiven Fußgängerschutz, die durch Aktiven Lenkeingriff oder Notbremsemanöver Unfälle vermeiden, kann mit den vorgestellten Verfahren verbessert werden. Dadurch können Unfälle vollständig verhindert oder die Schwere einer Kollision reduziert werden.

Translation of abstract (English)

Over the last years there has been a rapid evolution of advanced driver assistance systems (ADAS). Such systems not only support drivers in safely steering their vehicle, but also increase the safety of all traffic participants by adding systems able to trigger autonomous safety reactions of the vehicle itself. Future active pedestrian protection systems for intelligent vehicles will now have to go a step further and learn how to acquire a thorough understanding of a car's environment and how this environment will change in the course of driving.

This thesis focuses on improving the performance of vision based pedestrian protection systems. In this course new methods for region of interest generation, classification, pedestrian path prediction and action classification are introduced. All methods address the problem of pedestrian detection from a moving camera in a real-world cluttered environment by additionally using dense stereo data for region of interest generation, classification, tracking and path prediction.

In an experimental study a state-of-the-art monocular based pedestrian recognition system is compared with a system using dense stereo data for the region of interest (ROI) generation and for tracking the pedestrian position. Performance gains of the stereo-based system motivate the further use of dense stereo for different modules of a pedestrian recognition system. Dense stereo data is further exploited by dynamically estimating camera parameters and road profile information for a refined ROI generation in a complex environment. Constraining on possible pedestrian locations is especially beneficial in scenes with undulating, hilly roads. Additionally, the different characteristics of depth and intensity features are fused to improve the performance of a pedestrian classifier.

An integrated active pedestrian safety system is presented as a combination of sensing, situation analysis, decision making and vehicle control. For the task of pedestrian detection this system fuses generic motion-based object segmentation and pedestrian recognition. The system has been implemented in a demonstrator vehicle and can reliably prevent collisions by automatically initiating braking or evasive steering maneuvers.

Finally, the problem of pedestrian path prediction and action classification in challenging situations where a constant velocity assumption fails is addressed. Two novel learning-based approaches are introduced and compared to state-of-the-art methods. Using features extracted from optical flow, the newly proposed methods allow the prediction of a pedestrian`s path and its intended action at short, sub-second time intervals. The first approach learns a low dimensional representation of motion features that allow feature, path and action prediction. The second approach uses a probabilistic search tree containing trajectories extended with motion features to predict the trajectory and action of a pedestrian. A further comparison puts the action classification performance of the newly proposed systems up against human performance.

For all problems addressed in this work, emphasis has been placed on the use of realistic, real-world datasets and an in-depth performance evaluation of the proposed methods. The experiments show that the use of dense stereo for ROI generation and classification significantly improves the performance of a pedestrian detection system. The proposed path prediction and action classification methods further allow an early detection of pedestrian actions. Integrating the developed methods in the next-generation of active pedestrian safety systems will lead to a faster, improved system decision whether or not to initiate emergency vehicle maneuvers (braking, steering) in critical situations. This increases their potential of preventing accidents with pedestrians or reducing the severity of a collisions.