German Title: Nichtlineare modellprädiktive Regelung zur Bewegungserzeugung von Humanoiden

Preview

PDF, English - main document Download (16MB) | Terms of use

Abstract

Das Ziel dieser Arbeit ist die Untersuchung und Entwicklung numerischer Methoden zur Bewegungserzeugung von humanoiden Robotern basierend auf nichtlinearer modell-prädiktiver Regelung. Ausgehend von der Modellierung der Humanoiden als komplexe Mehrkörpermodelle, die sowohl durch unilaterale Kontaktbedingungen beschränkt als auch durch die Formulierung unteraktuiert sind, wird die Bewegungserzeugung als Optimalsteuerungsproblem formuliert.

In dieser Arbeit werden numerische Erweiterungen basierend auf den Prinzipien der Automatischen Differentiation für rekursive Algorithmen, die eine effiziente Auswertung der dynamischen Größen der oben genannten Mehrkörperformulierung erlauben, hergeleitet, sodass sowohl die nominellen Größen als auch deren ersten Ableitungen effizient ausgewertet werden können. Basierend auf diesen Ideen werden Erweiterungen für die Auswertung der Kontaktdynamik und der Berechnung des Kontaktimpulses vorgeschlagen.

Die Echtzeitfähigkeit der Berechnung von Regelantworten hängt stark von der Komplexität der für die Bewegungerzeugung gewählten Mehrkörperformulierung und der zur Verfügung stehenden Rechenleistung ab. Um einen optimalen Trade-Off zu ermöglichen, untersucht diese Arbeit einerseits die mögliche Reduktion der Mehrkörperdynamik und andererseits werden maßgeschneiderte numerische Methoden entwickelt, um die Echtzeitfähigkeit der Regelung zu realisieren.

Im Rahmen dieser Arbeit werden hierfür zwei reduzierte Modelle hergeleitet: eine nichtlineare Erweiterung des linearen inversen Pendelmodells sowie eine reduzierte Modellvariante basierend auf der centroidalen Mehrkörperdynamik. Ferner wird ein Regelaufbau zur GanzkörperBewegungserzeugung vorgestellt, deren Hauptbestandteil jeweils aus einem speziell diskretisierten Problem der nichtlinearen modell-prädiktiven Regelung sowie einer maßgeschneiderter Optimierungsmethode besteht. Die Echtzeitfähigkeit des Ansatzes wird durch Experimente mit den Robotern HRP-2 und HeiCub verifiziert.

Diese Arbeit schlägt eine Methode der nichtlinear modell-prädiktiven Regelung vor, die trotz der Komplexität der vollen Mehrkörperformulierung eine Berechnung der Regelungsantwort in Echtzeit ermöglicht. Dies wird durch die geschickte Kombination von linearer und nichtlinearer modell-prädiktiver Regelung auf der aktuellen beziehungsweise der letzten Linearisierung des Problems in einer parallelen Regelstrategie realisiert. Experimente mit dem humanoiden Roboter Leo zeigen, dass, im Vergleich zur nominellen Strategie, erst durch den Einsatz dieser Methode eine Bewegungserzeugung auf dem Roboter möglich ist.

Neben Methoden der modell-basierten Optimalsteuerung werden auch modell-freie Methoden des verstärkenden Lernens (Reinforcement Learning) für die Bewegungserzeugung untersucht, mit dem Fokus auf den schwierig zu modellierenden Modellunsicherheiten der Roboter. Im Rahmen dieser Arbeit werden eine allgemeine vergleichende Studie sowie Leistungskennzahlen entwickelt, die es erlauben, modell-basierte und -freie Methoden quantitativ bezüglich ihres Lösungsverhaltens zu vergleichen. Die Anwendung der Studie auf ein akademisches Beispiel zeigt Unterschiede und Kompromisse sowie Break-Even-Punkte zwischen den Problemformulierungen. Diese Arbeit schlägt basierend auf dieser Grundlage zwei mögliche Kombinationen vor, deren Eigenschaften bewiesen und in Simulation untersucht werden. Außerdem wird die besser abschneidende Variante auf dem humanoiden Roboter Leo implementiert und mit einem nominellen modell-basierten Regler verglichen.

Translation of abstract (English)

The aims of this thesis are the investigation and development of numerical methods for the whole-body motion generation of humanoid robots based on nonlinear model predictive control. Proceeding from modeling the humanoids as complex multi-body systems subject to kinematic constraints that are underactuated through their mathematical formulation, we formulate the general motion generation task by means of an optimal control problem.

Within the scope of this thesis, we propose the numerical extension in the sense of automatic differentiation for the recursive algorithms commonly applied for the evaluation of dynamic quantities of above mentioned multi-body formulation, such that they efficiently evaluate both the nominal quantity as well as the first-order forward derivative. Based on these ideas, we further propose extensions to the linear algebra required for the evaluation of the contact dynamics and impulses.

The real-time feasibility of the computation of the feedback response is strongly dependent on the chosen multi-body formulation and the available on-board computing power of the humanoid robot. In order to allow an optimal trade-off, in this thesis, we derive reduced models of the multi-body dynamics on the one hand and, on the other hand, develop tailored algorithms to guarantee real-time feasibility.

In the context of this thesis, we propose two reduced models: one nonlinear extension to the linear inverted pendulum model and a reduced version based on the centroidal dynamics of the multi-body system. Based on this, we propose a control framework for whole-body motion generation, whose main part is build up by a specially discretized NMPC problem together with a tailored optimization method. The real-time feasibility of this approach is verified by experiments with the humanoid robots HRP-2 and HeiCub.

In this thesis, we propose a method of nonlinear model predictive control that can compute feedback controls in real-time despite the complexity introduced by the full multi-body model. This is achieved by a combination of linear and nonlinear model predictive control in a parallel control strategy, which utilizes the last linearization for fast feedback while the parallel thread is still busy computing the current linearization according to the last feedback time. Experiments on the humanoid robot show that motion generation on the robot, compared to a nominal controller, can only be enabled by this strategy.

Alongside model-based methods of optimal control we also investigate model-free methods of machine learning in the form of reinforcement learning as well as their fruitful combination, especially for the treatment of model uncertainties of robots that are difficult to model. This thesis carries out a general comparative study as well as proposes key performance indicators in order to quantitatively compare model-based and model-free methods with respect to their solution performance. The application of this study on an benchmark example reveals the differences, trade-offs and break-even points between the chosen methods. In this thesis, we propose based on this knowledge two possible combinations, whose properties are proven and investigated in simulation. The superior method is then implemented on the robot Leo and compared to a nominal model-based controller.