Deutsche Übersetzung des Titels: Diskretisierung von zeitstetigen stochastischen Optimalsteuerungsproblemen mit Zeitverzögerung

Vorschau

PDF, Englisch Download (1MB) | Nutzungsbedingungen

Abstract

In the present work, we study discretisation schemes for continuous-time stochastic optimal control problems with time delay. The dynamics of the control problems to be approximated are described by controlled stochastic delay (or functional) differential equations. The value functions associated with such control problems are defined on an infinite-dimensional function space. The discretisation schemes studied are obtained by replacing the original control problem by a sequence of approximating discrete-time Markovian control problems with finite or finite-dimensional state space. Such a scheme is convergent if the value functions associated with the approximating control problems converge to the value function of the original problem. Following a general method for the discretisation of continuous-time control problems, sufficient conditions for the convergence of discretisation schemes for a class of stochastic optimal control problems with delay are derived. The general method itself is cast in a formal framework. A semi-discretisation scheme for a second class of stochastic optimal control problems with delay is proposed. Under standard assumptions, convergence of the scheme as well as uniform upper bounds on the discretisation error are obtained. The question of how to numerically solve the resulting discrete-time finite-dimensional control problems is also addressed.

Übersetzung des Abstracts (Deutsch)

In der vorliegenden Arbeit untersuchen wir Schemata zur Diskretisierung von zeitstetigen stochastischen Kontrollproblemen mit Zeitverzögerung. Die Dynamik solcher Probleme wird von gesteuerten stochastischen Differentialgleichungen mit Gedächtnis beschrieben. Die zugehörigen Wertfunktionen sind auf einem unendlich-dimensionenalen Funktionenraum definiert. Man erhält die Diskretisierungsschemata, die wir betrachten, indem man das Ausgangsproblem durch eine Folge approximierender zeitdiskreter Markovscher Kontrollprobleme ersetzt, deren Zustandsraum endlich-dimensional oder endlich ist. Ein solches Schema ist konvergent, wenn die Wertfunktionen der approximierenden Steurungsprobleme gegen die Wertfunktion des ursprünglichen Problems streben. Indem wir eine allgemeine Methode zur Diskretisierung zeitstetiger Kontrollprobleme anwenden, erhalten wir hinreichende Bedingungen für die Konvergenz von Diskretisierungsschemata für eine Klasse von stochastischen Steuerungsproblemen mit Zeitverzögerung. Die Methode zur Konvergenzanalyse selbst wird in einen formalen Rahmen gefasst. Wir führen dann ein Semidiskretisierungsschema für eine zweite Klasse von stochastischen Steuerungsproblemen mit Zeitverzögerung ein. Unter üblichen Annahmen werden die Konvergenz des Schemas, aber auch gleichmäßige obere Schranken für den Diskretisierungsfehler hergeleitet. Schließlich widmen wir uns der Frage, wie die resultierenden endlich-dimensionalen Steuerungsprobleme numerisch gelöst werden können.