Directly to content
  1. Publishing |
  2. Search |
  3. Browse |
  4. Recent items rss |
  5. Open Access |
  6. Jur. Issues |
  7. DeutschClear Cookie - decide language by browser settings

Discretisation of continuous-time stochastic optimal control problems with delay

Fischer, Markus

German Title: Diskretisierung von zeitstetigen stochastischen Optimalsteuerungsproblemen mit Zeitverzögerung

[thumbnail of DissMFischer2007.pdf]
Preview
PDF, English
Download (1MB) | Terms of use

Citation of documents: Please do not cite the URL that is displayed in your browser location input, instead use the DOI, URN or the persistent URL below, as we can guarantee their long-time accessibility.

Abstract

In the present work, we study discretisation schemes for continuous-time stochastic optimal control problems with time delay. The dynamics of the control problems to be approximated are described by controlled stochastic delay (or functional) differential equations. The value functions associated with such control problems are defined on an infinite-dimensional function space. The discretisation schemes studied are obtained by replacing the original control problem by a sequence of approximating discrete-time Markovian control problems with finite or finite-dimensional state space. Such a scheme is convergent if the value functions associated with the approximating control problems converge to the value function of the original problem. Following a general method for the discretisation of continuous-time control problems, sufficient conditions for the convergence of discretisation schemes for a class of stochastic optimal control problems with delay are derived. The general method itself is cast in a formal framework. A semi-discretisation scheme for a second class of stochastic optimal control problems with delay is proposed. Under standard assumptions, convergence of the scheme as well as uniform upper bounds on the discretisation error are obtained. The question of how to numerically solve the resulting discrete-time finite-dimensional control problems is also addressed.

Translation of abstract (German)

In der vorliegenden Arbeit untersuchen wir Schemata zur Diskretisierung von zeitstetigen stochastischen Kontrollproblemen mit Zeitverzögerung. Die Dynamik solcher Probleme wird von gesteuerten stochastischen Differentialgleichungen mit Gedächtnis beschrieben. Die zugehörigen Wertfunktionen sind auf einem unendlich-dimensionenalen Funktionenraum definiert. Man erhält die Diskretisierungsschemata, die wir betrachten, indem man das Ausgangsproblem durch eine Folge approximierender zeitdiskreter Markovscher Kontrollprobleme ersetzt, deren Zustandsraum endlich-dimensional oder endlich ist. Ein solches Schema ist konvergent, wenn die Wertfunktionen der approximierenden Steurungsprobleme gegen die Wertfunktion des ursprünglichen Problems streben. Indem wir eine allgemeine Methode zur Diskretisierung zeitstetiger Kontrollprobleme anwenden, erhalten wir hinreichende Bedingungen für die Konvergenz von Diskretisierungsschemata für eine Klasse von stochastischen Steuerungsproblemen mit Zeitverzögerung. Die Methode zur Konvergenzanalyse selbst wird in einen formalen Rahmen gefasst. Wir führen dann ein Semidiskretisierungsschema für eine zweite Klasse von stochastischen Steuerungsproblemen mit Zeitverzögerung ein. Unter üblichen Annahmen werden die Konvergenz des Schemas, aber auch gleichmäßige obere Schranken für den Diskretisierungsfehler hergeleitet. Schließlich widmen wir uns der Frage, wie die resultierenden endlich-dimensionalen Steuerungsprobleme numerisch gelöst werden können.

Document type: Dissertation
Supervisor: Reiß, Prof. Dr. Markus
Date of thesis defense: 20 November 2007
Date Deposited: 06 Feb 2008 10:10
Date: 2007
Faculties / Institutes: The Faculty of Mathematics and Computer Science > Institut für Mathematik
DDC-classification: 510 Mathematics
Controlled Keywords: Optimale Kontrolle, Stochastische Differentialgleichung mit Gedächtnis, Zeitdiskrete Approximation, Bellmansches Optimalitätsprinzip, Eulersches
Uncontrolled Keywords: Markov-Ketten-Methode , Fehlerabschätzungenoptimal control , stochastic delay differential equation , error bounds , Euler-Maruyama scheme , Markov chain method
About | FAQ | Contact | Imprint |
OA-LogoDINI certificate 2013Logo der Open-Archives-Initiative