Preview

PDF, English - main document Download (4MB) | Terms of use

Abstract

In this thesis, estimation in regression and classification problems which include low dimensional structures are considered. The underlying question is the following. How well do statistical learn- ing methods perform for models with low dimensional structures? We approach this question using various algorithms in various settings. For our first main contribution, we prove optimal convergence rates in a classification setting using neural networks. While non-optimal rates ex- isted for this problem, we are the first to prove optimal ones. Secondly, we introduce a new tree based algorithm we named random planted forest. It adapts particularly well to models which consist of low dimensional structures. We examine its performance in simulation studies and include some theoretical backing by proving optimal convergence rates in certain settings for a modification of the algorithm. Additionally, a generalized version of the algorithm is included, which can be used in classification settings. In a further contribution, we prove optimal con- vergence rates for the local linear smooth backfitting algorithm. While such rates have already been established, we bring a new simpler perspective to the problem which leads to better understanding and easier interpretation. Additionally, given an estimator in a regression setting, we propose a constraint which leads to a unique decomposition. This decomposition is useful for visualising and interpreting the estimator, in particular if it consits of low dimenional structures.

Translation of abstract (German)

In dieser Arbeit betrachten wir Regressions- sowie Klassifikationsprobleme die auf niedrigdimensionalen Strukturen beruhen. Wir interessieren uns für folgende Frage. Wie gut schneiden Methoden des statistischen Lernens in Modellen mit niedrigdimensionalen Strukturen ab? Um an diese Frage heranzutreten, untersuchen wir verschiedene Algorithmen in unterschiedlichen statistischen Modellen. Als erstes Hauptresultat zeigen wir optimale Konvergenzraten in einem Klassifikationsmodell für einen Schätzer der auf Neuronalen Netzen basiert. Suboptimale Raten existieren bereits für dieses Problem. Wir sind hingegen die ersten, die optimale Raten in diesem Problem für einen Schätzer, der auf Neuronalen Netzen beruht, beweisen. Ein weiterer wesentlicher Beitrag besteht in der Einführung eines neuen Baum-basierten Algorithmus den wir ”Random Planted Forest” getauft haben. Dieser ist insbesondere für Modelle, die aus niedrigdimensionalen Strukturen bestehen, konzipiert. Wir evaluieren die Schätzungen, die der Algorithmus hervorbringt, anhand von Simulationsstudien und schaffen eine theoretische Grundlage für eine leicht abgeänderte Version des Algorithmus. Wir geben auch eine verallgemeinerte Version an, die unter anderem für Klassifikationsprobleme verwendet werden kann. In einem zusätzlichen Resultat beweisen wir optimale Konvergenzraten für den ”local linear smooth backfitting” Schätzer. Solche Raten wurden für diesen Algorithmus bereits gezeigt. Wir betrachten das Problem aus einer neuen Perspektive, die eine neue Interpretation des Schätzers zulässt und die Beweise vereinfacht. Des weiteren geben wir für einen beliebigen Schätzer in einem Regressionsproblem eine Bedingung an, durch die man eine eindeutige Zerlegung des Schätzers erhält. Diese Zerlegung ist hilfreich um den Schätzer zu visualisieren und zu interpretieren, insbesondere wenn niedrigdimensionale Strukturen vorherrschen.