eprintid: 34762
rev_number: 15
eprint_status: archive
userid: 7794
dir: disk0/00/03/47/62
datestamp: 2024-04-30 14:48:54
lastmod: 2024-05-17 13:08:37
status_changed: 2024-04-30 14:48:54
type: doctoralThesis
metadata_visibility: show
creators_name: Müller, Jens
title: Robustness and Domain Generalization
title_de: Robustheit und Domänenverallgemeinerung
subjects: ddc-004
divisions: i-110300
adv_faculty: af-11
cterms_swd: Maschinelles Lernen
cterms_swd: Kausalität
abstract: The robustness task asks to find a predictive model that remains accurate not only under known conditions but also when encountering completely novel situations, often referred to as distribution shift. Domain Generalization (DG) represents a specific case of robustness, wherein access to distinct environments is provided during the training phase. In this thesis, we contribute to the robustness task in four important ways. We propose two distinct frameworks in the context of DG designed to attain robustness. One is rooted in the fundamental principle of independent causal mechanisms, seeking invariances that persist across various environments. The second approach leverages contextual information about the origins of the data to improve robustness via permutation-invariant neural networks. Additionally, we define and implement a classifier’s competence region as the region where the classifier is deemed competent and trustworthy. This approach enables us to increase the classifier’s accuracy by rejecting samples lying outside its competence region, even in the presence of a distribution shift. Lastly, we theoretically analyze three crucial types of invariances, showing their prospects of success or failure in the robustness task under various distribution shifts. This comprehensive analysis provides a broad and insightful perspective on the topics of robustness and invariances.
abstract_translated_text: Die Aufgabe von Robustheit besteht darin, ein Vorhersagemodell zu finden, das nicht nur unter bekannten Bedingungen präzise bleibt, sondern auch in völlig neuen Situationen. Die Veränderung der Bedingungen wird auch als Verteilungsverschiebung bezeichnet. Domain Generalization (DG) stellt einen spezifischen Fall der Robustheitsaufgabe dar, bei dem während der Trainingsphase Zugang zu unter- schiedlichen Bedingungen (oder Umgebungen) gewährt wird. In dieser Arbeit tragen wir insgesamt vier wesentliche Ansätze zur Robustheitsaufgabe bei. Wir schlagen zwei unterschiedliche Heransgehensweisen im Kontext von DG vor, die auf Robustheit ausgelegt sind. Eine basiert auf dem fundamentalen Prinzip unabhängiger kausaler Mechanismen und sucht nach Invarianzen, die in verschiedenen Umgebungen bestehen bleiben. Der andere Ansatz nutzt kontextbezogene Informationen über die Herkunft der Daten, um die Robustheit mithilfe von permutationsinvarianten neuronalen Netzwerken zu verbessern. Zusätzlich definieren und implementieren wir den Kompetenzbereich eines Klassifizierers als den Bereich, in dem der Klassifizierer als kompetent und vertrauenswürdig angesehen wird. Dieser Ansatz ermöglicht es uns, die Genauigkeit des Klassifizierers zu erhöhen – selbst in Anwesenheit einer Verteilungsveränderung – indem wir Eingaben außerhalb seines Kompetenzbereichs ablehnen. Schließlich analysieren wir in der Theorie drei entscheidende Arten von Invarianzen und zeigen ihre Erfolgsaussichten oder ihr Versagen bei der Robustheitsaufgabe unter verschiedenen Verteilungsverschiebungen auf. Diese umfassende Analyse liefert eine breite und aufschlussreiche Perspektive zu den Themen Robustheit und Invarianzen.
date: 2024
id_scheme: DOI
id_number: 10.11588/heidok.00034762
ppn_swb: 1889278459
own_urn: urn:nbn:de:bsz:16-heidok-347628
date_accepted: 0024-04-25
advisor: HASH(0x55e0f7e15c38)
language: eng
bibsort: MULLERJENSROBUSTNESS20240425
full_text_status: public
place_of_pub: Heidelberg
citation:   Müller, Jens  (2024) Robustness and Domain Generalization.  [Dissertation]     
document_url: https://archiv.ub.uni-heidelberg.de/volltextserver/34762/1/PhD_Thesis_submission.pdf