Preview

PDF, English Download (30MB) | Terms of use

Abstract

Computer-Vision-Modelle erfordern große Mengen an gelabelten Daten für das Training, was fehleranfällig, zeitaufwändig und notoriously schwer zu beschaffen ist. Es ist besonders schwierig, Labels für feinkörnige geometriebasierte Aufgaben wie die Schätzung der Objektperspektive und die Geometrieschätzung zu erhalten. Das Beschaffen von groß angelegten Labels für die Objekterkennung in sich verändernden Betriebsdomänen ist ebenfalls zeitaufwändig. Synthetische Daten sind eine Alternative, weisen jedoch eine erhebliche Domänenlücke im Vergleich zu echten Weltbildern auf, was dazu führt, dass Modelle auf echten Bildern unterdurchschnittlich abschneiden. Andererseits ist es relativ einfach, große Mengen ungelabelter Bilder einer Objektkategorie aus dem Internet zu gewinnen. Wir versuchen zu beantworten, ob solche ungelabelten Sammlungen von Bildern aus freier Wildbahn erfolgreich genutzt werden können, um Computer-Vision-Modelle ausschließlich über Selbstüberwachung zu trainieren. Wir schlagen Methoden vor, um die Schätzung der Objektperspektive, die Objekterkennung, die steuerbare Bildgenerierung und die Zerlegung ausschließlich durch Selbstüberwachung unter Verwendung ungelabelter Bilder in einem Analyse-durch-Synthese-Paradigma zu erlernen. Für die Schätzung der Objektperspektive nutzen wir ein perspektivbewusstes Bildsynthese-Netzwerk als Form der Selbstüberwachung, um unser Perspektivschätzungsnetzwerk zu trainieren, indem wir beide Modelle durch Zykluskonsistenz koppeln. Unsere Methode ist wettbewerbsfähig im Vergleich zu vollständig überwachten Methoden für Objekte wie Gesichter, Autos, Busse und Züge. Für die selbstüberwachte Objekterkennung nutzen wir ein generatives Modell, das die Kontrolle über den 3D-Standort und die Ausrichtung des synthetisierten Objekts bietet, mit dem wir auch den Begrenzungsrahmen des Objekts erhalten. Das synthetisierte Bild und der Begrenzungsrahmen werden zur Schulung des Objekterkenners verwendet. Die Genauigkeit der Objekterkennung zeigt, dass wir vorhandene Baselines erheblich übertreffen und andere auf synthetischen Daten basierende Erkennungsmethoden überbieten. Schließlich schlagen wir eine Methode vor, um die geometrisch gesteuerte Bildgenerierung und Zerlegung unter Verwendung klassenspezifischer ungleichartiger realer Weltbilder und 3D-CADModelle zu erlernen. Wir modellieren gemeinsam den Vorwärtsprozess der Bildgenerierung und den inversen Prozess der Bildzerlegung. Wir können äußerst realistische Bilder mit feinkörniger Kontrolle über Form, Erscheinungsbild und Reflexionen generieren. Unsere Ergebnisse deuten darauf hin, dass Computer-Vision-Aufgaben durch Selbstüberwachung erlernt werden können und eine Leistung erreichen können, die der von überwachten Methoden oder auf synthetischen Daten basierenden Methoden ähnelt.