German Title: Verstärkendes Lernen für Maschinelle Übersetzung: von Simulationen zu realen Anwendungen

Preview

PDF, English - main document Download (4MB) | Lizenz: Reinforcement Learning for Machine Translation: from Simulations to Real-World Applications by Kreutzer, Julia underlies the terms of Creative Commons Attribution-NoDerivatives 4.0

Abstract

If a machine translation is wrong, how we can tell the underlying model to fix it? Answering this question requires (1) a machine learning algorithm to define update rules, (2) an interface for feedback to be submitted, and (3) expertise on the side of the human who gives the feedback. This thesis investigates solutions for machine learning updates, the suitability of feedback interfaces, and the dependency on reliability and expertise for different types of feedback. We start with an interactive online learning scenario where a machine translation (MT) system receives bandit feedback (i.e. only once per source) instead of references for learning. Policy gradient algorithms for statistical and neural MT are developed to learn from absolute and pairwise judgments. Our experiments on domain adaptation with simulated online feedback show that the models can largely improve under weak feedback, with variance reduction techniques being very effective. In production environments offline learning is often preferred over online learning. We evaluate algorithms for counterfactual learning from human feedback in a study on eBay product title translations. Feedback is either collected via explicit star ratings from users, or implicitly from the user interaction with cross-lingual product search. Leveraging implicit feedback turns out to be more successful due to lower levels of noise. We compare the reliability and learnability of absolute Likert-scale ratings with pairwise preferences in a smaller user study, and find that absolute ratings are overall more effective for improvements in down-stream tasks. Furthermore, we discover that error markings provide a cheap and practical alternative to error corrections. In a generalized interactive learning framework we propose a self-regulation approach, where the learner, guided by a regulator module, decides which type of feedback to choose for each input. The regulator is reinforced to find a good trade-off between supervision effect and cost. In our experiments, it discovers strategies that are more efficient than active learning and standard fully supervised learning.

Translation of abstract (German)

Wie können wir maschinellen Übersetzungssystemen (MT) beibringen, von Fehlern zu lernen? Die Beantwortung dieser Frage erfordert (1) einen maschinellen Lernalgorithmus, (2) eine Schnittstelle für die Übermittlung von Feedback und (3) Fachwissen. Diese Dissertation untersucht Algorithmen für maschinelles Lernen mit schwachem Feedback, verschiedene Feedback-Schnittstellen, sowie die Zuverlässigkeit verschiedener Feedback-Arten. In einem interaktiven Online-Lernszenario erhält ein MT Modell "Bandit"-Feedback (d.h. für nur je eine Übersetzung) anstelle von Referenzübersetzungen zum Lernen. Dafür werden Policy-Gradienten-Algorithmen für statistische und neuronale MT entwickelt, die von absoluten und paarweisen Bewertungen lernen. Simulationsexperimente zeigen, dass sich die Modelle selbst mit schwachem Feedback erheblich verbessern und von Varianzreduktionstechniken profitieren. In Produktionsumgebungen wird Offline-Lernen allerdings oft dem Online-Lernen vorgezogen. Daher evaluieren wir Algorithmen für kontrafaktisches Lernens mit menschlichem Feedback für Übersetzungen von eBay-Produkten. Das Feedback dabei wird entweder explizit durch Nutzerbewertungen oder implizit über Interaktionen mit der Website gesammelt. Die Nutzung impliziten Feedbacks erweist sich aufgrund geringeren Rauschens als erfolgreicher. In einer weiteren Studie vergleichen wir die Zuverlässigkeit und Erlernbarkeit von absoluten mit relativen Bewertungen, wobei absoluten Bewertungen effektiver für Verbesserungen am MT Modell sind. Darüber hinaus stellen Fehlermarkierungen eine kostengünstige und praktische Alternative zu Fehlerkorrekturen dar. Anstelle die Art der Feedbacksammlung im Voraus zu entscheiden, lassen wir das Modell diese Entscheidung in der letzten Studie selbst treffen. Wir entwickeln einen Selbstregulierungsansatz für interaktiven Lernen: Das lernende Modell entscheidet mithilfe eines Regulierungsmoduls, welche Art von Feedback für welche Eingabe gewählt wird. Der Regulator wird so trainiert, dass er einen guten Kompromiss zwischen Lerneffekt und Kosten findet. In unseren Experimenten verfolgt er Strategien, die effizienter sind als aktives Lernen und vollüberwachtes Lernen.