Textdokument
Modulare and Parameter-effiziente Fine-abstimmung von Sprachmodellen
Vorschaubild nicht verfügbar
Volltext URI
Dokumententyp
Dateien
Zusatzinformation
Datum
2024
Autor:innen
Zeitschriftentitel
ISSN der Zeitschrift
Bandtitel
Verlag
Gesellschaft für Informatik e.V.
Zusammenfassung
Transferlernen ist zum führenden Paradigma in der Verarbeitung natürlicher Sprache (NLP) geworden, wobei vortrainierte Modelle für nachgelagerte Aufgaben mit minimalen Beispielen feinabgestimmt (fine-tuned) werden. Diese Dissertation befasst sich mit der Herausforderung, Modelle zu entwickeln, die effizient neue Informationen aufnehmen und ohne negativen Transfer verallgemeinern. Modulares Deep Learning, das Berechnungseinheiten innerhalb von Modulen effizient und asynchron aktualisiert, bietet hierfür eine Schlüssellösung. Diese Module, zwischen neuronalen Schichten (Layern) integriert oder mit vortrainierten Parametern verknüpft, ermöglichen eine kompositionelle Generalisierung durch die Neustrukturierung von Wissen. Diese Dissertation bietet einen umfassenden Blick auf Modularität in NLP, aufgeteilt in vier Dimensionen: Berechnungsfunktionen, Routingfunktionen, Aggregationsfunktionen und das Trainingsszenario. Zu den Kernbeiträgen zählen ein vielseitiges Forschungsframework, eine innovative “attention”-basierte Aggregationsfunktion zur Integration von Modulen, Routingmechanismen für cross-linguale Szenarien, Strategien für multimodales und multilinguales Lernen sowie eine modulare Vortrainingsstrategie, um katastrophale Interferenzen in heterogenen Daten zu mindern.