Modulare and Parameter-effiziente Fine-abstimmung von Sprachmodellen
| dc.contributor.author | Pfeiffer, Jonas | |
| dc.contributor.editor | Reischuk, Rüdiger | |
| dc.date.accessioned | 2024-10-02T09:07:06Z | |
| dc.date.available | 2024-10-02T09:07:06Z | |
| dc.date.issued | 2024 | |
| dc.description.abstract | Transferlernen ist zum führenden Paradigma in der Verarbeitung natürlicher Sprache (NLP) geworden, wobei vortrainierte Modelle für nachgelagerte Aufgaben mit minimalen Beispielen feinabgestimmt (fine-tuned) werden. Diese Dissertation befasst sich mit der Herausforderung, Modelle zu entwickeln, die effizient neue Informationen aufnehmen und ohne negativen Transfer verallgemeinern. Modulares Deep Learning, das Berechnungseinheiten innerhalb von Modulen effizient und asynchron aktualisiert, bietet hierfür eine Schlüssellösung. Diese Module, zwischen neuronalen Schichten (Layern) integriert oder mit vortrainierten Parametern verknüpft, ermöglichen eine kompositionelle Generalisierung durch die Neustrukturierung von Wissen. Diese Dissertation bietet einen umfassenden Blick auf Modularität in NLP, aufgeteilt in vier Dimensionen: Berechnungsfunktionen, Routingfunktionen, Aggregationsfunktionen und das Trainingsszenario. Zu den Kernbeiträgen zählen ein vielseitiges Forschungsframework, eine innovative “attention”-basierte Aggregationsfunktion zur Integration von Modulen, Routingmechanismen für cross-linguale Szenarien, Strategien für multimodales und multilinguales Lernen sowie eine modulare Vortrainingsstrategie, um katastrophale Interferenzen in heterogenen Daten zu mindern. | de |
| dc.identifier.doi | 10.18420/Diss2023-21 | |
| dc.identifier.isbn | 978-3-88579-982-5 | |
| dc.identifier.uri | https://dl.gi.de/handle/20.500.12116/44718 | |
| dc.language.iso | de | |
| dc.publisher | Gesellschaft für Informatik e.V. | |
| dc.relation.ispartof | Ausgezeichnete Informatikdissertationen 2023 (Band 24) | |
| dc.title | Modulare and Parameter-effiziente Fine-abstimmung von Sprachmodellen | de |
| gi.citation.endPage | 220 | |
| gi.citation.publisherPlace | Bonn | |
| gi.citation.startPage | 211 | |
| gi.conference.date | 05.05.-08.05.24 | |
| gi.conference.location | Schoss Dagstuhl, Deutschland |
Dateien
Originalbündel
1 - 1 von 1
Vorschaubild nicht verfügbar
- Name:
- Pfeiffer-Jonas.pdf
- Größe:
- 3.98 MB
- Format:
- Adobe Portable Document Format