Konferenzbeitrag
Few-Shot Learning mit Sprachmodellen
Lade...
Volltext URI
Dokumententyp
Text/Conference Paper
Dateien
Zusatzinformation
Datum
2023
Autor:innen
Zeitschriftentitel
ISSN der Zeitschrift
Bandtitel
Verlag
Gesellschaft für Informatik e.V.
Zusammenfassung
Wir untersuchen die für KI-Systeme essentielle Herausforderung des Few-Shot Learnings, also des Erlernens neuer Fähigkeiten aus möglichst wenigen Beispielen. Dazu entwickeln wir Methoden, die es vortrainierten Sprachmodellen ermöglichen, ausgehend von nur einer Handvoll an Beispielen neue Aufgaben zu lösen und neue Wörter zu verstehen. Für ersteres Problem basiert unser Ansatz auf der Idee, diesen Systemen textuelle Erklärungen der zu lösenden Aufgaben zur Verfügung zu stellen. Das resultierende Lernen aus Instruktionen ermöglicht es ihnen, neue Aufgaben menschenähnlicher zu erfassen und so deutlich weniger Beispiele zu benötigen. Um KI-Systemen neue Wörter beizubringen, lassen wir uns ebenfalls von Menschen inspirieren: Wir trainieren sie, durch Lernen aus Kontexten hochwertige Repräsentationen für neue Wörter zu bestimmen und so ihr Sprachverständnis zu verbessern.