GI LogoGI Logo
  • Login
Digital Library
    • All of DSpace

      • Communities & Collections
      • Titles
      • Authors
      • By Issue Date
      • Subjects
    • This Collection

      • Titles
      • Authors
      • By Issue Date
      • Subjects
Digital Library Gesellschaft für Informatik e.V.
GI-DL
    • English
    • Deutsch
  • English 
    • English
    • Deutsch
View Item 
  •   DSpace Home
  • Lecture Notes in Informatics
  • Proceedings
  • INFORMATIK - Jahrestagung der Gesellschaft für Informatik e.V.
  • P294 - INFORMATIK 2019 - 50 Jahre Gesellschaft für Informatik – Informatik für Gesellschaft
  • View Item
JavaScript is disabled for your browser. Some features of this site may not work without it.
  •   DSpace Home
  • Lecture Notes in Informatics
  • Proceedings
  • INFORMATIK - Jahrestagung der Gesellschaft für Informatik e.V.
  • P294 - INFORMATIK 2019 - 50 Jahre Gesellschaft für Informatik – Informatik für Gesellschaft
  • View Item

What If We Encoded Words as Matrices and Used Matrix Multiplication as Composition Function?

Author:
Galke, Lukas [DBLP] ;
Mai, Florian [DBLP] ;
Scherp, Ansgar [DBLP]
Abstract
We summarize our contribution to the International Conference on Learning Representations CBOW Is Not All You Need: Combining CBOW with the Compositional Matrix Space Model, 2019.We construct a text encoder that learns matrix representations of words from unlabeled text, while using matrix multiplication as composition function. We show that our text encoder outperforms continuous bag-of-word representations on 9 out of 10 linguistic probing tasks and argue that the learned representations are complementary to the ones of vector-based approaches. Hence, we construct a hybrid model that jointly learns a matrix and a vector for each word. This hybrid model yields higher scores than purely vector-based approaches on 10 out of 16 downstream tasks in a controlled experiment with the same capacity and training data. Across all 16 tasks, the hybrid model achieves an average improvement of 1.2%. These results are insofar promising, as they open up new opportunities to efficiently incorporate order awareness into word embedding models.
  • Citation
  • BibTeX
Galke, L., Mai, F. & Scherp, A., (2019). What If We Encoded Words as Matrices and Used Matrix Multiplication as Composition Function?. In: David, K., Geihs, K., Lange, M. & Stumme, G. (Hrsg.), INFORMATIK 2019: 50 Jahre Gesellschaft für Informatik – Informatik für Gesellschaft. Bonn: Gesellschaft für Informatik e.V.. (S. 287-288). DOI: 10.18420/inf2019_47
@inproceedings{mci/Galke2019,
author = {Galke, Lukas AND Mai, Florian AND Scherp, Ansgar},
title = {What If We Encoded Words as Matrices and Used Matrix Multiplication as Composition Function?},
booktitle = {INFORMATIK 2019: 50 Jahre Gesellschaft für Informatik – Informatik für Gesellschaft},
year = {2019},
editor = {David, Klaus AND Geihs, Kurt AND Lange, Martin AND Stumme, Gerd} ,
pages = { 287-288 } ,
doi = { 10.18420/inf2019_47 },
publisher = {Gesellschaft für Informatik e.V.},
address = {Bonn}
}
DateienGroesseFormatAnzeige
paper3_24.pdf62.88Kb PDF View/Open

Sollte hier kein Volltext (PDF) verlinkt sein, dann kann es sein, dass dieser aus verschiedenen Gruenden (z.B. Lizenzen oder Copyright) nur in einer anderen Digital Library verfuegbar ist. Versuchen Sie in diesem Fall einen Zugriff ueber die verlinkte DOI: 10.18420/inf2019_47

Haben Sie fehlerhafte Angaben entdeckt? Sagen Sie uns Bescheid: Send Feedback

More Info

DOI: 10.18420/inf2019_47
ISBN: 978-3-88579-688-6
ISSN: 1617-5468
xmlui.MetaDataDisplay.field.date: 2019
Language: en (en)
Content Type: Text/Conference Paper

Keywords

  • machine learning
  • natural language processing
  • representation learning
Collections
  • P294 - INFORMATIK 2019 - 50 Jahre Gesellschaft für Informatik – Informatik für Gesellschaft [85]

Show full item record


About uns | FAQ | Help | Imprint | Datenschutz

Gesellschaft für Informatik e.V. (GI), Kontakt: Geschäftsstelle der GI
Diese Digital Library basiert auf DSpace.

 

 


About uns | FAQ | Help | Imprint | Datenschutz

Gesellschaft für Informatik e.V. (GI), Kontakt: Geschäftsstelle der GI
Diese Digital Library basiert auf DSpace.