LittleMissFits: Ein Game-With-A-Purpose zur Evaluierung subjektiver Verständlichkeit von latenten Faktoren in Empfehlungssystemen

Abstract

Empfehlungssysteme, die mit Hilfe latenter Faktormodelle Empfehlungen generieren, arbeiten äußerst genau und sind entsprechend weit verbreitet. Da die Berechnung der Empfehlungen jedoch auf der statistischen Auswertung von Benutzerbewertungen basiert, gestaltet es sich schwierig, die Empfehlungen dem Nutzer gegenüber zu erklären. Daher werden die Systeme häufig als intransparent wahrgenommen und können oft ihr volles Potential nicht entfalten. Erste Ansätze zeigen allerdings, dass die latenten Faktoren solcher Modelle semantische Eigenschaften der Produkte widerspiegeln. Dabei ist bislang unklar, ob die zum Teil sehr komplexe Parametrisierung, die z.B. die Anzahl der Faktoren festlegt, Auswirkungen auf die semantische Verständlichkeit hat. Da dies sehr von der subjektiven Wahrnehmung abhängt, präsentieren wir mit LittleMissFits ein Online-Spiel, das es erlaubt, mittels Crowd-Sourcing die Konsistenz der latenten Faktoren zu untersuchen. Die Ergebnisse einer Nutzerstudie mit diesem Spiel zeigen, dass eine höhere Anzahl von Faktoren das Modell weniger verständlich erscheinen lässt. Darüber hinaus fanden sich Unterschiede innerhalb der Faktormodelle bezüglich der Verständlichkeit der einzelnen Faktoren. Zusammengenommen stellen die Ergebnisse eine wertvolle Grundlage dar, um künftig die Transparenz entsprechender Empfehlungssysteme zu steigern.