Konferenzbeitrag
Computergestützte Bildtypenanalyse durch Zero-Shot Klassifikation mit CLIP
Vorschaubild nicht verfügbar
Volltext URI
Dokumententyp
Text/Conference Paper
Zusatzinformation
Datum
2023
Autor:innen
Zeitschriftentitel
ISSN der Zeitschrift
Bandtitel
Verlag
Gesellschaft für Informatik e.V.
Zusammenfassung
Wir stellen unsere computergestützte Bildtypenanalyse mittels CLIP am Beispiel einer Analyse visueller Social Media-Inhalte vor und evaluieren diese. Dabei betrachten wir 2208 Instagram Stories aus dem Bundestagswahlkampf 2021, die in den letzten zwei Wochen des Wahlkampfs auf den Kanälen von acht Parteien und 14 Spitzenkandidierenden veröffentlicht wurden. Durch die Bildtypenanalyse konnten wir feststellen, dass der Großteil der Stories Wahlkampfveranstaltungen dokumentiert und in einem kleineren Teil Inhalte anderer Plattformen und Formate geteilt werden. Bei ca. einem Fünftel der Stories stehen sachpolitische Themen im Mittelpunkt. Die automatisierte Klassifikation hat insgesamt mittelmäßig funktioniert, ein Teil der Bildtypen konnte aber mit guter Performance klassifiziert werden. Deshalb sehen wir den Bedarf für systematisches Prompt Engineering und schlagen eine Few-Shot / Ensemble Klassifikation in zukünftigen Vorhaben zu testen, um die Performance über alle Bildtypen zu erhöhen.