Logo des Repositoriums

Auflistung nach Schlagwort "Large Language Model"

1 - 10 von 14
  • Konferenzbeitrag
    Assessing Large Language Models for annotating data in Dementia-Related texts: A Comparative Study with Human Annotators
    (INFORMATIK 2024, 2024) Suravee, Sumaiya; Stoev, Teodor; Konow, Sara; Yordanova, Kristina
    As the aging population grows, the incidence of dementia is rising sharply, necessitating the extraction of domain-specific information from texts to gain valuable insights into the condition. Training Natural Language Processing (NLP) models for this purpose requires substantial amounts of annotated data, which is typically produced by human annotators. While human annotation is precise, it is also labor-intensive and costly. Large Language Models (LLMs) present a promising alternative that could potentially streamline and economize the annotation process. However, LLMs may struggle with complex, domain-specific contexts, potentially leading to inaccuracies. This paper investigates the effectiveness of LLMs in annotating words and phrases in ambiguous dementia-related texts by comparing LLM-generated annotations with those produced by human annotators. We followed a specific annotation scheme and had both the LLM and human raters annotate a corpus of informal texts from forums of family carers of people with dementia. The results indicate a moderate overlap in inter-rater agreement between LLM and expert annotators, with the LLM identifying nearly twice as many instances as the human raters. Although LLMs can partially automate the annotation process, they are not yet fully reliable for complex domains. By refining LLM-generated data through expert review, it is possible to reduce the burden on human raters and accelerate the creation of annotated datasets.
  • Konferenzbeitrag
    ATDLLMD: Acceptance test-driven LLM development
    (Softwaretechnik-Trends Band 44, Heft 2, 2024) Faragó, David
    Since the capabilities of Large Language Models (LLMs) have massively increased in the last years, many new applications based on LLMs are possible. However, these new applications also pose new challenges in LLM development. This article proposes an acceptance test-driven development (ATDD) style, baptized ATDLLMD, where the LLM’s training and test sets are extended in each iteration by data coming from validation of the previous iteration’s LLM and system around the LLM. So the validation phase supplies the additional or updated data for training and verification of the LLM. ATDLLMD is made possible by two major innovative solutions: applying the innovative CPMAI process, and applying our own verification tool, LM-Eval, leading to a red-train green cycle for LLM development, which resembles ATDD, but integrates data science best practices.
  • Konferenzbeitrag
    Auf dem Weg zum automatischen Reengineering von digitalen Zwillingen mit faktenbasierten Großsprachenmodellen
    (Softwaretechnik-Trends Band 44, Heft 2, 2024) Tenev, Vasil
    Industrie 4.0 hat große Datenmengen aus verschiedenen Unternehmenssystemen zugänglich gemacht, aber die Umsetzung des Konzepts der Digitalen Zwillinge (DZe) bleibt eine Herausforderung. Dieser Beitrag schlägt vor, große Sprachmodelle (Large Language Models, LLMs), in Verbindung mit Wissensgraphen zu nutzen, um das Reengineering von DZe zu automatisieren. Ein zentraler Ansatz besteht darin, eine Plattform zur Erstellung von Wissensgraphen zu entwickeln, die Daten aus verschiedenen Quellen integriert und in ein einheitliches Format übersetzt. Durch den Einsatz von LLMs können komplexe Probleme gelöst werden, ohne dass spezifisches Wissen in die Modelle eingearbeitet werden muss. Dieser Ansatz bietet Vorteile wie die Vermeidung von Fehlinformationen und die Schaffung eines einzigen Wahrheitspunktes.
  • Konferenzbeitrag
    Automatisierte Verarbeitung natürlichsprachlich repräsentierter Sachverhalte zur Identifizierung von Kandidaten für Bezeichner in Datenmodellen
    (Modellierung 2024 Satellite Events, 2024) Christ, Sven; Strecker; Stefan
    Für das Bestimmen von Kandidaten für Bezeichner von Modellelementen (Entitätstypen, Beziehungstypen, Attributen) aus natürlichsprachlich repräsentierten Sachverhaltsbeschreibungen werden für die Datenmodellierung mit der Modellierungssprache „Entity-Relationship Model“ (ERM) Heuristiken vorgeschlagen, die an Morphologie und Grammatik der natürlichen Sprache orientiert sind. Bereits seit den 1990er Jahren werden diese Heuristiken in Verbindung mit Ansätzen des „Natural Language Processing“ (NLP) eingesetzt, um für das Erstellen von Datenmodellen eine (teil-) automatisierte Modellierungsunterstützung zu realisieren. In diesem Beitrag kontrastieren wir die für das Modellierungswerkzeug TOOL implementierte NLP-basierte Modellierungsunterstützung mit drei Transformer-basierten künstlichen neuronalen Netzen, „Large Language Model“ (LLM), hinsichtlich fünf unterschiedlich komplexen Aufgaben des Identifizierens von Kandidaten für Bezeichner von Modellelementen in einer Variante des ERM. Die vorliegenden, noch vorläufigen Ergebnisse deuten an, dass die verwendeten LLM dem kontrastierten regelbasierten NLP-Ansatz deutlich überlegen sind.
  • Konferenzbeitrag
    Chances and Challenges of LLM-based Software Reengineering
    (Softwaretechnik-Trends Band 44, Heft 2, 2024) Quante, Jochen; Woehrle, Matthias
    Large Language Models (LLMs) have opened up unforeseen new possibilities. They deliver amazing results for complex text-based tasks for which no satisfactory automated solution was available before. This is even more astonishing as they just calculate the most probable subsequent token, given a sequence of tokens. This is also true for software development support: There are various software engineering task for which LLMs show potential. In this paper, we discuss the potential and current shortcomings of LLM-based approaches for selected Software Reengineering tasks with a focus on language translation. All experiments reported in the following were performed with GPT-4.
  • Zeitschriftenartikel
    ChatGPT als Unterstützung von Lehrkräften – Einordnung, Analyse und Anwendungsbeispiele
    (HMD Praxis der Wirtschaftsinformatik: Vol. 61, No. 2, 2024) Hein, Laura; Högemann, Malte; Illgen, Katharina-Maria; Stattkus, Daniel; Kochon, Enrico; Reibold, Maja-Gwendoline; Eckle, Jannick; Seiwert, Lena; Beinke, Jan Heinrich; Knopf, Julia; Thomas, Oliver
    Seit seiner Veröffentlichung gewinnt das Large Language Model (Großes Sprachmodell) ChatGPT zunehmend an Bedeutung in der deutschen Bildungslandschaft. Während Schülerinnen und Schüler dieses Large Language Model bereits aktiv nutzen, herrscht unter Lehrkräften noch Uneinigkeit darüber, wie ChatGPT sie effektiv in ihrer alltäglichen Arbeit unterstützen kann. Mithilfe einer qualitativen Untersuchung werden verschiedene Aufgabenbereiche von Lehrkräften anhand konkreter Beispiele veranschaulicht und analysiert, wie ChatGPT in diesen Bereichen Unterstützung bieten kann – und in welchen der Einsatz von ChatGPT weniger geeignet ist. Durch das Large Language Model können Anregungen für alle identifizierten Aufgabenbereiche gegeben werden. Große Potenziale werden bei routinemäßigen Aufgaben, wie beispielsweise der schnellen Zusammenfassung von Informationen, gesehen. ChatGPT sollte eher nicht für pädagogische Aufgaben eingesetzt werden, wie z. B. die Arbeit mit herausforderndem Verhalten. Da Künstliche Intelligenz-basierte Tools wie ChatGPT in Zukunft voraussichtlich weiter an Bedeutung gewinnen werden, ist es notwendig, Lehrkräften eine konkrete Hilfestellung zur effektiven Nutzung dieser Tools zu geben. Dementsprechend wird in diesem Artikel ein Leitfaden hinsichtlich der Nutzung von ChatGPT im Unterricht durch Lehrkräfte bereitgestellt. Diese umfassen unter anderem die Bereiche Prompting, Interpretation, Reflexion und Datenschutz und liefern Lehrkräften so eine wertvolle Unterstützung bei dem Einsatz von ChatGPT. Since its release, the Large Language Model ChatGPT has become increasingly important in German education. While students are already actively using this language model, teachers still have differing views about how ChatGPT can effectively support them in their daily work. A qualitative study is carried out to illustrate different areas of teachers’ work with concrete examples and analyzed how ChatGPT can provide support in these areas—and in which the use of ChatGPT is less suitable. The Large Language Model can be used to provide suggestions for all identified task areas. There is excellent potential in routine tasks such as quickly summarizing information. ChatGPT should not be used for educational tasks, such as working with challenging behavior. As Artificial Intelligence-based tools, such as ChatGPT, are expected to become more prevalent in the future, it is necessary to provide teachers with concrete guidance on how to integrate these tools effectively. Accordingly, this article provides practical recommendations for teachers using ChatGPT in their everyday school life. These recommendations include prompting, interpretation, reflection, and privacy, among others, and thus provide teachers with valuable support for using ChatGPT.
  • Journal Editorial
    Conceptual Modeling and Large Language Models: Impressions From First Experiments With ChatGPT
    (Enterprise Modelling and Information Systems Architectures (EMISAJ) – International Journal of Conceptual Modeling: Vol. 15, Nr. 3, 2023) Hans-Georg Fill, Peter Fettke
  • Konferenzbeitrag
    Cute or Not: Validating Lorenz's Kindchenschema With Text-To-Image Generation
    (Proceedings of Mensch und Computer 2024, 2024) Nischwitz, Lena Marcella; Haupt, Josef; Weigelt, Aurora-Zoe; Chuang, Lewis L
    This study validates Lorenz’s Kindchenschema features by using a commercial text-to-image generator (Midjourney v.5.2) to generate stimulus material that depicted either animals or objects with or without the text prompts for “cute” and “anthropomorphic”. In an online study human participants evaluated the presence of Kindchenschema features in said images. Our results show their increased presence and perception in AI-generated images created with the prompt “cute” compared to those explicitly excluding it, as well as the systematically prioritisation of features such as “large, deep-set eye” and “rounded body shapes” in cute images. Whereas “round, protruding cheeks”, traditionally considered essential by Lorenz, ranks lower. Furthermore, the anthropomorphisation of subjects reduces the likelihood of Kindchenschema features, highlighting constraints in AI-generated stimuli. This research demonstrates the potential of AI-tools to objectively quantify and test theoretical concepts as represented in popular culture.
  • Conference paper
    Generative KI zur Lernenbegleitung in den Bildungswissenschaften: Implementierung eines LLM-basierten Chatbots im Lehramtsstudium
    (Proceedings of DELFI 2024, 2024) Soliman, Hassan; Kravcik, Milos; Neumann, Alexander Tobias; Yin, Yue; Pengel, Norbert; Haag, Maike; Wollersheim, Heinz-Werner
    Lehramtsstudierende nehmen an einer Vielzahl von Lernaktivitäten in verschiedenen Fachbereichen teil, u.a. in den Bildungswissenschaften. Sie benötigen angemessene Unterstützung, u.a. in Form zeitnahen Feedbacks. Da ihre Anzahl steigt, ist es ein wichtiges Ziel, ihnen eine skalierbare Unterstützung zu bieten, was auch eine Herausforderung für Forschende und Entwickelnde darstellt. Als eine mögliche Lösung stellen wir einen Chatbot vor, der auf einem Large Language Model (LLM) basiert und durch bestehende Lern- und Informationsmaterialien sowie hochschuldidaktische Prozessbeschreibungen ergänzt wird. In diesem Praxisbeitrag werden Erfahrungen aus der didaktischen Konzeption und technischen Umsetzung sowie erste Ergebnisse zur Qualität von LLM-basierten Chatbot-Antworten auf inhaltliche und organisatorische Fragen eines technologiegestützten bildungswissenschaftlichen Moduls im Lehramtsstudium vorgestellt. Der Bot ist in der Lage, Kursmaterial abzurufen, zu analysieren und umfassende Antworten auf spezifische Fragen zu geben. Vorläufige Ergebnisse zeigen, dass es möglich ist, zwischen verschiedenen Kontexten, in denen die Studierenden arbeiten, zu unterscheiden und ihnen eine schnelle Antwort zu geben, die das relevante Material berücksichtigt.
  • Konferenzbeitrag
    KI-gestützte Modernisierung von Altanwendungen: Anwendungsfelder von LLMs im Software Reengineering
    (Softwaretechnik-Trends Band 44, Heft 2, 2024) Hartenstein, Sandro; Schmietendorf, Andreas
    Die Integration von Large Language Models, kurz LLMs, in den Modernisierungsprozess von Altanwendungen bietet nicht nur eine Vielzahl technologischer Möglichkeiten, sondern dient auch als starke Motivation für Unternehmen, ihre bestehenden Systeme zu verbessern. LLMs repräsentieren einen bedeutsamen Fortschritt in der künstlichen Intelligenz (KI), veraltete Anwendungen können mit, aber auch durch LLMs aufgewertet werden. Diese Ausarbeitung adressiert die folgenden Fragen zur Implementierung von LLMs im Modernisierungsprozess: FF1 Wie können LLMs die Modernisierung von Altan wendungen im Anforderungsmanagement unter stützen? FF2 Inwiefern ermöglichen LLMs effiziente Software Reengineering Prozesse?