Auflistung nach Autor:in "Faragó, David"
1 - 10 von 15
Treffer pro Seite
Sortieroptionen
- KonferenzbeitragATDLLMD: Acceptance test-driven LLM development(Softwaretechnik-Trends Band 44, Heft 2, 2024) Faragó, DavidSince the capabilities of Large Language Models (LLMs) have massively increased in the last years, many new applications based on LLMs are possible. However, these new applications also pose new challenges in LLM development. This article proposes an acceptance test-driven development (ATDD) style, baptized ATDLLMD, where the LLM’s training and test sets are extended in each iteration by data coming from validation of the previous iteration’s LLM and system around the LLM. So the validation phase supplies the additional or updated data for training and verification of the LLM. ATDLLMD is made possible by two major innovative solutions: applying the innovative CPMAI process, and applying our own verification tool, LM-Eval, leading to a red-train green cycle for LLM development, which resembles ATDD, but integrates data science best practices.
- Konferenz-AbstractBericht(Softwaretechnik-Trends Band 44, Heft 2, 2024) Sokenou, Dehla; Friske, Mario; Güldali, Baris; Faragó, David; Winter, MarioDas 49. Treffen der GI-Fachgruppe TAV fand am 15. und 16. Februar 2024 statt und stand unter dem Motto Qualität sichtbar, messbar und bewertbar machen. Das Programm umfasste neben der Keynote von Mario Winter acht weitere Vorträge aus den Bereichen Best Practices, KI und Qualitätssicherung und Erfahrungen mit Toolchains.
- KonferenzbeitragBericht(Softwaretechnik-Trends Band 42, Heft 4, 2022) Sokenou, Dehla; Friske, Mario; Güldali, Baris; Faragó, David; Winter, Mario; Buth, Bettina
- Konferenz-AbstractBericht über das 46. Treffen der GI-Fachgruppe Test, Analyse & Verifikation von Software (TAV 46) am 27. September 2021(Softwaretechnik-Trends Band 42, Heft 1, 2022) Ruckdeschel, Wilhelm; Friske, Mario; Güldali, Baris; Sokenou, Dehla; Faragó, David; Winter, MarioDas 46. Treffen der GI-Fachgruppe TAV fand am 27. September 2021 im Rahmen der GI Jahrestagung „Informatik 2021“ statt und stand unter dem Motto „Herausforderungen beim Testen moderner Softwaresysteme“. Die letzten Jahre zeigten einige neue Trends in der Entwicklung moderner Softwaresysteme. Dazu zählen massiv verteilte Systeme (Smart Metering, Internet of Things), der Trend zu containerbasierten Microservices auf Clustern, die vermehrte Entwicklung von KI-basierten Systemen bis hin zum Quantencomputing. Diese zeichnen sich oft durch eine Komplexität aus, die ganz neue Herausforderungen für den Test bereithält. Im Workshop wurden diese Herausforderungen beleuchtet und Lösungsansätze für das effiziente Testen moderner Softwaresysteme diskutiert. Am Workshop nahmen ca. 50 interessierte Fachleute aktiv teil.
- KonferenzbeitragBerichte aus den TAV-Arbeitskreisen(Softwaretechnik-Trends Band 42, Heft 1, 2022) Buth, Bettina; Winter, Mario; Faragó, David; Friske, Mario; Sokenou, DehlaBericht über den 3. Workshop des GI-TAV Arbeitskreises "Testen & KI" (TKI) und Bericht zum Treffen des Arbeitskreises TOOP/MBT
- ZeitschriftenartikelDrei Methoden, ein Ziel: Testautomatisierung mit BDD, MBT und KDT im Vergleich(Softwaretechnik-Trends Band 36, Heft 3, 2015) Brandes, Christian; Eberhardinger, Benedikt; Faragó, David; Friske, Mario; Güldali, Baris; Pietschker, Andrej
- KonferenzbeitragEngineering A Reliable Prompt For Generating Unit Tests - Prompt engineering for QA & QA for prompt engineering(Softwaretechnik-Trends Band 43, Heft 3, 2023) Faragó, DavidThis paper demonstrates Prompt Engineering (PE) on a running example: generating unit test cases for a given function. By iter atively adding further prompt patterns and measuring the robustness, correctness, and comprehensiveness of the AI’s output, multiple prompt patterns and their purpose and strength are investigated. We conclude that high robustness, correctness, and comprehensiveness is hard to achieve, and many prompt patterns (single prompt as well as patterns that span over a conversation) are necessary. More generally, quality assurance is a dominant part of PE and closely intertwined with the development part of PE. Thus traditional testing processes and stages do not adequately apply to QA for PE, and we suggest a PE process that covers the development and quality assurance of prompts as alternative.
- KonferenzbeitragA High Quality Data Pipeline for Reasonable-Scale Machine Learning(Softwaretechnik-Trends Band 42, Heft 4, 2022) Faragó, DavidData quality (especially correctness) plays a critical role in the success of a machine learning (ML) project. This paper describes a data pipeline for creating high quality data, using as example Key Information Extraction (KIE) from invoices – one of the most popular tasks in Intelligent Document Processing (IDP). The tasks of each data pipeline step are listed, showing the decisions and technology involved. The focus is on practicality: doing ML at reasonable-scale, i.e. with as little cost (people and hardware) as possible, and a concern for practice more than achieving high scores on a metric that is not grounded in practical use. Contributions: 1. an extended list of quality dimensions, with simple definitions 2. overview of a data pipeline, examplified on KIE 3. for each pipeline step a list of tasks, showing decisions, pitfalls, and technology involved 4. in particular, how to use the state of the art contrastive model CLIP to solve difficult selection and reduction tasks on images 5. a tool for labeling key information on images 6. a labeling guide for invoices. Most contributions can easily be transfered to other supervised learning tasks.
- KonferenzbeitragImproved underspecification for model-based testing in agile development(FM+AM`2010 – Second International Workshop on Formal Methods and Agile Methods, 2010) Faragó, DavidSince model-based testing (MBT) and agile development are two major approaches to increase the quality of software, this paper considers their combination. After motivating that strongly integrating both is the most fruitful, the demands on MBT for this integration are investigated: The model must be underspecifyable and iteratively refineable and test generation must efficiently handle this. The theoretical basis and an example for such models is given. Thereafter, a new method for MBT is introduced, which can handle this more efficiently, i.e., can better cope with nondeterminism and also has better guidance in the model traversal. Hence it can be used in agile development, select more revealing tests and achieve higher coverage and reproducibility.
- KonferenzbeitragKeynote: Microservices Testen - Erfahrungsbericht und Umfrage(Softwaretechnik-Trends Band 40, Heft 2, 2020) Faragó, David; Sokenou, DehlaDie Microservice-Architektur hat viele Vorteile, betrachtet man die bessere Kapselung und Modularisierung mit starker Entkopplung und strenger Orientierung an Verantwortlichkeiten. So ist ein MS im Idealfall genau für eine Aufgabe in allen Aspekten von Persistierung über Businesslogik bis hin zu Schnittstellen verantwortlich. Dieser Beitrag präsentiert eine erweiterte Test-Pyramide mit der zusätzlichen Teststufe Component Tests (Tests auf der Ebene eines einzelnen, gesamten MS) sowie fünf Skalen zur Beurteilung von Vor- und Nachteilen der Teststufen.