Logo des Repositoriums

Auflistung nach Autor:in "Schildgen, Johannes"

1 - 10 von 11
  • Zeitschriftenartikel
    Collecting and visualizing data lineage of Spark jobs
    (Datenbank-Spektrum: Vol. 21, No. 3, 2021) Schoenenwald, Alexander; Kern, Simon; Viehhauser, Josef; Schildgen, Johannes
    Metadata management constitutes a key prerequisite for enterprises as they engage in data analytics and governance. Today, however, the context of data is often only manually documented by subject matter experts, and lacks completeness and reliability due to the complex nature of data pipelines. Thus, collecting data lineage—describing the origin, structure, and dependencies of data—in an automated fashion increases quality of provided metadata and reduces manual effort, making it critical for the development and operation of data pipelines. In our practice report, we propose an end-to-end solution that digests lineage via (Py‑)Spark execution plans. We build upon the open-source component Spline , allowing us to reliably consume lineage metadata and identify interdependencies. We map the digested data into an expandable data model, enabling us to extract graph structures for both coarse- and fine-grained data lineage. Lastly, our solution visualizes the extracted data lineage via a modern web app, and integrates with BMW Group’s soon-to-be open-sourced Cloud Data Hub.
  • Konferenzbeitrag
    ControVol Flex: Flexible Schema Evolution for NoSQL Application Development
    (Datenbanksysteme für Business, Technologie und Web (BTW 2017), 2017) Haubold, Florian; Schildgen, Johannes; Scherzinger, Stefanie; Deßloch, Stefan
    We demonstrate ControVol Flex, an Eclipse plugin for controlled schema evolution in Java applications backed by NoSQL document stores. The sweet spot of our tool are applications that are deployed continuously against the same production data store: Each new release may bring about schema changes that conflict with legacy data already stored in production. The type system internal to the predecessor tool ControVol is able to detect common schema conflicts, and enables developers to resolve them with the help of object-mapper annotations. Our new tool ControVol Flex lets developers choose their schema-migration strategy, whether all legacy data is to be migrated eagerly by means of NotaQL transformation scripts, or lazily, as declared by object-mapper annotations. Our tool is even capable of carrying out both strategies in combination, eagerly migrating data in the background, while lazily migrating data that is meanwhile accessed by the application. From the viewpoint of the application, it remains transparent how legacy data is migrated: Every read access yields an entity that matches the structure that the current application code expects. Our live demo shows how ControVol Flex gracefully solves a broad range of common schema-evolution tasks.
  • Zeitschriftenartikel
    „Gib mir so viel Gold, wie die Metzger im Nachbardorf zusammen besitzen und ich lasse den Piloten frei!“ – Spielbasiertes Lernen von SQL-Grundlagen
    (Datenbank-Spektrum: Vol. 13, No. 3, 2013) Schildgen, Johannes; Deßloch, Stefan
    Stellen Sie sich vor, Sie landen auf einer einsamen Insel und die Bewohner verstehen nur die Sprache SQL. Das Spiel SQL Island (http://www.sql-island.de) dient zur Vermittlung und Übung von SQL-Grundlagen und wird durch die Eingabe von SQL-Anfragen gesteuert. Der Zweck des Spiels ist es, dem Spieler auf unterhaltsame Weise beizubringen, wie Daten in relationalen Datenbanken abgefragt und manipuliert werden können. Dabei werden keine SQL-Kenntnisse vorausgesetzt.
  • Zeitschriftenartikel
    Heterogenität überwinden mit der Datentransformationssprache NotaQL
    (Datenbank-Spektrum: Vol. 16, No. 1, 2016) Schildgen, Johannes; Deßloch, Stefan
    Bei der Informationsintegration, also dem Zusammenführen verschiedener Daten aus zwei oder mehr Datenquellen, gilt es die Heterogenität der Quellen aufzulösen und die gegebenen Schemata ineinander abzubilden. Besonders bei der Verarbeitung von Big Data in schemalosen NoSQL-Systemen, in denen heterogene Datensätze gespeichert sind, und die sich zusätzlich untereinander stark im Datenmodell und in ihren Zugriffsmethoden unterscheiden, scheitern meist klassische SQL-basierte Techniken. In diesem Artikel stellen wir vor, wie mit der Datentransformationssprache NotaQL die verschiedenen Arten von Heterogenität überwunden werden können. Die meist wenige Zeilen kurzen NotaQL-Skripte beschreiben eine Transformation zwischen unterschiedlichen Systemen und bieten einen flexiblen Zugriff auf Daten und Metadaten.
  • Zeitschriftenartikel
    Inkrementelle Neuberechnungen in MapReduce
    (Datenbank-Spektrum: Vol. 13, No. 1, 2013) Schildgen, Johannes; Jörg, Thomas; Deßloch, Stefan
    Das MapReduce-Programmiermodell ermöglicht die skalierbare Analyse und Transformation großer Datenmengen. Wir stellen das auf MapReduce basierende Marimba-Framework zur einfachen Entwicklung von inkrementellen, selbstwartbaren Programmen vor, welche bei Änderung von Quelldaten eine vollständige Wiederholung des MapReduce-Jobs vermeiden. Marimba wird anhand mehrerer Anwendungen illustriert und durch Leistungsmessungen evaluiert.
  • Konferenzbeitrag
    Interactive SQL Queries and Program Code in Presentations
    (BTW 2023, 2023) Schildgen, Johannes; Heinz, Florian
    Nowadays, most database lectures are performed with an accompanying visual presentation that further illustrates the conveyed facts. Conventional presentation software allows dynamic elements up to a certain level, for example revealing or changing parts of the slide step by step, or even an interaction with the viewers by means of polls or similar mechanisms. Recently, HTML-and browser-based frameworks for presentations have emerged, which allow an even higher degree of flexibility due to the manifold possibilities of HTML5 and JavaScript. This paper presents an approach of how to interactively modify parts of a slide during the presentation, like SQL-based queries or program code snippets, and show the results pretty-printed on the corresponding slide in real-time. This enables the lecturer to easily show more examples, and answer and illustrate side questions, which they did not prepare in advance.
  • Zeitschriftenartikel
    Interaktive Vorlesungsfolien mit SQL-Unterstützung
    (Datenbank-Spektrum: Vol. 21, No. 1, 2021) Schildgen, Johannes
    Mit PowerPoint oder LaTeX Beamer erstellte Vorlesungsfolien sind meist statisch und dienen hauptsächlich der Präsentation von Lehrinhalten. Als Alternative dazu werden drei Erweiterungen für das HTML- und JavaScript-basierte Präsentationsframework reveal.js vorgestellt, die für mehr Interaktion in der Datenbankenlehre sorgen sollen: (1) Eine Live-Ausführung von SQL-Anfragen und eine Darstellung des Anfrageergebnisses direkt auf der Folie; mit Möglichkeit zur Anpassung der Anfrage im Präsentationsbetrieb, (2) eine JSON-basierte Beschreibung von ER-Diagrammen, welche graphisch auf den Folien dargestellt werden sollen und (3) eingebettete Smartphone-Umfragen, um zwischendurch – ohne einen Kontextwechsel – Quiz-Fragen zu stellen.
  • Konferenzbeitrag
    Sampling with incremental mapreduce
    (Datenbanksysteme für Business, Technologie und Web (BTW 2015) - Workshopband, 2015) Schäfer, Marc; Schildgen, Johannes; Deßloch, Stefan
    The goal of this paper is to increase the computation speed of MapReduce jobs by reducing the accuracy of the result. Often, the timely processing is more important than the precision of the result. Hadoop has no built-in functionality for such an approximation technique, so the user has to implement sampling techniques manually. We introduce an automatic system for computing arithmetic approximations. The sampling is based on techniques from statistics and the extrapolation is done generically. This system is also extended by an incremental component which enables the reuse of already computed results to enlarge the sampling size. This can be used iteratively to further increase the sampling size and also the precision of the approximation. We present a transparent incremental sampling approach, so the developed components can be integrated in the Hadoop framework in a non-invasive manner.
  • Konferenzbeitrag
    SQL-Grundlagen spielend lernen mit dem Text-Adventure SQL Island
    (Datenbanksysteme für Business, Technologie und Web (BTW 2015), 2015) Schildgen, Johannes; Deßloch, Stefan
    Wir präsentieren SQL Island, ein neuartiges browserbasiertes Lernspiel, welches auf dem Konzept der Text-Adventures basiert. Nach einem Flugzeugabsturz landet die Spielfigur auf einer Insel. Man redet mit Bewohnern, sammelt Gegenstände und käpft gegen Bösewichte. Die Besonderheit bei diesem Spiel ist jedoch, dass der Spieler seine Figur lediglich mittels SQL-Befehlen steuert. Alle nötigen Befehle werden zunächst präsentiert, sodass keine Vorerfahrung notwendig ist. Nach etwa einer Stunde Spielzeit beherrscht der Spieler SELECT-, UPDATE- und DELETE-Anfragen sowie Gruppierungen, Aggregationsfunktionen und Joins. Das Spiel kann online auf
  • Konferenzbeitrag
    Transformations on Graph Databases for Polyglot Persistence with NotaQL
    (Datenbanksysteme für Business, Technologie und Web (BTW 2017), 2017) Schildgen, Johannes; Krück, Yannick; Deßloch, Stefan
    Polyglot-persistence applications use a combination of many di erent data stores. Often, one of them is a graph database to model relationships between data items. The data-transformation language NotaQL can be used to define transformations from one NoSQL database to a di erent one. In this paper, we present a language extension for NotaQL to allow graph transformations, graph analysis, and data migrations on graph databases. NotaQL is schema-flexible, it o ers filters and aggregation functions, and it allows for graph traversal and edge creation. Our graph-transformation platform can be used for iterative graph algorithms and bulk processing.