Logo des Repositoriums

Auflistung nach Schlagwort "Open-source-basierter Datenworkflow"

1 - 1 von 1
  • Zeitschriftenartikel
    Effizienter Datenmanagement-Workflow zur Analyse eines PtGtX-Systems basierend auf Open-Source-Software und Low-Cost-Hardware
    (HMD Praxis der Wirtschaftsinformatik: Vol. 61, No. 4, 2024) Clees, Tanja; Bareev-Rudy, Michael; Pfennig, Malte
    Um ein Power-to-Gas-to-X-System effizient zu optimieren, kann ein digitaler Zwilling als Simulationsmodell auf Basis experimenteller Daten für ein Laborsystem erstellt und entsprechend verändert werden. Darüber hinaus müssen für die Überwachung des realen Systems bzw. die Online-Simulation kontinuierlich Daten aus Experiment und Simulation erfasst und verarbeitet werden. Insgesamt ist ein effizienter Datenmanagement-Workflow erforderlich. In dieser Arbeit wird ein Workflow aus freier, etablierter und skalierbarer Open-Source-Software für die vorliegende Anwendung skizziert und insbesondere ein geeignetes Datenmodell entwickelt, implementiert und seine ressourcensparende Realisierung auf kostengünstiger Hardware gezeigt. Abhängig von der Datenmodellierung kann preiswerte und alte Hardware für die geforderte Aufgabe ausreichend sein. Mit Apache NiFi wird ein visueller Workflow zum Abrufen und Verarbeiten von Daten aus verschiedenen Quellen geschaffen. Die extrahierten Daten werden in Apache Cassandra aggregiert, einem Datensystem, das aufgrund seiner Leistung, Skalierbarkeit und Haltbarkeit häufig verwendet wird. Grafana wird zur visuellen Überwachung des Systems eingesetzt. Das gesamte System wird mit Hilfe von Docker-Containern aufgebaut zum Zwecke der Reproduzierbarkeit und effizienten Bereitstellung. Benchmarks und realistische Hardware- und Datenmodellierungskonfigurationen demonstrieren die Leistung der vorgeschlagenen Lösung. In order to efficiently optimize a power-to-gas-to‑X system, a digital twin can be created as a simulation model based on experimental data for a laboratory system and modified accordingly. In addition, data from experiment and simulation must be continuously recorded and processed for monitoring and online simulation. Overall, an efficient data management workflow is required. In this paper, a workflow consisting of free, established and scalable open-source software is outlined for the application at hand and, in particular, a suitable data model is developed, implemented and its resource-saving realization on low-cost hardware is demonstrated. Depending on the data modeling, inexpensive and old hardware may be sufficient for the required task. Apache NiFi is used to create a visual workflow for retrieving and processing data from various sources. The extracted data is aggregated in Apache Cassandra, a data system widely used for its performance, scalability and durability. Grafana is used for visual monitoring of the system. The entire system is built using Docker containers for the purpose of reproducibility and efficient deployment. Benchmarks and realistic hardware and data modeling configurations demonstrate the stated performance and sustainability of the proposed solution.