Logo des Repositoriums

Auflistung nach Schlagwort "Benchmark"

1 - 7 von 7
  • Konferenzbeitrag
    Assessing the performance of Neural Networks in Recognizing Manual Labor Actions in a Production Environment
    (INFORMATIK 2023 - Designing Futures: Zukünfte gestalten, 2023) Höfinghoff, Maximilian; Buschermöhle, Ralf; Korn, Goy-Hinrich; Schumacher, Marcel; Seipolt, Arne
    Action recognition technology has gained significant traction in recent years. This paper focuses on evaluating neural network architectures for action recognition in the production industry. By utilizing datasets tailored for production or assembly tasks, various architectures are assessed for their accuracy and performance. The findings of this study provide some insights and guidance for researchers and practitioners to select an appropriate architecture or pretrained models for action recognition in the production industry.
  • Konferenzbeitrag
    Benchmarking Univariate Time Series Classifiers
    (Datenbanksysteme für Business, Technologie und Web (BTW 2017), 2017) Schäfer, Patrick; Leser, Ulf
    Time series are a collection of values sequentially recorded over time. Nowadays, sensors for recording time series are omnipresent as RFID chips, wearables, smart homes, or event-based systems. Time series classification aims at predicting a class label for a time series whose label is unknown. Therefore, a classifier has to train a model using labeled samples. Classification time is a key challenge given new applications like event-based monitoring, real-time decision or streaming systems. This paper is the first benchmark that compares 12 state of the art time series classifiers based on prediction and classification times. We observed that most of the state-of-the-art classifiers require extensive train and classification times, and might not be applicable for these new applications.
  • muc: langbeitrag (vorträge)
    Bestellprozesse auf Online-Shops: Analyse und Vergleich von Standards, Anforderungen und Erwartungen im europäischen Vergleich
    (Mensch & Computer 2013: Interaktive Vielfalt, 2013) Koniger, Verena; Mandl, Thomas; Thorsten, Wilhelm; Womser-Hacker, Christa
    Die Kauf- und Bestellprozesse im eCommerce unterscheiden sich zwischen Anbietern, Domänen und Ländern. Die User Experience wird unterschiedlich geprägt und für international auftretende Shops sollten die verschiedenen Standards bekannt sein und berücksichtigt werden. In einer Untersuchung für Frankreich, Deutschland und das Vereinigte Königreich wurde der Bestellvorgang auf jeweils 100 Shops analysiert und den Ergebnissen von Befragungen in den einzelnen Ländern gegenübergestellt. Der Vergleich offenbart Abweichungen von den Erwartungen der Nutzer und zeigt, welche internationalen Unterschiede aus Benutzersicht gerechtfertigt sind.
  • Konferenzbeitrag
    Explainable Data Matching: Selecting Representative Pairs with Active Learning Pair-Selection Strategies
    (BTW 2023, 2023) Laskowski, Lukas; Sold, Florian
    In both research and enterprise, dirty data poses numerous challenges. Many data cleaning pipelines include a data deduplication step that detects and removes entries within a given dataset which refer to the same real-world entity. Throughout the development of such deduplication techniques, data scientists have to make sense of the large result sets that their matching solutions generate to quickly identify changes in behavior or to discover opportunities for improvements. We propose an approach that aims to select a small subset of pairs from the result set of a data matching solution which is representative of the matching solution’s overall behavior. To evaluate our approach, we show that the performance of a matching solution trained on pairs selected according to our strategy outperforms a randomly selected subset of pairs.
  • Konferenzbeitrag
    TaintBench: Automatic Real-World Malware Benchmarking of Android Taint Analyses
    (Software Engineering 2022, 2022) Luo, Linghui; Pauck, Felix; Piskachev, Goran; Benz, Manuel; Pashchenko, Ivan; Mory, Martin; Bodden, Eric; Hermann, Ben; Massacci, Fabio
    Due to the lack of established real-world benchmark suites for static taint analyses of Android applications, evaluations of these analyses are often restricted and hard to compare. Even in evaluations that do use real-world applications, details about the ground truth in those apps are rarely documented, which makes it difficult to compare and reproduce the results. Our recent study fills this gap. It first defines a set of sensible construction criteria for such a benchmark suite. It further proposes the TaintBench benchmark suite designed to fulfil these construction criteria. Along with the suite, this paper introduces the TaintBench framework, which allows tool-assisted benchmark suite construction, evaluation and inspection. Our experiments using TaintBench reveal new insights of popular Android taint analysis tools.
  • Zeitschriftenartikel
    Towards Efficiently Implementing Dodgson’s Formally Intractable Voting Rule
    (KI - Künstliche Intelligenz: Vol. 31, No. 2, 2017) Recknagel, Arne; Besold, Tarek R.
    Conflict of interest is the permanent companion of any population of agents (computational or biological). For that reason, the ability to compromise is of paramount importance, making voting a key element of societal mechanisms. A voting procedure often discussed in the literature and, due to its intuitiveness, also conceptually quite appealing is Charles Dodgson’s scoring rule, basically using the respective closeness to being a Condorcet winner for evaluating competing alternatives. In this paper, we offer insights into the practical limits of algorithms computing the exact Dodgson scores from a number of votes. While the problem itself is theoretically intractable, this work proposes and analyses five different solutions which try distinct approaches to practically solve the issue in an effective manner. Additionally, three of the discussed procedures can be run in parallel which has the potential of drastically improving computational performance on the problem.
  • Konferenzbeitrag
    Usability Benchmarks - Einfluss unterschiedlicher Platzierungen des Umfragelinks auf die Nutzerbewertung
    (Mensch und Computer 2019 - Tagungsband, 2019) Niels, Adelka; Prußat, Michael; Zagel, Christian
    Die Nutzerbefragung über standardisierte Fragebögen ist ein gängiges Tool, um die User Experience eines Webauftritts zu ermitteln und bildet eine wichtige Grundlage für die nutzerorientierte Optimierung des Angebots. Zudem werden diese Nutzerbefragungen auch als Benchmark eingesetzt, um die Effektivität von Designveränderungen zu überprüfen oder, um das eigene Angebot mit dem Angebot der Wettbewerber zu vergleichen. Die Stichprobenrekrutierung erfolgt dabei häufig passiv wie beispielsweise über Link-Banner, die an verschiedenen Stellen auf der Webseite platziert werden. Es stellt sich jedoch die Frage, ob der Ort der Platzierung des Umfragelinks auf der Webseite einen Einfluss auf die Nutzerbewertung des Webauftritts hat. Der vorliegende Beitrag untersucht diese Frage anhand einer Website-Evaluierung mit zwei identischen Umfragen, die zeitgleich an zwei unterschiedlichen Stellen auf einer Webseite platziert (Startseite und Bestellbestätigungsseite) wurden. An der Studie haben insgesamt 524 Testpersonen teilgenommen. Die Ergebnisse zeigen statistisch signifikante Unterschiede in der Nutzerbewertung. Testpersonen, die über die Bestellbestätigungsseite eingestiegen sind, bewerteten signifikant positiver im Vergleich zu Personen, die über die Startseite auf die Umfrage gelangten.