Logo des Repositoriums

Auflistung nach Schlagwort "Recall"

1 - 2 von 2
  • Konferenzbeitrag
    Erfahrungsbericht: Die Bedeutung von Requirements Engineering für KI-Projekte
    (Softwaretechnik-Trends Band 42, Heft 1, 2022) Herrmann, Andrea
    Anforderungen und Requirements Engineering ist für alle technischen Projekte wichtig und genau genommen auch für nichttechnische Projekte. Darum sollte man erwarten, dass sie auch dann wichtig sind, wenn eine Software des Typs Künstliche Intelligenz (KI) entwickelt wird. Aber ist eventuell irgendetwas anders, überflüssig, zusätzlich nötig? Aus vier meiner bisherigen KI-Projekte lässt sich herleiten: Anforderungen an KI-Systeme sollen umfassen: funktionale Anforderungen, v.a. Nutzer und Use Cases, Anforderungen an Qualität wie Präzision, Recall, Zeitbedarf, Speicherplatz und – neu – Anforderungen an die Trainingsdaten.
  • Workshopbeitrag
    Noise over Fear of Missing Out
    (Mensch und Computer 2021 - Workshopband, 2021) Schleith, Johannes; Hristozova, Nina; Chechmanek, Brian; Bussey, Carolyn; Michalak, Leszek
    Natural language processing (NLP) techniques for information extraction commonly face the challenge to extract either ‘too much’ or ‘too little’ information from text. Extracting ‘too much’ means that a lot of the relevant information is captured, but also a lot of irrelevant information or ‘Noise’ is extracted. This usually results in high ‘Recall’, but lower ‘Precision’. Extracting ‘too little’ means that all of the information that is extracted is relevant, but not everything that is relevant is extracted – it is ‘missing’ information. This usually results in high ‘Precision’ and lower ‘Recall’. In this paper we present an approach combining quantitative and qualitative measures in order to evaluate the end-users’ experience with information extraction systems in addition to standard statistical metrics and interpret a preference for the above challenge. The method is applied in a case study of legal document review. Results from the case study suggest that legal professionals prefer seeing ‘too much’ over ‘too little’ when working on an AI-assisted legal document review tasks. Discussion of these results position the involvement of User Experience (UX) as a fundamental ingredient to NLP system design and evaluation.