Logo des Repositoriums

Auflistung nach Schlagwort "Computer Vision"

1 - 10 von 10
  • Textdokument
    Automatic Plant Cover Estimation with Convolutional Neural Networks
    (INFORMATIK 2021, 2021) Körschens, Matthias; Bodesheim, Paul; Römermann, Christine; Bucher, Solveig Franziska; Migliavacca, Mirco; Ulrich, Josephine; Denzler, Joachim
    Monitoring the responses of plants to environmental changes is essential for plant biodiversity research. This, however, is currently still being done manually by botanists in the field. This work is very laborious, and the data obtained is, though following a standardized method to estimate plant coverage, usually subjective and has a coarse temporal resolution. To remedy these caveats, we investigate approaches using convolutional neural networks (CNNs) to automatically extract the relevant data from images, focusing on plant community composition and species coverages of 9 herbaceous plant species. To this end, we investigate several standard CNN architectures and different pretraining methods. We find that we outperform our previous approach at higher image resolutions using a custom CNN with a mean absolute error of 5.16%. In addition to these investigations, we also conduct an error analysis based on the temporal aspect of the plant cover images. This analysis gives insight into where problems for automatic approaches lie, like occlusion and likely misclassifications caused by temporal changes.
  • Konferenzbeitrag
    Automatisierte Frucht- und Pflanzenerkennung in Apfelplantagen durch künstliche Intelligenz
    (44. GIL - Jahrestagung, Biodiversität fördern durch digitale Landwirtschaft, 2024) Gerstenberger, Michael; Kovalenko, Mykyta; Przewozny, David; Magnusson, Jannes; Gassen, Eike; Pawlak, Jakub; Hirth, Jochen; von Hirschhausen, Laura; Runde, Detlef; Hilsmann, Anna; Eisert, Peter; Bosse, Sebastian
    Zwei wichtige Ziele des Precision Farming im Obstanbau sind die automatische Bonitur von Apfelplantagen und die Ernte von Äpfeln: Beide setzen voraus, dass Bäume und Früchte zuverlässig erkannt werden. Mittlerweile existieren erste öffentliche Datensätze zum Training von KI-Modellen zur Erkennung von Früchten in Obstplantagen, wie z. B. der Benchmark-Datensatz MinneApple mit über 1000 annotierten Bildern. Eine zentrale Herausforderung bleibt einerseits die begrenzte Generalisierbarkeit der Apfelerkennung, die mit diesen Datensätzen erzielt werden kann. Andererseits bestehen neben der Anzahl der Früchte weitere wichtige Kennzahlen im Obstanbau wie die Fläche der Blätter und Blüten, welche die Bäume im Frühjahr tragen und für die automatische Bonitur von Interesse sind. Die Ziele der hier vorgestellten Forschung sind daher (1) eine Erweiterung der Datenbasis, (2) die vergleichende Evaluation von state-of-the-art Objektdetektoren für die Apfelerkennung über verschiedene Datensätze hinweg und (3) eine neue Methode zur Segmentierung der Bäume. Um diese Ziele zu erreichen, wurden weitere Daten maschinengestützt erfasst und mehr als 600 Bilder mit Hilfe von interaktiven Verfahren annotiert. Diese nutzen jeweils ein vortrainiertes Modell, um dem Nutzer Vorschläge für die Position der Äpfel zu machen, die dann manuell korrigiert und ergänzt werden können. Für die Evaluierung der Apfelerkennung wurden gängige Modellarchitekturen zur Objekterkennung (YOLOv8, ResNet, SSD) für die Detektion von Äpfeln trainiert und im Sinne eines Modellvergleichs getestet. YoloV8 liefert die besten Ergebnisse für die Erkennung von Äpfeln am Baum, die mit einem F1-Wert von 0.77 insgesamt auch sehr hoch ist. Die Übertragbarkeit der Ergebnisse wurde durch eine Kreuzevaluierung mit MinneApple und MS-COCO überprüft und es zeigt sich, dass die Modelle bei Anwendung auf anderen Testdatensätze erheblich schlechter abschneiden als bei der Evaluierung in Bezug auf die zum Training gehörenden Testbilder. Voraussetzung für eine semantische Segmentierung ist die Erkennung der Bäume der vordersten Baumreihe, die hier ebenfalls untersucht wird. Hierbei kommt Deep Optical Flow (RAFT) zum Einsatz, das die Bewegungsparallaxe nutzt, um Tiefeninformationen zu schätzen, und keine rechenintensive Punktwolkenrekonstruktion erfordert. Das Verfahren liefert qualitativ gute Ergebnisse für einen Großteil der Bilder. Unsere Ergebnisse unterstreichen die Bedeutsamkeit von umfangreichen Datensätzen, die es erlauben, Modelle domänenspezifisch zu trainieren und vergleichend zu evaluieren.
  • Konferenzbeitrag
    Classifying figures and illustrations in electronics datasheets: A comparative evaluation of recent computer vision models on a custom collection of 4000 technical documents
    (INFORMATIK 2023 - Designing Futures: Zukünfte gestalten, 2023) Perakis, Lymperis; Balling, Julian; Binder, Frank; Heyer, Gerhard; Kreupl, Franz
    We report findings from a comparative evaluation of several recent object detection models applied to a domain-specific use case in technical document analysis and graphics recognition. More specifically, we apply models from the EfficientDet and YOLO model families to detect and classify figures in electronics datasheets according to a custom classification scheme. We identify YOLOv7-D6 as the most accurate model in our study and show that it can successfully solve this task. We highlight an iterative approach to figure annotation in document page images for creating a comprehensive and balanced custom dataset for our use case. In our experiments, the object detection models show impressive performance levels on par with state-of-the-art results from the literature and related studies.
  • Konferenzbeitrag
    Computer-Vision-basierte Aktivitätserkennung bei Schweinen
    (43. GIL-Jahrestagung, Resiliente Agri-Food-Systeme, 2023) Hesse, Lukas; Fruhner, Maik; Tapken, Heiko; Müller, Henning
    Die Sicherstellung des Tierwohls ist einer der Kernaspekte in der modernen Nutztierhaltung. Da sich durch den steigenden Bedarf an Lebensmitteln und dem steigenden Kostendruck immer mehr Landwirte dazu gezwungen sehen, immer größere Tierzahlen zu halten, fällt es vor dem Hintergrund des Fachkräftemangels schwieriger, diesem Aspekt nachzukommen. Aus diesem Grund müssen Technologien zur Unterstützung von Landwirten entwickelt werden, welche datenbezogene hochwertige Entscheidungshilfen geben können. Einen solchen Ansatz erarbeitet das Team des Forschungsprojektes SmartTail, bei dem unter anderem eine Computer-Vision-basierte Aktivitätserkennung erarbeitet wird. Durch die nicht-invasive und kostengünstige Hardware können so potenziell flächendeckend Systeme zur Unterstützung der Landwirte implementiert werden. Innerhalb dieser Arbeit wird sich mit der videobasierten Aktivitätserkennung bei Schweinen beschäftigt. Besonders betrachtet wird dabei das Problem des Schwanzbeißens. Dieses ist in der Schweinehaltung bekannt, aber aufgrund der multifaktoriellen Ursachen existiert bisher weder ein System zur Vorhersage noch zum Erkennen solcher Attacken. Aus diesem Grund werden innerhalb dieser Arbeit mehrere state-of-the-art Modelle zur bildbasierten Aktivitätserkennung betrachtet und miteinander verglichen, um so ein effektives System zur Aktivitätserkennung bei Schweinen zu entwickeln.
  • Konferenzbeitrag
    Demonstration of an Infrared Pen as an Input Device for Projected Augmented Reality Tabletops
    (Mensch und Computer 2022 - Tagungsband, 2022) Maierhöfer, Vitus; Schmid, Andreas; Wimmer, Raphael
    Interactive tabletops do not only offer a large surface for collaborative interaction. They also offer quick access to digital tools directly at the table - where a large number of everyday activities take place. Tabletops with an embedded display are generally less flexible and more fragile than ordinary massive tabletops. Physical objects on the tabletop occlude the digital content. In contrast, top-down-projected interfaces using an overhead projector-camera system allow for augmenting arbitrary tables and objects lying on them. However, detecting pointing input only via a camera image captured from above requires robustly recognizing whether a finger or pen touches the tabletop or whether it hovers slightly above it. In this demonstration, we showcase a solution for reliably tracking a pen on arbitrary tabletop surfaces. The pen emits infrared light via a tip made of optical fiber. A camera captures position and shape of the light point on the surface. Our open-source tracking algorithm combines heuristics and a neural network to distinguish between drawing and hovering. This system can be reliably used for drawing and writing on tabletops. However, occlusion by users’ hands can deteriorate tracking of the pen.
  • Konferenzbeitrag
    Implementierung eines Noisy-Student-Ansatzes zur Verbesserung der automatischen Detektionsleistung bei Ferkeln
    (44. GIL - Jahrestagung, Biodiversität fördern durch digitale Landwirtschaft, 2024) Wutke, Martin; Holzhauer, Anne; Hartmann, Ulrich; Lieboldt, Marc-Alexander; Traulsen, Imke
    Die Verwendung überwachter Lernalgorithmen aus dem Bereich der künstlichen Intelligenz hält vermehrt Einzug im wissenschaftlichen Alltag. Vor allem die Nutzung von Kameratechnologie und Objekterkennung zeigt großes Potenzial im ethologischen Kontext. Da der Prozess der Datenannotation einen Großteil der zeitlichen und kostenbezogenen Ressourcen vereinnahmt, werden langfristig innovative Trainingsansätze notwendig. Die vorliegende Studie beschreibt diesbezüglich einen semi-überwachten Noisy-Student-Ansatz zur automatischen Datengenerierung und Verbesserung der Objektdetektion am Beispiel neugeborener Ferkel. Im Rahmen eines zweistufen Modellansatzes wird ein auf händisch annotierten Daten trainiertes Lehrermodell zur Erzeugung von Pseudo-Annotationen und zum Training eines Schülermodells verwendet. Im Ergebnis kann auf diese Weise eine Verbesserung der Detektionsleistung mit einem Recall-Wert von 0,453 auf 0,707 und einem mAP0.5-Wert von 0,773 auf 0,839 erzielt werden. Die Ergebnisse dieser Studie werden im weiteren Projektverlauf zur Untersuchung des Abferkelprozesses und der Bestimmung kritischer Informationen zum Geburtsverlauf beitragen.
  • Konferenzbeitrag
    KI-basiertes Computer-Vision-System zur Qualitäts- und Größenbestimmung von Kartoffeln
    (43. GIL-Jahrestagung, Resiliente Agri-Food-Systeme, 2023) Schliebitz, Andreas; Graf, Henri; Wamhof, Tobias; Tapken, Heiko; Gertzen, Andreas
    Diese Arbeit untersucht die Weiterentwicklung einer stichprobenbasierten zu einer kontinuierlichen Qualitätsmessung von Kartoffellieferungen. Das dafür entwickelte KI-basierte Computer-Vision-System lokalisiert mithilfe eines YOLOv5-Detektors Kartoffeln auf einem Förderband mit einer Genauigkeit von 0,96 mAP@[.5:.95]. Eine anschließende Qualitäts-bestimmung der detektierten Kartoffeln erfolgt mit einem EfficientNetV2-Klassifkator, der zur Familie der Convolutional Neural Networks zählt. Dieser zeigt auf einem qualitativ hochwertigen Referenzdatensatz eine Genauigkeit von 96 % auf acht Mängelklassen, welche auf dem zu erweiternden Förderband-Datensatz bei zwei Klassen auf 81 % und bei drei Klassen auf 72 % abfällt. Das Quadratmaß, Volumen und Gewicht einer Kartoffel werden über Segmentierungs-masken und Tiefenbilder approximiert. Zur echtzeitfähigen Annäherung der Geometrie wird anhand dieser Daten für jede erkannte Kartoffel ein triaxialer Ellipsoid berechnet. Weiterhin wird ein Ansatz zur Verbesserung der mit einem optimalen Schwellenwertalgorithmus berechneten Segmentierungs-masken auf Basis eines Mask R-CNN Segmentierungsmodells erarbeitet.
  • Zeitschriftenartikel
    Objekterkennung im Weinanbau – Eine Fallstudie zur Unterstützung von Winzertätigkeiten mithilfe von Deep Learning
    (HMD Praxis der Wirtschaftsinformatik: Vol. 56, No. 5, 2019) Heinrich, Kai; Zschech, Patrick; Möller, Björn; Breithaupt, Lukas; Maresch, Johannes
    Die voranschreitende Digitalisierung revolutioniert sämtliche Wirtschaftszweige und bringt somit auch langfristige Veränderungen für den landwirtschaftlichen Sektor mit sich, wo auf Basis intelligenter Informationssysteme zahlreiche Daten gesammelt und im Zuge neuer Geschäftsmodelle ausgewertet werden. Vor diesem Hintergrund präsentiert der vorliegende Beitrag eine Big-Data-Analytics-Fallstudie aus dem Bereich des Weinanbaus, wo mithilfe von mobilen Aufnahmegeräten umfangreiches Bildmaterial aufgezeichnet wurde, um eine automatisierte Objekterkennung zur Unterstützung von operativen Winzertätigkeiten, wie zum Beispiel das Zählen von Reben, die Identifikation von Rebfehlstellen oder die Prognose von potentiellem Erntegut, realisieren zu können. Hierbei bestand die Herausforderung unter anderem darin, landwirtschaftlich relevante Weinobjekte wie Reben, Trauben und Beeren über die einzelnen Hierarchieebenen hinweg erkennen zu können und diese auch in Bezug auf bewegtes Bildmaterial folgerichtig zu zählen. Zur Bewältigung derartiger Herausforderungen werden einige Lösungsansätze vorgestellt, die auf modernen Deep-Learning-Verfahren der bildbasierten Objekterkennung basieren. Der Beitrag wird abgerundet mit einer Diskussion und Implikationen für analytische Anwendungen in der landwirtschaftlichen Praxis. The transformation towards a digitized world introduces major changes to all economic sectors, among them the sector of agriculture, where intelligent information systems help to gather and analyze vast amounts of data to provide new business functions and models. Given this background, this article describes a big data analytics case study from the field of viticulture, where extensive image material was recorded using mobile recording devices in order to implement automated object detection to support operational vineyard activities, such as counting vines, identifying missing plants or predicting potential harvests. One of the challenges here was to correctly identify relevant wine objects such as vines, grapes and berries across their different hierarchical levels and to consistently count them in relation to moving image material. The authors provide a solution to those challenges by designing a data analysis process based on a deep learning framework for object detection. Additionally, the results as well as implications for the application of the proposed models in the field of agrarian management are discussed at the end of the article.
  • Konferenzbeitrag
    Re-Identifikation markierter Schweine mit Computer Vision und Deep Learning
    (42. GIL-Jahrestagung, Künstliche Intelligenz in der Agrar- und Ernährungswirtschaft, 2022) Fruhner, Maik; Tapken, Heiko; Müller, Henning
    Das Forschungsprojekt SmartTail untersucht die frühzeitige Erkennung von Schwanzbeißen bei Mastschweinen mithilfe von künstlicher Intelligenz. Durch Video-Livestreams aus den Versuchsställen können die Tiere automatisiert erkannt und überwacht werden. Beim Auftreten aggressiven Verhaltens muss das System jedoch in der Lage sein, Aggressor und Opfer zu identifizieren. Hierzu wurden unterschiedliche Arten der Markierung untersucht, die von einem Computersystem autonom erkannt werden sollen. Der Einsatz von auf Ohrmarken gedruckten Data Matrix Codes hat gezeigt, dass die Wiedererkennung eines Tieres auch nach langer Verdeckung oder Abwesenheit gewährleistet werden kann, indem die Codes im Videomaterial lokalisiert und ausgelesen werden. In Verbindung mit einem Tracking-Verfahren ist so eine robuste Identifikation und Überwachung von Tieren möglich. Die gesammelten Daten können zudem für die Untersuchung weiterer wissenschaftlicher Fragestellungen genutzt werden.
  • Konferenzbeitrag
    (X)AI as a Teacher: Learning with Explainable Artificial Intelligence
    (Proceedings of Mensch und Computer 2024, 2024) Spitzer, Philipp; Goutier, Marc; Kühl, Niklas; Satzger, Gerhard
    Due to changing demographics, limited availability of experts, and frequent job transitions, retaining and sharing knowledge within organizations is crucial. While many learning systems already address this issue, they typically lack automation and scalability in teaching novices and, thus, hinder the learning processes within organizations. Recent research emphasizes the capability of explainable artificial intelligence (XAI) to make black-box artificial intelligence systems interpretable for decision-makers. This work explores the potential of using (X)AI-based learning systems for providing learning examples and explanations to novices. In an exploratory study, we evaluate novices’ learning performance in a learning setting taking into account their cognitive abilities. Our results show that novices increase their learning performance throughout the exploratory study. These results shed light on how XAI can facilitate learning, taking first steps towards understanding the potential of XAI in learning systems.