Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB

Filters

115
Reset filters

Settings
Now showing 1 - 10 of 115
No Thumbnail Available
Publication

Nutzung von Blickbewegungen für die Mensch-Computer-Interaktion mit dynamischen Bildinhalten am Beispiel der Videobildauswertung

2024 , Hild, Jutta , Beyerer, Jürgen

Interaktion mit dynamischen Bildinhalten ist für Systemnutzer herausfordernd bezüglich Wahrnehmung, Kognition und Motorik. Die vorliegende Arbeit identifiziert geeignete blickbasierte Interaktionstechniken zur Selektion bewegter Objekte in Bildfolgen mithilfe mehrerer Querschnitt- und einer Längsschnittstudie. Sie untersucht, wie blickbasierte Interaktion und automatische Verfahren bei der Videobildauswertung unterstützen und ob blickbasierte Klassifikation der Benutzertätigkeit möglich ist.

View
No Thumbnail Available
Publication

On Diagnosing Cyber-Physical Systems

2023 , Diedrich, Alexander , Niggemann, Oliver

Cyber-physical systems are a class of technical systems that integrate mechanical components with intelligent, adaptable control devices and software. Nowadays, this integration enables high-performance, modular, and parameterized systems with high complexity, but low operating cost. Typical examples of cyber-physical systems are production machinery, cars, aeroplanes, and smart home appliances. In this thesis, the focus is on diagnosing faults within cyber-physical systems used in industrial production contexts. Faults occurring during production quickly lead to degrading product quality or production stops, which can be costly and may endanger human lives. Existing approaches to automated fault diagnosis are mostly defined on narrow use-cases or require a significant amount of expert knowledge. In this thesis, three different algorithms to automatically identify faults in cyber-physical systems are presented to mitigate these drawbacks. Therefore, this thesis makes four main contributions: (i) It introduces a novel diagnosis algorithm HySD to find faults in cyber-physical systems. (ii) It presents a new uninformed algorithm DDRC to learn diagnosis models from process data, using correlations in time-series data. (iii) It presents the new algorithm DDGD, which learns diagnosis models from time-series data supervised, using Granger Causality. (iv) It provides a novel theory to describe fault propagation in cyber-physical systems. More precise, the algorithm HySD uses satisfiability modulo linear arithmetic to combine process data with traditional symbolic consistency-based diagnosis algorithms. However, the algorithm heavily relies on models formulated by experts. Therefore, the algorithms DDRC and DDGD are introduced to learn diagnosis models from process data automatically. All algorithms build on the foundation of the theory of fault propagation. The algorithms were evaluated on internationally accepted benchmarks of tank systems, the well-known Tennessee Eastman Process, and two industrial use-cases. Throughout all empirical results, the algorithms exhibit good performance in learning suitable models and in diagnosing faults in synthetic and real fault scenarios.

View
No Thumbnail Available
Publication

Anomaliedetektion in räumlich-zeitlichen Datensätzen

2023 , Anneken, Mathias , Beyerer, Jürgen

Eine Unterstützung des Menschen in Überwachungsaufgaben spielt eine immer wichtigere Rolle, da die schiere Menge der anfallenden Daten von heterogenen Sensoren eine Überforderung des Menschen zur Folge hat. Hierfür müssen dem Menschen in kritischen Entscheidungen die wichtigsten Informationen transparent dargebracht werden, um so das Situationsbewusstsein zu stärken. In dieser Arbeit wird der maritime Raum als Beispiel für die Entwicklung verschiedener Datenfusionsverfahren zu ebendiesem Zweck herangezogen. Der maritime Raum als Anwendungsszenario bietet durch seine enorme wirtschaftliche Bedeutung für den Welthandel, das Auftreten verschiedenster Anomalien und krimineller Handlungen wie Piraterie und illegaler Fischerei und die Verfügbarkeit von Datenquellen ein gut für die Erprobung der Verfahren geeignetes Umfeld. Die entwickelten und untersuchten Verfahren decken hierbei die gesamte Bandbreite von einfachen Positions- und kinematischen Anomalien, über kontextuelle Anomalien bis zu komplexen Anomalien ab. Für die Untersuchung werden verschiedene Datensätze mit realen Schiffsverkehrsinformationen genutzt. Außerdem werden die Verfahren teilweise in Live Trials mit Küstenwachen erprobt. Zur Entwicklung der Verfahren wird als Grundlage zunächst das objektorientierte Weltmodell um Verhaltensmodelle erweitert sowie das EUCISE-Datenmodell als Basis für die Modellierung des verfügbaren Hintergrundwissens identifiziert. Die ersten untersuchten Verfahren detektieren Anomalien in der Position und der Kinematik basierend auf einzelnen Datenpunkten oder ganzen Trajektorien. Hierbei wurde festgestellt, dass zwar Anomalien erkannt werden, die Korrektklassifikationsrate für einen tatsächlichen Einsatz aber deutlich zu hoch ausfällt sowie bestimmte Anomalien ohne Kontext nicht bestimmbar sind. Im nächsten Schritt wird ein Multiagentensystem aufgestellt, welches das Verhalten der beobachteten Objekte durch spieltheoretische Modelle simuliert. Die hierzu notwendigen Nutzenfunktionen werden sowohl wissensbasiert als auch datengetrieben hergeleitet. Mit den integrierten Kontextinformationen können echte Anomalien deutlich besser von normalem Verhalten abgegrenzt werden. Des Weiteren wird gezeigt, wie mit Hilfe von Merkmalen, die aus georeferenzierten Informationen abgeleitet werden, Kontextinformationen zur Klassifikation von Schiffstypen in neuronalen Netzen integriert werden können. Im letzten Schritt werden komplexe Anomalien in Form von spezifischen Situationen basierend auf dynamischen Bayes’schen Netzen modelliert und in Live Trials erprobt. Hierbei werden Kontextinformationen, wie das Wetter, sowie Datenquellen mit unterschiedlicher Zuverlässigkeit integriert, um Situationen in verschiedenen durch Endanwender/-innen mitgestalteten Anwendungsszenarien zu erkennen. Insgesamt wird gezeigt, dass mit automatischen Verfahren Anomalien unterschiedlicher Art erkannt werden können. Die Verfahren werden jeweils mit realen Daten evaluiert, um die Möglichkeit des tatsächlichen Einsatzes als Entscheidungsunterstützung für Menschen in realen Anwendungsszenarien aufzuzeigen.

View
No Thumbnail Available
Publication

Detektion, Verfolgung und Posenschätzung von Personen im urbanen Straßenverkehr mit mobilen Multisensorsystemen

2023 , Borgmann, Björn

Für die Erkennung von Gefährdungssituationen und -bereichen im Verkehrsraum werden LiDAR- und RGB-Daten mobil aufgenommen. Zur Personendetektion in LiDAR-Daten wird ein neuronales Netz mit einem Abstimmverfahren kombiniert. Die Detektionsleistung wird durch ein nachfolgendes Trackingverfahren verbessert. Basierend auf der Detektion werden die Körperposen in RGB-Bildausschnitten geschätzt. Für die Detektion konnte eine Genauigkeit von 0,81 bei gleichzeitiger Sensitivität von 0,74 erreicht werden.

View
No Thumbnail Available
Publication

Methodische Evaluation von Verfahren zur Korrektur atmosphärischer Turbulenz in Bildsequenzen

2023-03-01 , Hübner, Claudia , Beyerer, Jürgen , Lühe, Oskar von der

Bei langen horizontalen Ausbreitungswegen in Bodennähe ist die Atmosphäre und nicht die Qualität moderner bildgebender Systeme ausschlaggebend für die Qualität aufgenommener Bilddaten. Besonders wird die Bildqualität durch atmosphärische Turbulenz beeinträchtigt, die je nach Schweregrad zeitlich und räumlich variierende Unschärfe, (scheinbare) Bildbewegungen und geometrische Deformationen, sowie Intensitätsfluktuationen (Szintillation), verringerten (Farb-)Kontrast und Rauschen verursacht. Korrekturverfahren haben entsprechend die Aufgabe, einen, mehrere oder ggfs. alle dieser Turbulenzeffekte in Bilddaten zu reduzieren und diese bestmöglich zu rekonstruieren. Im Idealfall wäre eine solche Rekonstruktion identisch mit einer Aufnahme am Diffraktionslimit ohne Turbulenz.

View
No Thumbnail Available
Publication

Multimodal Panoptic Segmentation of 3D Point Clouds

2023 , Dürr, Fabian , Beyerer, Jürgen

The understanding and interpretation of complex 3D environments is a key challenge of autonomous driving. Lidar sensors and their recorded point clouds are particularly interesting for this challenge since they provide accurate 3D information about the environment. This work presents a multimodal approach based on deep learning for panoptic segmentation of 3D point clouds. It builds upon and combines the three key aspects multi view architecture, temporal feature fusion, and deep sensor fusion.

View
No Thumbnail Available
Publication

Über die Formalisierung und Analyse medizinischer Prozesse im Kontext von Expertenwissen und künstlicher Intelligenz

2023 , Philipp, Patrick , Beyerer, Jürgen , Beigl, Michael

Die Digitalisierung hat bereits viele Bereiche der Wirtschaft und des gesellschaftlichen Lebens verändert. Auch unterliegen die Aspekte des Gesundheitswesens und der klinischen Praxis einem digitalen Wandel. Im Hinblick auf diese Entwicklungen beleuchtet die vorliegende Dissertation die Akquisition, Repräsentation und Nutzung von Prozesswissen im Kontext hybrider KI-Methoden. Zentraler Beitrag ist die strukturerhaltende Hin- und Rücktransformation von Prozessbäumen zu Prozessplänen.

View
No Thumbnail Available
Publication

3D Human Body Pose-Based Activity Recognition for Driver Monitoring Systems

2023 , Martin, Manuel , Stiefelhagen, Rainer

Traffic accidents are unfortunately an unavoidable part of our modern transport system. In many cases the behavior of drivers is a contributing factor. Different studies show that distractions caused by secondary activities, like the use of mobile phones, play a large role. In addition, the trend to occupy oneself with other activities rises with increasing vehicle automation because drivers are less involved in the driving task. For this reason, driver monitoring systems will be required for future automated cars. In this thesis we therefore investigate how to detect the activities of drivers in automated cars using a modular recognition system based on 3D data. The proposed system consists of two stages. The first stage creates a 3D interior state model from camera data including the 3D body pose of the driver, the location of elements of the interior as well as the position of objects involved in certain activities. The second stage uses this representation to detect activities. We base this design on two hypotheses: First, a rich 3D interior state model including other elements in addition to the 3D driver body pose is important to discern fine-grained activities. Second, the interior state model, created by the first stage, is a sensor modality and sensor location independent representation allowing the second stage to successfully detect activities even with large changes to the camera system. To verify these assumptions, we contribute to the research field in three areas. The foundation of all our efforts are annotated datasets. Based on our extensive literature review we show that there are no suitable public automotive data sources. We therefore collect multiple datasets for different subtasks leading to our final dataset, published under the name Drive&Act. It includes a large-scale hierarchical activity recognition benchmark with multiple 3D input modalities for the task, like the 3D body pose of the driver, the location of interior elements like the steering wheel, as well as 3D trajectories of objects like smartphones. In addition, the dataset includes a public benchmark for 3D driver body pose estimation with challenging partial occlusion of the driver’s body. The main feature of the 3D interior state model is the body pose of the driver. Here we contribute methods for real-time 3D driver body pose estimation based on depth images. The primary challenge of using depth data for this task is occlusion of body parts. A second challenge is the lack of public automotive datasets to train these methods. In our first approach we therefore rely on simulated depth images with automated annotation for training. Our second approach handles this problem on the algorithm level. It uses a novel split of 2D body pose estimation followed by separate 3D keypoint regression guided by the depth image. This enables us to rely on advances in 2D body pose estimation using large-scale datasets from other domains. We can demonstrate the robustness of this method to partial occlusion on the 3D body pose benchmark of Drive&Act. While the primary input of many related activity recognition methods is just the 3D human body pose, we research how to expand the input to a complex 3D state model including elements of the surrounding vehicle interior as well as positions of objects relevant for certain activities. We follow one central paradigm and assume that the distance in 3D space of keypoints of the driver’s body to other elements in the state model is an important indicator of their relevance for the performed activity. Based on this hypothesis we develop different methods with increasing complexity of the interior state model. Our final method casts all parts of the interior state model into a spatio-temporal graph. To generate this graph, we rely on the distance of keypoints of the driver’s body to other parts of the state model to determine which nodes to include in the graph and what edges to create. We analyze this graph using a neural network based on graph convolutions. We can show the advantage of our graph creation method in selecting relevant interior elements and objects and the usefulness of object location data to discern activities represented by similar body poses of the driver. Consequently, we can prove our initial hypothesis that additional input modalities improve the detection of fine-grained activities based on 3D data and we can quantify their impact. We also investigate the overall performance of our modular system regarding sensor modality and viewpoint changes. We can demonstrate the capability to switch between creating the interior state model based on a multi-view camera system and creating it using data from a single depth sensor. We can show that our activity recognition approach can be trained on one of these representations and evaluated on the other with just a moderate performance drop. In addition, the overall system can generalize across different datasets recorded in different vehicles and in vastly different conditions, switching between data recorded in a simulator for automated driving and data recorded on a test track driving manually. This supports our second hypothesis that the 3D interior state model resulting from our first stage of algorithms is sensor independent to a large degree.

View
No Thumbnail Available
Publication

Nutzung von Blickbewegungen für die Mensch-Computer-Interaktion mit dynamischen Bildinhalten am Beispiel der Videobildauswertung

2023 , Hild, Jutta , Beyerer, Jürgen , Schultz, Tanja

Die dynamischen Bildinhalte von Bildfolgen, insbesondere bewegte Objekte, sind für den menschlichen Systemnutzer herausfordernd bezüglich Wahrnehmung, Kognition und Motorik. Die vorliegende Arbeit erforscht, ob die Nutzung von Eyetracking die Benutzungsschnittstelle für die Aufgabe der Bildfolgenanalyse leistungsfähiger und belastungsärmer machen kann. Beim Eyetracking erfasst ein Eyetracker die Blickbewegungen der Systemnutzerin oder des Systemnutzers und liefert so einen Hinweis auf den Fokus der visuellen Aufmerksamkeit. Blickbasierte Interaktion gilt daher als intuitiv für Zeigeoperationen, da der Mensch gewöhnlich an die Stelle blickt, an der eine Systemeingabe erfolgt.

View
No Thumbnail Available
Publication

Fast Dense Depth Estimation from UAV-borne Aerial Imagery for the Assistance of Emergency Forces

2023 , Ruf, Boitumelo , Hinz, Stefan , Nex, Francesco

This work addresses the use of commercial off-the-shelf rotor-based unmanned aerial vehicles (UAVs) to facilitate emergency forces in the rapid structural assessment of a disaster site by means of aerial image-based reconnaissance. It proposes a framework that consists of two parts and relies on the integrated stereo vision sensor and the visual payload camera of the UAV to execute three high-level applications that aim at facilitating first responders in disaster relief missions.

View