Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB

Filters

12
Reset filters

Settings
Now showing 1 - 10 of 12
No Thumbnail Available
Publication

Distributed Planning for Self-Organizing Production Systems

2021 , Pfrommer, Julius

View
No Thumbnail Available
Publication

Adaptive Umweltmodellierung für kognitive Systeme in offener Welt durch dynamische Konzepte und quantitative Modellbewertung

2021 , Kuwertz, Achim Christian

Die Verwendung von technisch kognitiven Systemen, welche den Menschen bei der Ausführung von alltäglichen Aufgaben unterstützen, nimmt über die letzten Jahre stetig zu. Häufig müssen solche Systeme in der Lage sein, eine für ihre Aufgaben relevante Umgebung sensorisch erfassen und verarbeiten zu können. Zu diesem Zweck können sog. Umweltmodelle eingesetzt werden, deren Aufgabe eine konsistente Integration, Verwaltung und Bereitstellung erfasster Umgebungsinformationen ist. Ein Beispiel eines solchen Umweltmodells ist das sog. objektorientierte Umweltmodell, welches nach probabilistischen Prinzipien operiert und schritthaltend den Zustand einer beobachteten Umgebung darstellt. Diese sensorbasierte Beschreibung wird dabei durch ein semantisches Domänenmodell ergänzt, in welchem als Hintergrundwissen relevante Typen von Entitäten der Umgebung modelliert werden. Derartige Domänenmodelle werden im Allgemeinen zur Entwurfszeit eines Systems von Wissensingenieuren manuell erstellt. Sie beschreiben somit immer nur einen abgeschlossenen Teil einer Anwendungsdomäne.

View
No Thumbnail Available
Publication

Dynamic Switching State Systems for Visual Tracking

2020 , Becker, Stefan , Beyerer, Jürgen

Estimating the motion state of objects is a central component of most visual tracking pipelines. Therefore, object observations provided by an appearance model, representing the object in image space, serve as input for the actual filtering and the prediction into future frames. Under real-life conditions, the dynamics of tracked objects are subject to change over time. Especially in such maneuver scenarios, current methods struggle to deal with the model mismatch due to varying system characteristics. This thesis addresses the problem of how to capture the dynamics of maneuvering objects in an efficient and reactive way. Towards this end, the perspective of recursive Bayesian filters and the perspective of deep learning approaches on state estimation are considered and their functional viewpoints are brought together. The starting point of this thesis is the interacting multiple-model (IMM) filter, as the most common representative Bayesian formulation for dealing with model mismatches or rather maneuvering objects. For a model mismatch scenario, in which tracking is done directly in image space, a state de-coupling and a re-coupling scheme are introduced as modifications for an improved design compared to the standard IMM filter. In order to deal with two maneuver types, switching noise levels and switching dynamics, recurrent neural network (RNN)-based approaches are proposed as alternatives to IMM filtering. The approaches maintain the functionality of an IMM filter while reducing the amount of required filter tuning. With a focus on applications in the surveillance and intelligent vehicle domains, the effectiveness of RNN-based solutions is demonstrated for the exemplary tasks of path prediction and intention prediction, reflecting the most common prototypical maneuver types. The presented RNN-based network yields performance comparable to other existing relevant methods on a public benchmark. The suggested modifications help to achieve a robust prediction performance with regard to switching noise levels. For sudden motion changes, a proposed RNN-based IMM surrogate can capture the change in the dynamical behavior mare reliably than the Bayesian filter counterparts. The abilities of the RNN-IMM are evaluated in extensive experiments on realworld and synthetic datasets, reflecting prototypical maneuver situations of pedestrians in the application domain of intelligent vehicles.

View
No Thumbnail Available
Publication

Unobtrusive Medical Infant Motion Analysis from RGB-D Data

2019 , Hesse, Nikolas

Cerebral palsy (CP) is the most common motor disorder in children, and is caused by injuries of the brain shortly before, during, or after birth. With traditional methods, a reliable diagnosis of CP can generally not be made until after the first year of life or even later. Based on the discovery that the condition of the nervous system of young infants is reflected in the quality of their spontaneous movements, the general movement assessment (GMA) was developed. GMA lets trained experts detect CP in infants as young as four months. However, regular practice and re-calibration are required, and GMA suffers from human variability. CP manifests itself in a variety of symptoms, which complicates finding the right parameters for predicting the risk of CP. A cheap, automated system would allow the widespread screening of infants in order to concentrate early intervention efforts on affected children. We divide the system into the motion capture stage and the motion analysis stage. Although the extraction of motion, respectively body pose, from images and videos is a very active area of computer vision research, most of the proposed approaches focus on adults and can not be directly transferred to infants. In this thesis, we present multiple contributions towards an unobtrusive system for medical motion analysis of infants. First, we propose an approach for estimating 3D pose from depth images, speeding up the training procedure by nearly two orders of magnitude compared to previous approaches. Second, we develop a model-based approach for markerless full-body tracking. We learn the Skinned Multi-Infant Linear model (SMIL) from low-quality RGB-D data and accurately register it to sequences of moving infants, capturing shape and pose while handling self-occlusions and fast movements. We show that our method captures enough motion detail for GMA. Third, we develop an approach towards predicting the GMA class from motion sequences, which is based on features of motion complexity and variation to capture characteristics of general movements. Our methods enable accurate tracking of infant shape and pose, and enable applications like monitoring of therapy/disease progression, tracking growth or motor development, and detection of malnutrition. By publicly releasing the learned model and a synthetic, but realistic data set of moving infants, we hope to foster research focused on infants.

View
No Thumbnail Available
Publication

Integrierte Multi-Sensor-Fusion für die simultane Lokalisierung und Kartenerstellung für mobile Robotersysteme

2021 , Emter, Thomas

In der vorliegenden Arbeit werden probabilistische Methoden für die Kombination mehrerer Sensoren mittels Multi-Sensor-Fusion für die robuste und präzise Lokalisierung und Kartenerstellung in heterogenen Außenumgebungen vorgestellt. Es werden sowohl Aspekte der robusteren Wiedererkennung von Landmarken als auch die Integration zusätzlicher absoluter und relativer Sensoren mittels erweiterter Filterverfahren beleuchtet.

View
No Thumbnail Available
Publication

Automatisierte, minimalinvasive Sicherheitsanalyse und Vorfallreaktion für industrielle Systeme

2021 , Patzer, Florian

Industrielle Steuerungs- und Automatisierungssysteme erleben in den letzten Jahren eine zunehmende Vernetzung und bestehen mehr und mehr aus Komponenten, bei denen Off-the-Shelf-Software und offene Standards zum Einsatz kommen. Neben den unbestreitbaren Vorteilen, die diese Entwicklungen mit sich bringen, vergrößert sich damit jedoch auch die Angriffsfläche solcher Systeme. Gleichzeitig führt die, durch diese Evolution entstehende, zusätzliche Flexibilität zu zusätzlicher Komplexität in der Konfiguration und einer Zunahme von ausnutzbaren Schwachstellen. Die Homogenität der Soft- und Hardware macht die Ausnutzung dieser Schwachstellen für Angreifer zudem attraktiver, da weniger Aufwand in Individualangriffe fließen muss. Es ist so nicht verwunderlich, dass die Anzahl von Angriffen betroffener industrieller Systeme in den letzten fünfzehn Jahren einen deutlichen Zuwachs erfahren hat. Dies ist besonders bedenklich, weil erfolgreiche Angriffe auf diese Systeme, anders als in der Büro-IT, oft gefährliche Auswirkungen auf ihre Umwelt haben. Wie auch in anderen Domänen mit hoher technologischer Komplexität, haben sich computergestützte Verfahren zu einem wichtigen Bestandteil industrieller Systeme entwickelt. Sie werden dabei u.a. zur Sicherstellung korrekter Konfiguration, Identifikation von Schwachstellen, Bedrohungen und Gegenmaßnahmen, sowie Angriffsdetektion und -reaktion eingesetzt. Allerdings bestehen aufgrund der Garantien industrieller Systeme und ihrer Netzwerke bezüglich Aspekten wie Echtzeitverarbeitung, Ausfallsicherheit und Redundanz, Einschränkungen im Einsatz von Werkzeugen und Maßnahmen. Um also möglichst wenig in das System einzugreifen, müssen beispielsweise Sicherheitsanalysen und Vorfallreaktionen so wenig invasiv wie möglich (minimalinvasiv) durchgeführt werden. Für automatisierte Sicherheitsanalysen hat es sich daher zur guten Praxis entwickelt, Modelle der Systeme zu erstellen und diese computergestützt zu analysieren. Als besonders geeignet haben sich in der Forschung dabei wissensbasierte, bzw. ontologiebasierte, Ansätze erwiesen. Existierende Lösungen leiden jedoch unter Problemen wie der fehlenden Konfigurierbarkeit für unterschiedliche Umgebungen, der fehlenden Optimierbarkeit (da in der Regel nur bestimmte Inferenzmechanismen anwendbar sind), der fehlenden Wiederverwendbarkeit und Austauschbarkeit von Modellerweiterungsschritten und Analysen, der fehlenden Unterstützung verschiedener Akteure und mehrerer Analysearten wie Bedrohungs-, Schwachstellen-, Konfigurations- und Konformitätsanalysen, sowie der mangelnden technischen Detailtiefe und Komponentenabdeckung, um bestimmte Analysen überhaupt durchführen zu können. Bei der Vorfallreaktion sind die genannten Garantien sogar der Grund für den Mangel an Lösungen, die in industriellen Systemen eingesetzt werden können. Denn der Großteil der automatisierbaren Reaktionen liegt im Gebiet der Abschottung und greift somit garantiegefährdend in das entsprechende System ein. In dieser Dissertation werden die eben aufgezählten Probleme der Sicherheitsanalyse und Vorfallreaktion adressiert. Für die Sicherheitsanalyse wurden Konzepte und Methoden entwickelt, die jedes der aufgezählten Probleme mindern oder lösen. Dafür wird unter anderem eine auf den offenen Standards AutomationML und OPC UA basierende Methode zur Modellierung und Extraktion von Netzwerkinformationen aus Engineering-Werkzeugen, Untersuchungsergebnisse verschiedener Abbildungsstrategien zur Erstellung ontologiebasierter Digitaler Zwillinge, ein Konzept zur Sprachenunabhängigen Modellerzeugung für Netzwerkzugriffskontrollinstanzen und Konzepte und Methoden zur wiederverwendbaren, austauschbaren, automatisierten Modellverarbeitung und Sicherheitsanalyse für mehrere Analysearten vorgestellt. Für diese und damit verbundene Konzepte und Methoden wurde zudem ein konsistentes, auf Separation-of-Concerns basierendes Rahmenwerk für wissensbasierte Sicherheitsanalyselösungen entworfen, prototypisch implementiert und evaluiert. Das Rahmenwerk, die Implementierung und die Ergebnisse der Evaluationen werden ebenfalls in dieser Arbeit vorgestellt. Damit wird die erste Lösung für die zuvor genannten Probleme präsentiert und eine Basis für eine neue Art von kollaborativ verwalt- und optimierbaren Sicherheitsanalysen geschaffen. Des Weiteren wird ein Konzept zur automatisierten Vorfallreaktion auf Basis des Netzwerkparadigmas Software-Defined-Networking (SDN) vorgestellt. Dabei wird ein Ansatz gewählt, der auf vordefinierten Reaktionen auf sicherheitsrelevante Ereignisse basiert und diese über Restriktionen individuell und automatisiert einschränkt. Wobei sich die Restriktionen auf explizit modelliertes Wissen über zu schützende Endgeräte, Netzwerkkomponenten und Verbindungen stützen. Das Konzept nutzt außerdem aus, dass die Netzwerksteuerung durch den SDN-Controller auf detaillierten Daten über die aktuelle Netzwerktopologie verfügt und verwendet die optimierten Algorithmen des SDN-Controllers zur Neukonfiguration. Mit dem Konzept wird ein Ansatz präsentiert, der es erstmals ermöglicht, auch in industriellen Systemen die Vorteile automatisierter Vorfallreaktion, wie die kurze Reaktionszeit und verfügbare Topologiekenntnis, zu nutzen.

View
No Thumbnail Available
Publication

Dynamic Switching State Systems for Visual Tracking

2020 , Becker, Stefan , Beyerer, Jürgen

This work addresses the problem of how to capture the dynamics of maneuvering objects for visual tracking. Towards this end, the perspective of recursive Bayesian filters and the perspective of deep learning approaches for state estimation are considered and their functional viewpoints are brought together.

View
No Thumbnail Available
Publication

Ansätze zur lokalen Bayes'schen Fusion von Informationsbeiträgen heterogener Quellen

2021 , Sander, Jennifer

Die Lösung diverser Aufgaben profitiert von der Informationsfusion oder setzt sie sogar voraus. Die Bayes'sche Fusionsmethodik ist anschaulich, fundiert und erfüllt die essentiellen Anforderungen an eine sinnvolle Methodik auch zur Fusion der Beiträge heterogener Informationsquellen. In vielen praktisch relevanten Aufgaben verursachen Bayes'sche Verfahren hohen, oft nicht tragbaren Aufwand. In der Arbeit werden neuartige Ansätze zur Bewältigung Bayes'scher Fusion formuliert und untersucht.

View
No Thumbnail Available
Publication

Enhanced Virtuality: Increasing the Usability and Productivity of Virtual Environments

2021 , Hoppe, Adrian

Mit stetig steigender Bildschirmauflösung, genauerem Tracking und fallenden Preisen stehen Virtual Reality (VR) Systeme kurz davor sich erfolgreich am Markt zu etablieren. Verschiedene Werkzeuge helfen Entwicklern bei der Erstellung komplexer Interaktionen mit mehreren Benutzern innerhalb adaptiver virtueller Umgebungen. Allerdings entstehen mit der Verbreitung der VR-Systeme auch zusätzliche Herausforderungen: Diverse Eingabegeräte mit ungewohnten Formen und Tastenlayouts verhindern eine intuitive Interaktion. Darüber hinaus zwingt der eingeschränkte Funktionsumfang bestehender Software die Nutzer dazu, auf herkömmliche PC- oder Touch-basierte Systeme zurückzugreifen. Außerdem birgt die Zusammenarbeit mit anderen Anwendern am gleichen Standort Herausforderungen hinsichtlich der Kalibrierung unterschiedlicher Trackingsysteme und der Kollisionsvermeidung. Beim entfernten Zusammenarbeiten wird die Interaktion durch Latenzzeiten und Verbindungsverluste zusätzlich beeinflusst. Schließlich haben die Benutzer unterschiedliche Anforderungen an die Visualisierung von Inhalten, z.B. Größe, Ausrichtung, Farbe oder Kontrast, innerhalb der virtuellen Welten. Eine strikte Nachbildung von realen Umgebungen in VR verschenkt Potential und wird es nicht ermöglichen, die individuellen Bedürfnisse der Benutzer zu berücksichtigen. Um diese Probleme anzugehen, werden in der vorliegenden Arbeit Lösungen in den Bereichen Eingabe, Zusammenarbeit und Erweiterung von virtuellen Welten und Benutzern vorgestellt, die darauf abzielen, die Benutzerfreundlichkeit und Produktivität von VR zu erhöhen. Zunächst werden PC-basierte Hardware und Software in die virtuelle Welt übertragen, um die Vertrautheit und den Funktionsumfang bestehender Anwendungen in VR zu erhalten. Virtuelle Stellvertreter von physischen Geräten, z.B. Tastatur und Tablet, und ein VR-Modus für Anwendungen ermöglichen es dem Benutzer reale Fähigkeiten in die virtuelle Welt zu übertragen. Des Weiteren wird ein Algorithmus vorgestellt, der die Kalibrierung mehrerer ko-lokaler VR-Geräte mit hoher Genauigkeit und geringen Hardwareanforderungen und geringem Aufwand ermöglicht. Da VR-Headsets die reale Umgebung der Benutzer ausblenden, wird die Relevanz einer Ganzkörper-Avatar-Visualisierung für die Kollisionsvermeidung und das entfernte Zusammenarbeiten nachgewiesen. Darüber hinaus werden personalisierte räumliche oder zeitliche Modifikationen vorgestellt, die es erlauben, die Benutzerfreundlichkeit, Arbeitsleistung und soziale Präsenz von Benutzern zu erhöhen. Diskrepanzen zwischen den virtuellen Welten, die durch persönliche Anpassungen entstehen, werden durch Methoden der Avatar-Umlenkung (engl. redirection) kompensiert. Abschließend werden einige der Methoden und Erkenntnisse in eine beispielhafte Anwendung integriert, um deren praktische Anwendbarkeit zu verdeutlichen. Die vorliegende Arbeit zeigt, dass virtuelle Umgebungen auf realen Fähigkeiten und Erfahrungen aufbauen können, um eine vertraute und einfache Interaktion und Zusammenarbeit von Benutzern zu gewährleisten. Darüber hinaus ermöglichen individuelle Erweiterungen des virtuellen Inhalts und der Avatare Einschränkungen der realen Welt zu überwinden und das Erlebnis von VR-Umgebungen zu steigern.

View
No Thumbnail Available
Publication

Nonlinear Feature Normalization for Hyperspectral Feature Transfer

2019 , Groß, Wolfgang Johannes

Hyperspectral remote sensing is an important topic for deriving high-level information about the earth's surface. Applications include land cover mapping, precision farming, and the detection of environmental pollution. This is made possible by recording and evaluating narrow-band features that are characteristic of individual materials. External effects, however, lead to nonlinearities in the data and complicate data analysis. These effects include changes in illumination, hard and partial shadows, as well as transmission / multiple reflections by objects in the scene, and anisotropic effects for 3D objects. Correcting these effects is required for robust data analysis. In particular, when comparing multiple data sets a unified representation is required. Physically motivated models for correcting atmospheric in uences are generally used for the pre-processing of hyperspectral data. However, these models do not consider local variations, such as shadows and object geometry. Therefore, this thesis deals with data-driven approaches in the field of Manifold Alignment (MA) and Feature Transfer (FT) to transfer several data sets to a common system. Previous research on these topics has focused primarily on learning the underlying geometry of high-dimensional data and aligning multiple datasets by determining the minimum discrepancy while preserving the individual data structure. Usually, a common domain with very high dimensionality is chosen to facilitate the alignment. The transformation into another domain, however, prevents physical interpretability. Also, inversion of one data set from the common domain to the domain of a target data set is diffcult due to the pre-image problem. The contributions of this thesis can be divided into two categories. The Nonlinear Feature Normalization (NFN) is a data-driven approach to mitigate nonlinear effects in hyperspectral data. NFN is a supervised method and requires training samples for each class in the scene. A new basis for data representation is defined, consisting of one spectral reference signature per class. The training data are then used to individually shift all samples towards the new basis. This significantly reduces the effects of nonlinearities, as shown by comparing classification results before and after the NFN transformation. The NFN is then used to derive the Nonlinear Feature Normalization for Data Alignment (NFNalign). NFNalign transforms multiple data sets to the same basis in the common domain and then applies an inverse transformation to transfer data sets from the common domain to a domain of another data set. Since the dimensionality of the data is not changed during the transformation, it is possible to perform the inversion analytically. The functionality of NFNalign is demonstrated by transforming hyperspectral radiance data to reflection data. Thereby, the pre-processing step of the atmospheric correction can be replaced, shadows and other nonlinearities are corrected, and characteristic features of the spectral signatures are transferred. The quality of the alignment is demonstrated by applying an SVM model trained on a reference data set to the aligned data set. Additional alignment is assessed by applying a classification model trained on a reference data set to a test data set after it has been transformed to the domain of the reference with NFNalign. Further experiments investigate the robustness with regard to noise and errors in the training data as well as the alignment of data with different dimensions. Also, a comparison with common reference methods is performed. Overall, NFN and NFNalign provide a complete framework for hyperspectral data alignment and FT.

View