Options
Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB
Now showing
1 - 10 of 88
-
-
PublicationDeep Learning based Vehicle Detection in Aerial Imagery( 2021)The usage of airborne platforms, such as unmanned aerial vehicles (UAVs), equipped with camera sensors is essential for a wide range of applications in the field of civil safety and security. Amongst others, prominent applications include surveillance and reconnaissance, traffic monitoring, search and rescue, disaster relief and environmental monitoring. However, analyzing the aerial imagery data solely by human operators is often not practicable due to the large amount of visual data and the resulting cognitive overload. In practice, automated processing chains based on appropriate computer vision algorithms are employed to assist human operators in assessing the aerial imagery data. Key component of such processing chains is an accurate detection of all relevant objects inside the camera's field of view, before the scene can be analyzed and interpreted. The low spatial resolution originating from the large distance between camera and ground makes object detection in aerial imagery a challenging task, which is further impeded by motion blur, occlusions or shadows. Although many conventional approaches for object detection in aerial imagery exist in the literature, the limited representation capacity of the utilized handcrafted features often inhibits reliable detection accuracies due to the occurring high variance in object scale, orientation, color, and shape. In the scope of this thesis, a novel deep learning based detection approach is developed, whereby the focus lies on vehicle detection in aerial imagery recorded in top view. For this purpose, Faster R-CNN is chosen as base detection framework because of its superior detection accuracy compared to other deep learning based detectors. Relevant adaptations to account for the specific characteristics of aerial imagery, especially the small object dimensions, are systematically examined and resulting issues with respect to real-world applications, i.e., the high number of false detections caused by vehicle-like structures and the poor inference time, are identified. Two novel components have been proposed to improve the detection accuracy by enhancing the contextual content of the employed feature representation. The first component aims at increasing spatial context information by combining features of shallow and deep layers to account for fine and coarse structures, while the latter component leverages semantic labeling - the pixel-wise classification of an image - to introduce more semantic context information. Two different variants to integrate semantic labeling into the detection framework are realized: exploitation of the semantic labeling results to filter out unlikely predictions and inducing scene knowledge by explicitly merging the semantic labeling network into the detection framework via shared feature representations. Both components clearly reduce the number of false detections, resulting in considerably improved detection accuracies. To reduce the computational effort and consequently the inference time, two alternative strategies are developed in the context of this thesis. The first strategy is replacing the default CNN architecture used for feature extraction with a lightweight CNN architecture optimized with regard to vehicle detection in aerial imagery, while the latter strategy comprises a novel module to restrict the search area to areas of interest. The proposed strategies result in clearly reduced inference times for each component of the detection framework. Combining the proposed approaches significantly improves the detection performance compared to the standard Faster R-CNN detector taken as baseline. Furthermore, existing approaches for vehicle detection in aerial imagery, taken from the literature, are outperformed in quantitative and qualitative manner on different aerial imagery datasets. The generalization ability is further demonstrated on a large set of previously unseen data collected from novel aerial imagery datasets with differing properties.
-
PublicationAnsätze zur lokalen Bayes'schen Fusion von Informationsbeiträgen heterogener QuellenDie Lösung diverser Aufgaben profitiert von der Informationsfusion oder setzt sie sogar voraus. Die Bayes'sche Fusionsmethodik ist anschaulich, fundiert und erfüllt die essentiellen Anforderungen an eine sinnvolle Methodik auch zur Fusion der Beiträge heterogener Informationsquellen. In vielen praktisch relevanten Aufgaben verursachen Bayes'sche Verfahren hohen, oft nicht tragbaren Aufwand. In der Arbeit werden neuartige Ansätze zur Bewältigung Bayes'scher Fusion formuliert und untersucht.
-
-
PublicationSelf-calibration of time-based localization systems in noisy environments with nonlinear optimization( 2021)
-
PublicationEnhanced Virtuality: Increasing the Usability and Productivity of Virtual Environments( 2021)Mit stetig steigender Bildschirmauflösung, genauerem Tracking und fallenden Preisen stehen Virtual Reality (VR) Systeme kurz davor sich erfolgreich am Markt zu etablieren. Verschiedene Werkzeuge helfen Entwicklern bei der Erstellung komplexer Interaktionen mit mehreren Benutzern innerhalb adaptiver virtueller Umgebungen. Allerdings entstehen mit der Verbreitung der VR-Systeme auch zusätzliche Herausforderungen: Diverse Eingabegeräte mit ungewohnten Formen und Tastenlayouts verhindern eine intuitive Interaktion. Darüber hinaus zwingt der eingeschränkte Funktionsumfang bestehender Software die Nutzer dazu, auf herkömmliche PC- oder Touch-basierte Systeme zurückzugreifen. Außerdem birgt die Zusammenarbeit mit anderen Anwendern am gleichen Standort Herausforderungen hinsichtlich der Kalibrierung unterschiedlicher Trackingsysteme und der Kollisionsvermeidung. Beim entfernten Zusammenarbeiten wird die Interaktion durch Latenzzeiten und Verbindungsverluste zusätzlich beeinflusst. Schließlich haben die Benutzer unterschiedliche Anforderungen an die Visualisierung von Inhalten, z.B. Größe, Ausrichtung, Farbe oder Kontrast, innerhalb der virtuellen Welten. Eine strikte Nachbildung von realen Umgebungen in VR verschenkt Potential und wird es nicht ermöglichen, die individuellen Bedürfnisse der Benutzer zu berücksichtigen. Um diese Probleme anzugehen, werden in der vorliegenden Arbeit Lösungen in den Bereichen Eingabe, Zusammenarbeit und Erweiterung von virtuellen Welten und Benutzern vorgestellt, die darauf abzielen, die Benutzerfreundlichkeit und Produktivität von VR zu erhöhen. Zunächst werden PC-basierte Hardware und Software in die virtuelle Welt übertragen, um die Vertrautheit und den Funktionsumfang bestehender Anwendungen in VR zu erhalten. Virtuelle Stellvertreter von physischen Geräten, z.B. Tastatur und Tablet, und ein VR-Modus für Anwendungen ermöglichen es dem Benutzer reale Fähigkeiten in die virtuelle Welt zu übertragen. Des Weiteren wird ein Algorithmus vorgestellt, der die Kalibrierung mehrerer ko-lokaler VR-Geräte mit hoher Genauigkeit und geringen Hardwareanforderungen und geringem Aufwand ermöglicht. Da VR-Headsets die reale Umgebung der Benutzer ausblenden, wird die Relevanz einer Ganzkörper-Avatar-Visualisierung für die Kollisionsvermeidung und das entfernte Zusammenarbeiten nachgewiesen. Darüber hinaus werden personalisierte räumliche oder zeitliche Modifikationen vorgestellt, die es erlauben, die Benutzerfreundlichkeit, Arbeitsleistung und soziale Präsenz von Benutzern zu erhöhen. Diskrepanzen zwischen den virtuellen Welten, die durch persönliche Anpassungen entstehen, werden durch Methoden der Avatar-Umlenkung (engl. redirection) kompensiert. Abschließend werden einige der Methoden und Erkenntnisse in eine beispielhafte Anwendung integriert, um deren praktische Anwendbarkeit zu verdeutlichen. Die vorliegende Arbeit zeigt, dass virtuelle Umgebungen auf realen Fähigkeiten und Erfahrungen aufbauen können, um eine vertraute und einfache Interaktion und Zusammenarbeit von Benutzern zu gewährleisten. Darüber hinaus ermöglichen individuelle Erweiterungen des virtuellen Inhalts und der Avatare Einschränkungen der realen Welt zu überwinden und das Erlebnis von VR-Umgebungen zu steigern.
-
PublicationAutomatisierte, minimalinvasive Sicherheitsanalyse und Vorfallreaktion für industrielle Systeme( 2021)Industrielle Steuerungs- und Automatisierungssysteme erleben in den letzten Jahren eine zunehmende Vernetzung und bestehen mehr und mehr aus Komponenten, bei denen Off-the-Shelf-Software und offene Standards zum Einsatz kommen. Neben den unbestreitbaren Vorteilen, die diese Entwicklungen mit sich bringen, vergrößert sich damit jedoch auch die Angriffsfläche solcher Systeme. Gleichzeitig führt die, durch diese Evolution entstehende, zusätzliche Flexibilität zu zusätzlicher Komplexität in der Konfiguration und einer Zunahme von ausnutzbaren Schwachstellen. Die Homogenität der Soft- und Hardware macht die Ausnutzung dieser Schwachstellen für Angreifer zudem attraktiver, da weniger Aufwand in Individualangriffe fließen muss. Es ist so nicht verwunderlich, dass die Anzahl von Angriffen betroffener industrieller Systeme in den letzten fünfzehn Jahren einen deutlichen Zuwachs erfahren hat. Dies ist besonders bedenklich, weil erfolgreiche Angriffe auf diese Systeme, anders als in der Büro-IT, oft gefährliche Auswirkungen auf ihre Umwelt haben. Wie auch in anderen Domänen mit hoher technologischer Komplexität, haben sich computergestützte Verfahren zu einem wichtigen Bestandteil industrieller Systeme entwickelt. Sie werden dabei u.a. zur Sicherstellung korrekter Konfiguration, Identifikation von Schwachstellen, Bedrohungen und Gegenmaßnahmen, sowie Angriffsdetektion und -reaktion eingesetzt. Allerdings bestehen aufgrund der Garantien industrieller Systeme und ihrer Netzwerke bezüglich Aspekten wie Echtzeitverarbeitung, Ausfallsicherheit und Redundanz, Einschränkungen im Einsatz von Werkzeugen und Maßnahmen. Um also möglichst wenig in das System einzugreifen, müssen beispielsweise Sicherheitsanalysen und Vorfallreaktionen so wenig invasiv wie möglich (minimalinvasiv) durchgeführt werden. Für automatisierte Sicherheitsanalysen hat es sich daher zur guten Praxis entwickelt, Modelle der Systeme zu erstellen und diese computergestützt zu analysieren. Als besonders geeignet haben sich in der Forschung dabei wissensbasierte, bzw. ontologiebasierte, Ansätze erwiesen. Existierende Lösungen leiden jedoch unter Problemen wie der fehlenden Konfigurierbarkeit für unterschiedliche Umgebungen, der fehlenden Optimierbarkeit (da in der Regel nur bestimmte Inferenzmechanismen anwendbar sind), der fehlenden Wiederverwendbarkeit und Austauschbarkeit von Modellerweiterungsschritten und Analysen, der fehlenden Unterstützung verschiedener Akteure und mehrerer Analysearten wie Bedrohungs-, Schwachstellen-, Konfigurations- und Konformitätsanalysen, sowie der mangelnden technischen Detailtiefe und Komponentenabdeckung, um bestimmte Analysen überhaupt durchführen zu können. Bei der Vorfallreaktion sind die genannten Garantien sogar der Grund für den Mangel an Lösungen, die in industriellen Systemen eingesetzt werden können. Denn der Großteil der automatisierbaren Reaktionen liegt im Gebiet der Abschottung und greift somit garantiegefährdend in das entsprechende System ein. In dieser Dissertation werden die eben aufgezählten Probleme der Sicherheitsanalyse und Vorfallreaktion adressiert. Für die Sicherheitsanalyse wurden Konzepte und Methoden entwickelt, die jedes der aufgezählten Probleme mindern oder lösen. Dafür wird unter anderem eine auf den offenen Standards AutomationML und OPC UA basierende Methode zur Modellierung und Extraktion von Netzwerkinformationen aus Engineering-Werkzeugen, Untersuchungsergebnisse verschiedener Abbildungsstrategien zur Erstellung ontologiebasierter Digitaler Zwillinge, ein Konzept zur Sprachenunabhängigen Modellerzeugung für Netzwerkzugriffskontrollinstanzen und Konzepte und Methoden zur wiederverwendbaren, austauschbaren, automatisierten Modellverarbeitung und Sicherheitsanalyse für mehrere Analysearten vorgestellt. Für diese und damit verbundene Konzepte und Methoden wurde zudem ein konsistentes, auf Separation-of-Concerns basierendes Rahmenwerk für wissensbasierte Sicherheitsanalyselösungen entworfen, prototypisch implementiert und evaluiert. Das Rahmenwerk, die Implementierung und die Ergebnisse der Evaluationen werden ebenfalls in dieser Arbeit vorgestellt. Damit wird die erste Lösung für die zuvor genannten Probleme präsentiert und eine Basis für eine neue Art von kollaborativ verwalt- und optimierbaren Sicherheitsanalysen geschaffen. Des Weiteren wird ein Konzept zur automatisierten Vorfallreaktion auf Basis des Netzwerkparadigmas Software-Defined-Networking (SDN) vorgestellt. Dabei wird ein Ansatz gewählt, der auf vordefinierten Reaktionen auf sicherheitsrelevante Ereignisse basiert und diese über Restriktionen individuell und automatisiert einschränkt. Wobei sich die Restriktionen auf explizit modelliertes Wissen über zu schützende Endgeräte, Netzwerkkomponenten und Verbindungen stützen. Das Konzept nutzt außerdem aus, dass die Netzwerksteuerung durch den SDN-Controller auf detaillierten Daten über die aktuelle Netzwerktopologie verfügt und verwendet die optimierten Algorithmen des SDN-Controllers zur Neukonfiguration. Mit dem Konzept wird ein Ansatz präsentiert, der es erstmals ermöglicht, auch in industriellen Systemen die Vorteile automatisierter Vorfallreaktion, wie die kurze Reaktionszeit und verfügbare Topologiekenntnis, zu nutzen.
-
PublicationIntegrierte Multi-Sensor-Fusion für die simultane Lokalisierung und Kartenerstellung für mobile RobotersystemeIn der vorliegenden Arbeit werden probabilistische Methoden für die Kombination mehrerer Sensoren mittels Multi-Sensor-Fusion für die robuste und präzise Lokalisierung und Kartenerstellung in heterogenen Außenumgebungen vorgestellt. Es werden sowohl Aspekte der robusteren Wiedererkennung von Landmarken als auch die Integration zusätzlicher absoluter und relativer Sensoren mittels erweiterter Filterverfahren beleuchtet.
-
PublicationAdaptive Umweltmodellierung für kognitive Systeme in offener Welt durch dynamische Konzepte und quantitative Modellbewertung( 2021)Kuwertz, Achim ChristianDie Verwendung von technisch kognitiven Systemen, welche den Menschen bei der Ausführung von alltäglichen Aufgaben unterstützen, nimmt über die letzten Jahre stetig zu. Häufig müssen solche Systeme in der Lage sein, eine für ihre Aufgaben relevante Umgebung sensorisch erfassen und verarbeiten zu können. Zu diesem Zweck können sog. Umweltmodelle eingesetzt werden, deren Aufgabe eine konsistente Integration, Verwaltung und Bereitstellung erfasster Umgebungsinformationen ist. Ein Beispiel eines solchen Umweltmodells ist das sog. objektorientierte Umweltmodell, welches nach probabilistischen Prinzipien operiert und schritthaltend den Zustand einer beobachteten Umgebung darstellt. Diese sensorbasierte Beschreibung wird dabei durch ein semantisches Domänenmodell ergänzt, in welchem als Hintergrundwissen relevante Typen von Entitäten der Umgebung modelliert werden. Derartige Domänenmodelle werden im Allgemeinen zur Entwurfszeit eines Systems von Wissensingenieuren manuell erstellt. Sie beschreiben somit immer nur einen abgeschlossenen Teil einer Anwendungsdomäne.
-
PublicationRobuste Detektion, Verfolgung und Wiedererkennung von Personen in Videodaten mit niedriger AuflösungMit der zunehmenden Menge an Bilddaten im Videoüberwachungssektor wächst die Chance, Straftaten besser aufklären zu können. Allerdings ist dafür ein immenser Aufwand für die Auswertung der Bilder erforderlich, die oft nicht mehr vollständig ohne Computerunterstützung durch Personen gesichtet werden können. Diese Arbeit umfasst Methoden und Verbesserungen auf Basis neuartiger Personenrepräsentationen für die Detektion, Verfolgung und erscheinungsbasierte Wiedererkennung von Personen.