Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB

Filters

73
16 1
Reset filters

Settings
Now showing 1 - 10 of 73
No Thumbnail Available
Publication

Attribute-Based Person Retrieval in Multi-Camera Networks

2024 , Specker, Andreas , Beyerer, Jürgen

Attribute-based person retrieval is a crucial component in various realworld applications, including surveillance, retail, and smart cities. Contrary to image-based person identification or re-identification, individuals are searched for based on descriptions of their soft biometric attributes, such as gender, age, and clothing colors. For instance, attribute-based person retrieval enables law enforcement agencies to efficiently search enormous amounts of surveillance footage gathered from multi-camera networks to locate suspects or missing persons. This thesis presents a novel deep learning framework for attribute-based person retrieval. The primary objective is to research a holistic approach that is suitable for real-world applications. Therefore, all necessary processing steps are covered. Pedestrian attribute recognition serves as the base framework to address attribute-based person retrieval in this thesis. Various design characteristics of pedestrian attribute recognition approaches are systematically examined toward their suitability for attribute-based person retrieval. Following this analysis, novel techniques are proposed and discussed to further improve the performance. The PARNorm module is introduced to normalize the model’s output logits across both the batch and attribute dimensions to compensate for imbalanced attributes in the training data and improve person retrieval performance simultaneously. Strategies for video-based pedestrian attribute recognition are explored, given that videos are typically available instead of still images. Temporal pooling of the backbone features over time proves to be effective for the task. Additionally, this approach exhibits faster inference than alternative techniques. To enhance the reliability of attributebased person retrieval rankings and address common challenges such as occlusions, an independent hardness predictor is proposed that predicts the difficulty of recognizing attributes in an image. This information is utilized to remarkably improve retrieval results by down-weighting soft biometrics with an increased chance of classification failure. Additionally, three further enhancements to the retrieval process are investigated, including model calibration based on existing literature, a novel attribute-wise error weighting mechanism to balance the attributes’ influence on retrieval results, and a new distance measure that relies on the output distributions of the attribute classifier. Meaningful generalization experiments on pedestrian attribute recognition and attribute-based person retrieval are enabled for the first time. For this purpose, the UPAR dataset is proposed, which contributes 3.3 million binary annotations to harmonize semantic attributes across four existing datasets and introduces two evaluation protocols. Moreover, a new evaluation metric is suggested that is tailored to the task of attribute-based person retrieval. This metric evaluates the overlap between query attributes and the attributes of the retrieved samples to obtain scores that are consistent with the human perception of a person retrieval ranking. Combining the proposed approaches yields substantial improvements in both pedestrian attribute recognition and attribute-based person retrieval. State-of-the-art performance is achieved concerning both tasks and existing methods from the literature are surpassed. The findings are consistent across both specialization and generalization settings and across the well-established research datasets. Finally, the entire processing pipeline, from video feeds to the resulting retrieval rankings, is outlined. This encompasses a brief discussion on the topic of multi-target multi-camera tracking.

View
No Thumbnail Available
Publication

Imaging simulation of atmospheric turbulence based on phase screen methods

2022-01-24 , Wegner, Daniel , Braesicke, Peter , Höpfner, Michael

Im Rahmen dieser Arbeit wird ein Ansatz zur bildbasierten Simulation von Luftturbulenzstörungen vorgestellt. Es wird aufgezeigt, wie durch einen bestehenden Ansatz aus experimentellen Kameradaten Parameter von aktuellen Turbulenzmodellen abgeschätzt werden können. Diese Parameter werden dann für vergleichbare Simulationen genutzt und mit experimentellen Daten verglichen. Eine weit verbreitete Methode ist das sogenannte "Split-step"-Strahlpropagationsverfahren, welches die Ausbreitung eines Lichtsignals durch ein turbulentes Medium simulieren kann. Hierbei werden Phasenstörungen des elektromagnetischen Felds verursacht durch Turbulenz als zweidimensionale Phasenschirme in mehreren Abständen zwischen Lichtquelle und Kamerasensor modelliert und simuliert. Anhand aktueller Turbulenzmodelle werden zwei Methoden zur Phasenschirmerzeugung hinsichtlich Genauigkeit und Rechenzeit verglichen. Zum einen ist das als Goldstandard die inverse Fouriertransformation von gefiltertem Rauschen mit Hinzufügen von subharmonischen Frequenzen. Zum anderen ist das die "Sparse Spectrum"-Methode zur Erzeugung von korrelierten Phasenschirmen durch Überlagerung von planaren Wellen mit zufälligen Ausrichtungen. Phasenschirme stellen 2D-Abbilder von zufälligen räumliche Schwankungen des Brechungsindex von Luft dar, die zu meist unerwünschten Störeffekten bei der Übertragung von Lichtsignalen führen. In der Kamerabildgebung äußern sich diese Störeffekte durch räumliche und zeitliche Schwankungen der Bildunschärfe und Position ("Image dancing") einzelner Bildausschnitte. Diese Schwankungen entstehen durch Induktion turbulenter Luftströmungen durch Sonneneinstrahlung verbunden mit der Temperaturund Druckabhängigkeit des Brechungsindex von Luft. Da exakte fluiddynamische Simulationen zeit und rechenaufwendig sind und die Kenntnis vieler Randbedingungen, z.B. der Bodenbeschaffenheit voraussetzen, werden diese Brechungsindexschwankungen oft durch Rauschleistungsspektren als Turbulenzmodelle beschrieben. Mithilfe der Phasenstrukturfunktion als häufig genutztes Validierungskriterium wird gezeigt, dass erzeugte Phasenschirme korrekte, zu erwartende räumliche Korrelationen aufweisen. Für beide Methoden werden zweidimensionale Ausbreitungsprofile von Lichtpunktquellen berechnet und mit gängigen Metriken validiert. Dies sind zum Beispiel Langzeit- und Kurzzeitmodulationstransferfunktionen ("long-exposure/short-exposure"), das Strehlverhältnis und der aperturgemittelte Szintillationsindex. Das Strehlverhältnis setzt zwei Maximalwerte für eine räumliche, ensemble-gemittelte optischen Intensitätsverteilung ins Verhältnis, einem Maximalwert für eine gegebene Turbulenzstärke und dem Maximalwert für den turbulenzfreien Fall. Durch zunehmende Turbulenzstärke werden die optischen Intensitätsverteilungen im Allgmeinen breiter. Dadurch sinken diese Maximalwerte und dadurch auch das Strehlverhältnis. Das Punktbildprofil auf dem Sensor ergibt sich dann durch Fourieroptik aus der Feldverteilung an der Apertur. Diese Punktbildprofile repräsentieren die Turbulenzstörung einzelner Lichtpunktquellen für bestimmte Sichtlinien. Durch Verschiebung der Phasenschirme senkrecht zur Ausbreitungsrichtung lassen sich Punktbildprofile für unterschiedliche Sichtlinien zum Sensor berechnen. Dadurch ergeben sich räumlich variierende und korrelierte Punktbildprofile. Es lassen sich regelmäßige Gitter solcher Punktbildprofile berechnen, und zur ungleichmäßigen Filterung über beliebige Bilder als Eingangsszenen nutzen. Zur experimentellen Validierung werden in mehreren Feldversuchen vergleichbare Messungen mit LED-Matrizen als Gitter von Punktquellen durchgeführt. Durch Verwendung von zwei Arten von LEDs von geringfügig unterschiedlichen mittleren Wellenlängen wird untersucht, ob und inwieweit sich der erwartete Unterschied in der Bildunschärfe der LED-Projektion zur Verbesserung der Abschätzung von Turbulenzmodellparametern eignet. Aus gemessenen Bildern der LED-Matrizen werden außerdem differentielle Neigungsvarianzen berechnet. Die differentielle Neigungsvarianz als Maß für die räumliche Korrelation der Zentroidverschiebungen dieser Punktbildprofile ist analytisch beschreibbar und wird deshalb auch zur Validierung genutzt. Durch Anpassung theoretischer Ausdrücke an diese lassen sich die wahrscheinlichsten Parameter von aktuellen Turbulenzmodellen abschätzen. Basierend auf diesen Parametern werden turbulent gestörte Punktgitter simuliert und daraus abgeleitete Neigungsvarianzen mit experimentellen Daten verglichen. Ebenso werden Verteilungen der Turbulenzmodellparameter über alle Messtage aufgezeigt sowie ihrer Anisotropie zwischen horizontaler und vertikaler Richtung. Dies kann als Datengrundlage für zukünftige bildgebenden Turbulenzsimulationen genutzt werden, zum Beispiel zur Bewertung von Kameras oder der Entwicklung und Verbesserung von turbulenzkompensierenden Bildverarbeitungstechniken. Die aufgefundenen Verteilungen von Turbulenzmodellparametern können außerdem zur Validierung von Simulationen und Messungen von kleinskaligen atmosphärischen Phänomenen in Bodennähe genutzt werden.

View
No Thumbnail Available
Publication

Ansätze zur lokalen Bayes'schen Fusion von Informationsbeiträgen heterogener Quellen

2021 , Sander, Jennifer

Die Lösung diverser Aufgaben profitiert von der Informationsfusion oder setzt sie sogar voraus. Die Bayes'sche Fusionsmethodik ist anschaulich, fundiert und erfüllt die essentiellen Anforderungen an eine sinnvolle Methodik auch zur Fusion der Beiträge heterogener Informationsquellen. In vielen praktisch relevanten Aufgaben verursachen Bayes'sche Verfahren hohen, oft nicht tragbaren Aufwand. In der Arbeit werden neuartige Ansätze zur Bewältigung Bayes'scher Fusion formuliert und untersucht.

View
No Thumbnail Available
Publication

Integrierte Multi-Sensor-Fusion für die simultane Lokalisierung und Kartenerstellung für mobile Robotersysteme

2021 , Emter, Thomas

In der vorliegenden Arbeit werden probabilistische Methoden für die Kombination mehrerer Sensoren mittels Multi-Sensor-Fusion für die robuste und präzise Lokalisierung und Kartenerstellung in heterogenen Außenumgebungen vorgestellt. Es werden sowohl Aspekte der robusteren Wiedererkennung von Landmarken als auch die Integration zusätzlicher absoluter und relativer Sensoren mittels erweiterter Filterverfahren beleuchtet.

View
No Thumbnail Available
Publication

Multimodal Panoptic Segmentation of 3D Point Clouds

2023 , Dürr, Fabian , Beyerer, Jürgen

The understanding and interpretation of complex 3D environments is a key challenge of autonomous driving. Lidar sensors and their recorded point clouds are particularly interesting for this challenge since they provide accurate 3D information about the environment. This work presents a multimodal approach based on deep learning for panoptic segmentation of 3D point clouds. It builds upon and combines the three key aspects multi view architecture, temporal feature fusion, and deep sensor fusion.

View
No Thumbnail Available
Publication

Self-learning Anomaly Detection in Industrial Production

2022 , Meshram, Ankush , Beyerer, Jürgen

View
No Thumbnail Available
Publication

Enhanced Virtuality: Increasing the Usability and Productivity of Virtual Environments

2021 , Hoppe, Adrian

Mit stetig steigender Bildschirmauflösung, genauerem Tracking und fallenden Preisen stehen Virtual Reality (VR) Systeme kurz davor sich erfolgreich am Markt zu etablieren. Verschiedene Werkzeuge helfen Entwicklern bei der Erstellung komplexer Interaktionen mit mehreren Benutzern innerhalb adaptiver virtueller Umgebungen. Allerdings entstehen mit der Verbreitung der VR-Systeme auch zusätzliche Herausforderungen: Diverse Eingabegeräte mit ungewohnten Formen und Tastenlayouts verhindern eine intuitive Interaktion. Darüber hinaus zwingt der eingeschränkte Funktionsumfang bestehender Software die Nutzer dazu, auf herkömmliche PC- oder Touch-basierte Systeme zurückzugreifen. Außerdem birgt die Zusammenarbeit mit anderen Anwendern am gleichen Standort Herausforderungen hinsichtlich der Kalibrierung unterschiedlicher Trackingsysteme und der Kollisionsvermeidung. Beim entfernten Zusammenarbeiten wird die Interaktion durch Latenzzeiten und Verbindungsverluste zusätzlich beeinflusst. Schließlich haben die Benutzer unterschiedliche Anforderungen an die Visualisierung von Inhalten, z.B. Größe, Ausrichtung, Farbe oder Kontrast, innerhalb der virtuellen Welten. Eine strikte Nachbildung von realen Umgebungen in VR verschenkt Potential und wird es nicht ermöglichen, die individuellen Bedürfnisse der Benutzer zu berücksichtigen. Um diese Probleme anzugehen, werden in der vorliegenden Arbeit Lösungen in den Bereichen Eingabe, Zusammenarbeit und Erweiterung von virtuellen Welten und Benutzern vorgestellt, die darauf abzielen, die Benutzerfreundlichkeit und Produktivität von VR zu erhöhen. Zunächst werden PC-basierte Hardware und Software in die virtuelle Welt übertragen, um die Vertrautheit und den Funktionsumfang bestehender Anwendungen in VR zu erhalten. Virtuelle Stellvertreter von physischen Geräten, z.B. Tastatur und Tablet, und ein VR-Modus für Anwendungen ermöglichen es dem Benutzer reale Fähigkeiten in die virtuelle Welt zu übertragen. Des Weiteren wird ein Algorithmus vorgestellt, der die Kalibrierung mehrerer ko-lokaler VR-Geräte mit hoher Genauigkeit und geringen Hardwareanforderungen und geringem Aufwand ermöglicht. Da VR-Headsets die reale Umgebung der Benutzer ausblenden, wird die Relevanz einer Ganzkörper-Avatar-Visualisierung für die Kollisionsvermeidung und das entfernte Zusammenarbeiten nachgewiesen. Darüber hinaus werden personalisierte räumliche oder zeitliche Modifikationen vorgestellt, die es erlauben, die Benutzerfreundlichkeit, Arbeitsleistung und soziale Präsenz von Benutzern zu erhöhen. Diskrepanzen zwischen den virtuellen Welten, die durch persönliche Anpassungen entstehen, werden durch Methoden der Avatar-Umlenkung (engl. redirection) kompensiert. Abschließend werden einige der Methoden und Erkenntnisse in eine beispielhafte Anwendung integriert, um deren praktische Anwendbarkeit zu verdeutlichen. Die vorliegende Arbeit zeigt, dass virtuelle Umgebungen auf realen Fähigkeiten und Erfahrungen aufbauen können, um eine vertraute und einfache Interaktion und Zusammenarbeit von Benutzern zu gewährleisten. Darüber hinaus ermöglichen individuelle Erweiterungen des virtuellen Inhalts und der Avatare Einschränkungen der realen Welt zu überwinden und das Erlebnis von VR-Umgebungen zu steigern.

View
No Thumbnail Available
Publication

Anomaliedetektion in räumlich-zeitlichen Datensätzen

2023 , Anneken, Mathias , Beyerer, Jürgen

Eine Unterstützung des Menschen in Überwachungsaufgaben spielt eine immer wichtigere Rolle, da die schiere Menge der anfallenden Daten von heterogenen Sensoren eine Überforderung des Menschen zur Folge hat. Hierfür müssen dem Menschen in kritischen Entscheidungen die wichtigsten Informationen transparent dargebracht werden, um so das Situationsbewusstsein zu stärken. In dieser Arbeit wird der maritime Raum als Beispiel für die Entwicklung verschiedener Datenfusionsverfahren zu ebendiesem Zweck herangezogen. Der maritime Raum als Anwendungsszenario bietet durch seine enorme wirtschaftliche Bedeutung für den Welthandel, das Auftreten verschiedenster Anomalien und krimineller Handlungen wie Piraterie und illegaler Fischerei und die Verfügbarkeit von Datenquellen ein gut für die Erprobung der Verfahren geeignetes Umfeld. Die entwickelten und untersuchten Verfahren decken hierbei die gesamte Bandbreite von einfachen Positions- und kinematischen Anomalien, über kontextuelle Anomalien bis zu komplexen Anomalien ab. Für die Untersuchung werden verschiedene Datensätze mit realen Schiffsverkehrsinformationen genutzt. Außerdem werden die Verfahren teilweise in Live Trials mit Küstenwachen erprobt. Zur Entwicklung der Verfahren wird als Grundlage zunächst das objektorientierte Weltmodell um Verhaltensmodelle erweitert sowie das EUCISE-Datenmodell als Basis für die Modellierung des verfügbaren Hintergrundwissens identifiziert. Die ersten untersuchten Verfahren detektieren Anomalien in der Position und der Kinematik basierend auf einzelnen Datenpunkten oder ganzen Trajektorien. Hierbei wurde festgestellt, dass zwar Anomalien erkannt werden, die Korrektklassifikationsrate für einen tatsächlichen Einsatz aber deutlich zu hoch ausfällt sowie bestimmte Anomalien ohne Kontext nicht bestimmbar sind. Im nächsten Schritt wird ein Multiagentensystem aufgestellt, welches das Verhalten der beobachteten Objekte durch spieltheoretische Modelle simuliert. Die hierzu notwendigen Nutzenfunktionen werden sowohl wissensbasiert als auch datengetrieben hergeleitet. Mit den integrierten Kontextinformationen können echte Anomalien deutlich besser von normalem Verhalten abgegrenzt werden. Des Weiteren wird gezeigt, wie mit Hilfe von Merkmalen, die aus georeferenzierten Informationen abgeleitet werden, Kontextinformationen zur Klassifikation von Schiffstypen in neuronalen Netzen integriert werden können. Im letzten Schritt werden komplexe Anomalien in Form von spezifischen Situationen basierend auf dynamischen Bayes’schen Netzen modelliert und in Live Trials erprobt. Hierbei werden Kontextinformationen, wie das Wetter, sowie Datenquellen mit unterschiedlicher Zuverlässigkeit integriert, um Situationen in verschiedenen durch Endanwender/-innen mitgestalteten Anwendungsszenarien zu erkennen. Insgesamt wird gezeigt, dass mit automatischen Verfahren Anomalien unterschiedlicher Art erkannt werden können. Die Verfahren werden jeweils mit realen Daten evaluiert, um die Möglichkeit des tatsächlichen Einsatzes als Entscheidungsunterstützung für Menschen in realen Anwendungsszenarien aufzuzeigen.

View
No Thumbnail Available
Publication

Distributed Planning for Self-Organizing Production Systems

2021 , Pfrommer, Julius

View
No Thumbnail Available
Publication

Automatisierte, minimalinvasive Sicherheitsanalyse und Vorfallreaktion für industrielle Systeme

2021 , Patzer, Florian

Industrielle Steuerungs- und Automatisierungssysteme erleben in den letzten Jahren eine zunehmende Vernetzung und bestehen mehr und mehr aus Komponenten, bei denen Off-the-Shelf-Software und offene Standards zum Einsatz kommen. Neben den unbestreitbaren Vorteilen, die diese Entwicklungen mit sich bringen, vergrößert sich damit jedoch auch die Angriffsfläche solcher Systeme. Gleichzeitig führt die, durch diese Evolution entstehende, zusätzliche Flexibilität zu zusätzlicher Komplexität in der Konfiguration und einer Zunahme von ausnutzbaren Schwachstellen. Die Homogenität der Soft- und Hardware macht die Ausnutzung dieser Schwachstellen für Angreifer zudem attraktiver, da weniger Aufwand in Individualangriffe fließen muss. Es ist so nicht verwunderlich, dass die Anzahl von Angriffen betroffener industrieller Systeme in den letzten fünfzehn Jahren einen deutlichen Zuwachs erfahren hat. Dies ist besonders bedenklich, weil erfolgreiche Angriffe auf diese Systeme, anders als in der Büro-IT, oft gefährliche Auswirkungen auf ihre Umwelt haben. Wie auch in anderen Domänen mit hoher technologischer Komplexität, haben sich computergestützte Verfahren zu einem wichtigen Bestandteil industrieller Systeme entwickelt. Sie werden dabei u.a. zur Sicherstellung korrekter Konfiguration, Identifikation von Schwachstellen, Bedrohungen und Gegenmaßnahmen, sowie Angriffsdetektion und -reaktion eingesetzt. Allerdings bestehen aufgrund der Garantien industrieller Systeme und ihrer Netzwerke bezüglich Aspekten wie Echtzeitverarbeitung, Ausfallsicherheit und Redundanz, Einschränkungen im Einsatz von Werkzeugen und Maßnahmen. Um also möglichst wenig in das System einzugreifen, müssen beispielsweise Sicherheitsanalysen und Vorfallreaktionen so wenig invasiv wie möglich (minimalinvasiv) durchgeführt werden. Für automatisierte Sicherheitsanalysen hat es sich daher zur guten Praxis entwickelt, Modelle der Systeme zu erstellen und diese computergestützt zu analysieren. Als besonders geeignet haben sich in der Forschung dabei wissensbasierte, bzw. ontologiebasierte, Ansätze erwiesen. Existierende Lösungen leiden jedoch unter Problemen wie der fehlenden Konfigurierbarkeit für unterschiedliche Umgebungen, der fehlenden Optimierbarkeit (da in der Regel nur bestimmte Inferenzmechanismen anwendbar sind), der fehlenden Wiederverwendbarkeit und Austauschbarkeit von Modellerweiterungsschritten und Analysen, der fehlenden Unterstützung verschiedener Akteure und mehrerer Analysearten wie Bedrohungs-, Schwachstellen-, Konfigurations- und Konformitätsanalysen, sowie der mangelnden technischen Detailtiefe und Komponentenabdeckung, um bestimmte Analysen überhaupt durchführen zu können. Bei der Vorfallreaktion sind die genannten Garantien sogar der Grund für den Mangel an Lösungen, die in industriellen Systemen eingesetzt werden können. Denn der Großteil der automatisierbaren Reaktionen liegt im Gebiet der Abschottung und greift somit garantiegefährdend in das entsprechende System ein. In dieser Dissertation werden die eben aufgezählten Probleme der Sicherheitsanalyse und Vorfallreaktion adressiert. Für die Sicherheitsanalyse wurden Konzepte und Methoden entwickelt, die jedes der aufgezählten Probleme mindern oder lösen. Dafür wird unter anderem eine auf den offenen Standards AutomationML und OPC UA basierende Methode zur Modellierung und Extraktion von Netzwerkinformationen aus Engineering-Werkzeugen, Untersuchungsergebnisse verschiedener Abbildungsstrategien zur Erstellung ontologiebasierter Digitaler Zwillinge, ein Konzept zur Sprachenunabhängigen Modellerzeugung für Netzwerkzugriffskontrollinstanzen und Konzepte und Methoden zur wiederverwendbaren, austauschbaren, automatisierten Modellverarbeitung und Sicherheitsanalyse für mehrere Analysearten vorgestellt. Für diese und damit verbundene Konzepte und Methoden wurde zudem ein konsistentes, auf Separation-of-Concerns basierendes Rahmenwerk für wissensbasierte Sicherheitsanalyselösungen entworfen, prototypisch implementiert und evaluiert. Das Rahmenwerk, die Implementierung und die Ergebnisse der Evaluationen werden ebenfalls in dieser Arbeit vorgestellt. Damit wird die erste Lösung für die zuvor genannten Probleme präsentiert und eine Basis für eine neue Art von kollaborativ verwalt- und optimierbaren Sicherheitsanalysen geschaffen. Des Weiteren wird ein Konzept zur automatisierten Vorfallreaktion auf Basis des Netzwerkparadigmas Software-Defined-Networking (SDN) vorgestellt. Dabei wird ein Ansatz gewählt, der auf vordefinierten Reaktionen auf sicherheitsrelevante Ereignisse basiert und diese über Restriktionen individuell und automatisiert einschränkt. Wobei sich die Restriktionen auf explizit modelliertes Wissen über zu schützende Endgeräte, Netzwerkkomponenten und Verbindungen stützen. Das Konzept nutzt außerdem aus, dass die Netzwerksteuerung durch den SDN-Controller auf detaillierten Daten über die aktuelle Netzwerktopologie verfügt und verwendet die optimierten Algorithmen des SDN-Controllers zur Neukonfiguration. Mit dem Konzept wird ein Ansatz präsentiert, der es erstmals ermöglicht, auch in industriellen Systemen die Vorteile automatisierter Vorfallreaktion, wie die kurze Reaktionszeit und verfügbare Topologiekenntnis, zu nutzen.

View