Enhanced underwater object tracking in sonar images using deep learning and vehicle motion data

Object tracking is a crucial aspect for maritime operations and navigation for underwater vehicles. Forward-looking sonar images, which provide high-resolution views of the underwater environment, enable the identification and classification of objects. However, the interpretation of these sonar images can be challenging due to feature distortion, reverberation and environmental noise, complicating object detection. To address these issues, in this paper we propose an enhanced method for underwater multi-object tracking that utilizes deep learning techniques and vehicle motion data. Our object detection framework encompasses range-setting, sliding window preprocessing, and deep learning-based multi-object detection that leverages visual features from sonar images. This process is further enhanced by integrating vehicle motion data collected from navigation devices and sensors. We introduce a combinatory approach for multi-object tracking of static objects, which integrates sonar images with vehicle motion information. The algorithm determines object locations by calculating trajectories in the sonar images using navigation and vehicle movement data and is updated with the object detection algorithm based on visual features in the sonar image. The inclusion of vehicle motion data significantly enhances the precision, recall and processing time of object tracking, ensuring continuous tracks even when objects are temporarily not seen in sonar images. Therefore, our proposed combinatory procedure enhances the algorithm’s robustness against common sonar image challenges, enabling reliable multi-object tracking of static objects in sonar images and supporting subsequent navigational tasks.

Objektverfolgung ist ein entscheidender Aspekt für maritime Operationen und Navigation für Unterwasserfahrzeuge. Forward-Looking-Sonarbilder, die hochauflösende Ansichten der Unterwasserumgebung liefern, ermöglichen die Identifikation und Klassifizierung von Objekten. Allerdings kann die Interpretation von diesen Sonarbildern herausfordernd sein aufgrund von Merkmalsverzerrungen, Echos und Umgebungsrauschen, die die Objekterkennung komplizieren. Um diese Probleme anzugehen, schlagen wir in diesem Artikel eine verbesserte Unterwasser-Multi-Objektverfolgungsmethode vor, die Deep Learning Verfahren und Fahrzeugbewegungsdaten verwendet. Unsere Objekterkennungsstruktur umfasst eine Vorverarbeitung mit Reichweitenfestlegung und gleitendem Fensterverfahren, ebenso wie die Deep Learning basierte Multi-Objekterkennung, die visuelle Merkmale von Sonarbildern nutzt. Dieser Prozess wird weiter durch die Integration von Fahrzeugbewegungsdaten aus der Navigation und von Sensoren verbessert. Wir führen ein kombiniertes Verfahren für Multi-Objektverfolgung von statischen Objekten ein, das Informationen aus Sonarbildern und Fahrzeugbewegungen zusammenfasst. Dieser Algorithmus bestimmt die Objektlokalisation, indem Trajektorien in Sonarbildern mit Hilfe von Navigations- und Fahrzeugbewegungsdaten berechnet werden und wird mit dem Objekterkennungsalgorithmus basierend auf visuellen Merkmalen im Sonarbild aktualisiert. Die Einbeziehung von Fahrzeugbewegungsdaten verbessert erheblich die Genauigkeit, Recall und Verarbeitungszeit der Objektverfolgung und garantiert eine kontinuierliche Verfolgung, selbst wenn die Objekte im Sonarbild temporär nicht sichtbar sind. Deshalb verbessert unser vorgeschlagenes kombiniertes Verfahren die Robustheit bezüglich häufiger Herausforderungen bei Sonarbildern, ermöglicht eine zuverlässige Multi-Objektverfolgung von statischen Objekten in Sonarbildern und unterstützt nachfolgende Navigationsaufgaben.