Untersuchung der Übertragbarkeit vortrainierter machine-learning basierter Lidar Detektoren auf andere Domänen

Unter dem Projektnamen InnoTram betreibt das Fachgebiet Fahrzeugtechnik der Technischen Universität Darmstadt in Kooperation mit der Darmstädter Verkehrsgesellschaft HEAG mobilo eine Forschungsstraßenbahn. Ziel ist die Entwicklung und Erprobung neuartiger Fahrerassistenzsysteme für den Straßenbahnbetrieb. Zur Umfeldwahrnehmung ist die Forschungsbahn mit einer Vielzahl unterschiedlicher Sensorsysteme ausgestattet, darunter zwei Lidar-Sensoren. Diese dienen der präzisen Lokalisierung von Objekten im dreidimensionalen Raum rund um die Straßenbahn. Die Lidar-Sensoren erzeugen Punktwolken, in denen relevante Objekte erkannt werden müssen. Diese Objekterkennung erfolgt durch einen sogenannten Lidar-Detektor, der bisher auf einem klassischen Clustering-Ansatz basiert. Dieser ist jedoch nicht in der Lage, zwischen verschiedenen Objektarten zu unterscheiden. Zur Verbesserung der Detektionsleistung und zur Gewinnung zusätzlicher Informationen für eine präzisere Umfelderfassung wird in dieser Arbeit die Übertragbarkeit verschiedener Lidar-Detektoren auf Basis maschinellen Lernens auf die InnoTram untersucht. Da es für Straßenbahnen bislang keine umfangreich annotierten Datensätze gibt, auf denen Ansätze des maschinellen Lernens effektiv trainiert werden könnten, steht insbesondere die Übertragbarkeit von in anderen Domänen vortrainierten Lidar-Detektoren im Fokus. Dazu werden zunächst die Grundlagen von Lidar-Sensoren und -Detektoren, des maschinellen Lernens sowie die spezifische Sensorkonfiguration der InnoTram vorgestellt. Darauf folgt eine Einführung in das Thema der Domain-Adaptation und eine Analyse der allgemeinen Herausforderungen bei der Übertragung maschinell lernender Lidar-Detektoren sowie deren spezifischen Anwendung auf die InnoTram-Domäne.
Abschließend erfolgt eine strukturierte Auswahl einer geeigneten Quelldomäne für den weiteren Verlauf der Arbeit. Für die Untersuchung der Übertragbarkeit maschinell lernender Ansätze wird ein Programm entwickelt, das direkt auf den von der InnoTram aufgezeichneten Sensordaten operiert. Das Programm ermöglicht die Objektdetektion in den Lidar-Daten basierend auf verschiedenen Detektoren des maschinellen Lernens. Nach einer Analyse verschiedener Datensätze wird der nuScenes-Datensatz als Trainingsdomäne ausgewählt. Ausschlaggebend dafür sind die Ähnlichkeit des dort verwendeten Lidar-Sensors zur InnoTram-Sensorik sowie die hohe Abdeckung der für den Straßenbahnbetrieb relevanten Detektionsklassen. Zur objektiven Bewertung der Übertragbarkeit werden daraufhin Metriken definiert, welche die Detektionsleistung, -güte und die Übertragbarkeit quantifizieren. Um die Übertragbarkeit auf die InnoTram zu untersuchen, werden typische Szenarien aus dem Straßenbahnbetrieb identifiziert. Basierend auf diesen werden ausgewählte Sequenzen aus den InnoTram-Daten manuell annotiert. Als Referenz zur Bewertung dienen ebenfalls annotierte Szenen aus dem nuScenes-Datensatz. Aufgrund der begrenzten Annotationsmenge konzentriert sich die Analyse auf die häufig vertretenen Klassen Pkw und Person. Die verschiedenen Ansätze maschinellen Lernens werden mithilfe des entwickelten Programms auf unterschiedliche Varianten der Daten angewendet, um verschiedene Aspekte der Übertragbarkeit zu analysieren. Es werden sowohl die allgemeine Übertragbarkeit als auch der Einfluss des Punktwolken- Koordinatensystems für acht Detektoren untersucht. Für drei ausgewählte Modelle erfolgt eine detaillierte Analyse der Detektionsleistung in unterschiedlichen Distanzbereichen. Zudem wird die Fusion mehrerer Lidar-Punktwolken hinsichtlich einer möglichen Leistungssteigerung bei der Personendetektion evaluiert. Anschließend werden die korrekt erkannten Objekte hinsichtlich ihrer Lokalisierungsgenauigkeit, ihrer räumlichen Ausdehnung und ihrer Orientierung in der Trainings- und Zieldomäne verglichen. Darüber hinaus wird geprüft, ob eine zuverlässige Detektion der Klasse Straßenbahn trotz deren Abwesenheit in den Trainingsdaten möglich ist. Ergänzend werden die Laufzeiten der Detektoren analysiert, um ihre Eignung für einen echtzeitfähigen Einsatz einzuschätzen. Die Analyse zeigt, dass die Übertragbarkeit für Pkw über alle Distanzbereiche hinweg sehr gut gelingt. Bei der Klasse Person hingegen wird in der InnoTram-Domäne eine geringere Detektionsleistung als in der Trainingsdomäne festgestellt, was zu einer insgesamt schlechteren Übertragbarkeit führt. Die Position und Größe erkannter Objekte unterscheiden sich zwischen den Domänen kaum, jedoch treten in der Zieldomäne signifikante Fehler bei der Orientierungsbestimmung auf. Straßenbahnen können durch die untersuchten Detektoren nicht zuverlässig erkannt werden. Modelle mit hoher Detektionsleistung weisen zudem eine zu hohe Laufzeit auf, um sie auf dem verwendeten Testsystem in Echtzeit einsetzen zu können.