Potentialanalyse von Bildsegmentierung zur Freiraumerkennung in Lkws

Am Fachgebiet Fahrzeugtechnik der TU Darmstadt werden Fahrerassistenzsysteme für den Lkw erforscht und entwickelt. Aus den Unfallstatistiken lässt sich das Bedürfnis ableiten, eine Freiraumerkennung zu entwickeln, die dem Fahrer dabei helfen soll mit seinem Lkw zu manövrieren. Hierfür bieten sich Kamerasensoren an, welche günstig installiert werden können und schon zum Teil auf Grund von anderen vorgeschriebenen Sicherheitssystemen am Lkw vorhanden sind. Zur Entwicklung wird ein Versuchsträger am Fachgebiet aufgebaut, welcher mit Kamera, Lidar und Radar Sensorik ausgestattet ist. Im Rahmen dieser Arbeit erfolgt die Entwicklung einer Freiraumerkennung mit Hilfe einer Bildsegmentierung auf den Kamerabildern. Es wird die Annahme getroffen, dass Freiraum eine 2D Fläche ist, bei dem Straße und Bürgersteig als frei gelten. Die Freiraumerkennung wird als Occupancy Grid Map implementiert.
Es erfolgte die Inbetriebnahme und die Implementierung der Freiraumerkennung in das bestehende autonome System koalaDRIVE, welches auf dem Versuchsträger installiert wurde. Die Sensoren sind zeitsynchronisiert und wurden im Rahmen dieser Arbeit kalibriert. Mit dem Versuchsträger wurde ein Datensatz aufgenommen, der zur Entwicklung der Freiraumerkennung beigetragen hat und zur Evaluation genutzt wurde. Die eigentliche Freiraumerkennung besteht aus drei Modulen die im Rahmen der Arbeit entwickelt wurden: die Kamerasegmentierung, eine Lidar-Kamera-Projektion für die räumliche Einordnung und die Berechnung des Occupancy Grids. Die Kamerasegmentierung nutzt ein neuronales Netz um die Bilder der Kameras mit den Klassen aus dem Cityscapes Datensatz zu annotieren. Sie wurde für die Echtzeitfähigkeit optimiert und nutzt eine Client-Server-Architektur um die Abhängigkeiten am ROS 2 System zu minimieren. Das Occupancy Grid wird anhand der durch die Lidar-Kamera-Projektion berechneten semantisch annotierten Punktwolken berechnet. Ein Moving-Average-Filter glättet die Occupancy Grid Map zeitlich. Zur Evaluation wird die Metrik eines binären Klassifikators genutzt, um die Freiraumerkennung zu messen. Der Vergleich erfolgt mit einer HD Karte welche vom Testgelände auf dem August-Euler-Flugplatz erzeugt wurde. Zusätzlich wurde die Echtzeitfähigkeit des Gesamtsystems evaluiert und die Latenz gemessen. Das Ergebnis dieser Arbeit ist die komplette Implementierung einer Freiraumerkennung mit Bildsegmentierung auf dem Zielsystem des Versuchsträgers. In der Evaluation wurde auf dem August Euler Flugplatz eine Genauigkeit der Freiraumerkennung von 80 % erreicht, welches eine Verbesserung zu einem reinen Lidar Ansatz mit der Genauigkeit von 52 % dargestellt.