Synthetic data generation for the continuous development and testing of autonomous construction machinery

The development and testing of autonomous systems require sufficient meaningful data. However, generating suitable scenario data is a challenging task. In particular, it raises the question of how to narrow down what kind of data should be considered meaningful. Autonomous systems are characterized by their ability to cope with uncertain situations, i.e. complex and unknown environmental conditions. Due to this openness, the definition of training and test scenarios cannot be easily specified. Not all relevant influences can be sufficiently specified with requirements in advance, especially for unknown scenarios and corner cases, and therefore the "right" data, balancing quality and efficiency, is hard to generate. This article discusses the challenges of automated generation of 3D scenario data. We present a training and testing loop that provides a way to generate synthetic camera and Lidar data using 3D simulated environments. Those can be automatically varied and modified to support a closed-loop system for deriving and generating datasets that can be used for continuous development and testing of autonomous systems.

Die Entwicklung und Erprobung von autonomen Systemen erfordern ausreichend aussagekräftige Daten. Die Generierung geeigneter Szenarien und Daten ist jedoch eine anspruchsvolle Aufgabe. Insbesondere stellt sich die Frage, wie man die Art der Daten eingrenzen kann, die als aussagekräftig gelten sollen. Autonome Systeme zeichnen sich dadurch aus, dass sie mit unsicheren Situationen, d.h. komplexen und unbekannten Umweltbedingungen, umgehen können. Aufgrund dieser Offenheit ist die Definition von Trainings- und Testszenarien nicht einfach zu spezifizieren. Insbesondere für unbekannte Szenarien und Corner-Cases können nicht alle relevanten Einflüsse im Voraus ausreichend mit Anforderungen spezifiziert werden, so dass es schwierig ist, die "richtigen" Daten mit einem ausgewogenen Verhältnis zwischen Qualität und Effizienz zu generieren. In diesem Artikel werden die Herausforderungen der automatischen Generierung von 3D-Szenariodaten diskutiert. Wir stellen eine Trainings- und Testschleife vor, die es ermöglicht, synthetische Kamera- und Lidardaten in simulierten 3D-Umgebungen zu erzeugen. Diese können automatisch variiert und modifiziert werden, um ein Closed-Loop-System für die Ableitung und Erzeugung von Datensätzen zu unterstützen, die für die kontinuierliche Entwicklung und das Testen von autonomen Systemen verwendet werden können.