Embedded Stereokamera-basierte reaktive Kollisionsvermeidung für UAVs

Dieser Beitrag beschäftigt sich mit der automatischen Kollisionsvermeidung für UAVs basierend auf einer Stereokamera. Dazu haben wir ein echtzeitfähiges und energieeffizientes System realisiert, das mit beschränkten Ressourcen zurechtkommt. Zur Hinderniserkennung werden aus den Bildern der Stereokamera Disparitätskarten berechnet. Diese werden in die sog. U- bzw. V-Maps konvertiert, mit deren Hilfe mit Methoden der Mustererkennung Objekte erkannt werden. Die Kollisionsvermeidung basiert auf einem reaktiven Ansatz, welcher den kürzesten Weg zum Umfliegen eines sich in kritischen Entfernung befindlichen Hindernisses sucht. Wir haben unser System auf einer Xilinx Zynq Ultrascale+ Prozessoreinheit mit einer ARM Cortex-A53 Quadcore-CPU und einem FinFET+ FPGA umgesetzt. Die Disparitatsschätzung wurde auf dem FPGA implementiert, während die weniger rechenintensive Kollisionsvermeidung zur Ausführung auf der CPU umgesetzt wurde. Die Portierung der in C/C++ geschriebenen Algorithmen zur Disparitatsschätzung auf den FPGA erfolgte mittels High-Level-Synthese, welche die Lücke zwischen Anwendungsentwicklung und Hardware-Optimierung schließt und damit eine Reduktion der Entwicklungszeit und -Kosten ermöglicht.

This contribution deals with obstacle avoidance for UAVs based on a stereo camera setup. We implemented a realtime-capable and energy-efficient system based on disparity map estimation for obstacle detection and a reactive approach for collision avoidance. The basic functionality has been written in C/C++ and optimized for Xilinx Zynq Ultrascale+ with an ARM Cortex-A53 Quad-Core CPU and a FinFET+ FPGA. We aimed to use High-Level Synthesis for porting parts of out code to FPGA in order to close the gap between application development and hardware optimization and reduce development time and costs. We evaluated our implementation of the disparity estimation on the KITTI Stereo 2015 benchmark. The integrity of the overall real-time collision avoidance system has been evaluated by using Hardware-in-the-Loop testing in conjunction with two flight simulators.