Fraunhofer-Gesellschaft

Publica

Hier finden Sie wissenschaftliche Publikationen aus den Fraunhofer-Instituten.

Embedded Stereokamera-basierte reaktive Kollisionsvermeidung für UAVs

Embedded stereo vision based reactive collision avoidance for UAVs
 
: Grinberg, Michael; Ruf, B.; Monka, S.; Kollmann, Matthias; Buller, Aleksej; Tchouchenkov, Igor

:
Volltext urn:nbn:de:0011-n-5313099 (426 KByte PDF)
MD5 Fingerprint: 639f083236c927263822d4de8b746c9a
Erstellt am: 22.1.2019


Längle, Thomas (Hrsg.); Puente Leon, F. (Hrsg.); Heizmann, M. (Hrsg.):
Forum Bildverarbeitung 2018 : 29. und 30. November 2018, Karlsruhe
Karlsruhe: KIT Scientific Publishing, 2018
ISBN: 978-3-7315-0833-5
ISBN: 3-7315-0833-8
S.277-290
Forum Bildverarbeitung <2018, Karlsruhe>
Deutsch
Konferenzbeitrag, Elektronische Publikation
Fraunhofer IOSB ()
UAV-Navigation; Hindernisdetektion; Kollisionsvermeidung; embedded; Echtzeit-Stereoverarbeitung

Abstract
Dieser Beitrag beschäftigt sich mit der automatischen Kollisionsvermeidung für UAVs basierend auf einer Stereokamera. Dazu haben wir ein echtzeitfähiges und energieeffizientes System realisiert, das mit beschränkten Ressourcen zurechtkommt. Zur Hinderniserkennung werden aus den Bildern der Stereokamera Disparitätskarten berechnet. Diese werden in die sog. U- bzw. V-Maps konvertiert, mit deren Hilfe mit Methoden der Mustererkennung Objekte erkannt werden. Die Kollisionsvermeidung basiert auf einem reaktiven Ansatz, welcher den kürzesten Weg zum Umfliegen eines sich in kritischen Entfernung befindlichen Hindernisses sucht. Wir haben unser System auf einer Xilinx Zynq Ultrascale+ Prozessoreinheit mit einer ARM Cortex-A53 Quadcore-CPU und einem FinFET+ FPGA umgesetzt. Die Disparitatsschätzung wurde auf dem FPGA implementiert, während die weniger rechenintensive Kollisionsvermeidung zur Ausführung auf der CPU umgesetzt wurde. Die Portierung der in C/C++ geschriebenen Algorithmen zur Disparitatsschätzung auf den FPGA erfolgte mittels High-Level-Synthese, welche die Lücke zwischen Anwendungsentwicklung und Hardware-Optimierung schließt und damit eine Reduktion der Entwicklungszeit und -Kosten ermöglicht.

 

This contribution deals with obstacle avoidance for UAVs based on a stereo camera setup. We implemented a realtime-capable and energy-efficient system based on disparity map estimation for obstacle detection and a reactive approach for collision avoidance. The basic functionality has been written in C/C++ and optimized for Xilinx Zynq Ultrascale+ with an ARM Cortex-A53 Quad-Core CPU and a FinFET+ FPGA. We aimed to use High-Level Synthesis for porting parts of out code to FPGA in order to close the gap between application development and hardware optimization and reduce development time and costs. We evaluated our implementation of the disparity estimation on the KITTI Stereo 2015 benchmark. The integrity of the overall real-time collision avoidance system has been evaluated by using Hardware-in-the-Loop testing in conjunction with two flight simulators.

: http://publica.fraunhofer.de/dokumente/N-531309.html