Fraunhofer-Gesellschaft

Publica

Hier finden Sie wissenschaftliche Publikationen aus den Fraunhofer-Instituten.

Zuverlässiges Verhalten autonomer Fahrzeuge durch Reinforcement Learning

 
: Gerber, Pascal
: Liggesmeyer, Peter; Feth, Patrik

:
Volltext urn:nbn:de:0011-n-5310644 (4.0 MByte PDF)
MD5 Fingerprint: 0c58e79a45b403165861dd35c0111e90
Erstellt am: 16.1.2019


Kaiserslautern, 2018, 81 S.
Kaiserslautern, TU, Bachelor Thesis, 2018
Deutsch
Bachelor Thesis, Elektronische Publikation
Fraunhofer IESE ()

Abstract
Heutzutage gibt es bereits viele Projekte, welche sich mit dem autonomen Fahren beschäftigen. Dabei haben einige bereits die Möglichkeit einer Ende-zu-Ende Steuerung von Fahrzeugen durch künstliche neuronale Netze gezeigt [1]. Die verwendeten künstlichen neuronalen Netze werden für diesen Zweck mit großen Mengen aufgezeichneter Fahrdaten trainiert, dabei spricht man auch von einem „supervised learning“ (SL). Als eine Alternative zum „supervised learning“ gibt es weiter das sogenannte „reinforcement learning“ (RL). Beide Ansätze gehören zu dem Gebiet des „maschinellen Lernens“ (ML).
Beim RL wird das zugrundeliegende neuronale Netz in einer Simulationsumgebung antrainiert. Währenddessen zeigt das Netz ein bestimmtes Verhalten auf, woraufhin eine Belohnung oder eine Bestrafung als Bewertung erfolgt. Abhängig von diesem Verhalten, sowie der damit verbundenen Bewertung werden die verhaltensbestimmenden Gewichte in dem Netz angepasst. Daraufhin wird das neue Verhalten erneut in der Simulationsumgebung erprobt und bewertet. Die dabei verwendete Bewertung wird durch eine zuvor definierte Belohnungsfunktion realisiert, welcher hierbei eine Schlüsselrolle zukommt [2]. Eine ungeeignete Belohnungsfunktion kann später dazu führen, dass das zu steuernde Fahrzeug ein unsicheres Verhalten aufweist. Sofern Ansätze des MLs in einem sicherheitskritischen Kontext zum Einsatz kommen sollen, ist der Nachweis einer akzeptablen Zuverlässigkeit notwendig, welcher derzeit im Allgemeinen nicht erbracht werden kann.
Zum gegenwärtigen Zeitpunkt gibt es den Lösungsansatz, Systeme, die zur Steuerung Ansätze des MLs verwenden, als eine Black-Box zu betrachten, deren Zuverlässigkeit durch die Integration dieser in eine geeignete Architektur verbessert werden kann. Im Gegensatz dazu besteht ein weiterer Ansatz darin, ein besseres Verständnis solcher ML Ansätze zu erlangen. Für das RL ist in diesem Zusammenhang eine Analyse von Belohnungsfunktionen hinsichtlich ihrer Zuverlässigkeitsimplikation erforderlich.
In dieser Arbeit werden dazu zunächst bestehende Simulationsumgebungen hinsichtlich ihrer Eignung für das RL untersucht. Weiter wird nach einer Analyse dieser Simulationsumgebungen eine fundierte Auswahl getroffen. Hieraufhin werden Experimente zur Erprobung geeigneter Belohnungsfunktionen für die Funktion eines Spurhalteassistenten mit Geschwindigkeitsregelung durchgeführt und die jeweilige resultierende Zuverlässigkeit der Fahrzeugsteuerung bewertet.

: http://publica.fraunhofer.de/dokumente/N-531064.html