Now showing 1 - 5 of 5
  • Publication
    Machine Learning Methods for Enhanced Reliable Perception of Autonomous Systems
    (Fraunhofer IKS, 2021)
    Henne, Maximilian
    ;
    ; ;
    In our modern life, automated systems are already omnipresent. The latest advances in machine learning (ML) help with increasing automation and the fast-paced progression towards autonomous systems. However, as such methods are not inherently trustworthy and are being introduced into safety-critical systems, additional means are needed. In autonomous driving, for example, we can derive the main challenges when introducing ML in the form of deep neural networks (DNNs) for vehicle perception. DNNs are overconfident in their predictions and assume high confidence scores in the wrong situations. To counteract this, we have introduced several techniques to estimate the uncertainty of the results of DNNs. In addition, we present what are known as out-of-distribution detection methods that identify unknown concepts that have not been learned beforehand, thus helping to avoid making wrong decisions. For the task of reliably detecting objects in 2D and 3D, we will outline further methods. To apply ML in the perception pipeline of autonomous systems, we propose using the supplementary information from these methods for more reliable decision-making. Our evaluations with respect to safety-related metrics show the potential of this approach. Moreover, we have applied these enhanced ML methods and newly developed ones to the autonomous driving use case. In variable environmental conditions, such as road scenarios, light, or weather, we have been able to enhance the reliability of perception in automated driving systems. Our ongoing and future research is on further evaluating and improving the trustworthiness of ML methods to use them safely and to a high level of performance in various types of autonomous systems, ranging from vehicles to autonomous mobile robots, to medical devices.
  • Publication
    Measuring Ensemble Diversity and its Effects on Model Robustness
    Deep ensembles have been shown to perform well on a variety of tasks in terms of accuracy, uncertainty estimation, and further robustness metrics. The diversity among ensemble members is often named as the main reason for this. Due to its complex and indefinite nature, diversity can be expressed by a multitude of metrics. In this paper, we aim to explore the relation of a selection of these diversity metrics among each other, as well as their link to different measures of robustness. Specifically, we address two questions: To what extent can ensembles with the same training conditions differ in their performance and robustness? And are diversity metrics suitable for selecting members to form a more robust ensemble? To this end, we independently train 20 models for each task and compare all possible ensembles of 5 members on several robustness metrics, including the performance on corrupted images, out-of-distribution detection, and quality of uncertainty estimation. Our findings reveal that ensembles trained with the same conditions can differ significantly in their robustness, especially regarding out-of-distribution detection capabilities. Across all setups, using different datasets and model architectures, we see that, in terms of robustness metrics, choosing ensemble members based on the considered diversity metrics seldom exceeds the baseline of a selection based on the accuracy. We conclude that there is significant potential to improve the formation of robust deep ensembles and that novel and more sophisticated diversity metrics could be beneficial in that regard.
  • Publication
    Safety Assurance of Machine Learning for Chassis Control Functions
    ( 2021) ; ; ; ;
    Unterreiner, Michael
    ;
    Graeber, Torben
    ;
    Becker, Philipp
    This paper describes the application of machine learning techniques and an associated assurance case for a safety-relevant chassis control system. The method applied during the assurance process is described including the sources of evidence and deviations from previous ISO 26262 based approaches. The paper highlights how the choice of machine learning approach supports the assurance case, especially regarding the inherent explainability of the algorithm and its robustness to minor input changes. In addition, the challenges that arise if applying more complex machine learning technique, for example in the domain of automated driving, are also discussed. The main contribution of the paper is the demonstration of an assurance approach for machine learning for a comparatively simple function. This allowed the authors to develop a convincing assurance case, whilst identifying pragmatic considerations in the application of machine learning for safety-relevant functions.
  • Publication
    Absicherung von Machine-Learning-Verfahren in sicherheitskritischen Systemen
    Bei der Entwicklung zukünftiger hochkomplexer Computersysteme, zum Beispiel autonomer Systeme, moderner Medizingeräte oder bei Aufgabenstellungen für Industrie 4.0, wird herkömmliche Algorithmik an ihre Grenzen stoßen und KI-basierte Systeme werden unabdingbar sein. Maschinelles Lernen (ML), insbesondere tiefe neuronale Netze (DNNs), zeigen immer wieder beeindruckende Leistungen in verschiedenen Bereichen, etwa bei Sprachassistenten, dem Brettspiel Go oder prototypischen autonomen Fahrzeugen. Diesen Anwendungen ist jedoch gemein, dass Fehler nicht zu gefährlichen oder gar fatalen Situationen führen. Erkennt ein Sprachassistent ein Wort beim Verfassen einer Notiz nicht oder stellt den Wecker eine Stunde zu früh, so ist das ärgerlich, hat aber in den seltensten Fällen schwerwiegende Komplikationen. Ebenso sind bei autonomen Testfahrzeugen noch menschliche Sicherheitsfahrer dabei, die aufmerksam dem Geschehen auf der Straße folgen und im Notfall die Kontrolle über das Vehikel übernehmen. Agiert ein System hingegen komplett autonom und übersieht eine Person auf der Fahrbahn oder erkennt einen Materialfehler in einem Flugzeugbauteil nicht, kann dies zu gravierenden Folgen führen. Die Schwierigkeit bei komplexeren ML-Verfahren ist jedoch, dass das Ausschließen von Fehlern vor der Inbetriebnahme und die zuverlässige Erkennung von Fehlern zur Laufzeit nicht trivial ist. Dies schränkt aktuell den Einsatz von ML in sicherheitskritischen Systemen deutlich ein und erfordert neue Ansätze, um zukünftig auch in diesen Bereichen von den Vorteilen, die ML bietet, profitieren zu können. Unsere Forschung fokussiert sich aktuell deshalb darauf, mehr Informationen von den DNNs selbst hinsichtlich ihrer Entscheidung zu erhalten und sie im Allgemeinen transparenter zu gestalten. Konkret reicht das von der Unsicherheitsbestimmung neuronaler Netze, über die Erkennung unbekannter oder gar schadhafter Eingaben hin zur besseren Erklärbarkeit des Verhaltens von DNNs. Diese Informationen werden anschließend genutzt, um sichere adaptive Systeme zu gestalten und das Gesamtsystem schon beim Entwurf abzusichern. Derzeitiges Anwendungsgebiet ist vor allem die Absicherung der Perzeption autonomer Fahrzeuge. Durch die Generalisierbarkeit der Methoden ist jedoch auch ein Einsatz in anderen Bereichen, etwa in der Medizin oder Industrie 4.0, denkbar. Dieser Vortrag gibt einen Einblick in Methoden, die dazu beitragen, das Vertrauen in ML-Verfahren zu erhöhen, basierend auf unserer aktiven Forschung im Bereich des zertifizierbaren Machine Learnings.
  • Publication
    Machine Learning in sicherheitskritischen Systemen
    Der Einsatz von Machine Learning (ML), insbesondere von Deep Learning, ermöglicht erst viele hochkomplexe Anwendungen, beispielsweise in der Medizintechnik oder bei autonomen Systemen. Derzeit gibt es beim Einsatz in solchen sicherheitskritischen Systemen jedoch noch einige Herausforderungen. Drei dieser Probleme und Möglichkeiten, wie diese in Zukunft gehandhabt werden können, sollen im Nachfolgenden am Beispiel des autonomen Fahrens vorgestellt werden.