Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB

Filters

Reset filters

Settings
Now showing 1 - 10 of 23
No Thumbnail Available
Publication

Explainable AI for sensor-based sorting systems

2023 , Anneken, Mathias , Veerappa, Manjunatha , Huber, Marco , Kühnert, Christian , Kronenwett, Felix , Maier, Georg

Explainable artificial intelligence (XAI) can make machine learning based systems more transparent. This additional transparency can enable the use of machine learning in many different domains. In our work, we show how XAI methods can be applied to an autoencoder for anomaly detection in a sensor-based sorting system. The setup of the sorting system consists of a vibrating feeder, a conveyor belt, a line-scan camera and an array of fast-switching pneumatic valves. It allows the separation of a material stream into two fractions, realizing a binary sorting task. The autoencoder tries to mimic the normal behavior of the nozzle array and thus can detect abnormal behavior. The XAI methods are used to explain the output of the autoencoder. As XAI methods global and local approaches are used, which means we receive explanations for both a single result and the whole autoencoder. Initial results for both approaches are shown, together with possible interpretations of these results

View
No Thumbnail Available
Publication

Validation of XAI Explanations for Multivariate Time Series Classification in the Maritime Domain

2022 , Veerappa, Manjunatha , Anneken, Mathias , Burkart, Nadia , Huber, Marco

Due to the lack of explanation towards their internal mechanism, state-of-the-art deep learning-based classifiers are often considered as black-box models. For instance, in the maritime domain, models that classify the types of ships based on their trajectories and other features perform well, but give no further explanation for their predictions. To gain the trust of human operators responsible for critical decisions, the reason behind the classification is crucial. In this paper, we introduce explainable artificial intelligence (XAI) approaches to the task of classification of ship types. This supports decision-making by providing explanations in terms of the features contributing the most towards the prediction, along with their corresponding time intervals. In the case of the LIME explainer, we adapt the time-slice mapping technique (LimeforTime), while for Shapley additive explanations (SHAP) and path integrated gradient (PIG), we represent the relevance of each input variable to generate a heatmap as an explanation. In order to validate the XAI results, the existing perturbation and sequence analyses for classifiers of univariate time series data is employed for testing and evaluating the XAI explanations on multivariate time series. Furthermore, we introduce a novel evaluation technique to assess the quality of explanations yielded by the chosen XAI method.

View
No Thumbnail Available
Publication

Modular and scalable automation for field robots

2021 , Osten, Julia , Weyers, Catrin , Bregler, Kevin , Emter, Thomas , Petereit, Janko

This article describes a modular and scalable charging and navigation concept for electrified field robots and other agricultural machines. The concept consists of an underbody charging system on a trailer and a modular navigation box. The underlying conductive charging process is compared to other charging techniques. Charging time in relation to charging current and mean power consumption in field use is displayed. In the navigation box, data of various sensors are combined by means of multi-sensor fusion regarding the precise time of arrival. Time synchronization is achieved by a novel method for compensating the data latency jitter by employing Kalman based timestamp filtering. Furthermore, navigation functionalities, such as motion planning and mapping, are presented.

View
No Thumbnail Available
Publication

ASARob - Aufmerksamkeitssensitiver Assistenzroboter

2020 , Bachter, Hannes , Graf, Florenz , Lengenfelder, Christian , Lindermayr, Jochen , Messmer, Felix , Mosmann, Victor , Philipp, Patrick , Putze, Felix , Radic, Marija , Reich, Daniel , Reiser, Ulrich , Romanelli, Massimo , Scheck, Kevin , Schultz, Tanja , Voit, Michael , Vosen, Agnes

Das Projektziel des Vorhabens ASARob war die Implementierung einer robusten Aufmerksamkeitserfassung und -lenkung für die Roboter-Mensch-Interaktion. Multimodale Verfahren zur Aufmerksamkeitserfassung und -lenkung wurden hierzu in die bestehende, mobile Roboterplattform Care-O-bot 4 (care-o-bot.de) integriert. Die fusionierten Verfahren dienten als zentrale Grundfertigkeiten des Roboters, um bestehende Assistenzfunktionen, wie z. B. das räumliche Führen zu vorgegebenen Orten oder das Holen und Bringen von Gegenständen, anzureichern und in einem intuitiven Dialog mit dem betroffenen Nutzer durchführen zu können. Die Aufmerksamkeitserfassung diente insbesondere zur erwartungskonformen und kontextangepassten Annäherung des Roboters an Menschen bzw. Gesprächspartner. Durch den Einsatz der multimodalen Erfassungsvielfalt von Menschen und Umfeld sollte insbesondere gewährleistet werden, dass die Aufmerksamkeit von Personen auch in unstrukturierten Umgebungen, wie sie im Alltag zu erwarten sind, robust und fehlertolerant nachvollzogen werden kann. So wurden bspw. durch die Erfassung der Blickrichtung, Kopfdrehung, Sprache, Stimme und Körperhaltung von Nutzern partiell redundante Wahrnehmungskanäle implementiert, die sich gegenseitig ergänzen, insbesondere aber bei etwaigem Ausfall eines Kanals (z. B. durch Hinterkopfansichten, die eine Sicht auf die Augen eines Nutzers verhindern) durch konfidenzbasierte Informationsfusion für Rückfalloptionen sorgen.

View
No Thumbnail Available
Publication

Manufacturing-X: Die Branche der Fabrikausrüster

2023 , Sauer, Olaf , Haller, Marc Leon , Wagner-Sardesai, Saskia , Henke, Jürgen , Schmelting, Jürgen , Meyer, Tom , Kujath, Marc , Seidel, Holger , Kuhn, Thomas , Schnicke, Frank , Harst, Simon , Wenzel, Ken , ten Hompel, Michael , Henke, Michael , Clausen, Uwe , Ihlenfeldt, Steffen

Die deutsche Ausrüsterindustrie beliefert weltweit Fabriken mit Produktionslinien, Maschinen, Komponenten, Automatisierungstechnik und produktionsnaher Software. Über viele Jahre waren die Auftragsbücher voll und die Entwicklungs- und Produktionskapazitäten ausgelastet. Die Frage ist: wird das auch in der Zukunft so sein und: wie können die deutschen Ausrüster ihre Wettbewerbsfähigkeit erhalten oder sogar noch verbessern? Welche Rolle spielt dabei die Digitalisierung? Viele Ausrüster haben in den Jahren seit dem Start von „Industrie 4.0“ zaghafte Schritte in die Digitalisierung gemacht, mehr oder weniger erfolgreich; viele proprietäre Lösungen blieben weit hinter den Erwartungen zurück. Entsprechend zurückhaltend sind die Unternehmen nun bei den nächsten Schritten. Damit bleiben sie aber in Bezug auf die Digitalisierung und den mit ihr verbundenen Möglichkeiten für zusätzliche datenbasierte Dienstleistungen rund um Maschinen und Komponenten zurück und verpassen möglicherweise wichtige Innovationschancen. Qualitativ hochwertige Maschinen, Anlagen und Komponenten zu entwickeln, herzustellen und zu liefern wird in Zukunft für den Geschäftserfolg der deutschen Ausrüster nicht mehr ausreichen – sie müssen dringend in datenbasierte Dienste investieren, denn die Kunden von morgen werden diese erwarten. Um die Kräfte bei der Software- und Diensteentwicklung zu bündeln, schlagen die Autoren mehrerer Fraunhofer-Institute die Beteiligung der Ausrüster an industriellen Datenräumen vor: dabei teilen sich die beteiligten Unternehmen die Aufwände zur Entwicklung der ‚Basisdienste‘ und konzentrieren sich vielmehr darauf, Business-Applikationen mit tatsächlichem Kundennutzen zu schaffen. Gleichzeitig gewährleisten Datenräume die Datensouveränität, d.h. die Kontrolle der jeweiligen Dateneigentümer über Daten und deren Nutzung, die sie im Datenraum zur Verfügung stellen, bleibt erhalten. In der hier vorgelegten Studie beschreiben die Autoren zunächst die Branche der Fabrikausrüster und deren Teilbranchen. Basierend auf einer Auswertung aktueller Studien zu Innovationskraft und Digitalisierung der Ausrüsterbranche arbeiten sie heraus, dass es für die Fabrikausrüster höchste Zeit ist, ihr Produktportfolio um digitale Lösungen zu erweitern. Nur so können die Unternehmen den zukünftigen Herausforderungen Stand halten, z.B. Reduzierung der Abhängigkeiten von wenigen Vorleistungslieferanten, verbesserte Resilienz von Lieferketten, Anforderungen an Nachhaltigkeit und Kreislaufwirtschaft oder dem heute schon spürbaren Fachkräftemangel. Aufbauend auf der Faktenlage und den daraus resultierenden Trends formulieren die Autoren dann thesenartig relevante Entwicklungspfade für die Ausrüsterbranche mit konkreten Vorschlägen bis hin zu neuen Möglichkeiten, Ergebnisse aus F&E-Projekten durch gezielten Einsatz digitalen Wissenstransfers für ausrüstende Unternehmen zu nutzen. Mit der hier vorgelegten Studie stellt der Leitmarkt ‚Anlagenund Maschinenbau‘ der Fraunhofer-Gesellschaft unter Beweis, dass die Fraunhofer Institute über ein umfangreiches Angebot für Fabrikausrüster verfügen, um den Weg in die digitale Zukunft der Branche zielgerichtet, innovativ und investitionssicher zu beschreiten.

View
No Thumbnail Available
Publication

A Survey on the Explainability of Supervised Machine Learning

2021 , Burkart, Nadia , Huber, Marco F.

Predictions obtained by, e.g., artificial neural networks have a high accuracy but humans often perceive the models as black boxes. Insights about the decision making are mostly opaque for humans. Particularly understanding the decision making in highly sensitive areas such as healthcare or finance, is of paramount importance. The decision-making behind the black boxes requires it to be more transparent, accountable, and understandable for humans. This survey paper provides essential definitions, an overview of the different principles and methodologies of explainable Supervised Machine Learning (SML). We conduct a state-of-the-art survey that reviews past and recent explainable SML approaches and classifies them according to the introduced definitions. Finally, we illustrate principles by means of an explanatory case study and discuss important future directions.

View
No Thumbnail Available
Publication

Supported Decision-Making by Explainable Predictions of Ship Trajectories

2021 , Burkart, Nadia , Huber, Marco , Anneken, Mathias

Machine Learning and Deep Learning models make accurate predictions based on a specifically trained task. For instance, models that classify ship vessel types based on their trajectory and other features. This can support human experts while they try to obtain information on the ships, e.g., to control illegal fishing. Besides the support in predicting a certain ship type, there is a need to explain the decision-making behind the classification. For example, which features contributed the most to the classification of the ship type. This paper introduces existing explanation approaches to the task of ship classification. The underlying model is based on a Residual Neural Network. The model was trained on an AIS data set. Further, we illustrate the explainability approaches by means of an explanatory case study and conduct a first experiment with a human expert.

View
No Thumbnail Available
Publication

Deutsche Normungsroadmap Künstliche Intelligenz

2022-12-09 , Adler, Rasmus , Bunte, Andreas , Burton, Simon , Großmann, Jürgen , Jaschke, Alexander , Kleen, Philip , Lorenz, Jeanette Miriam , Ma, Jackie , Markert, Karla , Meeß, Henri , Meyer, Olga , Neuhüttler, Jens , Philipp, Patrick , Poretschkin, Maximilian , Rennoch, Axel , Roscher, Karsten , Sperl, Philip , Usländer, Thomas , Weicken, Eva , Wrobel, Stefan , Zidowitz, Stephan , Ziehn, Jens , Kläs, Michael , Cheng, Chih-Hong , Heinrich, Jana , Knoblauch, Dorian , Heidrich, Jens , Görge, Rebekka , Kolomiichuk, Sergii , Lämmel, Philipp , Plinge, Axel , Rauh, Lukas , Tcholtchev, Nikolay Vassilev , Wahlster, Wolfgang , Winterhalter, Christoph

Im Auftrag des Bundesministeriums für Wirtschaft und Klimaschutz haben DIN und DKE im Januar 2022 die Arbeiten an der zweiten Ausgabe der Deutschen Normungsroadmap Künstliche Intelligenz gestartet. In einem breiten Beteiligungsprozess und unter Mitwirkung von mehr als 570 Fachleuten aus Wirtschaft, Wissenschaft, öffentlicher Hand und Zivilgesellschaft wurde damit der strategische Fahrplan für die KI-Normung weiterentwickelt. Koordiniert und begleitet wurden diese Arbeiten von einer hochrangigen Koordinierungsgruppe für KI-Normung und -Konformität. Mit der Normungsroadmap wird eine Maßnahme der KI-Strategie der Bundesregierung umgesetzt und damit ein wesentlicher Beitrag zur "KI - Made in Germany" geleistet. Die Normung ist Teil der KI-Strategie und ein strategisches Instrument zur Stärkung der Innovations- und Wettbewerbsfähigkeit der deutschen und europäischen Wirtschaft. Nicht zuletzt deshalb spielt sie im geplanten europäischen Rechtsrahmen für KI, dem Artificial Intelligence Act, eine besondere Rolle. Die vorliegende Normungsroadmap KI zeigt die Erfordernisse in der Normung auf, formuliert konkrete Empfehlungen und schafft so die Basis, um frühzeitig Normungsarbeiten auf nationaler, insbesondere aber auch auf europäischer und internationaler Ebene, anzustoßen. Damit zahlt sie maßgeblich auf den Artificial Intelligence Act der Europäischen Kommission ein und unterstützt dessen Umsetzung.

View
No Thumbnail Available
Publication

Are you sure? Prediction revision in automated decision-making

2021 , Burkart, Nadia , Robert, Sebastian , Huber, Marco

With the rapid improvements in machine learning and deep learning, decisions made by automated decision support systems (DSS) will increase. Besides the accuracy of predictions, their explainability becomes more important. The algorithms can construct complex mathematical prediction models. This causes insecurity to the predictions. The insecurity rises the need for equipping the algorithms with explanations. To examine how users trust automated DSS, an experiment was conducted. Our research aim is to examine how participants supported by an DSS revise their initial prediction by four varying approaches (treatments) in a between-subject design study. The four treatments differ in the degree of explainability to understand the predictions of the system. First we used an interpretable regression model, second a Random Forest (considered to be a black box [BB]), third the BB with a local explanation and last the BB with a global explanation. We noticed that all participants improved their predictions after receiving an advice whether it was a complete BB or an BB with an explanation. The major finding was that interpretable models were not incorporated more in the decision process than BB models or BB models with explanations.

View
No Thumbnail Available
Publication

Explanation Framework for Intrusion Detection

2021 , Burkart, Nadia , Franz, Maximilian , Huber, Marco F.

Machine learning and deep learning are widely used in various applications to assist or even replace human reasoning. For instance, a machine learning based intrusion detection system (IDS) monitors a network for malicious activity or specific policy violations. We propose that IDSs should attach a sufficiently understandable report to each alert to allow the operator to review them more efficiently. This work aims at complementing an IDS by means of a framework to create explanations. The explanations support the human operator in understanding alerts and reveal potential false positives. The focus lies on counterfactual instances and explanations based on locally faithful decision-boundaries.

View