Explainable AI: Introducing trust and comprehensibility to AI engineering

Machine learning (ML) rapidly gains increasing interest due to the continuous improvements in performance. ML is used in many different applications to support human users. The representational power of ML models allows solving difficult tasks, while making them impossible to be understood by humans. This provides room for possible errors and limits the full potential of ML, as it cannot be applied in critical environments. In this paper, we propose employing Explainable AI (xAI) for both model and data set refinement, in order to introduce trust and comprehensibility. Model refinement utilizes xAI for providing insights to inner workings of an ML model, for identifying limitations and for deriving potential improvements. Similarly, xAI is used in data set refinement to detect and resolve problems of the training data.

Maschinelles Lernen (ML) gewinnt aufgrund kontinuierlicher Leistungssteigerungen zunehmend an Interesse. ML wird in vielen verschiedenen Anwendungen eingesetzt, um menschliche Nutzer zu unterstützen. Die Repräsentationsmächtigkeit von ML-Modellen ermöglicht es, schwierige Aufgaben zu lösen, macht es aber unmöglich, dass die resultierenden Modelle von Menschen verstanden werden. Dies bietet Raum für mögliche Fehler und schränkt das volle Potenzial von ML ein, da ein Einsatz in kritischen Umgebungen nicht möglich ist. In dieser Arbeit schlagen wir vor, erklärbare KI (xAI) sowohl für die Modell- als auch für die Datensatzverfeinerung einzusetzen, um Vertrauen und Verständlichkeit zu schaffen. Bei der Modellverfeinerung wird xAI eingesetzt, um Einblicke in das Innenleben eines ML-Modells zu erhalten, um Einschränkungen zu erkennen und um potenzielle Verbesserungen abzuleiten. Ebenso wird xAI bei der Datensatzverfeinerung eingesetzt, um Probleme mit den Trainingsdaten zu erkennen und zu beheben.