KI-Anwendungen systematisch prüfen und absichern

Als Schlüsseltechnologie der Zukunft birgt Künstliche Intelligenz (KI) enormes Innovationspotenzial für Wirtschaft und Gesellschaft. Eine umfassende Prüfung solcher KI-Systeme in Bezug auf Risiken wie mangelnde Zuverlässigkeit, Fairness oder Transparenz ist die Basis und Voraussetzung für ihren sicheren Einsatz und die gesellschaftliche Akzeptanz. Gleichzeitig formulieren Regulierungen wie der AI Act zusätzliche, rechtliche Anforderungen. Aufgrund der Komplexität und Datenabhängigkeit leistungsstarker KI-Systeme benötigt man für ihre technische Prüfung spezielle Software-Werkzeuge und Testverfahren, die weit über klassische Ansätze hinausgehen. Es ist zudem wichtig, dass Prüfungen von KI-Modellen standardisiert durchgeführt werden können. Die Tests müssen wiederholbar sein und dürfen nicht der Varianz von Modellen unterliegen, um eine Vergleichbarkeit sicherzustellen. Die Herausforderung ist dabei, dass die Anwendungsbereiche und damit die Anforderungen an marktfähige Prüfwerkzeuge unterschiedlich sind. Beispielsweise benötigt man für die Prüfung einer KI-Anwendung in der Medizin andere Prüfwerkzeuge als für den Qualitätscheck einer KI-Lösung im autonomen Fahrzeug.

Daher müssen verschiedene, KI-spezifische Prüfwerkzeuge entwickelt werden, die KI-Systeme auf Risiken systematisch testen und somit Entwickler*innen sowie Prüfer*innen bei der Validierung der Systeme unterstützen. Um KI-Tests einfach, nachvollziehbar und reproduzierbar durchzuführen, müssen die Prüfwerkzeuge in ein gemeinsames Software-Framework integriert werden. Dieses Whitepaper stellt ein Prüf-Framework vor, das diese Herausforderungen bewältigt und als Plattform zur Integration von KI-Prüfwerkzeugen dient. Außerdem werden ausgewählte KI-Prüfwerkzeuge, die für unterschiedliche Anwendungsbereiche genutzt werden können, sowie ihre Funktionalitäten im Detail erklärt.