Under CopyrightZamanian, AlirezaAlirezaZamanianPachl, ElisabethElisabethPachlLancho, GinoGinoLancho2024-09-302024-10-072025-10-272024-09-302024https://doi.org/10.24406/h-475850https://publica.fraunhofer.de/handle/publica/47585010.24406/h-4758502-s2.0-85216233690Vertrauenswürdigkeit und Sicherheit sind beim Einsatz von Künstlicher Intelligenz (KI) unerlässlich, insbesondere in sicherheitskritischen Anwendungsfeldern wie der Medizin. Im Gegensatz zu traditionellen Methoden sind moderne KI-Systeme flexibel und explorativ gestaltet, sodass sie Muster und nicht offensichtliche Zusammenhänge in großen Datenmengen erkennen können. In der Praxis können KI-Systeme intransparent und ihr Verhalten kaum erklärbar sein, wie eine Black Box. Die Qualität einer KI wird daran gemessen, ob sie in der Lage ist, gestellte Aufgaben zu bewältigen, wie z.B. die Klassifikation verschiedener Brustkrebsarten anhand von CT-Bildern. Aber auch bei KI-Systemen höchster Güte stellt sich die Frage, in welchen Situationen man sich auf sie verlassen kann und sollte. Daraus folgt, dass KI-Systeme einer sorgfältigen Verifikation bedürfen, die unser Vertrauen in sie stärken kann. Dementsprechend ist das Thema von Vertrauenswürdigkeit und Sicherheit in KI-Systemen auch in Standards und Regulierungen, wie dem EU AI ACT (Vorschlag der EU zur Regulierung von KI), ISO42001 (AI-Managementsystem) und 23894 (AI Risk Management), adressiert. In diesem Beitrag werden verschiedene Anwendungsszenarien für KI analysiert, in der Wertschöpfungskette der KI identifiziert und die jeweiligen Verantwortlichkeiten zur Gewährleistung der Qualitätsattribute vertrauenswürdiger KI dargestellt. Dies stellt eine zusätzliche Sicherheitsebene zu bereits bestehenden Maßnahmen wie der DSGVO dar.dekünstliche IntelligenzKISicherheitAbsicherungRisikoVerlässlichkeitVerifikationVertrauenswürdigkeitVertrauenhealthjournal article