Unterstützung ärztlicher und pflegerischer Tätigkeit durch KI: Handlungsempfehlungen für eine verantwortbare Gestaltung und Nutzung

Klinische Entscheidungsunterstützungssysteme (Clinical Decision Support Systems [CDSS]), die auf künstlicher Intelligenz (KI) basieren, kommen als komplexe soziotechnische Innovationen zunehmend in Medizin und Pflege zum Einsatz, um die Qualität und Effizienz der Versorgung insgesamt zu verbessern und gleichzeitig begrenzten finanziellen und personellen Ressourcen zu begegnen. Neben intendierten klinischen und organisatorischen Effekten ist jedoch auch mit weitreichenden ethischen, sozialen und rechtlichen Auswirkungen KI-basierter CDSS auf Krankenversorgung und Pflege zu rechnen. Bislang sind diese normativ-sozialen Implikationen nur unzureichend erforscht. Aus dem vom BMBF geförderten Projekt DESIREE (DEcision Support In Routine and Emergency HEalth Care: Ethical and Social Implications) konnten Handlungsempfehlungen für eine verantwortbare Gestaltung und Nutzung klinischer Entscheidungsunterstützungssysteme abgeleitet werden. Der vorliegende Beitrag fokussiert primär auf ethische und soziale Aspekte KI-basierter CDSS, die negative Auswirkungen auf die Gesundheit von Patient:innen haben könnten. Die Handlungsempfehlungen gliedern sich in die akteursgruppenübergreifend relevanten Handlungsfelder Entwicklung, Anwendung, Aufklärung und Einwilligung, Aus‑, Fort- und Weiterbildung sowie (Begleit‑)Forschung und sind als vertiefende Ergänzungen zu existierenden Empfehlungen zu verstehen.

Clinical decision support systems (CDSS) based on artificial intelligence (AI) are complex socio-technical innovations and are increasingly being used in medicine and nursing to improve the overall quality and efficiency of care, while also addressing limited financial and human resources. However, in addition to such intended clinical and organisational effects, far-reaching ethical, social and legal implications of AI-based CDSS on patient care and nursing are to be expected. To date, these normative-social implications have not been sufficiently investigated. The BMBF-funded project DESIREE (DEcision Support In Routine and Emergency HEalth Care: Ethical and Social Implications) has developed recommendations for the responsible design and use of clinical decision support systems. This article focuses primarily on ethical and social aspects of AI-based CDSS that could have a negative impact on patient health. Our recommendations are intended as additions to existing recommendations and are divided into the following action fields with relevance across all stakeholder groups: development, clinical use, information and consent, education and training, and (accompanying) research.