Rise of artificial intelligence in military weapons systems

In den letzten Jahren haben die Fähigkeiten von KI-Systemen deutlich zugenommen. Doch während Künstliche Intelligenz immer komplexere Aufgaben übernimmt und zunehmend autonom agiert, erfordert der Umgang mit der Technologie ein hohes Maß an Verantwortung. Neben ihrem Einsatz in Bereichen wie der Produktion, der Logistikplanung oder der Medizin, gehören auch der Einsatz im militärischen Kontext zu den Anwendungsmöglichkeiten Künstlicher Intelligenz. KI wird dabei weltweit u. a. als Ermöglicher einer neuen Generation "autonomer" Waffensysteme diskutiert. KI-basierte, autonome Waffensysteme werden die Art und Weise bewaffneter Auseinandersetzungen fundamental ändern. Diese Bedrohungslage erfordert eine differenzierte Auseinandersetzung mit dem Thema Einsatz von KI in Waffensystemen. In diesem Zusammenhang hat der Fraunhofer-Verbund für Verteidigungs- und Sicherheitsforschung VVS das Positionspapier "Rise of Intelligent Systems in Military Weapon Systems" entwickelt. Das Positionspapier legt die Sichtweise des Fraunhofer VVS zum aktuellen Stand der Technik dar, untersucht Nutzen und Risiken und präsentiert ein Rahmenkonzept für erklärbare und kontrollierbare KI. Ausgewählte Forschungsthemen werden identifiziert und diskutiert, um einen Weg zu vertrauenswürdiger KI und den verantwortungsvollen Umgang mit diesen Systemen in der Zukunft aufzuzeigen. Das Positionspapier des Fraunhofer VVS gibt keine Antworten oder Empfehlung zur militärischen Nutzung von Künstlicher Intelligenz. Ziel des Papiers ist es, die Diskussion zu diesem wichtigen Zukunftsthema anzustoßen und hierfür eine Grundlage zu schaffen.

The last few years have seen a dramatic increase in the capabilities of artificial intelligence (AI) systems, introducing new risks and potential benefits at the same time. In the military context, these are discussed as enablers of a new generation of "autonomous" weapons systems and the related concept of a future "hyper-war". Especially in Germany, these ideas are facing a controversial discussion within society and politics. Due to the worldwide increasing use of AI in some sensitive areas such as in defence an international prohibition or a legally binding instrument on the issue is not realistic. Before deciding on specific policies, a shared understanding of the risks and benefits of this technology has to be gained, including the reaffirmation of fundamental ethics and principles. The application of lethal forces must be directed and controlled by a human, for only humans can be held accountable. The Bundeswehr is aware of the need to deal with these developments in order to be able to fulfil its constitutional mission of defending the country in all future scenarios and against adversaries employing such systems to act in accordance with their development plans. Therefore, the need for concepts and legally binding regulations aimed at controlling the risks while accessing the benefits is urgent. This position paper explains the view of Fraunhofer VVS regarding the current state of the art, explores benefits and risks, and presents a framing concept for explainable and controllable AI. Selected research topics necessary to implement the presented concepts are identified and discussed, outlining a path to trustworthy AI and the responsible usage of these systems in the future. The implementation of the concepts and regulations following a reference architecture is the key enabler for acceptability of AI-based weapons systems, a prerequisite for acceptance.