Wenn KI entscheidet: Waffen-Experte warnt vor autonomen Kamikazedrohnen im Kontext welcher Bundeswehr

Der Haushaltsausschuss des Bundestags hat gerade Plänen des Bundesverteidigungsministers zum Kauf von „Loitering Munition“,also sogenannten Kamikazedrohnen, in Teilen zugestimmt: Boris Pistorius (SPD) kann bei den beiden deutschen Drohnen-Start-ups Helsing und Stark für zunächst jeweils knapp 270 Millionen Euro entsprechende Waffensysteme bestellen.

Das Gesamtvolumen der geplanten Rahmenverträge mit den beiden Konkurrenten wird zwei Milliarden Euro betragen. Der Technik- und Wissenschaftsforscher Jens Hälterlein beschäftigt sich an der Universität Paderborn im Rahmen des Projekts „Meaningful Human Control“ mit „Drohnenschwärmen“. Er warnt vor überzogenen Versprechen, einer Erosion politischer Kontrolle – und vor einer Dynamik, die schneller eskalieren könnte, als viele glauben.

der Freitag: Herr Hälterlein, der Haushaltsausschuss des Bundestags hat entschieden, Produkte von Helsing und Stark im Wert von rund 540 Millionen Euro zu beschaffen. Was genau kauft die Bundesregierung da?

Jens Hälterlein: Es handelt sich um sogenannte „Loitering Munition“, umgangssprachlich spricht man von Kamikazedrohnen. Technisch sind das unbemannte Flugkörper mit eigenem Sprengkopf. Sie kreisen über einem Zielgebiet und greifen an, sobald sie ein Ziel identifiziert haben, das zuvor festgelegten Kriterien entspricht. Anders als klassische bewaffnete Drohnen wie Predator oder Reaper, die Raketen abfeuern und anschließend zurückkehren, ist hier die Drohne selbst das Geschoss. Sie zerstört das Ziel – und sich selbst. Diese Einordnung ist auch administrativ relevant: Solche Systeme werden als Munition klassifiziert. Das beeinflusst Beschaffung, Ausbildung und Einsatzregeln. Munition lässt sich in der Regel schneller beschaffen und integrieren als ein vollständig neues Waffensystem.

Was sollen diese Systeme konkret leisten?

Offiziell geht es um eine größere Stückzahl, die vor allem der Ausstattung deutscher Verbände dienen soll – zunächst jener Brigade, die künftig dauerhaft in Litauen stationiert ist. Militärisch betrachtet können solche Systeme Artilleriestellungen, Panzer oder logistische Ziele angreifen. Allerdings werden Ziele häufig verfehlt oder es werden die falschen Ziele getroffen. Beide Hersteller werben zudem mit sogenannter Schwarmfähigkeit. Das würde bedeuten, mehrere Drohnen könnten sich vernetzen, koordinieren und letzten Endes vollständig autonom agieren. Ob so etwas derzeit technisch umsetzbar wäre, ist unklar. Aber militärisch wird es gewünscht und daher auch von den Herstellern als realisierbar dargestellt.

Die Vorstellung von einem Wall aus tausenden, automatischen Drohnen an der NATO-Ostflanke haben science-fictionhafte Züge und suggerieren, dass auf der eigenen Seite kein Blut mehr fließt

In der öffentlichen Debatte fallen Begriffe wie Drohnenwall, Drohnenabwehr und Kamikazedrohnen durcheinander. Wie ordnen Sie das ein?

Das sind unterschiedliche Ebenen. Loitering Munition, also Kamikazedrohnen, sind ein Kampfmittel, das gegen alles Mögliche eingesetzt werden kann. Drohnenabwehr bezeichnet Systeme, die gegnerische Drohnen erkennen und neutralisieren – etwa durch Störsender oder Laser, ggf. auch durch kleine Abfang-Drohnen. Der Begriff „Drohnenwall“ hingegen ist eher politisch-metaphorisch. Er beschreibt die Vorstellung, an der NATO-Ostflanke eine technologische Barriere aus autonomen oder halbautonomen Systemen zu errichten. Die Bilder, die dabei entstehen, haben fast science-fictionhafte Züge: ein Wall aus tausenden Drohnen, der Angriffe weitgehend automatisch abwehrt, ohne dass umfangreich „Boots on the ground“ erforderlich wären. Dahinter steht die Idee einer Hightech-Kriegsführung, bei der zumindest auf der eigenen Seite kein Blut mehr fließt.

Die Bundesregierung argumentiert mit Abschreckung. Russland verfüge ebenfalls über solche Systeme oder entwickle sie. Ist das nachvollziehbar?

Aus militärischer Logik heraus ist das Argument nachvollziehbar: Wer technologisch zurückfällt, verliert Abschreckungsfähigkeit. Wenn Russland über solche Systeme verfügt oder sie einsetzt, dürfe man nicht ohne entsprechende Gegenmittel dastehen. Deshalb sollen Bundeswehrbrigaden und andere NATO-Einheiten entsprechend ausgerüstet werden. Der Gedanke dahinter ist: Wenn wir diese Systeme besitzen, entsteht ein Abschreckungspotenzial, das Russland von einem Angriff abhält – den es womöglich wagen würde, wenn wir diese Fähigkeiten nicht hätten. Ob das tatsächlich so ist oder wäre, lässt sich nicht sagen. Ebenso denkbar sind Szenarien, in denen die „Abschreckung“ viel eher eine Aufrüstungsspirale in Gang setzt oder solche, in denen der Einsatz autonomer Systeme zur Eskalation von Konflikten beiträgt.

Der Mensch gerät durch KI-Systeme unter enormen Zeit- und Handlungsdruck, Fehlinterpretationen können ohne Absicht eine Eskalationsspirale auslösen

Wie könnte so eine Eskalation aussehen?

KI-Systeme können in Sekunden Muster erkennen, Bedrohungen klassifizieren und Empfehlungen ausgeben. Der Mensch gerät dadurch unter enormen Zeit- und Handlungsdruck. Stellen Sie sich vor, ein System meldet einen eingehenden Angriff. Die Software bewertet die Situation als hochkritisch und empfiehlt einen Gegenschlag. Der menschliche Operator hat vielleicht 60 Sekunden, um zu entscheiden. In solchen Situationen greift häufig der sogenannte „Automation Bias“ – die Tendenz, maschinellen Empfehlungen zu vertrauen, selbst wenn es Grund zum Zweifel gibt. Auch wenn sich später herausstellt, dass es sich um eine Fehlidentifikation handelte, kann ein Gegenschlag bereits erfolgt sein. Der Gegner wiederum interpretiert diesen als Aggression. So entsteht eine Eskalationsspirale – ausgelöst nicht unbedingt durch Absicht, sondern durch Fehlinterpretationen in beschleunigten Handlungskontexten.

Die Bundeswehr betont immer wieder, es gelte weiterhin das Prinzip „Human in the Loop“. Was heißt das konkret?

Man unterscheidet zwischen „Human in the Loop“, „on the Loop“ und „off the Loop“. „In the Loop“ bedeutet, ein Mensch muss eine entscheidende Aktion freigeben, etwa den Angriff bestätigen. „On the Loop“ heißt, das System agiert weitgehend autonom, der Mensch überwacht und kann eingreifen. „Off the Loop“ bedeutet, dass nach der Aktivierung keine menschliche Kontrolle mehr vorgesehen ist. Prinzipiell gilt: Je autonomer die Waffensysteme entscheiden, desto schneller kann man militärisch agieren. Von Bundesregierung, Bundeswehr und den deutschen Herstellern wird zwar auf die Einhaltung des Prinzips menschlicher Kontrolle bzw. Letztentscheidung verwiesen. Die Frage ist jedoch, wie substanziell diese Kontrolle sein kann. Wenn ein KI-System Zielauswahl und Bewertung vornimmt und der Mensch nur noch eine finale Bestätigung erteilt, kann nicht mehr von einer reflektierten und verantwortungsvollen Entscheidung gesprochen werden.

Eine Maschine verarbeitet Daten und berechnet Wahrscheinlichkeiten, aber sie kann keine Verantwortung für Entscheidungen über Leben und Tot tragen

Die Hersteller werben zugleich mit der Schwarmfähigkeit ihrer Drohnen. Florian Seibel, CEO von Stark Defence, kündigte bereits 2023 an, Drohnen so zu bauen, dass sie vollautonom einsetzbar sind. Ist das vereinbar mit menschlicher Kontrolle?

Hier liegt ein zentraler Widerspruch. Schwarmfähigkeit würde Selbstorganisation mehrerer Einheiten bedeuten. Menschliche Kontrolle wäre dann aus Prinzip ausgeschlossen. Auch die Idee, jeder einzelne Angriff würde noch einmal final überprüft, passt nicht mehr zu hochdynamischen Schwarmoperationen. Auch aus völkerrechtlicher Perspektive ist das heikel. Prinzipien wie die Verhältnismäßigkeitsprüfung setzen moralische Abwägungen voraus. Eine Maschine verarbeitet Daten und berechnet Wahrscheinlichkeiten, aber sie kann keine Verantwortung für Entscheidungen über Leben und Tod tragen.

Gibt es auf UN-Ebene Fortschritte in der Debatte über autonome Waffensysteme?

Seit über zehn Jahren wird auf UN-Ebene im Rahmen der Convention on Certain Conventional Weapons darüber diskutiert, ob und wie sog. „Lethal Autonomous Weapon Systems“ reguliert oder sogar verboten werden sollten. Vergleichbar wäre das mit internationalen Abkommen zu Antipersonenminen, Chemie- oder Biowaffen, die weltweit geächtet sind. Von verbindlichen Abkommen, die Staaten tatsächlich unterzeichnen und einhalten müssten, ist man weiterhin weit entfernt. Der Hauptgrund liegt darin, dass gerade jene Staaten, die solche Systeme entwickeln, produzieren oder bereits einsetzen, weitreichende Regulierungen blockieren. Große Militärmächte wie die USA, Russland oder China – ebenso Israel – sträuben sich gegen verbindliche Regeln.

Die Behauptung einer akuten Bedrohung durch einen russischen Angriff geht mit den Interessen der Start-ups und deren Risikokapital-Logik Hand in Hand

Unternehmen wie Helsing und Stark Defence sind innerhalb kurzer Zeit zu milliardenschweren Start-ups geworden. Wie erklären Sie dieses rasante Wachstum?

Das folgt der Logik von Venture Capital. Investoren gehen hohe Risiken ein, in der Hoffnung, dass einzelne Unternehmen in kurzer Zeit extrem erfolgreich werden. Dafür müssen Start-ups schnell skalieren, hohe Bewertungen erreichen und enorme Marktpotenziale in Aussicht stellen. Aus dieser Risikokapital-Logik heraus sind sie gezwungen, sehr schnell zu wachsen – und entsprechend viel zu versprechen. Sie operieren mit anderen Innovationszyklen als etablierte Rüstungskonzerne wie Rheinmetall, die über gewachsene Beziehungen zur Bundeswehr verfügen und in längerfristige Beschaffungsprozesse eingebunden sind. Start-ups hingegen müssen ihre Produkte rasch auf den Markt bringen und möglichst schnell Gewinne in Aussicht stellen. Die Behauptung einer akuten Bedrohung durch einen russischen Angriff geht mit diesen Interessen Hand in Hand. Start-ups können kaum sagen, ein Angriff sei auf absehbare Zeit eher unwahrscheinlich. So kommt zur klassischen Aufrüstungslogik noch die zeitliche Dringlichkeit hinzu, die Venture Capital mit sich bringt.

Das Bedrohungsszenario wird also zur Werbestrategie?

In gewisser Weise ja. Bedrohung und die militärische Verteidigung demokratischer Werte sind Teil der Marketingnarrative. Wir haben hier Unternehmen, die ihre Produkte verkaufen wollen. Und wer sich ein bisschen mit Werbestrategien auskennt, der weiß, dass da sehr viel erzählt und versprochen wird.

Selbst die Haushaltspolitiker der Koalition aus Union und SPD scheinen Bedenken zu haben. Immerhin haben sie die Rahmenverträge mit den Anbietern per Maßgabenbeschluss auf zwei Milliarden Euro statt der ursprünglich von Boris Pistorius geplanten vier Milliarden Euro gedeckelt. Können die Start-ups ihre Versprechen wirklich nicht erfüllen?

Wenn überhaupt, dann nur eingeschränkt. Im Fall von Helsing etwa – nicht bei der jetzt beschafften Loitering Munition, sondern bei einem anderen in der Ukraine eingesetzten Produkt – gab es Berichte, wonach ukrainische Einheiten sehr unzufrieden waren: Die Systeme seien fehleranfällig, schwer bedienbar und hätten die versprochene Zielgenauigkeit nicht erreicht. Das entspricht nicht den vollmundigen Ankündigungen – überrascht aber auch nicht, wenn man die Kapitallogik dahinter betrachtet.

Ich vermute bei der Bundesregierung eine Mischung aus Pragmatismus, Naivität und Gleichgültigkeit gegenüber Positionen von Investoren wie Peter Thiel

Zu den Investoren zählen unter anderem Peter Thiel, In-Q-Tel oder der NATO Innovation Fund. Aus der Linksfraktion und von den Grünen gab es deshalb gerade starke Kritik. Linken-Chefin Ines Schwerdtner etwa sagte: Ein Rüstungsprojekt, das einen rechten US-Milliardär mit Nähe zur MAGA-Bewegung noch reicher und einflussreicher mache, erhöhe nicht die Sicherheit, sondern verschärfe die Unsicherheit in Europa. Wie bewerten Sie das?

Aus unternehmerischer Sicht zählt zunächst, dass Kapital fließt – solange es legal ist. Diese Logik ist nicht ungewöhnlich. Politisch wird es jedoch komplizierter. Die Unternehmen präsentieren sich als Verteidiger europäischer oder westlicher Werte. Wenn Investoren beteiligt sind wie Peter Thiel, die seit Jahren offen Trump unterstützen, rechte Ideologien verbreiten und alles andere als „lupenreine Demokraten“ sind, entsteht ein Spannungsverhältnis. Offiziell heißt es, einzelne Investoren – etwa Peter Thiel – seien keine Mehrheitseigner und hätten kein Vetorecht bei strategischen Entscheidungen. Ob ihr Einfluss tatsächlich rein finanzieller Natur bleibt, lässt sich von außen schwer beurteilen. Ebenso offen ist, ob staatliche Stellen klare Bedingungen formulieren, um Einflusskonzentration zu verhindern. Ich sehe darin von Seiten der Bundesregierung eine Mischung aus Pragmatismus, möglicher Naivität – und vermutlich auch politischer Gleichgültigkeit gegenüber bestimmten ideologischen Positionen einzelner Investoren.

Wie realistisch ist der Einsatz vollautonomer Systeme in absehbarer Zeit?

Technisch ist vieles möglich oder in Entwicklung. In Krisensituationen kann dann der Druck steigen, verfügbare Autonomieoptionen auch tatsächlich zu nutzen – insbesondere wenn sie militärische Vorteile versprechen. Ich wäre daher vorsichtig mit der Annahme, dass das „Human-in-the-Loop“-Prinzip unter Gefechtsbedingungen dauerhaft unangetastet bleibt – auch bei der Bundeswehr.