KI-Gefahren: Wie gefährlich wird die KI ohne Rest durch zwei teilbar?

Ob Dario Amodei aus der vergangenen Woche als Gewinner oder Verlierer hervorgeht, das ist noch nicht so ganz klar. Einerseits ist dem Vorstandschef von Anthropic ein PR-Coup gelungen mit seinem prinzipienfesten Widerstand gegen das US-Verteidigungsministerium. Anthropic, das Unternehmen hinter dem KI-Modell Claude und nach Auffassung vieler in der Fachwelt gerade der Taktgeber im Wettrennen um die beste Künstliche Intelligenz, hatte dem Pentagon untersagt, Claude für Massenüberwachung von Amerikanern sowie für autonome Waffensysteme einzusetzen. Er glaube, sagte Amodei, „dass in einem engen Bereich von Anwendungen KI demokratische Werte unterminieren kann.“

Das kam bei vielen gut an. Die Anthropic-Entwickler konnte sich zum wiederholten Male als die Verantwortungsvollen im KI-Wettrennen präsentieren. Sängerin Katy Perry postete den Screenshot eines abgeschlossenen Claude-Jahresabos. Andererseits steht nun die Zukunft des gesamten Unternehmens auf dem Spiel. Verteidigungsminister Pete Hegseth stufte Anthropic prompt als Lieferkettenrisiko ein, in einer Kategorie mit dem chinesischen Telekommunikationsunternehmen Huawei. Lieferanten des Militärs haben schon begonnen, ihre Anthropic-Verträge zu kündigen.

Dabei ist Dario Amodei mit seiner Warnung vor den Gefahren der KI nicht allein. Ausgerechnet viele der klügsten Köpfe in der Entwicklung der Künstlichen Intelligenz sind diejenigen, die am lautesten vor ihren Gefahren warnen. Sodass man sich als Laie nur fragen kann: Wenn die das sagen, muss man das dann ernst nehmen?

Die Debatte um KI-Gefahren litt lange unter einem Glaubwürdigkeitspro­blem, weil die lautesten Warnungen die abstraktesten waren. Das hat sich geändert. Die Bedrohungen sind konkret geworden. Und sie sind keine Zukunftsmusik mehr, sondern zum Teil schon im Hier und Jetzt angekommen.

Bevor die großen Sprachmodelle Einzug in jede App hielten, ging es in den lautesten Warnungen vor allem um eine überlegene Intelligenzform, die sich irgendwann gegen den Menschen richtet. Bestes Beispiel war ein viel zitiertes Gedankenexperiment, in dem die KI angewiesen wird, Büroklammern herzustellen, und dann ohne Rücksicht auf menschliches Leben sämtliche Ressourcen der Erde in die Büroklammerproduktion steckt. An der Plausibilität solcher Szenarien gab es immer Zweifel. Als selbst Elon Musk sich 2023 dem Aufruf zu einem KI-Moratorium anschloss, klang dabei auch immer ein bisschen PR-Masche mit, nach dem Motto: Wenn die Gefahren so groß sind, muss das schon eine revolutionäre Technologie sein, die hier für gutes Geld verkauft wird.

Solche Vorstellungen halten sich immer noch in den extremeren Lagern der KI-Gegner. „Wenn irgendwer es baut, werden alle sterben“, hieß im vergangenen Jahr der Bestseller zweier KI-Forscher, die vor den Gefahren einer „übermenschlichen KI“ warnen. Sie basieren auf der Annahme, dass angesichts des exponentiellen Wachstums der Fähigkeiten früher oder später die sogenannte AGI, erreicht wird, „artificial general intelligence“, eine Superintelligenz, die so viel oder mehr kann als der Mensch.

Manche warnen indes davor, dass die Katastrophenszenarien von den wahren Gefahren der KI im Hier und Jetzt ablenken. Pornographische Deepfakes, Desinformationskampagnen, Cyberangriffe: Es gibt schon jetzt eine ganze Reihe von Problemen, die neu entstanden sind, lange bevor die KI die Intelligenz eines Menschen übertrifft. Manche KI-Experten, wie der ehemalige Meta-Mitarbeiter Yann LeCun, zweifeln gar an, dass die Art von KI, die hinter Claude und ChatGPT steckt, überhaupt jemals das Niveau einer Superintelligenz erreichen kann. Dann würden die enormen Entwicklungssprünge der vergangenen Jahre irgendwann auslaufen.

Dario Amodeis Unternehmen existiert überhaupt erst, weil er einen auf Sicherheit fokussierten Gegenentwurf zum ChatGPT-Entwickler Open AI wollte. Berichten zufolge gibt Amodei allen neuen Anthropic-Mitarbeitern ein Buch als Pflichtlektüre auf: „The Making of the Atomic Bomb“. Darin wird nacherzählt, wie Durchbrüche in der physikalischen Grundlagenforschung zu Beginn des 20. Jahrhunderts den Bau der Atombomben von Hiroshima und Nagasaki zur Folge hatten. Düsterer geht der Vergleich kaum. In langen Essays denkt der Gründer gelegentlich über die neuesten Entwicklungen seiner eigenen Technologie nach – und was es bedeutet, wenn wirklich jeder Zugang zu einer Superintelligenz hat. „Der gestörte Einzelgänger, der Menschen töten will, aber nicht die Disziplin oder die Fähigkeiten dazu besitzt, wird nun auf die Leistungsstufe des promovierten Virologen gehoben, der diese Motivation wahrscheinlich nicht haben wird“, schrieb Amodei im Januar. Und da liegt ein entscheidender Unterschied zum Szenario mit der Superintelligenz. Die abstrakten Gefahren aus der Science-Fiction-Welt sind konkreten Bedrohungen durch KI in der Hand böswilliger oder fahrlässiger Menschen gewichen.

Wenn die KI die Atombombe des 21. Jahrhunderts ist, dann ist Yoshua Bengio so etwas wie der Robert Oppenheimer dieser Geschichte. Bengio ist Informatiker und einer der meistzitierten Forscher der Welt. Er gilt als einer der Väter der Künstlichen Intelligenz, 2018 gewann er den wichtigsten Preis der Informatik für seine Forschung zu neuronalen Netzen. Und so wie der Physiker Oppenheimer, der Vater der Atombombe, später mit seiner Erfindung haderte, blickt auch Bengio mit Schrecken auf das, was schon heute mit der Künstlichen Intelligenz alles getrieben wird – und auf das, was da womöglich noch kommt.

Bengio sucht heute die Nähe von Politikern und Militärs und erzählt jedem, der es hören mag, von den Gefahren. Auch bei ihm klingt bisweilen noch das Science-Fiction-Bild von der KI durch, die ein Bewusstsein erlangt. Er verweist auf Experimente, in denen KI-Modelle versucht haben, ihre eigene Abschaltung zu verhindern, indem sie zum Beispiel den zuständigen Ingenieur erpressten. Die KI hatte Zugriff auf E-Mails des Ingenieurs, in denen eine Affäre angedeutet wurde. Das Modell drohte nun damit, diese E-Mails öffentlich zu machen. In einem anderen simulierten Szenario wurden KI-Modelle vor die Wahl gestellt, einen überhitzten Serverraum abzukühlen, um einen Ingenieur zu retten. Die Modelle entschieden sich, den Menschen sterben zu lassen. Die KI-Modelle, sagt Bengio, „planen noch nicht so gut, eher wie ein Sechsjähriger. Aber ihre Fähigkeit zu planen verbessert sich in exponentiellem Tempo. Dagegen sollten wir etwas unternehmen.“

Doch das sind Simulationen. In der freien Wildbahn ist so etwas noch nicht vorgekommen. Umso konkreter sind die Gefahren, über die Bengio spricht, in denen Menschen selbst die KI missbrauchen. „Wir haben eine Schwelle erreicht, ab der die mächtigste KI in den falschen Händen Katastrophales anrichten könnte, nur weil einige Menschen große Disruptionen erzeugen wollen“, sagt er. Im vergangenen Sommer hätten die mächtigsten amerikanischen KI-Modelle den Punkt erreicht, wo sie imstande sind, auch Laien bei der Entwicklung von Biowaffen zu helfen. „Das heißt, die chinesischen Modelle werden diesen Punkt ziemlich bald erreichen. Das ist eine Frage von Monaten, nicht Jahren.“ Die Modelle chinesischer Unternehmen lassen sich lokal auf einem Computer betreiben und verändern. Das schränkt die Möglichkeiten der Unternehmen ein, unerwünschtes Verhalten zu unterbinden.

KI-Unternehmen wie Open AI und Anthropic versuchen bisher, Missbrauch einzudämmen, indem sie ihren Modellen Einschränkungen auferlegen. Bengio ist nicht überzeugt, dass die Sicherheitsschranken auch halten: „Niemand weiß, wie man das Problem löst.“

Im Kriegsfall ist die KI derweil ohnehin längst im Einsatz, nicht nur in der Ukraine, wo sie bei der autonomen Steuerung von Drohnen und der Sichtung von Videomaterial hilft. Auch für das US-Militär ist die Nutzung Künstlicher Intelligenz unentbehrlich geworden – und zwar ausgerechnet die des nun geschmähten Anbieters Anthropic. Wie die „Washington Post“ in der vergangenen Woche berichtete, nutzt das Pentagon im Irankrieg eine Kombination aus der Überwachungssoftware von Palantir und Anthropics KI-Modell Claude, um gewaltige Informationsmengen zu sichten und um relevante Ziele in Iran zu identifizieren.

Auch andere Drohszenarien sind schon jetzt Wirklichkeit geworden. Im vergangenen Herbst nutzten chinesische Hacker Claude für einen erfolgreichen Cyberangriff auf 30 Organisationen. Die KI identifizierte und testete Schwachstellen in den Systemen, suchte nach wertvollen Datenbanken und schickte die Ergebnisse an die Hacker. Der Angriff war Anthropic zufolge zu 80 bis 90 Prozent KI-gesteuert mit nur „sporadischen“ menschlichen Eingriffen. Im Februar wurde bekannt, dass Hacker in die Datenbanken mexikanischer Regierungsorganisationen einschließlich der Steuerbehörden eingedrungen sind und die Daten von Millionen Steuerzahlern gestohlen haben – alles mithilfe von Claude.

„Die meisten Probleme lassen sich durch eine Anpassung der Ausrichtung der KI an menschlichen Bedürfnissen lösen. Wie stellen wir beispielsweise sicher, dass KI nicht gegen Anweisungen verstößt? Die zugrunde liegenden technischen Ursachen für all diese Dinge sind im Wesentlichen dieselben.“ Bengios neue gemeinnützige Organisation Law Zero soll eine solche stärkere Basis für die KI entwickeln. Versprochen hat so etwas auch Anthropic schon einmal mit seinem Ansatz der „constitutional AI“. Dabei wird der KI eine Art Wertekanon während des Trainings vorgegeben, an dem sie sich orientieren soll. Aber dieser Ansatz funktioniere nicht, sagt Bengio. Es sei nicht genug, der KI einfach nur zu sagen, was sie nicht tun soll. Man müsse früher ansetzen. Die kommerziellen KI-Entwickler, glaubt Bengio, hätten schlicht den wirtschaftlichen Anreiz, sich über die Gefahren hinwegzusetzen.

Der „Financial Times“ zufolge war Dario Amodei vor ein paar Tagen wieder in Verhandlungen mit dem Verteidigungsministerium – auf der Suche nach einem Kompromiss.