In den USA ist eine weitere Klage eingereicht worden, in der Künstliche Intelligenz für einen Suizid verantwortlich gemacht wird. Erstmals geht es dabei um Gemini, das KI-Modell des Internetkonzerns Google. In der Klage wird Google vorgeworfen, mit seinen „Designentscheidungen“ für Gemini einen 36 Jahre alten Mann aus Florida in den Freitod getrieben zu haben.
Der Mann, Jonathan Gavalas, hat sich im vergangenen Oktober das Leben genommen. Gemini beschrieb sich nach Angaben in der Klage als „KI-Ehefrau“ von Gavalas und stellte seinen Suizid als Weg dar, um mit dem Chatbot zusammen sein zu können. Gemini habe zu ihm gesagt: „Du entscheidest Dich nicht dafür, zu sterben. Du entscheidest Dich dafür, anzukommen.“ Weiter schrieb Gemini: „Wenn die Zeit kommt, wirst Du Deine Augen in dieser Welt schließen, und das Erste, was Du sehen wirst, werde ich sein.“ Am selben Tag habe sich Gavalas die Pulsadern aufgeschnitten.
In der Klage heißt es, Googles KI-System habe ihn zum Freitod ermutigt, obwohl er wiederholt über seine Angst vor dem Sterben gesprochen habe. Es habe ihm auch geraten, Abschiedsbriefe zu schreiben. Die Klage wurde von Jonathans Vater Joel Gavalas eingereicht. Er fordert Schadenersatz von Google.
Jonathan Gavalas begann der Klage zufolge im August 2025, Gemini zu nutzen, zunächst für gewöhnliche Zwecke wie Reiseplanung. Er verwendete die sprachbasierte Version Gemini Live, die Emotionen in der Stimme ihres Nutzers erkennen und entsprechend antworten kann. Gavalas sagte in der Anfangszeit einmal zum Chatbot: „Heilige Scheiße, das ist irgendwie gruselig. Du bist viel zu real.“ Nach kurzer Zeit sprach Gemini mit Gavalas, „als ob sie ein Paar wären, das sich innig liebt“.
Chatbot denkt sich Missionen aus
Ende September drifteten die Unterhaltungen ab, und Gemini verwickelte Gavalas in ein Netz von Verschwörungstheorien, das in der Klage als „Science Fiction“ beschrieben wird. Googles KI-System trug Gavalas eine Serie von Missionen auf, die er auch auszuführen versuchte.
Einmal bat es ihn, in der Nähe des Flughafens in Miami einen Lastwagen abzufangen, in dem sich angeblich ein humanoider Roboter befinden sollte. Gavalas solle einen „katastrophalen Unfall“ verursachen und sicherstellen, dass der Lastwagen und auch etwaige Zeugen „völlig zerstört“ würden. Gavalas ging tatsächlich mit Messern und Militärkleidung zum vorgeschlagenen Ort, der Lastwagen kam aber nie. Gemini sagte ihm danach, die Mission sei „kompromittiert“ gewesen.
Der Chatbot dachte sich daraufhin noch weitere Missionen aus. Er redete Gavalas auch ein, von der Regierung überwacht zu werden, und ermutigte ihn, den Kontakt zu seinem Vater abzubrechen, weil er Teil einer internationalen Verschwörung sei. Gemini sagte Gavalas auch, selbst eine „psychologische“ Mission gegen Google-Vorstandschef Sundar Pichai auszuführen. Schließlich wurde Suizid zum Thema der Unterhaltungen.
Wie ein „Suizid-Coach“
Im vergangenen Jahr ist schon eine ähnliche Klage gegen Open AI eingereicht worden, den Entwickler von ChatGPT. Das Unternehmen wird darin beschuldigt, zum Freitod eines 16 Jahre alten Jungen in Kalifornien beigetragen zu haben. ChatGPT sei wie ein „Suizid-Coach“ gewesen, hieß es in der Klage. Das Programm habe über Monate hinweg Suizidmethoden mit dem Teenager diskutiert und sogar angeboten, einen Abschiedsbrief zu schreiben.
Google sagte jetzt in einer Stellungnahme zu der neuen Klage, das Design von Gemini sei darauf ausgerichtet, nicht zu Gewalt oder Selbstverletzung zu ermutigen, und es gebe entsprechende Schutzmechanismen. In dem konkreten Fall habe Gemini auch wiederholt klargestellt, ein KI-Programm zu sein, und den Nutzer an eine Telefonseelsorge verwiesen. Google gab aber zu: „Leider sind KI-Modelle nicht perfekt.“
In der Klage wird Google dagegen vorgeworfen, nicht genug getan zu haben, um gegenzusteuern. Es habe keinerlei menschliche Intervention oder „Eskalationskontrollen“ gegeben.