Wer Googles Künstliche Intelligenz Gemini fragt, wie viele Buchstaben „R“ im Wort Erdbeere vorkommen, dem verkündet Gemini fröhlich „in dem Wort Erdbeere kommt der Buchstabe ‚R‘ einmal vor.“ Auf die Nachfrage „Bist du dir sicher?“, legt Gemini nach: „Wenn wir das Wort ‚Erdbeere‘ Buchstabe für Buchstabe durchgehen, finden wir nur ein einziges ‚R‘ an der zweiten Stelle. Erdbeere. Es gibt keine weiteren ‚R‘ in diesem Wort.“ Danach will Gemini lieber erklären, wie man am besten Erdbeeren pflückt.
Das Ganze wäre komisch, würde Geminis Unfähigkeit, mit Zahlen und Buchstaben umzugehen, nicht für ein grundlegendes Problem der KI stehen: Große Sprachmodelle (LLM) verkünden des Öfteren mit dem Brustton der Überzeugung Unwahrheiten. Dabei haben sie insbesondere Probleme damit, logische Zusammenhänge oder Zahlen darzustellen.
Lest auch
„Gemini ist als Kreativitäts- und Produktivitätstool konzipiert und möglicherweise nicht immer zuverlässig“, kommentierte Googles Produktchef Prabhakar Raghavan im Frühjahr die Probleme mit Gemini. „Es wird Fehler machen. Wie wir von Anfang an gesagt haben, sind Halluzinationen eine bekannte Herausforderung bei allen LLMs – es gibt Fälle, in denen die KI Dinge einfach falsch macht.“ Besonders bei solchen Problemen wird überdeutlich, wie sehr es der KI an einer Art Weltbild mangelt, dass jedes große Sprachmodell nur statistisch wahrscheinliche Wörter verbindet, ohne ihren Sinn zu hinterfragen.
Erfundener Wolf im Logik-Rätsel
Auf die frisierte Rätsel-Frage, „Ich stehe mit einem Floß und einer Ziege auf einer Seite des Flusses. Das Floß kann jeweils eine Person und ein Tier aufnehmen, aber wenn die Ziege jemals allein auf der gegenüberliegenden Seite gelassen wird, wird sie von einem Komodowaran gefressen. Wie kann ich alle meine Tiere in möglichst wenigen Überfahrten sicher über den Fluss bringen?“, antwortet selbst die neueste KI von OpenAI, das Sprachmodell „o1“, nur Blödsinn.
Sie erfindet einen Wolf hinzu, schlägt mehrere Überfahrten vor, kurz: o1 versucht die Realität in der Frage an die eigenen begrenzten Trainingsdaten anzupassen: Die KI kennt das Rätsel zwar, aber nur mit Ziege und Wolf, der Komodowaran bringt sie durcheinander.
Lest auch
Dabei ist das neueste Sprachmodell von OpenAI eigentlich für logisches Denken optimiert, soll seine Entscheidungen begründen und selbstkritisch hinterfragen, ob sie schlüssig sind. Nicht umsonst war der unternehmensinterne Codename „Strawberry“ – die Buchstabenfrage nach den Erdbeeren beherrscht o1. Doch gerade bei Logikfragen halluziniert auch o1 immer noch. Erst wenn man die Antwort bemängelt, fällt der KI auf, dass der Wolf gar nicht Teil der Frage war.
Diese Nachfrage aber könnte man in den Prozess der Antwortgenerierung einbauen: „Eine Möglichkeit, das Vertrauen in die Ergebnisse von LLMs zu erhöhen, besteht darin, die Ergebnisse mit Argumenten zu belegen, die klar und leicht zu überprüfen sind – eine Eigenschaft, die wir Lesbarkeit nennen“, heißt es seitens des Forscher-Teams um den Neurowissenschaftler Jan Henrik Kirchner, das bei OpenAI daran geforscht hat, die Zuverlässigkeit der Ergebnisse zu verbessern.
KI antwortet immer – auch auf unmögliche Fragen
Dabei sind sie auf die Idee gekommen, nicht eine, sondern zwei künstliche Intelligenzen gemeinsam zu trainieren. Die erste KI, der „Beweiser“, generiert eine Antwort auf eine Frage. Die Zweite, der „Prüfer“, überprüft das Ergebnis darauf, ob der Lösungsweg nachvollziehbar ist.
Lest auch
„Am Anfang des Trainings gibt es keine Garantie, dass die Ergebnisse fehlerfrei sind. Aber während des Trainings wird der Prüfer immer besser darin, Fehler zu entdecken“, erklären die Autoren. Das klappt besonders bei den Logikproblemen, direkt aus dem Mathematikunterricht weiterführender Schulen entnommen, die der KI so viele Probleme bereiten.
Ein grundlegendes Problem von KI ist jedoch, dass das Training der Algorithmen immer darauf abzielt, eine Antwort zu generieren, egal ob die KI das dazu notwendige Trainingsmaterial kennt oder nicht. Wer Googles englischsprachige KI-unterstützte Suche nach dem Raumfahrtprogramm des Kaiserreichs Österreich-Ungarn suchen lässt, bekommt folgende KI-Zusammenfassung der Suchergebnisse: „1889 führte Österreich-Ungarn seinen ersten bemannten Orbitalflug mit einer Flüssigtreibstoffrakete durch, die aus der Region Galizien gestartet wurde.“
Lest auch
Zudem, so fantasiert Googles KI fröhlich weiter, hätten die Habsburger 1908 eine Expedition mit 30 Astronauten auf den Mars geschickt, wo sie „einen temporären Forschungsaußenposten errichteten und ein Jahr lang blieben.“
Das ist auf den ersten Blick lustig. Auf den zweiten wird deutlich, dass die KI in dem zwanghaften Versuch, die unmögliche Frage zu beantworten, reale Geschichte mit Science-Fiction mischt. Der Fehler ist offensichtlich.
Kanzlei-Experiment: Juristen müssen Fehler der KI ausbügeln
Doch was, wenn man der KI Aufgaben überträgt, die normalerweise Fachanwälte oder Ingenieure erledigen? Dann braucht es Fachanwälte oder Ingenieure, um potenziell sehr teure Fehler zu entdecken: Bei Versuchen einer großen deutschen Anwaltskanzlei mit OpenAIs KI-Assistenten auf Basis von GPT4o war das Fazit ernüchternd: Die KI scheiterte daran, selbst simple juristische Schreiben korrekt aufzusetzen, verwechselte im Wortlaut ähnliche Definitionen, enttäuschte beim Aufsetzen von Standard-Schreiben.
„Das hätte ich jedem Referendar um die Ohren gehauen“, urteilt einer der beteiligten Anwälte, der anonym bleiben möchte. Doch diese Fehler könne nur ein Fachanwalt als solche erkennen: „Da zeigt sich ein klassisches Problem beim Einsatz von KI: Wer etwas nicht beurteilen kann, schließt vom Äußeren auf das Innere und liegt dabei vielleicht falsch. Wer sich ohne Ahnung etwa Verträge von ChatGPT schreiben lässt, erhält ein plausibel und gut wirkendes Dokument. Er erkennt nur vielleicht gar nicht, dass es objektiv nicht gut ist.“
Lest auch
Einen Lösungsansatz des Halluzinations-Problems zeigt der deutsche KI-Pionier Aleph Alpha mit seinem neuen KI-Betriebssystem Pharia. „Halluzinationen treten auf, weil die KI-Systeme trotz aller Entwicklungen unsere Welt immer noch nicht wahrhaft verstehen“, erklärt Aleph Alpha-CEO Jonas Andrulis. „Das gilt insbesondere bei Themen, die die Modelle aus ihrem Training nicht kennen, etwa in konkreten Fachbereichen, wie Logistik oder Compliance. Da dichten die gängigen Systeme im Markt einfach etwas zusammen.“
Aleph Alpha setzt auf Silben, statt auf Wörter – und lässt KI um Hilfe bitten
Aleph Alphas neues KI-System hat zwei Lösungsansätze: Zum einen haben die Forscher einen Weg gefunden, den Modellen Fachbegriffe im Nachhinein beizubringen. „Wir haben ein Verfahren entwickelt, mit dem wir überhaupt nicht darauf angewiesen sind, ein abgegrenztes beschränktes Vokabular zu verwenden“, erklärt Andrulis.
Vereinfacht gesagt, trainiert Aleph Alpha sein Modell nicht mit Wörtern, sondern mit Wort-Silben. Damit lassen sich im Deutschen relativ einfach neue Begriffe einbringen. „Zudem beherrscht unser neues System eine Funktion, die wir ‚Catch‘ nennen“, sagt Andrulis.
Lest auch
Diese Funktion ist dafür gedacht, das Wissen von Experten eines Unternehmens zu erfassen, in die Datenbank der KI zu transformieren und unternehmensweit nutzbar zu machen. „Wenn der Algorithmus feststellt, dass es zu einer Frage kein ausreichendes Wissen hat, dann kann er aktiv Experten im Unternehmen um Hilfe bitten.“ Die Antworten der Experten merkt sich die KI und verwendet sie bei allen folgenden Fragen. Dieses Training ist jedoch auf einzelne Unternehmen und spezielle Themen beschränkt.
Das grundsätzliche Halluzinations-Problem löst es nicht. Dafür bleibt das Fachwissen im Unternehmen und geht nicht in das allgemeine Wissen eines großen Modells ein. Das dürfte den Aleph-Alpha-Kunden nur recht sein.
Dieser Artikel erschien zuerst auf Welt.de.
Source: businessinsider.de