KI-Halluzination

Was sind KI-Halluzinationen?

Eine KI-Halluzination liegt vor, wenn ein großes Sprachmodell (Large Language Model, LLM) falsche Informationen erzeugt.

LLMs sind KI-Modelle, die Chatbots wie ChatGPT und Google Bard antreiben. Halluzinationen können Abweichungen von externen Fakten, kontextueller Logik oder beidem sein.

Halluzinationen erscheinen oft plausibel, da LLMs darauf ausgelegt sind, flüssige, kohärente Texte zu produzieren. Sie treten auf, weil LLMs kein Verständnis für die zugrunde liegende Realität haben, die die Sprache beschreibt. LLMs verwenden Statistiken, um Sprache zu erzeugen, die im Kontext der Eingabeaufforderung grammatikalisch und semantisch korrekt ist.

Halluzinationen erscheinen jedoch nicht immer plausibel. Manchmal können sie eindeutig unsinnig sein. Es gibt keine eindeutige Möglichkeit, die genauen Ursachen von Halluzinationen von Fall zu Fall zu bestimmen.

Ein anderer Begriff für eine KI-Halluzination ist Konfabulation, also das Füllen von Lücken mit frei erfundenen Gegebenheiten. Halluzinationen werden vor allem mit LLMs in Verbindung gebracht, können aber auch in KI-generierten Videos, Bildern und Audios auftreten.

Beispiele für KI-Halluzinationen

Ein berüchtigtes Beispiel für eine KI-Halluzination ereignete sich, als der Chatbot Bard von Google eine unwahre Behauptung über das James Webb Space Telescope aufstellte.

Auf die Frage Welche neuen Entdeckungen des James Webb Weltraumteleskops kann ich meinem 9-jährigen Kind erzählen? antwortete Bard mit der Behauptung, dass das James Webb Weltraumteleskop die allerersten Bilder eines Exoplaneten außerhalb unseres Sonnensystems aufgenommen hat. Diese Information war falsch. Die ersten Bilder eines Exoplaneten wurden laut NASA im Jahr 2004 aufgenommen, und das James Webb Space Telescope wurde erst 2021 gestartet.

Die Antwort von Bard klang plausibel und entsprach der Aufforderung, erwies sich aber bei einer Überprüfung der Fakten als falsch.

Ein weiteres Beispiel war die Präsentation von Meta Galactica, einem LLM-Studiengang für Wissenschaftler und Studenten. Als das Modell gebeten wurde, eine Abhandlung über die Erstellung von Avataren zu verfassen, zitierte es eine gefälschte Abhandlung über das Thema von einem echten Autor, der in einem relevanten Bereich arbeitet.

Arten von KI-Halluzinationen

Halluzinationen können von kleinen Ungereimtheiten bis hin zu komplett erfundenen oder widersprüchlichen Informationen reichen.

Es gibt mehrere Arten von KI-Halluzinationen, darunter:

• Satzwiderspruch. Dies ist der Fall, wenn ein LLM einen Satz erzeugt, der einem vorherigen Satz widerspricht. Zum Beispiel:
  • Aufforderung: Beschreibe eine Landschaft in Vier-Wort-Sätzen.
  • Ausgabe: Das Gras war grün. Die Berge waren blau. Der Fluss war lila. Das Gras war braun.
• Widerspruch zur Eingabeaufforderung. Dies ist der Fall, wenn ein Satz im Widerspruch zu der Aufforderung steht, mit der er erstellt wurde. Zum Beispiel:
  • Aufforderung: Schreib eine Geburtstagskarte für meine Nichte.
  • Ausgabe: Alles Gute zum Geburtstag, Mama und Papa!
• Faktischer Widerspruch. Dies ist der Fall, wenn eine fiktive Information als Tatsache dargestellt wird. Zum Beispiel:
  • Aufforderung: Nenne drei Städte in den Vereinigten Staaten.
  • Ausgabe: New York, Los Angeles, Toronto.
• Irrelevante oder zufällige Halluzinationen. Dies ist der Fall, wenn zufällige Informationen erzeugt werden, die nichts mit der Eingabe oder Ausgabe zu tun haben. Zum Beispiel
  • Aufforderung: Beschreibe mir London.
  • Ausgabe: London ist eine Stadt in England. Katzen müssen mindestens einmal am Tag gefüttert werden.

Warum treten KI-Halluzinationen auf?

Es gibt viele mögliche technische Gründe für Halluzinationen bei LLMs. Während das Innenleben von LLMs und die genauen Mechanismen, die zu den Ergebnissen führen, undurchsichtig sind, gibt es mehrere allgemeine Ursachen, auf die Forscher hinweisen. Einige davon sind:

• Datenqualität. Halluzinationen aufgrund von Daten treten auf, wenn der Inhalt der Quelle schlechte Informationen enthält. LLMs stützen sich auf einen großen Bestand an Trainingsdaten, die Rauschen, Fehler, Verzerrungen oder Unstimmigkeiten enthalten können. ChatGPT zum Beispiel hat Reddit in seine Trainingsdaten aufgenommen.
• Methode der Generierung. Halluzinationen können auch durch die Trainings- und Generierungsmethoden entstehen - selbst wenn der Datensatz konsistent und zuverlässig ist. So kann beispielsweise eine Verzerrung durch frühere Generationen des Modells eine Halluzination verursachen. Auch eine falsche Dekodierung durch den Transformator kann die Ursache für eine Halluzination sein. Modelle können auch eine Vorliebe für generische oder spezifische Wörter haben, was die Informationen beeinflusst, die sie erzeugen und fabrizieren.
• Eingabekontext. Wenn die Eingabeaufforderung unklar, inkonsistent oder widersprüchlich ist, kann es zu Halluzinationen kommen. Während die Datenqualität und das Training nicht in der Hand des Benutzers liegen, ist dies beim Eingabekontext nicht der Fall. Der Benutzer kann seine Eingaben optimieren, um die Ergebnisse zu verbessern.

Warum sind KI-Halluzinationen ein Problem?

Ein unmittelbares Problem mit KI-Halluzinationen ist, dass sie das Vertrauen der Benutzer erheblich stören. Je realer die KI für den Benutzer wird, desto mehr Vertrauen entwickelt er in sie und desto überraschter ist er, wenn dieses Vertrauen enttäuscht wird.

Eine Herausforderung bei der Beschreibung dieser Ausgaben als Halluzinationen besteht darin, dass dies zu Anthropomorphismus verleitet. Die Beschreibung einer falschen Ausgabe eines Sprachmodells als Halluzination vermenschlicht die leblose KI-Technologie in gewisser Weise. KI-Systeme haben, trotz ihrer Funktion, kein Bewusstsein. Sie haben keine eigene Wahrnehmung der Welt. Ihr Output manipuliert die Wahrnehmung des Benutzers und könnte eher als Fata Morgana bezeichnet werden – etwas, von dem der Benutzer glauben möchte, dass es nicht da ist, als eine maschinelle Halluzination.

Eine weitere Herausforderung bei Halluzinationen ist die Neuartigkeit des Phänomens und großer Sprachmodelle im Allgemeinen. Halluzinationen und LLM-Ausgaben im Allgemeinen sind so konzipiert, dass sie flüssig und plausibel klingen. Wenn jemand nicht darauf vorbereitet ist, LLM-Ausgaben mit einem skeptischen Auge zu lesen, kann er die Halluzinationen glauben. Halluzinationen können aufgrund ihrer Fähigkeit, Menschen zu täuschen, gefährlich sein. Sie können versehentlich Fehlinformationen verbreiten, Zitate und Referenzen fälschen und sogar als Waffe bei Cyberangriffen eingesetzt werden.

Eine dritte Herausforderung bei der Eindämmung von Halluzinationen besteht darin, dass es sich bei LLMs häufig um Blackbox-KI handelt. Es kann schwierig oder in vielen Fällen unmöglich sein, festzustellen, warum der LLM die spezifische Halluzination erzeugt hat. Es gibt nur begrenzte Möglichkeiten, LLMs, die solche Halluzinationen erzeugen, zu korrigieren, da ihr Training an einem bestimmten Punkt abbricht. Wenn Sie in das Modell einsteigen, um die Trainingsdaten zu ändern, kann das viel Energie kosten. Die KI-Infrastruktur ist im Allgemeinen teuer. Es ist oft Sache des Benutzers – nicht des Besitzers des LLM – auf Halluzinationen zu achten.

Generative KI ist eben generativ. In gewissem Sinne erfindet die generative KI alles.

Wie man KI-Halluzinationen verhindern kann

Es gibt mehrere Möglichkeiten, wie Benutzer das Auftreten von Halluzinationen während der LLM-Nutzung vermeiden oder minimieren können:

• Verwenden Sie klare und spezifische Aufforderungen. Zusätzlicher Kontext kann dazu beitragen, das Modell zur beabsichtigten Ausgabe zu führen. Einige Beispiele hierfür sind:
  • Begrenzung der möglichen Ausgaben.
  • Stellen Sie dem Modell relevante Datenquellen zur Verfügung.
  • Geben Sie dem Modell eine Rolle vor. Zum Beispiel: Sie sind ein Autor für eine Technologie-Website. Schreiben Sie einen Artikel über x, y und z.

• Filter- und Rankingstrategien. LLMs haben oft Parameter, die der Benutzer einstellen kann. Ein Beispiel ist der Temperaturparameter, der die Zufälligkeit der Ausgabe steuert. Wenn die Temperatur höher eingestellt ist, sind die vom Sprachmodell erzeugten Ausgaben zufälliger. TopK, der steuert, wie das Modell mit Wahrscheinlichkeiten umgeht, ist ein weiteres Beispiel für einen Parameter, der eingestellt werden kann.
• Multishot-Eingabeaufforderung. Geben Sie mehrere Beispiele für das gewünschte Ausgabeformat oder den Kontext an, damit das Modell Muster erkennen kann.

Halluzinationen werden als ein inhärentes Merkmal von LLMs betrachtet. Es gibt Möglichkeiten, wie Forscher und die Menschen, die an LLMs arbeiten, versuchen, Halluzinationen zu verstehen und abzuschwächen.

OpenAI hat eine Strategie vorgeschlagen, mit der KI-Modelle für jeden korrekten Schritt bei der Argumentation in Richtung der richtigen Antwort belohnt werden, anstatt nur die Schlussfolgerung zu belohnen, wenn sie richtig ist. Dieser Ansatz wird als Prozessüberwachung bezeichnet und zielt darauf ab, die Modelle dazu zu bringen, einem Gedankenkettenansatz (Chain-of-Thought-Ansatz) zu folgen, der die Aufforderungen in Schritte zerlegt.

In anderen Forschungsarbeiten wurde vorgeschlagen, zwei Modelle aufeinander zu richten und sie anzuweisen, miteinander zu kommunizieren, bis sie zu einer Antwort kommen.

Wie können KI-Halluzinationen erkannt werden?

Der einfachste Weg, eine KI-Halluzination zu erkennen, besteht darin, die Ausgabe des Modells sorgfältig auf Fakten zu überprüfen. Dies kann schwierig sein, wenn es sich um unbekanntes, komplexes oder dichtes Material handelt. Sie können das Modell bitten, eine Selbsteinschätzung vorzunehmen und die Wahrscheinlichkeit zu ermitteln, dass eine Antwort richtig ist, oder die Teile einer Antwort hervorheben, die falsch sein könnten, und dies als Ausgangspunkt für die Überprüfung der Fakten verwenden.

Die Benutzer können sich auch mit den Informationsquellen des Modells vertraut machen, um die Fakten zu überprüfen. Die Trainingsdaten von ChatGPT enden beispielsweise im Jahr 2021, so dass jede Antwort, die auf detailliertem Wissen über die Welt vor diesem Zeitpunkt beruht, doppelt geprüft werden sollte.

Geschichte der KI-Halluzinationen

Google DeepMind-Forscher prägten den Begriff KI-Halluzinationen im Jahr 2018, was ihm einige Popularität einbrachte. Populärer und enger mit KI verbunden wurde der Begriff mit dem Aufkommen von ChatGPT Ende 2022, das LLMs zugänglicher machte.

Der Begriff erschien aber bereits im Jahr 2000 in dem Paper Proceedings: Fourth IEEE International Conference on Automatic Face and Gesture Recognition. Ein Bericht aus dem Jahr 2022 mit dem Titel Survey of Hallucination in Natural Language Generation (PDF) beschreibt die anfängliche Verwendung des Begriffs in der Computer Vision und bezieht sich dabei auf die ursprüngliche Veröffentlichung aus dem Jahr 2000. Hier ist ein Teil der Beschreibung aus dieser Umfrage:

"…carried more positive meanings, such as superresolution, image inpainting and image synthesizing. Such hallucination is something we take advantage of rather than avoid in CV. Nevertheless, recent works have started to refer to a specific type of error as hallucination in image captioning and object detection, which denotes non-existing objects detected or localized at their expected position. The latter conception is similar to hallucination in NLG."