Im Februar 2024 wurde ein New Yorker Anwalt von einem Richter gerügt, weil er in einem Schriftsatz sechs Urteile zitiert hatte … die es nie gegeben hatte. Der Verfasser dieser Verweise war kein unaufmerksamer Student, sondern ein Riesen-Sprachmodell, das eingesetzt wurde, um „Zeit zu sparen“. Dieses Phänomen, das mittlerweile unter dem Namen „Demarchage“ oder „Halluzination“ bekannt ist, verdeutlicht eine tiefgreifende Schwachstelle heutiger KI-Systeme: ihre Fähigkeit, einen Text zu erzeugen, der vollkommen flüssig, vollkommen überzeugend und vollkommen falsch ist. In diesem Artikel untersuchen wir, warum KI-Systeme unbeabsichtigt lügen, welche konkreten Folgen dies hat und wie Forscher heute versuchen, ihre Quellen überprüfbar zu machen.
Was ist „Démarchage“ bei künstlicher Intelligenz?
„Demarchage“ – oder Halluzination – bezeichnet die Tatsache, dass ein generatives KI-Modell sachlich falsche Informationen produziert, die selbstbewusst präsentiert werden, ohne dass dabei Unsicherheit signalisiert wird. Der Begriff stammt aus der Psychiatrie, hat in der künstlichen Intelligenz jedoch eine technische Bedeutung: Es handelt sich um eine Generierung, die von der Realität der Trainingsquellen oder bekannten Fakten abweicht. Die Wikipedia-Seite zu diesem Thema weist darauf hin, dass dieses Verhalten kein isolierter Fehler ist, sondern eine emergente Eigenschaft von auf Transformern basierenden Architekturen, die das nächste Wort anhand statistischer Wahrscheinlichkeiten vorhersagen.
Im Gegensatz zu einer Suchmaschine, die indexierte Dokumente zurückgibt, „weiß“ ein Grundmodell nicht, woher es sein Wissen bezieht. Es setzt Text aus Milliarden von Parametern neu zusammen. Genau diese Architektur macht es brillant beim Verfassen von Texten, beim Programmieren oder beim Übersetzen – und gefährlich, wenn man es auffordert, ein Gesetz, einen wissenschaftlichen Artikel oder eine bestimmte Zahl zu zitieren.
Warum erfinden Modelle Quellen?
Der grundlegende Grund liegt im Trainingsziel. Ein Sprachmodell ist darauf optimiert, die wahrscheinlichste Textfortsetzung zu erzeugen, nicht die wahrhaftigste. Wenn es keine genauen Informationen hat, antwortet es nicht standardmäßig mit „Ich weiß es nicht“, sondern füllt die Lücke mit plausiblen Inhalten. Ein Literaturverweis, eine Telefonnummer oder ein Artikeltitel unterliegt dabei denselben Regeln wie ein gut formulierter Satz: Wenn die Formulierung dem entspricht, was man erwartet, erzeugt das Modell sie.
Mehrere Faktoren verschärfen dieses Phänomen. Durch die Verdichtung des Wissens während des Trainings gehen präzise Details (Daten, Nummern von Gerichtsurteilen, sekundäre Autoren) oft verloren oder werden verwechselt. Auch das gewünschte Format spielt eine Rolle: Die Anfrage nach einer Liste von „fünf aktuellen Studien zu diesem Thema“ veranlasst das Modell dazu, eher Titel zu generieren, die plausibel klingen, als tatsächliche Arbeiten. Schließlich nimmt die Fälschung zu, wenn der Kontext selten oder technisch ist – genau dort, wo der Nutzer Zuverlässigkeit am dringendsten benötigt.
Konkrete Fälle mit realen Konsequenzen
Über die New Yorker Anwaltskanzlei hinaus häuft sich die Literatur zu diesem Thema. Ärzte haben von Zusammenfassungen erfundener Veröffentlichungen berichtet, die von medizinischen Assistenten im Rahmen von Experimenten erstellt wurden. Journalisten haben entdeckt, dass automatische Textgeneratoren nicht existierende Gesetze zitierten. Selbst bei spielerischen Anwendungen kann das „Kaltakquise“-Verhalten irreführend sein: Ein Nutzer, der versucht, eine Pflanze oder ein elektronisches Bauteil zu identifizieren, kann eine sichere, aber falsche Antwort erhalten.
Das Risiko betrifft nicht nur den Einzelnen. Wenn eine von einer KI erzeugte Information in einem Blog kopiert und anschließend von einem anderen Modell indexiert wird, wird sie zu einer „Quelle“ im digitalen Ökosystem. Forscher warnen vor einem Phänomen der Verunreinigung von Trainingsdaten: Langfristig würden sich zukünftige Modelle selbst mit falschen, synthetisch erzeugten Inhalten versorgen und so die Gesamtqualität der künstlichen Intelligenz beeinträchtigen. Dies ist eines der am meisten diskutierten Themen in aktuellen Veröffentlichungen zu diesem Thema.
Wie lässt sich die Datenverfälschung eindämmen?
Derzeit werden mehrere Strategien eingesetzt. Die erste basiert auf der Retrieval-Augmented Generation (RAG): Anstatt sich ausschließlich auf seine Parameter zu stützen, greift das Modell in Echtzeit auf eine Datenbank mit verifizierten Dokumenten zu und zitiert, was es tatsächlich abgerufen hat. Dieser Ansatz, der häufig in Unternehmensassistenten zum Einsatz kommt, reduziert Erfindungen drastisch, da jede Aussage auf eine reale Quelle zurückverfolgt werden kann.
Der zweite Ansatz besteht darin, die Modelle so zu trainieren, dass sie unsichere Aussagen ablehnen oder als solche kennzeichnen. Techniken des Fine-Tuning und des verstärkenden Lernens belohnen ehrliche Antworten und bestrafen unbegründete Behauptungen. Wahrheitsbewertungen (Halluzinations-Benchmarks) sind mittlerweile ein zentrales Kriterium in den von den Forschungslabors veröffentlichten Modellvergleichen.
Schließlich bietet das Open-Source-Ökosystem Tools zur Überprüfung. Bibliotheken ermöglichen es, die generierten Zitate automatisch mit Datenbanken wie arXiv oder Crossref abzugleichen und nicht auffindbare Quellenangaben vor der Veröffentlichung zu melden. Die Rolle des Menschen bleibt jedoch zentral: Die Frage der Quellenangabe ist noch nicht gelöst, und jede von einer KI erzeugte sachliche Information muss von einer kompetenten Person überprüft werden.
Auf dem Weg zu einer besser nachvollziehbaren KI
Die aktuelle Forschungsausrichtung zielt auf die sogenannte „Nachvollziehbarkeit“ ab: Es soll sichergestellt werden, dass jede Aussage eines Modells mit ihrer Herkunft versehen ist. Die Entwicklungstools enthalten bereits Generierungsprotokolle, und Benutzeroberflächen für die breite Öffentlichkeit zeigen zunehmend Links zu den verwendeten Quellen an. Die Regulierung folgt: Mehrere gesetzliche Rahmenbedingungen schreiben mittlerweile Transparenzanforderungen für automatisch generierte Inhalte vor.
Die Herausforderung ist zweigeteilt. Technisch gesehen muss die Halluzinationsrate weiter gesenkt werden. Kulturell gesehen müssen die Nutzer aufgeklärt werden: Eine KI ist keine unfehlbare Enzyklopädie, sondern ein statistisches Kompositionswerkzeug, das einer menschlichen Validierung bedarf. Das Verständnis dieser Nuance ist im Zeitalter der generativen künstlichen Intelligenz zu einer wesentlichen Kompetenz geworden.
Fazit
Das „Halluzinieren“ ist keine vorübergehende Kuriosität: Es offenbart das Wesen der Sprachmodelle selbst, die Flüssigkeit gegenüber der Wahrheit den Vorrang geben. Fälle aus den Bereichen Recht, Medizin und Journalismus zeigen, dass die Folgen über den rein technischen Rahmen hinausgehen. Glücklicherweise ebnen Ansätze wie die durch Abruf erweiterte Generierung, das Training unter Unsicherheit und automatische Überprüfungswerkzeuge den Weg für zuverlässigere Systeme. Bis dahin gilt weiterhin die einfache Goldene Regel: Vertrauen Sie der KI beim Formulieren, aber niemals beim Bestätigen. Überprüfen Sie immer die Quellen – vor allem, wenn sie perfekt erscheinen.