Ein Sprachmodell wird gefragt, wer das Buch „Der Prozess“ geschrieben hat. Es antwortet korrekt. In einem anderen Test sagt es beim selben Faktum „Franz Kafka“, beim nächsten Mal nur „Kafka“ – oder die Antwort ist falsch. Das wirft eine zentrale Frage auf: Ist der Fehler ein Wissensproblem oder ein Abrufproblem? Fehlt die Information im Modell oder ist sie gespeichert, aber nicht erreichbar?
Bisherige Auswertungen betrachten nur die Genauigkeit der Antworten und vermischen dabei zwei Engpässe. Das ist, als würde man ein Lagerhaus nur danach beurteilen, ob die Regale voll sind – ohne zu prüfen, ob man die Ware auch findet. Eine neue Studie, die unter anderem Gemini-3 und GPT-5 untersucht hat, liefert hier Klarheit. Sie führt eine Methode namens „Knowledge Profiling“ ein, die das Speichern von Wissen (Encoding) vom Zugriff darauf (Recall) trennt. Die Ergebnisse zeigen: Bei den größten Modellen ist das Speichern fast perfekt, der Abruf hinkt hinterher.
Encoding und Recall: Zwei verschiedene Fehlerquellen
Stell dir eine Bibliothek mit Millionen Büchern vor. Fehlende Bücher sind ein Encoding-Fehler. Bücher im Regal, die aber nicht im Katalog stehen, sind ein Recall-Fehler. Beide führen dazu, dass du eine Information nicht bekommst. Die Lösungen sind verschieden: Fehlende Bücher musst du kaufen, versteckte Bücher besser indexieren.
In Sprachmodellen ist es ähnlich. Encoding bedeutet, dass ein Fakt in den Parametern gespeichert ist. Recall bedeutet, dass das Modell das Wissen bei einer konkreten Abfrage abrufen kann. Das Forschungsteam unterscheidet zusätzlich zwischen direktem Abruf (spontan richtig antworten) und Abruf mit Denken (Zwischenschritte wie eine Gedankenkette). Ein drittes Konzept ist die Wiedererkennung: Das Modell erkennt die richtige Antwort, wenn sie als Auswahlmöglichkeit vorgelegt wird.
Die Unterscheidung ist nicht akademisch. Sie bestimmt, welche Maßnahmen zur Verbesserung der Faktenwahrheit sinnvoll sind. Fehlt ein Fakt im Modell, helfen nur größere Modelle oder mehr Trainingsdaten. Ist er gespeichert, aber nicht abrufbar, könnten Methoden helfen, die das vorhandene Wissen besser nutzen – etwa Denkaufforderungen oder Optimierungen nach dem Training.
WikiProfile: Ein Benchmark für Wissensprofile
Um die Theorie zu testen, entwickelte das Team den Benchmark WikiProfile. Dafür extrahierten sie 2.150 Fakten aus Wikipedia. Jeder Fakt besteht aus einer Beziehung zwischen zwei Entitäten – etwa „Franz Kafka hat ‚Der Prozess‘ geschrieben“. Zu jedem Fakt generierten sie zehn Fragen: zwei zum Encoding, vier zum Wissen (direkte und umgekehrte Fragestellungen) und vier Multiple-Choice-Varianten zur Wiedererkennung.
Die Fragen entstanden automatisch, wurden per Suchmaschine gefiltert und manuell validiert. So ist sichergestellt, dass jede Frage eindeutig ist und nur eine korrekte Antwort hat. Das Verfahren ist aufwendig, ermöglicht aber eine präzise Diagnose: Für jeden Fakt lässt sich bestimmen, ob er im Modell vorhanden ist, ob er direkt abrufbar ist oder nur mit Denken. Auch lässt sich feststellen, ob das Modell einen Fakt nur durch Schlüsse aus anderen Fakten herleitet – was die Forscher „Inferenz ohne Encoding“ nennen.
Damit untersuchten sie 13 Sprachmodelle, darunter Gemini-2.5-Pro, Gemini-3-Pro, Gemini-3-Flash und GPT-5. Jedes Modell wurde mit und ohne Denkmodus getestet. Pro Kombination wurden acht Antworten gesampelt und automatisch bewertet – insgesamt etwa 4,5 Millionen Antworten. Diese Menge erlaubt klare statistische Aussagen.
Das Hauptergebnis: Der Engpass ist der Abruf, nicht das Wissen
Die zentrale Erkenntnis: Bei den fortschrittlichsten Modellen ist die Speicherung von Fakten nahezu gesättigt, der Abruf bleibt deutlich zurück. Gemini-3-Pro und GPT-5 erreichen Encoding-Raten von 95 bis 98 Prozent. Das heißt, fast alle getesteten Fakten sind im Modell vorhanden. Doch ohne Denken schaffen sie nur 66 bis 74 Prozent korrekt abzurufen. Selbst mit Denken bleiben 11 bis 12 Prozent Fehler.
Ein Großteil der Fehler entsteht also nicht, weil das Modell die Information nicht kennt, sondern weil es sie nicht zugreifen kann. Es ist, als hätte jemand einen Schlüssel für einen Tresor, findet aber den Tresor nicht. Der Engpass hat sich von der Wissensbeschaffung zur Wissensnutzung verlagert. Das könnte die Prioritäten in der KI-Forschung verschieben.
Das Muster zeigt sich auch beim Skalieren. In der Gemma-3-Familie, die mehrere Modellgrößen umfasst, speichern größere Modelle deutlich mehr Wissen – weniger Encoding-Fehler. Die Recall-Fehler bleiben aber erheblich und machen einen größeren Anteil der verbleibenden Fehler aus. Größere Modelle verbessern eher ihr Speichern als ihren Abruf. Mehr Speicherplatz löst das Problem des unzureichenden Suchindex nicht.
Warum der Abruf scheitert: Seltene Fakten und die Umkehrfrage
Warum speichert ein Modell einen Fakt, ruft ihn aber nicht ab? Die Studie zeigt: Der Abruf hängt an den Bedingungen, unter denen der Fakt beim Training gelernt wurde. Das erinnert an einen Menschen, der eine Vokabel in einem Lied lernt und sie in einem anderen Kontext nicht abrufen kann, obwohl er sie kennt.
Besonders deutlich wird das bei seltenen Fakten. Bisherige Forschung nahm an, dass Sprachmodelle bei seltenen (Long-Tail-)Fakten an Kapazitätsgrenzen stoßen. Die neue Analyse relativiert das: Vergleicht man Fakten mit niedriger und hoher Popularität, ist der Unterschied im Encoding gering. Seltene Fakten sind fast so gut gespeichert wie häufige. Der große Unterschied liegt im Recall. Das Modell hat die seltene Information in seinen Parametern, kann sie aber nicht abrufen, weil sie im Training nicht oft genug vorkam, um einen stabilen Assoziationspfad zu bilden.
Ein zweites Problem betrifft die Umkehrfrage – den „Reversal Curse“. Weiß das Modell, dass A gleich B ist, beantwortet es die Frage „Was ist A?“ oft nicht, obwohl es „Was ist B?“ korrekt beantwortet. Die naheliegende Annahme: Das Modell hat die Beziehung nicht symmetrisch gespeichert. Die Studie zeigt eine verblüffende Dissoziation. In offenen Antworten (Recall) sind Umkehrfragen deutlich schwerer. Bei Mehrfachwahl (Wiedererkennung) sind sie es nicht – oft sogar einfacher. Wenn das Modell die richtige Antwort erkennt, aber nicht aktiv generieren kann, ist das bidirektionale Wissen vorhanden. Das Problem liegt im Abruf: Die Abfrage weicht in ihrer Richtung von der Trainingsform ab. Der Reversal Curse ist primär ein Recall-Problem.
Denken als Rettungsanker: Wie Thinking-Modi helfen
Da der Engpass beim Abruf liegt, stellt sich die Frage: Kann man ihn durch zusätzliche Berechnung überwinden? Genau das testet die Studie mit dem Thinking-Modus. Das Modell wird aufgefordert, vor der endgültigen Antwort mehrere Zwischenschritte zu generieren – eine Gedankenkette, die das gespeicherte Wissen aktiviert.
Die Ergebnisse sind deutlich: Thinking verbessert den Abruf genau dort am stärksten, wo der direkte Abruf am schwächsten ist. Besonders bei seltenen Fakten und Umkehrfragen erzielt das Denken große Gewinne und verringert die Popularitäts- und Richtungslücke. Bei den optimierten Modellen findet Thinking 40 bis 65 Prozent der Fakten wieder, die ohne Denken nicht abrufbar waren. Bei Fakten, die gar nicht gespeichert sind, hilft es kaum – Denken kann nicht kompensieren, was nicht existiert.
Das bestätigt: Thinking wirkt als Abruf-Verstärker, nicht als Ersatz für fehlendes Wissen. Es ist, als würde man im Kopf das Inhaltsverzeichnis durchgehen, um das gesuchte Kapitel zu finden. Doch der Rettungsanker hat seinen Preis: Thinking kostet Rechenzeit, Energie und Geld. Zudem ist unklar, wann man es aktivieren sollte – bei bestimmten Fragetypen oder generell. Die Studie liefert erste Anhaltspunkte, aber keine einfache Regel.
Was das für die Entwicklung von KI bedeutet
Die Studie empfiehlt eine strategische Neuausrichtung. Bessere Faktenwahrheit bei Sprachmodellen erfordert nicht nur größere Modelle oder mehr Trainingsdaten. Bei den bereits sehr großen Modellen ist das Encoding fast perfekt. Der Flaschenhals liegt im Zugriff.
Das eröffnet neue Wege. Methoden zur Verbesserung des Abrufs könnten effektiver sein als weiteres Skalieren. Dazu gehören gezielte Aufforderungen, Trainingsverfahren, die Assoziationspfade stärken, oder Mechanismen, die dem Modell erlauben, seine Wissensbasis besser zu durchsuchen – wie ein leistungsfähiger Katalog in der Bibliothek. Es braucht keinen Buchkauf, sondern bessere Indexierung.
Auch für die KI-Nutzung im Alltag hat das Konsequenzen. Bekommt man keine sofortige Antwort, heißt das nicht, dass das Modell sie nicht weiß. Ein Denkmodus oder eine andere Formulierung der Frage kann die gespeicherte Information hervorlocken. Das ist kein Trick, sondern ein legitimer Weg, vorhandenes Wissen zu heben. Es zeigt aber auch, wie fragil das Wissen von KI ist – es kann existieren, ohne verfügbar zu sein. Methoden, die diese Lücke schließen, werden umso wichtiger. Die Studie liefert dafür eine präzise Diagnose und einen klaren Ansatz.
Quelle: research.google
