Die gängige Annahme lautet: Autoregressive Video-Weltmodelle scheitern an langen Sequenzen, weil ihr Speicher voll läuft oder Informationen verloren gehen. Das ICML-2026-Papier „Addressable Memory for Video World Models“ zeigt jedoch, dass das eigentliche Problem ganz woanders liegt: Die Modelle vergessen nicht, weil sie zu wenig speichern, sondern weil sie gespeicherte Informationen schlicht nicht mehr abrufen können. Die Forschung von Xindi Wu und Kollegen bei NVIDIA, Princeton und der University of Toronto identifiziert die Ursache in der Positionskodierung und liefert mit WorldTrace einen trainingsfreien Fix.
Stell dir ein volles Bücherregal vor: Alle Bände sind da, aber wenn die Regal-Beschriftung ihre Bedeutung verliert, findest du nichts mehr. Genau so verhält es sich mit den Key-Value-Caches in Video-Weltmodellen. Die Autoren nennen das Problem „Addressability“ – die Erinnerung existiert, aber die Aufmerksamkeitsmechanismen können sie nicht mehr erreichen, sobald die Generierung den Trainingshorizont überschreitet.
Die Wurzel des Übels: Temporale RoPE-Offsets außerhalb der Trainingsverteilung
Um zu verstehen, warum das passiert, müssen wir kurz auf die technische Grundlage schauen. Moderne Video-Weltmodelle verwenden häufig RoPE (Rotary Position Embedding), um die Position jedes Frames in einer Sequenz zu kodieren. Diese Positionskodierung wird während des Trainings auf eine bestimmte Länge beschränkt – sagen wir auf L Frames. Sobald das Modell im Inferenzbetrieb mehr als L Frames generiert, bekommen die neuen Frames RoPE-Offsets zugewiesen, die außerhalb des trainierten Wertebereichs liegen.
Die Konsequenz daraus ist subtil, aber fatal: Die Aufmerksamkeitsmechanismen des Modells haben während des Trainings nie gelernt, mit solchen Offset-Werten umzugehen. Selbst wenn die visuellen Informationen aus früheren Frames noch im Cache liegen, interpretiert das Modell die Phasen der Positionskodierung als fremdartig. Die Aufmerksamkeit kann diese Speicher nicht mehr adressieren – wie eine Bibliothek, in der die Bücher zwar vorhanden sind, aber die Katalogkarten nur bis zu einem bestimmten Regal reichen.
Hinzu kommt ein zweites Problem, das die Autoren als „Content Fidelity“ bezeichnen. Wenn man Schlüssel (Keys) aus verschiedenen Zeitpositionen mittelt, um eine kompakte Zusammenfassung zu erzeugen, führen die unterschiedlichen RoPE-Phasen zu Interferenzen. Die Phasensignale kippen sich gegenseitig aus – eine Art destruktive Interferenz, die das inhaltliche Signal zerstört, bevor es überhaupt verwendet werden kann. Das ist vergleichbar mit zwei Schallwellen, die sich gegenseitig aufheben, obwohl jede für sich klar hörbar wäre.
WorldTrace: Ein zweistufiger Cache mit festen, in-verteilten Slot-Positionen
Die Lösung, die das NVIDIA-Team mit WorldTrace vorschlägt, ist bemerkenswert einfach und elegant. Statt die Positionen der Zusammenfassungs-Slots dynamisch an die aktuelle Generierungslänge zu koppeln, weist WorldTrace jedem Slot eine feste, relative Position zum aktuellen Frame zu – unabhängig davon, wie weit die Sequenz bereits fortgeschritten ist. Das bedeutet konkret: Ein Slot, der zwei Zusammenfassungs-Einheiten hinter dem aktuellen Frame liegt, bekommt immer denselben virtuellen RoPE-Offset, egal ob das Modell gerade das 10. oder das 1000. Frame generiert.
Diese „Slot-Rank-Position“ bleibt damit immer innerhalb des trainierten RoPE-Bereichs. Jedes Zusammenfassungs-Element ist zu jedem Zeitpunkt adressierbar, weil seine Positionskodierung nie außerhalb der Verteilung gerät. Der Cache selbst ist zweigeteilt: ein verbatim Fenster der letzten Frames plus eine Reihe von Zusammenfassungs-Slots, die verdichtete Informationen über weiter zurückliegende Zeitpunkte enthalten. Die Zusammenfassungen verwenden weniger Speicher als die vollen Frames, aber genau genug, um kohärente Videoübergänge zu ermöglichen.
Die Autoren betonen, dass WorldTrace vollständig trainingsfrei funktioniert. Es ist ein Drop-in-Add-on für bestehende autoregressive Video-Weltmodelle. Man muss das Modell nicht neu trainieren, keine Gewichte anpassen – man ersetzt nur die Art, wie der Cache verwaltet und adressiert wird. Das hat praktische Relevanz, denn ein Nachtraining von Video-Weltmodellen auf längere Sequenzen ist teuer und oft mit anderen Stabilitätsproblemen verbunden.
Zwei Schreibstrategien: WorldTrace-Field und WorldTrace-Landmark
WorldTrace stellt zwei komplementäre Mechanismen bereit, die unterschiedliche Ziele verfolgen. WorldTrace-Field konzentriert sich auf zeitliche Kohärenz – also darauf, dass die Generierung über lange Strecken stabil bleibt ohne zu driften. Dafür werden die Schlüssel der zu komprimierenden Frames zunächst in eine gemeinsame, kanonische Phase überführt, gemittelt und dann zurück auf die Slot-Position rotiert. Diese Prozedur vermeidet die Phasenauslöschung, die bei naivem Mitteln in RoPE-rotierem Raum auftritt. Dadurch bleiben die mittleren Aufmerksamkeitslogits erhalten, was die Stabilität der Generierung deutlich verbessert.
WorldTrace-Landmark zielt dagegen auf episodisches Erinnern: Das Modell soll in der Lage sein, früher besuchte Szenen wiederzuerkennen und zurückzukehren – ähnlich wie du dich in einer Stadt daran erinnerst, wo du vor einer Stunde geparkt hast. Landmark erkennt Szenen-Einstiegsframes anhand des kanonischen Schlüsselsignals, speichert sie unverändert in die Zusammenfassungs-Slots und friert sie dort ein. Das Einfrieren verhindert ein langsames Driften, das durch wiederholte Rotationsoperationen in bfloat16-Präzision entstehen würde – ein Detail, das zeigt, wie sorgfältig die Autoren praktische Implementierungsfallen berücksichtigen.
Die beiden Strategien sind nicht austauschbar. WorldTrace-Field ist kein Erinnerungsmechanismus, sondern ein Kompressions- und Stabilisierungswerkzeug. WorldTrace-Landmark dagegen opfert bewusst etwas Kompressionsdichte zugunsten von Detailtreue, um Szenen über lange Distanzen wiedererkennbar zu halten. Die Aufteilung macht Sinn: Für kohärente Übergänge braucht es eine glatte, kontinuierliche Repräsentation; für episodische Erinnerung braucht es genaue, diskrete Spuren.
LoopMem: Die erste Benchmark für episodische Erinnerung in Video-Weltmodellen
Um die Effektivität von WorldTrace-Landmark zu testen, haben die Autoren eine eigene Benchmark namens LoopMem entwickelt. Die Idee ist simpel: Ein Weltmodell soll eine Umgebung durchlaufen, verschiedene Wege mit unterschiedlichen Topologien, Kantenlängen, Kamerawinkeln und Revisit-Mustern, und dann zu einer früher besuchten Szene zurückkehren. Die Qualität der Regenerierung wird mit Position-Aligned CLIP (PAC) gemessen – ein Metrik, die überprüft, ob das Modell tatsächlich die richtige Szene aus dem Gedächtnis rekonstruiert, nicht nur eine ähnliche Ansicht.
Die Ergebnisse über alle LoopMem-Szenarien hinweg sind überzeugend: WorldTrace-Landmark verbessert den Recall konsistent gegenüber dem Standard-Sliding-Window-Ansatz. Auf dem langen ABA-Pfad steigt der PAC-Score von 0,627 auf 0,825. Beim Standard-ABA von 0,723 auf 0,864. Selbst beim komplexen ABABA-Muster mit mehreren Revisits verbessert sich der Wert von 0,892 auf 0,941. Der einzige Fall mit kleinem Gewinn ist der schwerversetzte Kamera-Pan (0,559 auf 0,577) – was die Autoren offen als Limitierung benennen.
Besonders interessant ist, dass der größte Nutzen bei den längsten Pfaden auftritt – genau dort, wo herkömmliche Methoden am meisten versagen. Das bestätigt die Diagnose: Das Problem ist nicht der Speicherplatz, sondern die Adressierbarkeit. Sobald die Adressierung funktioniert, können auch extrem lange Sequenzen stabil erinnert werden. Der kleine Gewinn beim Pan zeigt allerdings, dass räumliche Transformationen wie große Kameradrehungen eine zusätzliche Herausforderung darstellen, die WorldTrace noch nicht vollständig löst.
Langzeit-Kohärenz mit WorldTrace-Field: Ergebnisse über den Trainingshorizont hinaus
Für die zeitliche Kohärenz liefert die Arbeit ebenfalls klare Zahlen. WorldTrace-Field, bei dem der Inhaltsoperator fix bleibt (kanonisches Mitteln) und nur die Positionszuordnung variiert, verbessert die temporale SSIM gegenüber Block-Rel um +5,9% bei 8-facher Horizontverlängerung und +2,8% bei 16-facher. Bei 24-facher Horizontlänge (N=48) steigt die Verbesserung gegenüber dem Sliding-Window auf +15,5% TempSSIM, gleichzeitig sinkt der lokale Szenen-Drift. Das Modell bleibt also nicht nur stabil, sondern weicht auch inhaltlich weniger von der generierten Welt ab.
Die Autoren zeigen in ihren Kohärenz-Rollout-Videos, dass Sliding-Window-Ansätze bei 24× Horizont komplett in sich zusammenfallen – erkennbar an roten Rändern, die auf Divergenz hinweisen. WorldTrace-Field dagegen hält die Struktur der Szene weitgehend aufrecht. Das ist bemerkenswert, weil es ohne jedes zusätzliche Training erreicht wird. Das Modell wurde auf eine bestimmte Kontextlänge trainiert, und trotzdem generiert es kohärente Inhalte über das 24-fache dieser Länge hinaus – allein durch bessere Adressierung des Speichers.
Ein weiteres wichtiges Detail: Positionsformeln, die von der aktuellen Generierungslänge abhängen (etwa lineare Skalierung mit der Rollout-Größe), degradieren nicht monoton – sie brechen in sich zusammen, sobald die Skalierung zu groß wird. Die festen Slot-Rank-Positionen von WorldTrace haben diesen Nachteil nicht. Sie sind inhärent robust, weil sie von der Rollout-Länge unabhängig sind. Das macht die Methode zu einer Art „Skalengesetz“ für Speicheradressierung: Solange die Slot-Positionen in der Trainingsverteilung bleiben, bleibt auch der Zugriff stabil.
Eine neue Perspektive auf Video-Weltmodelle
Die Forschungsergebnisse sind ein starkes Argument, die Diagnose umzudrehen: Bisher wurde angenommen, dass Video-Weltmodelle bei langen Sequenzen „vergessen“, weil ihre Caches zu klein sind oder weil die Generierung unweigerlich driftet. WorldTrace zeigt, dass das Kernproblem viel grundlegender ist – eine Frage der Positionskodierung und der daraus resultierenden Adressierbarkeit. Das ist eine gute Nachricht, denn Positionskodierungen lassen sich außerhalb des Trainingsprozesses beeinflussen.
Für praktische Anwendungen bedeutet das: Du kannst bestehende Video-Weltmodelle mit einem überschaubaren Eingriff für deutlich längere, kohärentere Sequenzen nutzen – ohne teures Nachtraining. WorldTrace ist ein trainingsfreies Framework, das sich als Erweiterung in vorhandene AR-Video-Weltmodelle integrieren lässt. Ob für interaktive Umgebungen, Simulationen oder langfristige Szenenplanung – die Methode erweitert den nutzbaren Horizont von Videogenerierung erheblich.
Die Einschränkungen sind ehrlich benannt: Die Verbesserung bei Kameratransformationen wie weiten Pans bleibt begrenzt. Und WorldTrace-Field zielt auf Kohärenz, nicht auf fotografische Erinnerungstreue. Aber als Konzept zeigt die Arbeit, dass „mehr Speicher“ nicht die Antwort ist, sondern „besserer Zugriff“. In einer Zeit, in der Modelle immer größere Kontexte verarbeiten, ist das eine wichtige Erinnerung: Die Technik, die Informationen speichert, ist oft weniger entscheidend als die Technik, die den Zugriff darauf ermöglicht.
Quelle: research.nvidia.com
