Bei Large Language Models kann das Reinforcement Learning empfindlich auf kleine Abweichungen reagieren. Das gilt auch dann, wenn Gewichte, Modellgleichungen und Trainingsplan vollständig übereinstimmen. Das Google-Team zeigt in seiner Veröffentlichung, dass selbst unter scheinbar on-policy Bedingungen ein numerischer Versatz zwischen Sampling und Training entstehen kann. Zero-TIM soll diesen Versatz auf TPUs mit bitweise identischen Logprobs beseitigen.
Der Autor beschreibt Zero-TIM, eine Implementierung in Tunix, die auf 64 TPU-v5p-Chips mit einer DP8×TP8-Konfiguration verifiziert wurde. Die Lösung setzt weder auf einen neuen Optimierer noch auf einen zusätzlichen Korrekturterm für den Verlust. Sampling und Training müssen dieselbe Aktion im selben Kontext mit exakt denselben Fließkommabits bewerten.
Damit berührt das Thema zwei Ebenen. Einerseits geht es um numerische Stabilität im On-Policy-Reinforcement-Learning. Andererseits zeigt der Ansatz, wie sich JAX/XLA- und Pallas-Systeme so strukturieren lassen, dass serverseitige und trainierseitige Pfade nicht unbemerkt auseinanderlaufen.
Der verborgene Off-Policy-Versatz zwischen Sampling und Training
In einem klassischen synchronen RL-Loop erzeugt das Modell einen Rollout. Anschließend bewertet der Trainer genau diese Token. Auf den ersten Blick ist damit die zentrale Bedingung erfüllt: Das Update basiert auf Aktionen derselben Policy, die sie hervorgebracht hat. Diese Betrachtung greift jedoch zu kurz. Sie berücksichtigt die Gewichte und den Zeitpunkt des Rollouts, nicht aber die numerische Ausführung in den beiden Verarbeitungspfaden.
Der Sampler arbeitet mit inkrementellem Decoding. Bei jedem Schritt wählt er den nächsten Token und speichert dessen Verhaltens-Logprob. Der Trainer berechnet die Logprob dagegen in einem gebündelten Forward-Backward-Durchlauf, oft für ganze Sequenzen und unter differenzierten Bedingungen. Beide Wege erhalten dieselben Gewichte und denselben Tokenverlauf, können aber intern unterschiedliche Reihenfolgen für Additionen verwenden. Das Ergebnis sind leicht abweichende Logprobs, obwohl die zugrunde liegenden Modellgleichungen identisch sind.
Das Google-Team bezeichnet diesen Zustand als Train-Inference Mismatch, kurz TIM. Das Problem verstärkt sich in längeren, mehrstufigen Interaktionen. Jede kleine Abweichung verändert die Bewertung eines Tokens, diese Abweichung fließt in die nächste Entscheidung ein, und über mehrere Runden entsteht ein kumulierter Versatz zwischen tatsächlicher und bewerteter Policy. Das Training ist zeitlich on-policy, aber in seiner numerischen Ausführung nicht exakt on-policy.
Zero-TIM setzt hier eine strenge Definition. Unter identischen Rollout-Gewichten, identischem Tokenverlauf und identischen Sampling-Einstellungen müssen alle beteiligten Pfade für jede gesampelte Aktion bitweise identische Logprobs erzeugen. Der Vergleich erfolgt auf Ebene der rohen Fließkommabytes, ohne Toleranz und ohne zusätzliche Rundung. Diese Präzision macht den On-Policy-Vertrag überprüfbar.
Warum identische Mathematik unterschiedliche Bits erzeugt
Die Ursache liegt in einer Eigenschaft moderner Rechenhardware. Eine Reduktion, also die Zusammenfassung vieler Werte zu einem Ergebnis, lässt sich als Baum von Fließkommaadditionen verstehen. Diese Addition ist nicht assoziativ. Werden dieselben Zahlen in anderer Reihenfolge oder in anderen Gruppen addiert, können an anderen Stellen Rundungsfehler entstehen. Aus gleichem Input entsteht so ein leicht anderes Output-Bitmuster.
Besonders sichtbar wird das im bfloat16-Format, das weniger Mantissenenbits als float32 hält. In einem numerischen Beispiel aus der Veröffentlichung liegt der Effekt nahe dem Wert 2,0. Jeder einzelne Schritt der Größe 0,0078125 wird bei separater Addition mit Round-to-nearest-even verworfen. Werden die gleichen Eingabewerte vorher gruppiert, erreicht die Teilsumme den nächsten darstellbaren bfloat16-Wert. Die Mathematik ist identisch, die Rundung nicht.
Im Modell wiederholt sich dieses Prinzip auf mehreren Ebenen. Matrixprodukte akkumulieren Teilsummen, Normalisierungen berechnen Statistiken, und tensor-parallele Shards führen partielle Ergebnisse zusammen. Im ursprünglichen Tunix-Stack nutzten Sampler-Decode und Trainer-Forward unterschiedliche Token-Array-Shapes und Forward-Implementierungen. JAX spezialisiert Berechnungen auf ihre Eingabeformen, und der Trainings-Forward lief zusätzlich innerhalb eines differenzierten Programms. Diese Unterschiede führten zu unterschiedlichen Reduktionsreihenfolgen und Zwischenpräzisionen.
Eine Metapher aus dem Artikel hilft an dieser Stelle: Zwei Wege durch dasselbe Labyrinth können am selben Ziel ankommen, aber an verschiedenen Kreuzungen eine andere Route wählen. Das Ziel war in diesem Fall die Logprob. Die Routen unterschieden sich in der Reihenfolge der Arithmetik. Weil die Arithmetik das letzte verbleibende Bit bestimmt, ist dies für den Policy-Gradient relevant.
Der Ausrichtungsvertrag für Decode, Prefill und Trainer
Der vom Google-Team beschriebene Vertrag umfasst drei Pfade: inkrementelles Sampling-Decode, Serving-Prefill und den Forward des Trainers. Alle drei müssen für jede gesampelte Aktion bitweise identische Logprobs liefern. Entscheidend ist, wie der Vertrag überprüft wird und welche Kontextbedingungen dabei festgehalten werden müssen.
Die Aufteilung in drei Vergleichsschritte liefert zugleich eine Diagnosemethode für bestehende RL-Stacks. Ein direkter Vergleich von Sampler und Trainer zeigt, dass eine Lücke existiert, aber nicht, wo sie entsteht. Der Vergleich Decode gegen Prefill prüft, ob die Serving-Engine bei inkrementeller Tokenerzeugung und anschließender Bewertung der vollständigen Sequenz zu sich selbst passt. Der Vergleich Prefill gegen Trainer prüft, ob Serving und Training über Compiler- und Differenzierungsgrenzen hinweg übereinstimmen.
Ein weiterer wichtiger Punkt betrifft die Identität der Aktion. Prefill und Trainer dürfen nicht lediglich eine beliebige Aktion aus der Verteilung ziehen. Sie müssen genau den Token bewerten, der während des Rollouts gesampelt wurde. Außerdem müssen die gesampelten Token-IDs über Environment-Turns hinweg erhalten bleiben. Andernfalls wäre das numerische Verfahren korrekt ausgerichtet, aber der bewertete Kontext wiche vom ursprünglichen Handlungsverlauf ab.
Damit wird der Vertrag zu einem Prüfprotokoll für die gesamte Ausführungskette. Gewichte, Tokenhistorie, Sampling-Parameter und das ausgewählte Token bilden gemeinsam den Schlüssel, unter dem ein eindeutiges Bitmuster erwartet wird. Diese Strenge macht Fehler sichtbar, die ein Vergleich mit Rundungs- oder Toleranzschwelle verdecken würde.
Vier Bausteine für Zero-TIM auf TPUs
Die Implementierung erfordert laut Chai kein monolithisches System, in dem Sampling und Training in einer einzigen Engine verschmelzen. Stattdessen verbindet sie spezialisierte Serving- und Trainingspfade über vier Bausteine: die Kontrolle der Akkumulation innerhalb eines Shards, die feste Reihenfolge shard-übergreifender Reduktionen, ein standardisiertes Logprob-Scoring und differentielle Regeln für die Serving-Kernels. Dieses Rezept lässt sich auch in bestehende verteilte JAX/TPU-Stacks integrieren.
Innerhalb eines Tensor-Parallel-Shards sorgen batch-invariante Pallas-Kernels dafür, dass Akkumulationsreihenfolge und Zwischenpräzision nicht von der Größe des Batches oder der Zahl der Tokenzeilen abhängen. Projektionskernel durchlaufen feste Kontrahierungsblöcke. Partielle Produkte werden in float32 akkumuliert, während die Ausgaben explizit in das Zielformat gecastet werden. Entscheidend ist die Übergabe zwischen den Kacheln: Die nächste Kachel setzt am float32-Akkumulator an, nicht am bereits gecasteten Output. Für RMSNorm-Reduktionen und die Zwischen-Casts von SwiGLU existieren eigene Kernel. Die bestehende Pallas-Implementierung für Paged Attention im Forward bleibt erhalten.
Bei row-parallelen Projektionen erzeugt jeder Tensor-Parallel-Rank ein partielles Ergebnis. Die Kommunikation wird strikt von der Addition getrennt. Ein ppermute transportiert die Partials, anschließend addiert jeder Rang sie in derselben Quell-Rangfolge. Damit liegt die Reduktionsreihenfolge explizit im Programm statt in der discretionären Entscheidung einer Collective-Implementierung.
Auch das Scoring der Aktion folgt einem einheitlichen Muster. Decode, Prefill und Trainer verwenden dieselben Sampling-Transformationen und dieselbe feste Pallas-Log-Softmax-Konstruktion. Für die Differenzierung des Serving-Forwards kommen Vector-Jacobian-Products zum Einsatz, die die Serving-Kernels im Forward beibehalten und eigene Backward-Regeln bereitstellen. Die differentierbare Replika spiegelt Akkumulation und Casts, dient aber ausschließlich dem Aufbau der Rückpropagierung. Die Forward-Werte stammen weiterhin aus dem Produktionskernel.
Zusätzlich wird der Compiler über --xla_allow_excess_precision=false angewiesen, übermäßige Zwischenpräzision in Operationen rund um die Pallas-Kernels zu vermeiden. Lange Trajektorien werden in Segmente fester Größe verarbeitet, wobei der Paged-KV-Cache weitergereicht wird. Der Gradientenfluss verbindet die Cache-Zustände zwischen den Chunks und fasst die Beiträge der Parametergradienten vor dem Optimizer-Update zusammen.
Messbare Wirkung im FrozenLake-Vergleich
Für den Test beschreibt Chai einen 200-Schritte-Vergleich auf der synthetischen FrozenLake-Umgebung mit einem öffentlichen Qwen3-8B-Checkpoint als Baseline. Getestet wurde auf 64 TPU-v5p-Chips im DP8×TP8-Mesh. Als Verlust fungiert ein GSPO-Token-Loss mit Leave-one-out-Advantages. Die Vergleichsgruppe nutzt entweder die Logprobs des alten Trainers ohne zusätzliche Sampler-Korrektur, token-level Truncated Importance Sampling oder Zero-TIM mit Token-in/Token-out-Verarbeitung zur Erhaltung der gesampelten Token-IDs.
Die Ergebnisse sind in der Zusammenfassung klar formuliert, aber mit einer wichtigen methodischen Einschränkung. In den gezeigten Einzel-Seed-Läufen auf FrozenLake-Grids von 2×2 bis 9×9 mit bis zu fünf Interaktionsturns protokolliert Zero-TIM in jedem geloggten Schritt eine mittlere absolute Sampler-Trainer-Logprob-Differenz von null. Die beobachtete Solve Rate steigt im dargestellten Verlauf. Standard und TIS behalten dagegen von null verschiedene Abweichungen bei. TIS korrigiert den Beitrag zum Update, beseitigt aber die zugrunde liegende numerische Differenz nicht.
Zero-TIM erreicht in diesen Läufen zudem höhere beobachtete Solve Rates. Die Logprob-Differenzen sind ohne Glättung dargestellt, die Solve Rates mit schwachen Rohmessungen und einem gleitenden Durchschnitt über zehn Schritte. Da es sich um einen einzelnen Seed handelt, sollten die Kurven nicht als allgemeiner Wirksamkeitsnachweis gelten. Der eigentliche Beleg für den numerischen Vertrag ist die bitweise Übereinstimmung. Die Trainingsresultate zeigen, was mit diesem Vertrag in diesem Setup beobachtet wurde.
Das ist ein wesentlicher Unterschied. Eine Konstruktion, die exakt dieselbe Arithmetik erzwingt, lässt sich unabhängig vom untersuchten Reward validieren. Ob ein RL-Problem dann konvergiert, hängt weiterhin von Algorithmus, Modell, Daten und Hyperparametern ab. Zero-TIM beseitigt eine Fehlerquelle, nicht die gesamte Komplexität des Trainings.
Übertragbarkeit auf andere Architekturen und den praktischen Nutzen
Zero-TIM ist als Teil von Tunix entstanden, einer JAX-nativen Open-Source-Bibliothek für LLM-RL und Post-Training auf Cloud TPU. Das Google-Team verweist darauf, dass die Kernelmuster und der dreistufige Vertrag modular ausgelegt sind, damit bestehende Multi-Host-JAX/TPU-Stacks sie übernehmen können. Die Arbeit ordnet sich in eine breitere Bewegung ein: Projekte wie vLLM mit TorchTitan sowie RadixArk und LMSys Miles zeigen ebenfalls, dass batch-invariante Kernel und bitweise numerische Ausrichtung Off-Policy-Drift während der Policy-Optimierung begrenzen können.
Offen bleibt die Reichweite der Lösung. Laut Chai wird die Unterstützung für lineare Attention und Mixture-of-Experts-Architekturen aktiv erweitert. Bei MoE-Modellen kommen Router, sortierte Tokenströme und möglicherweise unterschiedliche Kommunikationsmuster hinzu. Dass die Autoren diese Erweiterung als laufende Aufgabe nennen, zeigt, wie viele Pfade ein bitweiser Vertrag umfassen kann.
Für Teams, die RL auf TPUs betreiben, ergibt sich daraus ein Prüfrahmen. Zuerst lohnt der Blick auf die Sampling-Transformationen, die verwendeten Kernel und die Präzision der Akkumulatoren. Danach folgt ein direkter Byte-Vergleich der gesampelten Logprobs zwischen Decode, Prefill und Trainer. Erst wenn diese Werte übereinstimmen, lohnt die Diskussion über Importance-Sampling-Korrekturen oder Verlustvarianten. Andernfalls wird am symptomatischen Update gearbeitet, während die Ursache in der numerischen Ausführung liegt.
Das Train-Inference-Mismatch ist kein exotisches Randproblem, sondern eine strukturelle Eigenschaft verteilter und spezialisierter RL-Systeme. Dass zwei Pfade dieselbe Gleichung implementieren, bedeutet nicht, dass sie dieselben Zahlen erzeugen. Zero-TIM überführt diese Lücke in einen überprüfbaren Vertrag. Statt sich auf Annahmen über gleichwertige Gleichungen zu verlassen, greifen die beteiligten Systeme auf eine überprüfbare Gleichheit auf Byte-Ebene zurück.
Quelle: developers.googleblog.com
