Stell dir vor, du bereitest ein Festessen für tausend Gäste zu. Du hast unendlich viele Rezepte, aber der Kochprozess ist chaotisch. Jeder Gast hat andere Wünsche – Allergien, Extraportionen. Du hast eine Brigade von Köchen, aber sie arbeiten jeder für sich: mal mit Gas, mal mit Induktion, der eine spricht Französisch, der andere Python. So fühlt sich das Training großer Sprachmodelle mit Reinforcement Learning (RL) an: viele Komponenten, viele Abhängigkeiten, viel Abstimmungsarbeit. NVIDIA NeMo Labs hat mit Molt einen neuen Ansatz vorgestellt, der diesen Prozess radikal vereinfacht – durchschaubar an einem Nachmittag.
Molt ist ein agentisches RL-Framework für die Forschung. Es setzt auf einen minimalistischen Stack: Ray für die Orchestrierung, vLLM für das Rollout, NVIDIA AutoModel und FSDP2 für das Training – alles in reinem PyTorch, ohne zusätzliche Backend-Ebene. Der gesamte RL-Code umfasst rund 9.200 Zeilen. Das ist wenig im Vergleich zu anderen Frameworks, die oft 25.000 oder 62.000 Zeilen für das RL allein benötigen. Weniger Code bedeutet weniger Fehlerquellen, schnellere Iterationen und eine niedrigere Einstiegshürde für Forscher, die eigene Experimente umsetzen wollen.
Der Kern: Ein Agent, ein Trainer, eine Suite
Die Architektur von Molt ist einfach: drei Boxen, eine asynchrone Schleife. Da ist der Agent – ein Programm, das eine Umgebung (Env) oder einen ChatAgent implementiert. Der Agent produziert Tokens, sammelt Logprobs, erhält Belohnungen. Dann gibt es den Rollout-Engine, vLLM, der die Interaktionen mit der Umgebung beschleunigt – inklusive Multi-Turn-Tool-Calls und multimodalen Eingaben. Drittens der Trainer: ein einzelner Actor, der mit NVIDIA AutoModel und FSDP2 das Modell aktualisiert. Ray übernimmt die Platzierung der Rechenressourcen und die asynchronen Warteschlangen zwischen den Boxen. Das ist alles. Kein komplexes Message-Passing, keine verschachtelten Service-Layer. Der Vertrag zwischen diesen Komponenten ist token-first: Token-IDs, Logprobs, Aktionsbereiche, Belohnungen und multimodale Tensoren bleiben während des gesamten Prozesses ausgerichtet. Vom Rollout bis zum Training gibt es keine brüchige Datenübersetzung. Alles, was du in Python berechnen kannst, ist eine gültige Belohnung – auch ein LLM-as-Judge-Aufruf, der denselben vLLM-Engine nutzt, der auch für das Rollout zuständig ist.
Dieses Design bedeutet für dich als Forscher: Du schreibst deine Agent-Umgebung in normalem Python. Kein spezielles Framework, keine abstrakten Reward-Modelle, die du erst trainieren musst. Du definierst eine Env-Klasse mit einer step-Methode oder einen ChatAgent mit run, gibst einen Pfad zur Klasse an und das Framework kümmert sich um den Rest. Der Trainer bleibt davon unberührt. Das nennt Molt „agentic-first“: Der Agent ist das Programm, der Trainer ist nur ein Actor. Deshalb lässt sich der gesamte RL-Graph auf eine Seite zeichnen – vergleichbar mit einem einfachen Kochrezept: Zutaten, Anleitung, Ergebnis.
Skalierung jenseits von 8 Milliarden Parametern
Molt zielt nicht auf kleine Modelle ab. Es wurde für die 1-Token-Klasse konzipiert – für Modelle mit einer Billion Parametern, die als Mixture-of-Experts (MoE) organisiert sind. Denk an DeepSeek-V3 mit 256 Expertengruppen. Molt unterstützt Tensor-Parallelismus (TP), Expert-Parallelismus (EP) und Context-Parallelismus (CP) in vLLM, und zwar nativ über NVIDIA AutoModel. Das FSDP2-Training kann mit dem --fsdp.ep_size 256-Flag die Expertengruppen auf 256 GPUs verteilen. Adam-CPU-Offloading erlaubt es, selbst größte Actormodelle zu trainieren, ohne dass der GPU-Speicher explodiert. All das in einem einzigen CLI-Befehl – keine manuelle Konfiguration von Parallelstrategien, keine YAML-Walzen.
Ein zentrales Problem bei asynchronem RL auf MoE-Modellen ist die Stabilität des Routings. vLLMs Token-Findung (Top-k-Routing) muss mit dem Training übereinstimmen. Molt bietet dafür zwei Mechanismen: Router-Replay (R3) und Router-Freeze. Bei R3 wird das vom vLLM ausgeführte Routing im Forward-Durchlauf des Trainings wiederholt – so wird sichergestellt, dass die Tokens dieselben Experten treffen. Das schließt eine häufige Quelle für Abweichungen zwischen Rollout- und Trainings-Logprobs. Router-Freeze hält die Gate-Gewichte während des RL-Trainings fest, sodass das Routing nicht mit jedem Update driftet. Zusammen mit der Importance-Sampling-Korrektur (IS-Correction) für verspätete oder partielle Rollouts filtert Molt jene Stichproben heraus, bei denen die Aufteilung zwischen Rollout und Training zu stark abweicht. Saubere Statistik – implementiert in wenigen Zeilen, die du nachvollziehen kannst.
Vergleich mit anderen Frameworks
Die RL-Landschaft ist breit: OpenRLHF setzt auf DeepSpeed und benötigt zusätzliche Reward-Modelle; verl (von BAAI) kommt mit 62.000 Zeilen RL-Code und großer YAML-Konfiguration; slime (Megatron-basiert) hat 25.000 Zeilen und ein eigenes Plugin-System. Molt sticht heraus – nicht weil es weniger kann, sondern weil es den Fokus enger setzt. Es optimiert nicht für Allgemeinheit der RL-Algorithmen, sondern für die Geschwindigkeit agentischer Forschung. Du bekommst Unterstützung für die wichtigsten Schätzer (REINFORCE, GRPO, PPO mit GAE), optionalen PPO-Critic und On-Policy-Distillation. Aber du wirst keine unendliche Liste von Policy-Gradient-Varianten finden. Dafür kannst du jede Zeile, die dein Training beeinflusst, selbst lesen – und anpassen, falls nötig. Das ist der Unterschied zu den „schwarzen Kästen“ anderer Frameworks, bei denen die Gradientenberechnung in einer monolithischen Codebasis verschwindet.
Ein weiterer Unterschied: Molt ist multimodal und multi-turn first. Chat-Vorlagen werden automatisch aus dem Hugging-Face-Chat-Template des Modells abgeleitet – kein hartkodiertes [INST] oder <|assistant|> mehr. Das funktioniert mit ChatML (z.B. Qwen3, Nemotron), Kimi-K2.6, GLM, Gemma und DeepSeek. SFT-Verlustmasken und Multi-Turn-Stitching laufen ebenfalls über dieses Template. Für Forscher, die mit verschiedenen Modellfamilien arbeiten, bedeutet das Zeitersparnis: Sie müssen nur den Modellnamen ändern, die gesamte RL-Pipeline passt sich an.
Praktische Implikationen: Keine Ausreden mehr für schwere Frameworks
Die Botschaft von Molt ist klar: Großskaliges agentisches RL muss kein Monster sein. Du kannst ein 1-Token-MoE-Modell mit einem Framework trainieren, das weniger Code hat als viele Bachelor-Projekte. Die Kombination aus Ray (Asynchronität), vLLM (schnelles Rollout) und NVIDIA AutoModel + FSDP2 (reines PyTorch) ergibt einen Stack, der lesbar und leistungsfähig ist. Für die Forschungs-Community bedeutet das: schnellere Iterationszyklen, mehr Transparenz, weniger Frustration. Du kannst ein neues Belohnungsmodell in einer Stunde implementieren, statt drei Tage damit zu verbringen, das Framework zu verstehen. Natürlich ist Molt nicht für jeden Zweck perfekt – es fehlen beispielsweise DPO/KTO/IPO-Trainer, und der Fokus liegt stark auf Online-RL. Aber diese Reduktion auf das Wesentliche macht es für die agentische RL-Forschung interessant.
Wenn du selbst schon einmal ein RL-Training aufgesetzt hast, weißt du, wie schnell sich die Codebasis aufbläht – zwischen Rollout-Servern, Reward-Modellen und aufwändigen Konfigurationsdateien. Molt zeigt, dass es auch anders geht. Mit einem klaren Vertrag, einer schlanken API und dem Verzicht auf selten benötigte Features. Es ist ein Framework für Leute, die verstehen wollen, was ihre Gradienten treiben – und trotzdem nicht auf die Skalierung verzichten wollen. Vielleicht ist das der Anfang einer neuen Generation von RL-Tools, bei denen Einfachheit und Leistung kein Widerspruch sind.
Quelle: github.com
