Du möchtest ein Video generieren. Zwei grundlegend verschiedene Ansätze stehen zur Auswahl. Der eine sagt Bild für Bild voraus – wie ein Regisseur, der Szene für Szene dreht. Der andere lässt das gesamte Video aus Rauschen entstehen – wie ein Maler, der eine Leinwand freilegt. Bisher musstest du dich für einen Weg entscheiden. Ein Team der National University of Singapore und NVIDIA hat auf der ICML 2026 eine Arbeit vorgestellt, die das ändert. Mit Flex-Forcing lassen sich beide Prinzipien in einem Modell vereinen. Ein Modell, zwei Regime – ohne Qualitätseinbußen.
Die Grundidee ist einfach. Autoregressive Modelle, wie du sie von Sprachmodellen kennst, erzeugen Daten Schritt für Schritt. Jeder neue Token hängt von den vorherigen ab. Bei Videos: Frame für Frame, Patch für Patch. Das ist präzise und kontrolliert, aber langsam und fehleranfällig – Fehler schaukeln sich auf.
Bidirektionale Diffusionsmodelle starten mit Rauschen und entfernen es in mehreren Schritten. Das gesamte Bild wird gleichzeitig verfeinert. Das ist mächtig, aber schwer zu steuern, wenn du bestimmte Teile beeinflussen willst.
Flex-Forcing verbindet beide Welten. Während des Trainings wird eine flexible Maskierungsstrategie angewendet. Stell dir ein Puzzle vor: Bei autoregressiver Generierung legst du die Teile nacheinander hin. Bei bidirektionaler siehst du alle Teile unscharf und schärfst sie gemeinsam. Flex-Forcing erlaubt beides, indem es während des Trainings mal die eine, mal die andere Perspektive einnimmt. Das Modell lernt, sequenziell und parallel zu denken.
Die Forscher nennen das Verfahren Unified Autoregressive & Bidirectional Video Diffusion. Die Beobachtung: Trainierst du ein Diffusionsmodell, kannst du festlegen, welche Teile des Videos zu welchem Zeitpunkt bekannt sind. Normalerweise maskiert man zufällig Pixel und lässt das Modell die fehlenden vorhersagen. Flex-Forcing maskiert nicht nur zufällig, sondern auch in zeitlicher Abfolge. Das Modell muss aus der Vergangenheit (autoregressiv) und aus Gegenwart und Zukunft (bidirektional) schließen.
Ergebnis: Ein Modell, das auf zwei Arten nutzbar ist. Wie einen autoregressiven Generator, der Frame für Frame ausgibt. Oder als klassischen Diffusions-Denoiser, der das ganze Video auf einmal erzeugt. Du kannst beide Modi mischen. Für eine kontrollierte Szene wählst du den autoregressiven Pfad. Für eine atmosphärische den bidirektionalen. Alles im selben Modell.
Die Autoren zeigen zahlreiche Beispiele: ein Waschbär als Detektiv mit Lupe, ein Mann im Sturm auf See, eine Schildkröte im Rennanzug auf einem Skateboard, ein Drache-Tukan in der Serengeti. Eine Dampflokomotive fährt durch Schnee. Ein Kind rennt über ein Feld. Eine junge Frau mit Sommersprossen sucht etwas. Ein Mann mit Taucherhelm und Jetpack läuft über Lava, ein Drache fliegt über ihm. Flauschige Wollmonster tanzen. Eine Panoramaschwenk über Grasfelder bei Sonnenuntergang. Ein Vogelstrauß in einer 80er-Küche. Ein Snowboarder rast zwischen Bäumen.
Jedes Video wurde mit demselben Modell erzeugt, aber mit unterschiedlichen Strategien – autoregressiv, bidirektional oder gemischt. Die Qualität ist durchweg hoch. Bewegungen sind flüssig, Szenen stimmig, Details scharf. Flex-Forcing überzeugt nicht nur theoretisch.
Das ist bedeutend: Die Flexibilität für Entwickler steigt enorm. Bisher brauchtest du verschiedene Modelle für verschiedene Aufgaben. Für interaktive Anwendungen das autoregressive Modell. Für ganze Szenen aus einer Beschreibung das Diffusionsmodell. Mit Flex-Forcing reicht ein Modell. Das spart Rechenzeit, Speicher und Aufwand beim Fine-Tuning.
Die Kombination eröffnet neue Möglichkeiten: Ein Video, dessen erster Teil autoregressiv erzeugt wird (für eine bestimmte Handlung), der Rest bidirektional (für stimmigen Hintergrund). Oder ein Moduswechsel mitten im Video für einen stilistischen Bruch. Die Kontrolle liegt bei dir.
Die technische Umsetzung ist raffiniert. Die Forscher erweiterten ein standardmäßiges Diffusionsmodell um eine flexible Maskierungslogik. Während des Trainings wird für jeden Batch eine zufällige Maske erzeugt, die bestimmt, welche Pixel sichtbar sind. Das Modell lernt, aus bekannten und unbekannten Kontexten zu schließen. Nach dem Training setzt du die Maske beliebig – und wählst den Generierungsmodus.
Die Qualität leidet nicht unter der Flexibilität. In Experimenten erreicht das Modell vergleichbare oder bessere Metriken als spezialisierte Modelle. Die kombinierte Trainingsstrategie zwingt das Modell zu tieferem Verständnis von zeitlichen und räumlichen Abhängigkeiten. Wie ein Musiker, der nach Notenblatt und improvisieren kann – und beides besser beherrscht.
Konkret: Wer mit Videogenerierung arbeitet – Content Creation, Simulationen oder Forschung – wird bald auf Modelle stoßen, die auf Flex-Forcing basieren. Sie erlauben eine Steuerung, die vorher nicht möglich war. Du musst nicht mehr zwischen zwei Welten wählen. Du hast beide, in einem Modell ohne Kompromisse.
Die Arbeit ist ein Schritt zu universellen Generierungsmodellen, die Sprache, Bilder und Videos mit einem Framework erzeugen. Flex-Forcing zeigt: Vereinheitlichung erreicht man nicht nur durch größere Modelle, sondern auch durch kluge Trainingsstrategien. Bestehende Ansätze sind keine Gegensätze, sondern komplementäre Werkzeuge, die sich vereinen lassen.
Die Forscher haben Code und Modellgewichte veröffentlicht. Du kannst heute experimentieren. Es lohnt sich. Flex-Forcing ist ein Blick in die flexible Zukunft der Videogenerierung.
Quelle: research.nvidia.com
