„Für uns ist dieser Trainingslauf für 21.000 Dollar ein Proof of Concept auf dem Weg zu unserem nächsten Videomodell“, notiert das Team hinter Pyramid-JiT. Der Satz lohnt einen zweiten Blick. Er dreht eine Größenordnung um, an die man sich bei generativer KI gewöhnt hat. Kein Konzernbudget, keine Clustermiete in Millionenhöhe – eine Rechnung, die auf eine Seite passt und trotzdem ein vollständiges Text-to-Image-Modell hervorbringt. Deshalb sollte man den Bericht nicht als Kuriosität abtun. Er ist eine offene Bauanleitung mit Preisschild.
Hinter dem Projekt steht ein Forschungslabor mit zwei Personen, das seine Videomodelle komplett selbst trainiert – von den Gewichten bis zum Datenfilter. Das Ziel: Werkzeuge, die Animation zugänglich machen. Der Zwischenschritt ist ein Bildmodell mit rund 2 Milliarden Parametern, 249 veröffentlichten Beispielbildern und einem Text, der offen zeigt, wo das Geld hingeht, welche Architekturentscheidung es spart und wo das Modell an Grenzen stößt.
Zwei Personen, 8.415 H100-Stunden und eine Rechnung über 21.038 Dollar
Die Kostenaufstellung ist detailliert. Für das Pretraining nennen die Entwickler 8.139 H100-Stunden zu angenommenen 2,50 Dollar pro Stunde, also 20.348 Dollar. Dazu 276 Stunden Post-Training für 690 Dollar. Zusammen sind das 21.038 Dollar für 8.415 GPU-Stunden auf 64 H100-Maschinen, Neustarts eingerechnet.
Verteilt wurde das auf zwei Etappen: 610 Millionen Samples bei 512 Pixeln Kantenlänge, danach 50 Millionen bei 1024 Pixeln. Wer Videomodelle selbst trainieren will, bekommt hier eine brauchbare Orientierungsmarke – keine Anekdote vom einen großen Lauf, sondern eine Zahl, die klein genug ist, um sie als Experiment zu wiederholen. Der Kontext zählt allerdings: Der Bericht rechnet mit einem Fremdpreis pro GPU-Stunde und einer festen Hardware-Konfiguration. Die 21.000 Dollar sind keine allgemeine Wahrheit, sondern eine konkrete Momentaufnahme.
Warum ein Diffusionsmodell ohne VAE stärker komprimieren kann
Der Kostentreiber sitzt in der Aufmerksamkeit. Jedes Token muss jedes andere betrachten, der Aufwand wächst quadratisch mit der Kontextlänge. Man kann sich das wie eine Begrüßungsrunde vorstellen: Bei zehn Gästen gibt es 45 Händedrücke, bei hundert schon fast fünftausend. Wer die Gästezahl halbiert, viertelt die Begrüßungen. Genau das ist Kompression.
Üblicherweise erledigt ein separater Autoencoder diese Verdichtung. Ein Variational Autoencoder presst das Bild in einen Latentraum, das Diffusionsmodell arbeitet darin. Die Autoren argumentieren, dass dieser Umweg an eine Grenze stößt: Mehr Kompression lässt sich einem VAE kaum entlocken, ohne massiv umzubauen – man sehe sich den 2-Milliarden-Parameter-Decoder in Minimax‘ H3 an. Eine bessere Rekonstruktion im VAE heißt zudem nicht automatisch bessere Bilder aus dem Diffusionsmodell. Der Zwischenschritt kann die Generation sogar verschlechtern.
Daraus folgern die beiden Entwickler einen anderen Weg: ein Diffusionsmodell ohne VAE, direkt im Pixelraum. Statt den Latentraum eines anderen Modells zu übernehmen, lernt das Modell seinen eigenen, zugeschnittenen Raum und komprimiert und generiert im selben Schritt. Das Ergebnis: 32×32-Patches statt 16×16, ein Viertel des Aufmerksamkeitsfensters und laut Bericht elfmal weniger Samples bis zur Konvergenz als beim Vorgänger Linum v2.
Die Pyramid-JiT-Architektur: Lesestellen entlang des Rumpfs
Der Name ist Programm: einen Rumpf, mehrere Abgriffe. Text und Bild laufen zunächst getrennt durch je zwei eigene DiT-Blöcke und werden dann zu einem Strom aus 22 identischen Blöcken zusammengeführt. Der Text kommt aus einem eingefrorenen Qwen3.5-4B-Modell, ausgelesen an den Schichten 7, 15 und 27 – den drei Schichten mit voller Aufmerksamkeit –, danach zusammengehängt und projiziert. Das Bild wird in 32×32-Patches zerlegt und von 3.072 auf 1.024 Dimensionen verdichtet, ein Verhältnis von drei zu eins.
Wichtig ist, was unterwegs passiert. Nach Block 5 sitzt ein PixelREPA-Kopf, der die gelernten Merkmale an DINOv3-L ausrichtet: 20 Prozent der Tokens werden maskiert, ein kleiner Transformator sagt die Feature-Repräsentation desselben Bildes vorher. Nach Block 10 und 16 folgen zwei lineare Köpfe, die eine saubere Version des Bildes in Viertel- und halber Auflösung vorhersagen. Die Motivation liefern verwandte Arbeiten wie REPA, RAE-v2 und Self-Flow, die schwache Gradienten in den frühen DiT-Blöcken beobachten.
Weil das Modell im Pixelraum arbeitet, sagt jeder Block im Grunde eine Variante des Endbildes vorher. Das Signal lässt sich also früh im Netz verstärken. Die Verlustfunktion summiert MSE an den Abgriffen, Kosinusdistanz aus PixelREPA, MSE am finalen Kopf und perzeptive Verluste über LPIPS und P-DINO. Beim Sampling kommt die Architektur auf 2,18 Milliarden Parameter, im Training mit den zusätzlichen Köpfen auf rund 2,42 Milliarden.
Rauschen als Lehrplan: von 512 auf 1024 Pixel
Trainiert wird in zwei Stufen mit unterschiedlichem Rauschprofil. In den ersten 80 Millionen Samples konzentriert sich der Zeitplan auf hohes Rauschen, damit das Modell zuerst grobe Struktur lernt. Danach öffnet sich die Verteilung, und der Anteil der Zeitschritte, in denen feine Details entstehen, steigt um den Faktor 107. Das ist keine Feinjustierung am Rand, sondern der Unterschied zwischen erkennbarem Motiv und stimmigem Material.
Beim Wechsel auf 1024 Pixel beginnen die Entwickler mit einem frischen Optimierer und setzen die Gewichte aus dem EMA-Stand der 512er-Stufe fort. Die Rauschskala steigt von 2 auf 4, weil höhere Auflösung mehr redundante Information enthält. Über RoPE-Interpolation bleiben die Patch-Indizes an einem festen 512er-Raster ausgerichtet, und der EMA startet erst zwei Millionen Samples später, damit er sich an die neue Auflösung gewöhnt. Der Validierungsverlust springt beim Öffnen des Zeitplans auf 0,157 – ein Ausschlag, der weniger nach einem Fehler aussieht als nach einem Modell, das plötzlich andere Aufgaben lösen muss.
Post-Training für Diffusionsmodelle ist noch ein junges Feld
Für das Post-Training nennen die Autoren 276 H100-Stunden, also 690 Dollar – eine Variante der Finite Difference Flow Optimization mit JEV-Image und menschlichen Bewertern. Sie beeilen sich dazuzusagen, wie jung dieses Feld ist. Modell- und Schedule-Distillation gibt es reichlich. Eine echte Verbesserung der Grundfähigkeiten, wie man sie aus dem Coding-Bereich bei Sprachmodellen kennt, ist bei Diffusionsmodellen dagegen noch nicht angekommen.
DPO gibt es seit einer Weile, es überfittet aber schnell auf bestimmte ästhetische Vorlieben. Flow-GRPO war im vergangenen Herbst einer der ersten Versuche, RLVR-artige Verfahren auf Diffusion zu übertragen, gefolgt von Arbeiten wie Diffusion NFT und im Juni FDFO. Die Schwierigkeit liegt tiefer: Diffusionsmodelle liefern keine belastbaren Likelihood-Schätzungen wie autoregressive Sprachmodelle. Ohne diese Größe fehlt dem Post-Training der Maßstab.
Was das Modell nicht kann – und warum die Grenzen offen benannt sind
Die Schwächen werden klar benannt. Das Modell hat keine Bilder mit gerendertem Text gesehen – keine Infografiken, PDFs, Buchseiten, Präsentationsfolien – und kann deshalb weder schreiben noch Plakate gestalten. Diese Daten wurden bewusst aus dem Korpus gefiltert, weil sie für ein Animationswerkzeug wenig beitragen. Dazu kommen Einschränkungen, die zur Größe passen: ganze Körper, viele Objekte in einem Bild, Interaktionen mehrerer Personen, Weltwissen. Ein Modell mit 7 Milliarden Parametern und mehr Post-Training würde diese Punkte wahrscheinlich entschärfen.
Ein Text-to-Image-Modell trainieren, das brauchbare Ergebnisse liefert, kostet heute nicht zwingend ein Vermögen. Es kostet vor allem eine gute Idee bei der Kompression und die Bereitschaft, die Rechnung offenzulegen. Die 21.038 Dollar sind kein Preis zum Feiern, sondern eine Untergrenze. Sie zeigt, wie günstig KI-Inferenz werden kann, wenn man das Aufmerksamkeitsfenster früh genug beschneidet. Wer Videomodelle selbst trainieren will, findet in dem Bericht deshalb weniger eine Erfolgsmeldung als einen Bauplan mit Preisschild. Und der nächste Schritt ist ohnehin kein stehendes Bild mehr.
Quelle: linum.ai
