Du willst ein kurzes Video von fünf Sekunden Länge mit einer KI generieren. Du wählst eine Beschreibung, drückst auf Start und wartest. Nach einer Minute hast du immer noch nichts, weil die GPU auf Hochtouren läuft und die Rechnung nicht fertig wird. Dieses Gefühl der Ungeduld kennt jeder, der schon einmal mit modernen Videogeneratoren gearbeitet hat. Die Modelle liefern gute Ergebnisse, brauchen aber oft mehrere Minuten und mehrere leistungsstarke Grafikkarten, um selbst kurze Clips zu berechnen. Jetzt kommt ein neues Verfahren aus dem Hause NVIDIA Research, das diese Wartezeit drastisch verkürzen will: SANA-Video 2.0. Es verspricht 720p-Videos auf einer einzigen H100 in etwa 13 Sekunden – bei einer Qualität, die mit den großen Brüdern mithalten kann.
Dahinter steckt eine Kombination aus zwei grundlegenden Mechanismen: „Attention“. Attention ist das Herzstück vieler moderner Modelle – sie entscheidet, welche Teile eines Eingabetextes oder bildes für den nächsten Schritt wichtig sind. Bei Videomodellen wird diese Aufmerksamkeit auf Tausende von Einzelbildern und deren zeitliche Abfolge angewendet. Die klassische Version, die Softmax-Attention, ist extrem genau, aber ihr Aufwand wächst quadratisch mit der Länge des Videos. Ein Video von 60 Sekunden ist nicht etwa doppelt so teuer wie eines von 30 Sekunden, sondern viermal so teuer. Das führt schnell zu Laufzeiten, die jede praktische Anwendung ausbremsen.
Eine effizientere Alternative ist die lineare Attention. Sie skaliert linear mit der Länge, also nur proportional zur Anzahl der Frames. Das klingt verlockend, hat aber einen Haken: Lineare Attention verliert an Ausdruckskraft. Sie kann nicht mehr alle feinen Abhängigkeiten zwischen weit auseinanderliegenden Bildteilen erfassen. Die Sequenz wird zwar schneller berechnet, aber die Qualität leidet. Genau hier setzt SANA-Video 2.0 an. Die Forscher haben eine hybride Architektur entwickelt, die das Beste aus beiden Welten vereint: einen überwiegenden Anteil an linearer Attention für die Geschwindigkeit und regelmäßig eingestreute Softmax-Blöcke, um die verlorene Genauigkeit wiederherzustellen. Das Verhältnis beträgt drei zu eins – auf drei lineare Aufmerksamkeitsschichten folgt eine mit Softmax. Damit bleibt der Berechnungsaufwand nahezu linear, während die Qualität auf dem Niveau reiner Softmax-Modelle bleibt.
Stell dir ein großes Unternehmen mit vielen Abteilungen vor. Die normale Softmax-Attention wäre wie eine wöchentliche Vollversammlung, in der jeder mit jedem redet. Das ist sehr effektiv, um alle auf den gleichen Stand zu bringen, aber bei Hunderten von Mitarbeitern dauert es ewig. Lineare Attention wäre wie ein E-Mail-Rundschreiben, das schnell rausgeht, aber viele Details gehen verloren und die Rückmeldungen sind begrenzt. Die Hybridstrategie von NVIDIA ist eine Mischung: Die meisten Informationen fließen über schnelle, interne Memos (lineare Attention), aber alle paar Schritte gibt es ein großes Meeting (Softmax), in dem die wichtigsten Punkte zusammengeführt und korrigiert werden. So bleibt der Gesamtaufwand niedrig, und die Qualität leidet nicht.
Die Forscher haben noch eine zweite Innovation eingebaut: Block Attention Residuals, kurz AttnRes. Die Idee ist simpel: Die Ergebnisse der seltenen Softmax-Blöcke – die hochwertigen, globalen Informationen – sollen nicht nach einem Schritt verpuffen. Stattdessen werden sie als kompakte Zusammenfassung gespeichert und in nachfolgende, rein lineare Schichten weitergeleitet. Das ist, als würdest du die Protokolle des großen Meetings an alle Abteilungen schicken, damit sie auch Wochen später noch darauf zurückgreifen können. In der Praxis steigerte dieser Trick die effektive Rangordnung der Darstellungen in den tieferen Schichten um etwa zwölf Prozent. Die linearen Schichten bekommen durch die Residual-Verbindungen immer wieder Zugriff auf die vollständigen Informationen, die sie sonst vermissen würden. Damit wird der Hybrid noch robuster.
Ein entscheidender Punkt: NVIDIA hat SANA-Video 2.0 nicht einfach aus einem bestehenden Modell abgeleitet, indem sie nur die Aufmerksamkeit ausgetauscht haben. Sie haben das gesamte Modell von Grund auf mit dem hybriden Design trainiert. So können die linearen und die Softmax-Köpfe von Anfang an optimal zusammenwirken. In Proxy-Studien mit reduzierter Auflösung wurde der beste Kompromiss ermittelt: 25 Prozent Softmax-Anteil liefern das optimale Verhältnis von Qualität zu Effizienz. Von diesem Proxy ausgehend wurde das endgültige Modell in zwei Größen trainiert: eine 5-Milliarden-Parameter-Variante und eine 14-Milliarden-Parameter-Variante. Beide teilen sich die gleiche Architektur, aber die größere Version hat mehr Kapazität für feinere Details.
Die Ergebnisse sind beeindruckend. In der Benchmark VBench, die viele verschiedene Aspekte der Videogualität misst, erreicht SANA-Video 2.0 einen Score von 84,30. Das liegt auf dem Niveau deutlich größerer Modelle, die ausschließlich Softmax-Attention verwenden. Der entscheidende Unterschied ist die Latenz. Auf einer einzelnen H100-GPU benötigt das Modell für ein 480p-Video mit 40 Generierungsschritten nur 13,2 Sekunden. Zum Vergleich: Das reine Softmax-Modell wäre bei einem 720p-Video von 60 Sekunden Länge etwa 3,2 Mal langsamer, wenn man die reine Forward-Pass-Zeit des Transformers betrachtet. Dieser Vorsprung wächst mit der Videolänge weiter, weil die quadratische Softmax-Attention immer mehr Zeit frisst.
NVIDIA hat noch einen draufgesetzt: die sogenannte Sol-Engine-Optimierung. Dabei handelt es sich um einen Werkzeugkasten aus Kernel-Fusion, Caching-Strategien und sparse Attention, der auf die hybride Architektur abgestimmt ist. Mit diesen Optimierungen wird die 5-Milliarden-Parameter-Version auf einer einzigen H100 noch einmal um den Faktor 3,58 schneller. Das führt zu der beeindruckenden End-to-End-Latenz von 13,06 Sekunden für ein 720p-Video mit fünf Sekunden Länge. Im Vergleich zu einem anderen populären Modell, Wan 2.2 mit 14 Milliarden Parametern, ist SANA-Video 2.0 auf der gleichen GPU 120 Mal schneller. Direkte Vergleiche sind immer mit Vorsicht zu genießen, weil sich Modelle in Trainingsdaten und Zielsetzung unterscheiden. Dennoch zeigt dieser Wert, wie drastisch der Effizienzgewinn sein kann.
Für den praktischen Einsatz bedeutet das: Videogenerierung auf einem einzelnen Consumer-Grafikchip – oder zumindest auf einer einzelnen Rechenbeschleuniger-Karte – wird realistischer. Bislang waren lange Wartezeiten und teure Hardware-Cluster die Norm. Mit SANA-Video 2.0 rückt die Möglichkeit näher, kurze Videoclips in akzeptabler Zeit auf einem lokal verfügbaren System zu erzeugen. Das eröffnet neue Anwendungen für Content-Ersteller, Filmemacher oder für interaktive Dienste, bei denen ein Nutzer nicht minutenlang warten will. Die Latenz von 13 Sekunden für ein fünfsekündiges Video ist immer noch relativ hoch für Echtzeitzwecke. Es handelt sich nicht um eine Sofortgenerierung, sondern um eine spürbare Wartezeit. Aber für viele Szenarien – die Produktion von Kurzclips für soziale Medien oder das schnelle Prototyping von Szenen – ist das ein großer Fortschritt.
Bleibt die Frage: Was ist die KI-Technologie dahinter? Im Kern geht es um die Verbindung von zwei Aufmerksamkeitsmechanismen. KI-Systeme wie dieses lernen aus riesigen Datenmengen, wie Videosequenzen aufgebaut sind. Sie zerlegen den Inhalt in kleine Bausteine und sagen dann Schritt für Schritt voraus, welche Bausteine als nächstes kommen. Die „Attention“ ist die Methode, mit der das Modell relevante Zusammenhänge über große zeitliche und räumliche Distanzen hinweg herstellt. SANA-Video 2.0 zeigt, dass es möglich ist, diese Zusammenhänge effizient zu berechnen, ohne die Qualität zu opfern. Das macht KI für Einsteiger und Profis gleichermaßen nutzbar.
Ein weiterer Aspekt ist die Skalierbarkeit. Die Architektur wurde so konzipiert, dass sie von kurzen Clips bis zu längeren Videos gut funktioniert. Die lineare Attention dominiert bei langen Sequenzen, und die Softmax-Anker sorgen dafür, dass die globale Semantik nicht verloren geht. Die Forscher haben gezeigt, dass der Geschwindigkeitsvorteil mit der Videolänge sogar noch zunimmt. Das ist besonders relevant für Anwendungen der Zukunft, in denen nicht nur fünf Sekunden, sondern ganze Minuten generiert werden sollen. Obwohl der Trainingsaufwand für solche Modelle enorm ist, zeigt SANA-Video 2.0 einen Weg auf, wie man mit begrenzter Hardware auskommen kann.
Auch die Integration der Attention Residuals ist bemerkenswert. Sie sind ein elegantes Gegenmittel gegen das Problem, dass lineare Aufmerksamkeit in tiefen Schichten an Effektivität verliert. Indem die Ergebnisse der Softmax-Blöcke wie eine Art Gedächtnis weitergegeben werden, bleibt die Qualität über alle Schichten hinweg hoch. Das Konzept ist nicht völlig neu – Residualverbindungen gibt es seit ResNet –, aber die Anwendung auf die Attention selbst ist eine interessante Verfeinerung. Sie zeigt, wie man aus bestehenden Ideen neue Kombinationen schmiedet, die mehr sind als die Summe ihrer Teile.
Für den durchschnittlichen Anwender bleibt das meiste dieser technischen Details unsichtbar. Was zählt, ist das Ergebnis: kürzere Wartezeiten, geringere Hardwareanforderungen und dennoch ansprechende Videoqualität. In einer Zeit, in der generative KI immer mehr in den Alltag einzieht, sind solche Effizienzfortschritte entscheidend, um die Technologie breit verfügbar zu machen. NVIDIA hat mit SANA-Video 2.0 einen Meilenstein gesetzt, der zeigt, dass hohe Qualität nicht zwingend hohe Rechenkosten bedeuten muss. Die nächsten Schritte werden sein, diese Optimierungen auf noch größere Modelle und längere Videos zu übertragen und die Ergebnisse weiter zu verbessern.
Quelle: nvlabs.github.io
