Wer einen Text schreibt, tippt normalerweise Wort für Wort von links nach rechts. Das ist die autoregressive Arbeitsweise der meisten großen Sprachmodelle (LLMs). Diffusions-Sprachmodelle gehen anders vor: Sie starten mit einer verrauschten Sequenz und entfernen Schritt für Schritt das Rauschen, bis ein klarer Satz übrig bleibt. Die LLaDA2.X-Serie von InclusionAI (ein Team der Ant Group) zeigt, dass dieser Ansatz auf 100 Milliarden Parameter skaliert werden kann.
Die Idee stammt aus der Bildgenerierung. Modelle wie DALL‑E oder Stable Diffusion starten mit Zufallsrauschen und formen daraus schrittweise ein Bild. Auf Text übertragen: Statt Token für Token zu generieren, beginnt das Modell mit einer verrauschten Sequenz und entfernt nach und nach das Rauschen, bis ein lesbarer Satz bleibt. Dieser Prozess heißt diskrete Diffusion, weil die Zwischenschritte diskrete Tokens sind (Wörter oder Wortteile), nicht kontinuierliche Pixelwerte. Die LLaDA2.0-Familie ist die bisher größte Umsetzung dieser Idee.
Das Team veröffentlichte zwei Varianten: LLaDA2.0-mini mit 16 Milliarden Parametern und LLaDA2.0-flash mit 100 Milliarden Parametern. Letztere nutzt eine Mixture‑of‑Experts (MoE)‑Architektur. Das bedeutet, dass bei jeder Anfrage nur eine Teilmenge der Parameter aktiv ist. Das spart Rechenleistung und macht das Modell effizienter, bei vergleichbarer Qualität.
Neue Ansätze: LLaDA2.1 und LLaDA2.2
Im Februar 2026 erschien LLaDA2.1 mit einem Token‑Editing‑Mechanismus. Statt das Rauschen in vielen kleinen Schritten zu entfernen, springt das Modell zu einer groben Struktur und verfeinert nur die fehlerhaften Tokens.
LLaDA2.2 kam im Juli 2026. Es nutzt Levenshtein‑Editing, benannt nach dem Algorithmus für Zeichenketten‑Ähnlichkeit. Das Modell kann Tokens ersetzen, löschen und einfügen. Das ist nützlich für agentische Anwendungen, etwa beim Schreiben von Code oder Bearbeiten von Dokumenten. Statt den gesamten Output neu zu generieren, nimmt LLaDA2.2 lokale Änderungen vor und arbeitet so schneller.
Geschwindigkeit und Effizienz: Der CAP‑Mechanismus
Diffusionsmodelle galten oft als langsamer als autoregressive Modelle. InclusionAI adressierte das mit Confidence‑Aware Parallel (CAP)‑Decoding. Statt Tokens nacheinander zu dekodieren, sagt das Modell mehrere parallel vorher – dort, wo es sich sicher ist. Die LLaDA2.0‑flash‑CAP‑Version erreicht so bis zu 535 Tokens pro Sekunde, mehr als doppelt so schnell wie vergleichbare autoregressive Modelle.
Die Entwickler bauten eine spezielle Inferenz‑Engine auf Basis von dInfer und SGLang. Sie unterstützt KV‑Cache‑Wiederverwendung und blockweise parallele Dekodierung. Wer die 100B‑Version einsetzen will, kann das mit optimierten Tools tun. Der Open‑Source‑Ansatz ermöglicht es anderen, darauf aufzubauen.
Open Source
LLaDA2.X ist vollständig open source. Die Modellgewichte der 16B‑ und 100B‑Varianten sind auf Hugging Face veröffentlicht, ebenso der Trainingscode. InclusionAI stellt die Modelle unter der Apache 2.0‑Lizenz bereit. Unternehmen, Forscher und Entwickler können sie herunterladen, anpassen und nutzen – ohne Lizenzkosten.
In Benchmarks für Code‑Generierung und komplexe Instruktionsbefolgung erreicht LLaDA2.0‑flash das Niveau der besten autoregressiven Modelle. Bei planerischen Aufgaben (z. B. mehrschrittige Programmieraufgaben) hat der Diffusionsansatz Vorteile, weil er den gesamten Output gleichzeitig verarbeitet, statt sequenziell aufzubauen. Die Benchmark‑Zahlen sind im GitHub‑Repository einsehbar. Diffusionsmodelle sind konkurrenzfähig.
Bedeutung für die KI‑Landschaft
LLaDA2.X zeigt, dass Diffusions‑Sprachmodelle skalieren können. Sie sind eine Alternative zu autoregressiven Modellen wie GPT oder Llama, mit potenziellen Vorteilen bei Geschwindigkeit, paralleler Verarbeitung und Kontrollierbarkeit. Der Levenshtein‑Ansatz von LLaDA2.2 eignet sich für agentische Systeme, die Text nicht nur generieren, sondern auch bearbeiten müssen.
Entwickler und Unternehmen haben nun eine weitere Architektur für Sprachverarbeitung, die open source ist und auf 100 Milliarden Parametern funktioniert. Wer schnelle Inferenz oder flexible Textbearbeitung braucht, kann LLaDA2.1 und LLaDA2.2 nutzen. Die Modelle sind praxistauglich, getestet und optimiert für reale Anwendungen.
Quelle: github.com
