Warum reicht ein Monat Post-Training für einen Leistungssprung? Eine aktuelle Release-Welle gibt darauf eine klare Antwort: nicht in neuen Architekturen. Wer die Entwicklung großer Sprachmodelle verfolgt, erlebt gerade einen kleinen Paradigmenwechsel. Der Blogger @adlrocha beschreibt in seinem Artikel „Base Models Stopped Being the Bottleneck“, wie GLM-5.3 und Qwen3.8-27B am 14. August erschienen sind – ohne grundlegende architektonische Neuerungen. Trotzdem schaffen es die Modelle in kurzer Zeit an die Spitze relevanter Benchmarks. Für viele Beobachter liegt der Engpass nicht mehr im Base Model, sondern darin, wie man es nachtrainiert.
Ein Monat Training, kein neues Gehirn: Was GLM-5.3 anders macht
Z.ai, das Unternehmen hinter GLM, fasst die Veröffentlichung von GLM-5.3 in einem knappen Satz zusammen: „Scaling post-training is all we did.“ Das Modell nutzt das gleiche Fundament wie GLM-5.2, gleiche Größe, gleiche Parameteranzahl. Hinzu kam ein zusätzlicher Monat Post-Training. Der Autor erklärt, dass dieser Monat reichte, um das Modell in den Top-Rankings von CyberGym und GDPval zu platzieren. In einigen Benchmarks schlägt es deutlich größere offene Modelle wie Kimi K3.
Auch subjektiv nimmt der Autor einen Unterschied wahr. Er schreibt, GLM-5.3 wirke schneller, intelligenter und direkter als die Vorgängerversion. Das klingt unspezifisch, ist im Alltag aber relevant: Weniger Geschwätz heißt weniger Tokens pro Aufgabe, also geringere Kosten. Reine Destillation kann diesen Sprung nach Einschätzung des Autors nicht erklären. Bei der Destillation dienen Antworten und Denkprozesse stärkerer Modelle als Trainingsdaten – ein gängiger Weg, um schwächere Modelle zu verbessern.
Vom Pretraining bis zum Feinschliff: Die Etappen des LLM-Trainings
Um den Unterschied zu verstehen, lohnt ein Blick in die Trainingspipeline großer Sprachmodelle. Zuerst kommt das Pretraining. Das Modell liest einen erheblichen Teil des Internets, lernt, den nächsten Token vorherzusagen, und entwickelt dabei latente Fähigkeiten. Es erkennt die Muster von Python, C, Stack Overflow und gutem Englisch, ohne je explizit darauf trainiert worden zu sein. Dieser Schritt ist teuer und dauert lange. Bei GLM-5.3 blieb er unangetastet – Z.ai hat das Pretraining nicht wiederholt.
Danach folgt das Mid-Training, ein Zwischenschritt, den viele übersehen. Das Base Model wird mit kuratierten Daten weitertrainiert: lange Kontexte, Code, domänenspezifische Bestände. Auch diese Stufe blieb bei GLM-5.3 unangetastet. Erst danach beginnt das Post-Training, das aus mehreren Teilen besteht.
Der erste Teil ist das überwachte Feintuning. Das Modell bekommt Demonstrationen guten Verhaltens und ahmt diese nach. Hier entstehen Befehlsfolge, Antwortformat und die Fähigkeit, unerwünschte Anfragen abzulehnen. Das Signal stammt von Menschen oder anderen Modellen – ein passender Punkt für Destillation.
Der zweite Teil ist die Präferenzoptimierung, etwa RLHF oder DPO. Menschen vergleichen Antwortpaare, ein Belohnungsmodell lernt aus den Rangfolgen, die Politik des Modells wird gegen diese Belohnung optimiert. Der Autor erinnert daran, dass dieser Schritt für den Qualitätssprung von GPT-4 entscheidend war. Auch hier lässt sich das Signal aus Modellausgaben ableiten.
Der dritte und wichtigste Teil ist das Reinforcement Learning mit überprüfbaren Belohnungen, kurz RLVR. Das Modell agiert in einer Umgebung, führt Aktionen aus und erhält eine Belohnung aus der Ausführung: Tests bestehen, Abstürze reproduzieren sich, oder eben nicht. Das Signal ist objektiv, unabhängig von menschlichem Geschmack. Genau hier setzt Z.ai an.
Umgebungsfabriken: Warum der Engpass nicht mehr im Modell liegt
Z.ai hat für GLM-5.3 die Umgebungen im RLVR-Schritt verbessert. Die meisten bisherigen Umgebungen ähneln Programmieraufgaben: in sich geschlossene Rätsel mit Prüfprogramm. Die neuen Umgebungen bilden reale Expertenarbeit ab. Ein Beispiel ist eine ML-Infrastrukturaufgabe, in der das Modell auf Rechencluster, Speicher, interne Dokumentation, Codebasis und Experimentergebnisse zugreifen kann. Es muss Engpässe diagnostizieren, Optimierungen implementieren, eigene Experimente fahren und am Ende eine messbare Beschleunigung liefern.
Der Autor zitiert einen Satz aus dem Bericht von Z.ai: „As agent capability improves, much of the difficulty in scaling post-training moves from the model to the environment.“ Übersetzt: Je besser die Agentenfähigkeiten werden, desto stärker verlagert sich der Engpass beim Skalieren des Post-Trainings vom Modell auf die Umgebung. Um nicht Tausende solcher Aufgaben von Hand zu bauen, haben die Entwickler eine Umgebungsfabrik geschaffen. Forschungsagenten sammeln Aufgabenmuster aus realer Arbeit und verwandeln sie in langwierige Umgebungen mit verstecktem Zustand und mehrstufigen Abhängigkeiten.
Ein Richteragent muss jede Aufgabe zunächst selbst lösen, bevor sie in den Trainingspool aufgenommen wird. Eine Prüfung, die niemand besteht, wird nicht gestellt. Anschließend sucht ein weiterer Agent nach Schlupflöchern in den Umgebungen und schließt sie. Das Ergebnis ist ein Trainingsplan, der sich selbst schreibt und selbst benotet – Menschen prüfen nur noch die Ränder. Der Autor zieht eine Verbindung zu seinem eigenen Ansatz „Spec-Test-Lint“. Je vollständiger die Spezifikation und je enger die Tests an dieser Spezifikation liegen, desto autonomer kann ein Agent arbeiten. Im Kleinen hat er damit dasselbe getan, was Z.ai im Großen tut: eine klare, objektive Rückkopplungsschleife für eine bestimmte Aufgabe gebaut.
Vom Fehlerfinder zum Angreifer: Der Cyber-Effekt von GLM-5.3
Wer beim Training auf das Finden von Schwachstellen abzielt, darf sich nicht wundern, wenn das Modell auch angreifen lernt. Z.ai hat Daten aus Vulnerability-Discovery ins Training gemischt. Erwartet wurde eine bessere Fähigkeit, Schwachstellen zu finden und zu analysieren. Die Cyberfähigkeiten entwickelten sich schneller als gedacht. Das Modell begann, über mehrere Angriffsstufen hinweg zu denken und ganze Exploit-Ketten zu planen.
Im Praxistest mit Sicherheitsteams identifizierte das Modell 2.436 Schwachstellen in 269 Open-Source-Projekten. 1.097 davon gelten als mittelschwer bis schwerwiegend. Die älteste Lücke stammt aus dem Jahr 1981, im Schnitt lag eine Schwachstelle 26,6 Jahre unentdeckt im Code. Z.ai veröffentlicht die Offenlegung über ein öffentliches Ledger: 53 Fälle sind bereits offengelegt, 2.383 befinden sich unter Embargo. Diese Zahlen beeindrucken und beunruhigen gleichermaßen.
Was als Training für defensive Sicherheit gedacht war, erzeugt ein Modell mit offensiven Fähigkeiten. Der Autor sieht darin eine direkte Folge des verbesserten Reasoning. Wer die Fähigkeit stärkt, über mehrere Schritte hinweg zu denken, bekommt zwangsläufig auch bessere Angreifer. Open-Source-Modelle lassen sich nicht zurückrufen. Damit wird der verantwortungsvolle Umgang mit solchen Trainingsmethoden zur zentralen Frage der kommenden Monate.
Qwen3.8-27B: Post-Training als Hebel für den Hausgebrauch
Am selben Tag wie GLM-5.3 erschien Qwen3.8-27B. Für den Autor ist dieses Modell besonders spannend, weil es sich auf Hardware unter 10.000 Dollar betreiben lässt. Ein Mac mit genug einheitlichem Speicher, ein DGX Spark oder eine RTX 3090 reichen. Damit gibt es unbegrenzte Token-Kontingente für zu Hause. Der Autor nennt das ein Upgrade der „Hausintelligenz“ – und jeder Entwickler weiß, wie wertvoll ein lokal laufendes Modell sein kann.
Ein 27B-Modell ist kein direkter Konkurrent für die größten Frontier-Modelle. Qwen wagt in der Ankündigung trotzdem den Vergleich mit Opus 4.6 Max. Ob das Modell im Alltag wirklich mithält, muss sich zeigen. Allein die Möglichkeit, dass ein lokal betreibbares Modell in solche Nähe kommt, ist bemerkenswert. Mit den neuen Flash-Modellen von Qwen und GLM bekommt der Vergleich zwischen kompakten und riesigen Systemen zusätzliche Dynamik.
Die technischen Details von Qwen3.8-27B zeigen, dass auch hier die Architektur weitgehend gleich blieb. Das Modell basiert auf Qwen3.5, identische Layeranzahl, identische Dimensionen, native Kontextlänge. Allerdings hat Qwen im Gegensatz zu Z.ai auch das Pretraining erneut durchlaufen. Damit unterscheiden sich die beiden Releases in einem Punkt: GLM-5.3 setzt konsequent auf Post-Training, Qwen nutzt zusätzlich eine Retraining-Runde. Der Vergleich zeigt: Die größten Hebel liegen zunehmend auf der Post-Training-Seite.
Was diese Entwicklung für Open-Source-LLMs bedeutet
Die beiden Releases erlauben eine klare Schlussfolgerung. Weltwissen skaliert mit der Parameteranzahl, aber langfristige Zuverlässigkeit entsteht im Post-Training. Ein kleines Modell mit gutem Post-Training kann bei bestimmten Aufgaben größere Modelle schlagen, selbst wenn es weniger über die Welt weiß. Der Engpass wandert von der Modellarchitektur zur Umgebungskonstruktion. Die GLM-5.3-Verbesserungen lassen sich präzise verorten: nicht im Base Model, sondern in der Trainingsumgebung.
Für Entwickler und Unternehmen heißt das: Man muss nicht immer ein größeres Basismodell abwarten. Wer die richtigen Umgebungen baut, kann mit gezieltem RLVR deutlich mehr aus einem bestehenden Modell herausholen. Das senkt die Einstiegshürde für spezialisierte Anwendungen. Gleichzeitig steigt der Bedarf an Menschen, die solche Umgebungen entwerfen, bewerten und absichern können. Der Autor kündigt weitere Beiträge an, etwa zur Frage, wie Labore ihre Reasoning-Spuren vor Destillation schützen.
Am Ende bleibt eine nüchterne Erkenntnis: Die nächste Stufe der LLM-Entwicklung findet nicht unbedingt im Datenzentrum statt, sondern in den Trainingsumgebungen. Wer diese Umgebungen beherrscht, kann auch mit einem unveränderten Base Model erhebliche Leistungssprünge erzielen. Das hilft der Open-Source-Gemeinschaft, weil es den Fokus auf Methodik legt. Und es warnt, weil dieselbe Methodik auch für Angriffe genutzt werden kann. Warum Base Models nicht mehr der Flaschenhals sind, zeigt sich also in beide Richtungen: als Chance und als Risiko.
Quelle: adlrocha.substack.com
