„Unsloth Dynamic v3.0 is the next iteration of our Dynamic quantization and a major improvement over Dynamic v2.0″, schreibt das Unsloth-Team in seiner Dokumentation und koppelt diese Aussage direkt an ein konkretes Versprechen: Die neuen Qwen3.8-27B-Quants liefern mehr als zehn Prozent bessere Top-1-Genauigkeit bei gleicher Dateigroesse als jede andere verfügbare Variante. Wenn du dich mit lokalen Sprachmodellen beschaeftigst, ist das keine Marketingfloskel, sondern eine Aussage, die in das eingreift, was die Szene seit Monaten umtreibt: Wie viel Modell steckt noch in einem 10 Gigabyte grossen GGUF?
Was Dynamic 3.0 eigentlich macht
Unsloth nennt die Methode post-training quantization. Das Modell wird also nach dem Training nachbearbeitet. Weder QAT noch QAD kommen zum Einsatz. Das Kalibrierungsset dient nur als Referenz fuer den Importance-Mechanismus, nicht als Trainingsmaterial. Entscheidend ist die Schichtauswahl. Dynamic 3.0 betrachtet jede Schicht einzeln und kombiniert verschiedene Quantisierungstypen je nach Modell und Layer. Die Bits richten sich nach der tatsaechlichen Wichtigkeit einer Schicht, nicht nach einem pauschalen Schema.
Dazu kommt ein ueberarbeitetes Kalibrierungsset. Die neue imatrix-Kalibrierung stammt aus verschiedenen Quellen und ist auf agentic coding, Chat und mehrsprachige Aufgaben zugeschnitten. Sie ist gross genug fuer realistische Gewichtungen, aber sauber getrennt von Benchmark-Daten. So entsteht keine Ueberanpassung. Diese Trennung macht die Auswertung glaubwuerdig.
Divergence-300 als feinerer Pruefstein
Wer GGUF-Varianten vergleicht, schaut meist auf Top-1-Genauigkeit, vielleicht Perplexity, dann ist Schluss. Unsloth haelt das fuer zu grob. Top-1 zeigt nur, ob das staerkste Token des quantisierten Modells mit dem des Originals uebereinstimmt. Was in den naechsten 31 Token passiert, bleibt unsichtbar. Deshalb gibt es Divergence-300. Das Verfahren nutzt 300 ungesehene Prompts aus Terminal-Bench 2.1, DeepSWE, Harbor, MathArena 2025-26 und mehrsprachigen Aufgaben, dekodiert jeweils 32 Tokens greedy und vergleicht die ganze Trajektorie mit dem BF16-Original.
Im Grunde ist das KL Divergence ueber 32 Schritte. Statt nur den ersten Buchstaben zu vergleichen, sieht man, ob das quantisierte Modell in eine aehnliche Richtung weiterdenkt. Das unterscheidet eine gute Zahl von einem Modell, das in der Praxis brauchbare Antworten liefert.
KL Divergence: warum Perplexity allein nicht reicht
Das Paper „Accuracy is Not All You Need“ zeigt: Perplexity kann irrefuehren. Token-Wahrscheinlichkeiten heben sich gegenseitig auf. Auch MMLU korreliert schlecht mit echten „flips“, also Veraenderungen in der Antwortqualitaet. Unsloth setzt deshalb auf KL Divergence. Die Metrik misst, wie stark die Wahrscheinlichkeitsverteilung des quantisierten Modells vom Original abweicht. Sie haengt nachweislich eng mit der Zahl der Antwortumkehrungen zusammen.
Ein Modell mit niedriger KL Divergence aehnelt dem Original also staerker. Nicht nur im einzelnen Token, sondern in der Art, wie es weiterdenkt. In den Benchmarks erzielen die UD-3-Quants bei kleinen Dateigroessen bis zu zehn Prozent mehr Top-1-Genauigkeit als Mitbewerber – bei gleichem oder kleinerem Speicherbedarf.
Keine Ueberanpassung, aber ehrliche Hinweise
Kalibrierungsdaten werfen immer die Frage auf, ob das Modell nur wegen der Testdaten gut abschneidet. Unsloth geht darauf ein: Kalibrierungsset und Benchmark-Sets sind getrennt. Die 300 Divergence-Prompts stammen aus ungesehenen Quellen. Die KL-Tests laufen auf Standard-Wikipedia-Daten, nicht auf der eigenen Chat-Sammlung. Bei groesseren Quants bleibt bewusst die alte UD-2-Methode aktiv, weil UD-3 dort keinen klaren Vorteil bringt. So etwas hoert man selten, wo Versionsnummern sonst einfach nur steigen.
Bei Quants unter UD-Q2_K_XL entfaellt das MTP-Modul. Das spart rund 500 Megabyte. Wer MTP braucht, bindet es separat als Q4_0-Modul ein. Dazu kommt UD-IQ1_S, eine 1-Bit-Variante mit 6,2 Gigabyte. Sie haelt noch etwa 72 Prozent der Top-1-Genauigkeit und ist 89 Prozent kleiner als das BF16-Modell. Fuer Produktion taugt das nicht. Aber es zeigt, wie weit man ein 27B-Modell schrumpfen kann, bevor es kippt.
Effizienz statt blossem Punktejagen
Ein Modell, das bei MMLU ein paar zehntel Prozent besser ist, aber doppelt so viel Speicher braucht, ist selten ein Gewinn. Unsloth fuehrt deshalb eine Effizienz-Metrik ein: MMLU-5-Shot-Score minus 25, geteilt durch die Dateigroesse in Gigabyte. Die 25 neutralisieren den Zufalls-Baseline bei vier Antwortmoeglichkeiten. Belohnt werden Modelle, die pro Byte viel Qualitaet liefern. Gemma 3 12B zum Beispiel: Die Q4_0-Variante erreicht 67,07 Prozent, das BF16-Original 67,15 Prozent – bei weniger als der Haelfte des Speichers. Die Effizienz steigt von 1,20 auf 10,26. Das ist der Unterschied zwischen „auf dem Schreibtisch laeuft das eh nicht“ und „passt auf die 16-Gigabyte-Karte“.
Auffaellig ist: Die QAT-Version von Gemma 3, also ein Modell, das mit Blick auf die spaetere Quantisierung trainiert wurde, kommt dem BF16-Original sehr nahe. QAT funktioniert also. Aber moderne Post-Training-Methoden kommen mit deutlich weniger Aufwand aehnlich nah.
Was das fuer den Alltag bedeutet
Ein 27B-Modell lokal betreiben? Qwen3.8-27B in BF16 war bislang ein Kartenproblem: 50 Gigabyte und mehr, keine einzelne Consumer-GPU packt das. Mit Dynamic 3.0 passt das Modell in 10 bis 15 Gigabyte und schafft Aufgaben, die vorher nur Full-Precision-Modellen vorbehalten waren. In den Tests erstellte ein 2-Bit-Quant ein HTML-Programm mit einem kleinen JS-Fehler. Fruehere 2-Bit-Varianten scheiterten an derselben Aufgabe komplett.
Die neuen GGUFs laufen mit llama.cpp, Unsloth Desktop und den meisten anderen Inferenz-Engines. Du kannst sie sofort testen, ohne neue Toolchains zu lernen. Das imatrix-File ist offen verfuegbar. Forscher und Entwickler koennen damit eigene Varianten bauen. Diese Offenheit ist Absicht. Sie zeigt, dass die Methode robust ist und nicht von internen Tricks abhaengt.
Einordnung: mehr als nur Versionsnummer
Im GGUF-Lager ging es zuletzt unuebersichtlich zu. Jede Woche neue Anbieter, neue Bits, neue Versprechen. Unsloths Version 3.0 ist keine Revolution, sondern eine sorgfaeltige Konsolidierung. Die Schichtauswahl ist praeziser, das Kalibrierungsset vielfaeltiger, die Auswertung misst Divergence ueber mehrere Tokens statt nur den ersten Treffer zu feiern. Dazu kommt eine klare Grenze: Bei grossen Quants bleibt UD-2 aktiv, weil UD-3 dort keinen Mehrwert bringt. Solche Selbstkritik tut der Community gut.
Konkret: Wenn dich 27B-Modelle bisher wegen der Hardware abgeschreckt haben, sind die neuen UD-Q2_K_XL- und UD-Q3_K_XL-Varianten ein guter Einstieg. Wer kleinere Modelle produktiv nutzt, sollte sie gegen die alte UD-2-Linie vergleichen, vor allem bei mehrsprachigen Aufgaben und Code-Generierung. Und wer selbst quantisiert, hat mit dem offenen imatrix-File einen soliden Ausgangspunkt. Quantisierung bleibt Handwerk. Dynamic 3.0 zeigt, wie viel Qualitaet darin steckt, wenn man es ernst nimmt.
Quelle: unsloth.ai
