Qwen 3.8 27B: Starkes lokales LLM mit übereifrigem Reasoning-Default

Serverraum mit langen Reihen von Racks, Glasfaserverkabelung und kuehlen blauen Kontrollleuchten
Deine Reaktion:

„Qwen 3.8 unterstützt `reasoning_effort` offiziell. Damit lassen sich Denktiefe und Kosten steuern: `xhigh` (Standard) für komplexe Aufgaben mit gründlicher Analyse.“ So steht es in der Doku. Genau dieser Standard nervt alle, die das Modell lokal betreiben. Der Autor, ein erfahrener Entwickler und Tech-Blogger, hat es ausgiebig getestet. Sein Urteil: Die Voreinstellung ist unpraktisch und führt bei einfachsten Anfragen zu absurd langen Wartezeiten.

Bei 27B Parametern und einer 17GB-Datei leistet das Modell auf dem Laptop erstaunlich viel – sofern man die Denk-Effort-Stufe manuell senkt. Der Blogpost ist ein Erfahrungsbericht mit konkreten Messungen, Vergleichen und einer Prise Ironie. Gleich siehst du, warum Standardeinstellungen oft der größte Feind der Effizienz sind.

Ein Modell mit Potenzial und einer überraschenden Eigenheit

Qwen 3.8 27B ist die neueste Veröffentlichung aus dem Qwen-Labor von Alibaba. Sie ist unter Apache 2.0 lizenziert und frei nutzbar, auch kommerziell. Mit 27B Parametern bietet sie einen guten Mittelweg: groß genug für starke Leistungen, klein genug für einen leistungsfähigen Laptop. Der Autor testete auf einem M5 Max MacBook Pro und einem NVIDIA DGX Spark, jeweils mit LM Studio und einem Q4_K_M-Quant. Die von Qwen gemeldeten Benchmarks zeigen Verbesserungen gegenüber dem Vorgänger Qwen 3.6 27B und sogar gegenüber dem deutlich größeren, geschlossenen Qwen 3.7-Plus. Das ist vielversprechend.

Aber es gibt einen Haken, der sofort auffällt: Das Modell ist standardmäßig auf „extra hohe Denktiefe“ (xhigh) gestellt. Es denkt vor jeder Antwort lange nach – so lange, dass banale Aufforderungen zu langen Denkprozessen führen. Der Autor nennt das „wild überdenkend“. In seinen Tests führte diese Einstellung dazu, dass LM Studios Standard-Kontextlimit von 8.192 Tokens schon nach wenigen Prompts ausgeschöpft war – nicht durch die Antwort, sondern durch Reasoning-Tokens. Erst mit dem maximalen Kontext von 262.144 Tokens (den er frisch nachlud) konnte er sinnvoll arbeiten.

Das Problem mit dem Reasoning-Default: Überdenken als Standard

Ein Beispiel verdeutlicht das: Der Autor bat das Modell, ein SVG von einem Pelikan auf einem Fahrrad zu generieren. Mit xhigh dauerte das 21 Minuten und verbrauchte 22.276 Reasoning-Tokens für 3.223 Ausgabe-Tokens. Das Ergebnis war das beste Pelikan-SVG, das er je mit einem lokalen Modell gesehen hat – mit korrekt geformtem Rahmen, Beinen auf beiden Seiten des Rades und sogar einer Flügelhaltung am Lenker. Aber die Wartezeit ist inakzeptabel. „War das die 21 Minuten wert? Absolut nicht“, kommentiert er trocken.

Ohne Reasoning sieht es anders aus: Dieselbe Aufforderung erzeugte in 137 Sekunden ein SVG, das zwar erkennbar einen Pelikan zeigte, aber deutlich schlechter war: Der Rahmen war falsch geformt, die Füße verfehlten das Pedal, der Flügel berührte den Lenker nicht. Das Modell braucht die Denktiefe, um komplexe räumliche Anordnungen zu meistern. Nur wenn sie unnötig ist, wird der Aufwand zum Problem.

Der Test mit einem simplen „draw an svg of a circle“ zeigt die Absurdität. Auch hier startete Qwen im xhigh-Modus und begann eine lange Reflexion über die Ästhetik eines Kreises, über Farbpaletten, Animationen und geometrische Studien. Minuten später erschien ein wunderschönes, animiertes Kunstwerk – niemand hatte danach gefragt. Der Autor empfiehlt daher: Senke die Reasoning-Stufe auf „low“ oder schalte sie für Alltagsaufgaben ganz aus. Das Modell bleibt beeindruckend, aber du sparst Stunden an Wartezeit.

Wo das Modell glänzt: Vision und präzise Bounding Boxes

Trotz der Eigenheiten ist Qwen 3.8 27B in einem Bereich sehr stark: der Bildanalyse. Der Autor testete, wie gut das Modell Bounding Boxes um Objekte in Fotos zeichnet – eine typische Aufgabe für Vision-Modelle. Er lud ein Foto von zwei Pelikanen auf einem Felsen und bat um JSON-Koordinaten im 0–1000-Maßstab. Das Modell lieferte zwei Boxen, die exakt die Vögel umschlossen, inklusive der Beschriftung „pelicans“. Die Präzision war so gut, dass die Visualisierung direkt über dem Originalbild perfekt aussah.

Aber auch hier spielt die Reasoning-Einstellung eine Rolle. Der Autor nutzte für diese Aufgabe denselben xhigh-Modus, weil er schlicht vergessen hatte, ihn zu ändern. Das Modell baute nebenbei ein komplettes HTML-Tool zur Visualisierung der Boxen. Das Tool namens „bbox·lab“ war überladen – es enthielt sogar eine Demo-Szene mit selbst gezeichneten Pelikanen, weil der Autor im Prompt das Wort „pelicans“ verwendet hatte. Das Modell interpretierte das als Aufforderung für eine Beispielgrafik. Charmant, aber unnötig. Als der Autor dieselbe Aufgabe ohne Reasoning wiederholte, funktionierte das Tool zwar, aber die Boxen saßen falsch – das Modell hatte die Skalierung nicht richtig umgesetzt. Ein gutes Beispiel dafür, wie Denktiefe den Unterschied zwischen brauchbarem und fehlerhaftem Ergebnis macht.

Coding-Agent-Tauglichkeit: Ein lokaler Assistent mit Verstand

Entwickler fragen sich oft: Können lokale Modelle als Coding-Agenten arbeiten? Dafür braucht es drei Dinge: langen Kontext, zuverlässiges Tool-Calling und stabile Code-Generierung. Qwen 3.8 27B erfüllt diese Bedingungen auf dem Papier. Der Autor testete das Modell mit dem Open-Source-Agenten „Pi“, den er über LM Studio auf einem NVIDIA DGX Spark einrichtete. Die Konfiguration über eine Modelldatei in `~/.pi/agent/models.json` war simpel. Schon die erste Aufforderung, „how does auth work?“, beantwortete das Modell nach einigen Reasoning-Schritten und Dateizugriffen korrekt und verständlich.

Beeindruckender war der zweite Test: Der Autor wollte eine JSONL-Transkriptdatei in Markdown umwandeln lassen. Qwen schrieb nicht nur das Python-Skript, sondern führte es auch aus, testete es und veröffentlichte das Ergebnis – wieder mit dem selbst erstellten Tool. Das funktionierte reibungslos. Für ein 17GB-Modell auf lokaler Hardware ist das eine starke Leistung. Der Autor hebt hervor, dass Pi wegen seines kurzen System-Prompts ideal für solche Tests ist, weil es weniger Kontext für Systemanweisungen verbraucht und so mehr Platz für die eigentliche Arbeit lässt. Fazit: Als Coding-Agent ist Qwen 3.8 27B ernst zu nehmen.

Tempo und Optimierungsansätze: Die Frage nach der Geschwindigkeit

Der größte Kritikpunkt neben dem übermäßigen Denken ist die Geschwindigkeit. Der Autor maß 15 bis 30 Tokens pro Sekunde in LM Studio. Das ist nicht langsam im Vergleich zu vielen anderen lokalen Modellen, aber deutlich langsamer als gehostete APIs. Er zitiert Artificial Analysis, wonach Modelle wie OpenAI 5.6 Sol auf 74 Tokens pro Sekunde kommen und 5.6 Luna sogar auf 184. Für Web-Anwendungen mit wartenden Nutzern macht das den Unterschied zwischen angenehmem Arbeiten und Ungeduld.

Die Community hat seit der Freigabe vor zwei Tagen bereits Optimierungen entwickelt. Eine steckt direkt im Modell: Multi-Token-Prediction. Dabei sagt das Modell mehrere Tokens gleichzeitig voraus, statt nur eines. Das reduziert die Rechenschritte und kann die Token-Rate deutlich erhöhen. Der Autor nennt das einen der vielversprechendsten Ansätze, um das Modell auf Consumer-Hardware schneller zu machen. Die reale Leistung hängt natürlich auch von Hardware, Quantisierung und Prompt-Länge ab – aber es zeigt, dass lokale Inferenz noch nicht ausgereizt ist.

Fazit: Was bedeutet das für die Praxis?

Qwen 3.8 27B ist ein starkes Paket: ein gutes Vision-Modell, das als 17GB-Datei läuft, präzise Bounding Boxes liefert, Coding-Agenten antreibt und unter Apache 2.0 frei verfügbar ist. Die Standard-Reasoning-Einstellung xhigh ist jedoch ein Hindernis. Du solltest sie umgehen, bevor du dich über scheinbare Ineffizienz ärgerst. Setze die Denktiefe auf „low“ oder schalte sie für schnelle Aufgaben ab – dann zeigt das Modell ein Tempo, das für die meisten Anwendungen reicht, und eine Qualität, die mit deutlich größeren Modellen mithalten kann.

Die Erfahrungen des Autors zeigen dir, wie du das Beste herausholst: Nutze es für Vision-Aufgaben, wo die Genauigkeit der Bounding Boxes beeindruckt, und für Coding-Agenten, wo du mit etwas Geduld echte Ergebnisse bekommst. Die Geschwindigkeit bleibt ein Schwachpunkt, aber Multi-Token-Prediction und weitere Community-Optimierungen könnten das bald ändern. Für dich bedeutet das: Wer ein paar Minuten warten und die Einstellungen verstehen kann, bekommt ein Werkzeug, das auf einem durchschnittlichen Laptop mehr leistet als viele gehostete Dienste – und das kostenlos. Mit der richtigen Konfiguration ist es ein nützliches Werkzeug für lokale KI-Arbeit.

Quelle: simonwillison.net

Deine Reaktion:
Artikel teilen:
Krötzsch-Check0 — 100
Fakten 85
Relevanz 80
Hype 25
Einschätzung 80
Redaktion 50 Stand 50 · noch keine Stimmen
Ist das Hype?
Sebastian Krötzsch
Autor

Sebastian Krötzsch

Sebastian Krötzsch schreibt auf sebask.de über Künstliche Intelligenz, Automatisierung, digitale Systeme und die Frage, was davon im Alltag wirklich nützlich ist. Ohne Buzzword-Nebel, dafür mit klarem Blick auf Praxis, Tools und echte Wirkung.