Auf einem Schreibtisch steht ein Geraet, das aussieht wie ein Buero-PC. Eine Entwicklerin startet ein lokales Modell mit mehreren hundert Milliarden Parametern, tippt eine Frage ein und erhaelt eine Antwort, ohne dass ein Datenbus zum Rechenzentrum geoeffnet wird. Vor einigen Jahren waere das nur eine Demonstration auf einer hauseigenen Konferenz gewesen. Heute beschreibt ein Forscherteam um Shuo Yang von der University of California Berkeley mit dem System FreeToken genau diesen Sprung: grosse Sprachmodelle gehoeren nicht zwingend in Serverhallen, sondern koennen auf einer persoenlichen Maschine laufen.
Was MoE-Modelle so besonders macht
Wer sich mit modernen offenen KI-Modellen beschaeftigt, stoesst haeufig auf den Begriff Mixture of Experts, kurz MoE. Die Grundidee ist einfach: Statt ein riesiges, dichtes Netz zu aktivieren, besteht das Modell aus vielen spezialisierten Teilnetzen, den Experten. Bei jeder Eingabe entscheidet ein Router, welche Experten gerade gebraucht werden, und nur diese werden berechnet. Ein Modell mit 200 Milliarden Parametern aktiviert pro Token vielleicht nur ein Dutzend Milliarden. Das spart Rechenzeit, kostet aber Speicher, denn alle Experten muessen im RAM liegen, auch wenn sie gerade schweigen.
Genau diese Logik durchkreuzt die uebliche Verteilung. Im Rechenzentrum stehen viele GPUs mit schnellem Interconnect und fast grenzenlosem Speicher. Auf einem Arbeitsplatzrechner sieht das anders aus. Eine Mittelklasse-GPU hat 8, 16 oder 24 Gigabyte VRAM. Der Rest der Maschine, CPU, DDR5-Riegel, NVMe-SSD, ist langsamer, aber reichlich vorhanden. Wer MoE auf solcher Hardware ausliefern will, muss mit jedem Layer mitverhandeln, ob ein Experte in den schnellen Speicher passt, auf die SSD ausgelagert wird oder von der CPU berechnet wird.
FreeToken denkt die gesamte Pipeline mit
Die Autorinnen und Autoren beschreiben FreeToken nicht als einzelne Optimierung, sondern als Co-Design der gesamten Serving-Strecke. Das System entscheidet laufend, wo welcher Teil eines Modells liegt und wie er ausgefuehrt wird. Die Bandbreite der behandelten Themen ist gross: das Aufteilen und Laden des Modells, das Verweilen von Experten im Speicher, die Aufteilung zwischen CPU und GPU, die Wiederverwendung von Agentenzustaenden und das Speichermanagement zur Laufzeit.
Zwei Realitaeten lokaler KI-Arbeit treiben dieses Design. Erstens aendern Agent-Workloads, also Programme, die ein Modell schrittweise mit Werkzeugen und Code nutzen, ihr Ausfuehrungsmuster staendig. Mal wird ein Werkzeug aufgerufen, mal eine lange Codepassage geschrieben, mal ein Zwischenergebnis zusammengefasst. Jede Phase stellt andere Anforderungen an Latenz, Speicher und Berechnung. Ein starrer Plan, der den Speicher einmal zu Beginn verteilt, wird diesem Hin und Her nicht gerecht.
Wenn die Hardware nicht gleich aussieht
Zweitens ist Edge-Hardware heterogen. Eine 8-Gigabyte-Laptop-GPU ist ein anderes Biest als eine einzelne Workstation-GPU, und ein Gamer-Desktop mit reichlich RAM und schneller CPU verhaelt sich wieder anders. FreeToken geht daher nicht von einer festen Auslagerungsstrategie aus, sondern bildet Rechenlast und Modellzustand kontinuierlich auf das ab, was die Maschine tatsaechlich bietet. Inferenz wird nicht entworfen, sondern zur Laufzeit verhandelt.
In der Praxis ergibt sich eine Mischung aus Vorab-Layout und Reaktion. Das System kennt den verfuegbaren Speicher, weiss, welche Schichten und Experten gerade heiss sind, misst die aktuelle Bandbreite zwischen CPU und GPU und verschiebt daraufhin Datenstuecke. Die Autorinnen und Autoren sprechen von bandbreitenadaptiver Ausfuehrung, weil sich das System an den realen Durchsatz der jeweiligen Maschine anpasst, statt eine theoretische Zahl vorauszusetzen.
Die Architektur unter der Haube
Wer sich fuer die Mechanik interessiert, findet im Paper eine detaillierte Schicht. FreeToken zerlegt jedes MoE-Modell in planbare Einheiten. Experten lassen sich einzeln in den VRAM schieben und wieder heraus, ohne das gesamte Modell zu beruehren. Eine Komponente ueberwacht den belegten Speicher und trifft Entscheidungen, welche Experten resident bleiben und welche auf die CPU oder die SSD ausweichen. Eine zweite Komponente entscheidet, ob ein gerade aktiver Experte auf der GPU laeuft oder auf der CPU berechnet wird, falls der Datenweg es hergibt. Tokens werden portionenweise verarbeitet, was sich gut mit dem blockweisen Schluessel-Wert-Cache moderner Modelle vertraegt.
Ein zweiter Schwerpunkt ist das Caching von Agentenzustaenden. Agenten, die iterativ arbeiten, erzeugen lange Kontexte mit vielen Wiedereinstiegspunkten, und FreeToken nutzt diese Wiederholung, um teure Neuberechnungen zu vermeiden. Wer schon einmal gesehen hat, wie ein Coding-Agent dieselbe Datei mehrfach einliest, weiss, wie viel Redundanz in solchen Loops steckt. Ein Serving-System, das diese Struktur versteht, kann Tempo gutmachen, ohne dass sich das Modell selbst aendert.
Was die Zahlen erzählen
Die demonstrierten Faelle sind breit gefächert. Auf einer Laptop-GPU mit nur 8 Gigabyte VRAM laeuft ein 35B-Modell, ein Wert, der lange als unmoeglich galt, wenn das Modell vollstaendig lokal und nicht in der Cloud liegen soll. Auf einem Gamer-Desktop bringt FreeToken ein 284B-Modell in Stellung, und auf einer einzelnen Workstation-GPU wird das riesige GLM-5.2 mit 753B Parametern ausgeliefert. Mehr als 20 verschiedene MoE-Modelle werden unterstuetzt, von Open-Source-Klassikern bis zu neueren Mixture-of-Experts-Architekturen. Hinter diesen Zahlen steckt kein Trick mit aggressivem Quantisieren auf Int2-Niveau, sondern das beschriebene Co-Design aus Layout, Routing und Ausfuehrung.
Dabei stellt sich die Frage der Praktikabilitaet. Es reicht nicht, dass ein Modell einmal startet. Es muss so antworten, dass Agenten produktiv damit arbeiten koennen. Die Autorinnen und Autoren testen reale Coding- und Tool-Use-Agenten, nicht nur akademische Benchmarks. Latenz, Time-to-First-Token und Durchsatz werden auf heterogener Hardware gemessen, und das System passt sich an, ohne dass der Nutzer ein Skript schreiben muss.
Was das für den Alltag bedeutet
Die uebergeordnete Botschaft des Papers laesst sich in einem Satz zusammenfassen: Open Weights werden zu lokaler Software. Wer ein Modell auf Hugging Face herunterlaedt, besitzt es nicht wirklich, solange die Auslieferung ein Cloud-Konto voraussetzt. FreeToken verschiebt diese Grenze. Eine Entwicklerin auf einem Business-Laptop kann mit einem lokalen 35B-Modell experimentieren, ohne sich um GPU-Mietkosten zu kuemmern. Ein Hobbyist auf einem Gamer-PC schiebt ein 284B-Modell auf die Maschine und schaut, was passiert. Ein kleines Team, das mit Agenten arbeitet, laesst seine Daten auf der eigenen Hardware, was in vielen Branchen ohnehin Voraussetzung ist.
Das hat Folgen, die ueber reine Performance hinausgehen. Wenn Modelle nicht mehr unbedingt in der Cloud laufen muessen, aendern sich die Spielregeln fuer Datenschutz, Kosten und Verfuegbarkeit. Ein Modell, das offline laeuft, braucht kein Netz, verlaesst nie den eigenen Rechner und kostet im Betrieb nur Strom. Fuer Entwicklerinnen und Entwickler heisst das, sie koennen Modell und Code zusammen versionieren, was bei agentischer Software ohnehin sinnvoll ist.
Einordnung: warum das mehr als ein weiteres Serving-System ist
In der freien Modell-Landschaft gab es in den letzten Jahren viele Ideen, grosse Modelle auf kleine Hardware zu quetschen. FreeToken gibt die Annahme auf, dass Auslagerung ein Notbehelf ist. Stattdessen wird sie zum Normalfall. Das System geht davon aus, dass sich Workloads, Speicher und Bandbreite staendig aendern, und es behandelt diese Veraenderung als gegebenen Parameter statt als Stoerung.
Was bleibt, ist eine offene Frage. Wenn persoenliche Maschinen zu Inferenz-Plattformen werden, verschiebt sich auch das Verhaeltnis zwischen Anbietern und Nutzern. Anbieter grosssprachiger APIs verlieren ein Stueck Exklusivitaet, weil dieselbe Intelligenz lokal laufen kann. Gleichzeitig wachsen die Anforderungen an das eigene Geraet, an Thermik, an Strom und an die Geduld, wenn ein 753B-Modell zum ersten Mal geladen wird. Der Sprung, den FreeToken beschreibt, ist real, aber er ist kein Selbstlaeufer. Er macht aus einer Bueromaschine kein Rechenzentrum. Er macht aus ihr das, was sie sein kann, wenn Software sich anpasst.
Quelle: arxiv.org
