Recursive stellt Flint als Mixture-of-Experts-Modell für schnelles agentisches Coding auf lokaler Hardware vor. Entscheidend für dieses Ziel ist das Verhältnis von Gesamtgröße und aktiver Rechenarbeit: Das Modell umfasst 40 Milliarden Parameter, verarbeitet pro Token aber nur 2,5 Milliarden davon. Die Geschwindigkeits- und Benchmarkangaben stammen vom Hersteller und sollten mit eigenen Aufgaben überprüft werden.
Am einfachsten verstehst du das über eine Werkstatt. In den Regalen liegen 40 Milliarden Werkzeuge, für jeden Handgriff holt der Handwerker aber nur die 2,5 Milliarden heraus, die er braucht. Der Rest bleibt liegen. Das ist der Kern eines Mixture-of-Experts-Modells: viele spezialisierte Expertenteile, von denen pro Token nur wenige aktiv werden. Bei Flint sind das rund sechs Prozent aller Gewichte. Der Vergleich hinkt an einer Stelle: Die Werkzeuge im Regal müssen trotzdem alle im Arbeitsspeicher liegen. Du sparst Rechenzeit, nicht Platz auf der Festplatte.
Warum 2,5 Milliarden aktive Parameter den Unterschied machen
Flint hat 40 Milliarden Gesamtparameter und aktiviert pro Token 2,5 Milliarden davon. Die aktiven Parameter bestimmen, wie viel gerechnet werden muss – und damit, wie schnell ein Modell antwortet. Ein dichtes Modell mit 40 Milliarden Parametern rechnet bei jedem Token alle 40 Milliarden durch. Flint lässt den größten Teil ruhen und nimmt nur, was für den nächsten Schritt gebraucht wird.
Laut Recursive führt Flint die MoE-Modelle unter 50 Milliarden Gesamtparametern auf den agentischen Coding-Benchmarks an, darunter SWE-Bench Pro v2, Terminal-Bench 2.1 und SWE-Bench Verified. Es soll die Coding-Leistung dichter Modelle mit 25 bis 40 Milliarden Parametern erreichen und dabei mehr als fünfmal schneller laufen. Solche Zahlen sind eine Momentaufnahme: Ergebnisse hängen von Sampling-Parametern, Agenten-Setup und Timeouts ab. Recursive dokumentiert diese Einstellungen immerhin offen, inklusive Temperatur, Top-p und Zahl der Versuche. Prüfen kannst du das nur selbst – lade das Modell herunter und miss deine eigenen Aufgaben daran.
Über 125 Token pro Sekunde auf dem MacBook: Was das praktisch heißt
Mit der eigenen Inferenz-Engine kommt Flint auf mehr als 125 Token pro Sekunde auf einem M4 Pro MacBook Pro und auf mehr als 150 Token pro Sekunde auf einer 64-GB-NVIDIA-RTX-Spark bei kurzen Kontexten. Recursive gibt an, damit bis zu doppelt so schnell zu sein wie vergleichbare Modelle.
Für agentisches Coding zählt genau das. Ein Agent, der eine Datei liest, einen Test laufen lässt, einen Fehler analysiert und einen Patch schreibt, macht viele kleine Schritte. Jeder Schritt ist ein Modellaufruf, und bei 30 Token pro Sekunde summiert sich das zu Wartezeiten, die den Arbeitsfluss zerschneiden. Die angegebene Geschwindigkeit bezieht sich auf den Durchschnitt über eine 128k-Token-Sitzung, nicht auf einen kurzen Sprint am Anfang. Der Prefill, also das Einlesen des Kontexts, ist ausgenommen. Die Zahl passt zu den langen Sitzungen, in denen solche Modelle tatsächlich laufen.
Die Eureka Machine: Wie ein kleines Team in vier Monaten ein Modell baut
Flint wurde von einem kleinen Team aus Menschen und Agenten in weniger als vier Monaten von Grund auf gebaut, schreibt Recursive. Der interessantere Teil ist der zweite. Die eigentliche Arbeit steckt in der Eureka Machine, einem System, das den Forschungszyklus automatisiert: Ideen vorschlagen, implementieren, testen und aus den Ergebnissen ableiten, was als Nächstes zu versuchen ist. Das System verfolgt mehrere Richtungen parallel, baut auf früheren Experimenten auf und kombiniert, was vielversprechend aussieht. Laut dem Unternehmen hat es fast jeden Teil des Modellbaus begleitet – von Daten und Trainingsrezepten über die Infrastruktur bis zur Inferenzoptimierung.
Ein konkretes Beispiel ist die Architektur. Ausgangspunkt war ein Modell mit 35 Milliarden Gesamtparametern und 3 Milliarden aktiven. Die Eureka Machine probierte verschiedene Expertenkonfigurationen und Breiten durch. Am Ende standen 40 Milliarden Gesamtparameter mit 2,5 Milliarden aktiven pro Token, und laut Recursive war das unter den getesteten die beste Mischung aus Tempo und Coding-Leistung. Das ist eine kleine Verschiebung, aber ein anderes Modell: mehr Wissen im Regal, weniger Werkzeuge in der Hand pro Handgriff.
Quantisierung und eigene Kernel: Wo die letzte Geschwindigkeit herkommt
Ein Modell, das schnell rechnet, muss auch schnell durch den Speicher kommen. Dort entscheidet die Quantisierung. Recursive hat die Ausgabeschicht, also den lm_head, auf 4 Bit quantisiert – gegen die übliche Praxis. Bei Flint wiegt das schwer, weil die Ausgabeschicht bei nur 2,5 Milliarden aktiven Parametern einen großen Anteil der Gewichte ausmacht, die pro Token gelesen werden. Wer hier Bits spart, spart auf dem kritischen Pfad.
Um Genauigkeit zurückzuholen, folgte eine Offline-Destillation: Das quantisierte Modell trainiert auf seinen eigenen vorab erzeugten Antworten aus einem selbst gefundenen Kern-Datensatz, mit dem 16-Bit-Modell als Lehrer. Das halbierte die Zahl der Trainingsschritte fast, verglichen mit üblichem quantisierungsbewusstem Training. Das finale NVFP4-Modell liegt laut Recursive innerhalb von 0,7 Punkten des 16-Bit-Modells über die eigenen Benchmarks. Dazu kommen spezialisierte Kernel für Projektionen mit niedrigen Bitbreiten, MoE-Operationen, Attention und Prompt-Verarbeitung. Auf M4- und M5-Chips entstand ein Metal-Megakernel, der den gesamten Decode-Durchlauf in einem Kernel fusioniert.
Flint lokal ausführen: Was du dafür brauchst
Die Gewichte stehen auf Hugging Face unter der Apache-2.0-Lizenz. Du kannst das Modell herunterladen, lokal mit deinen Daten betreiben und für eigene Anwendungen anpassen, ohne etwas an einen Server zu schicken. Unterstützt werden unter anderem llama.cpp, Ollama, Unsloth, LM Studio, vLLM und SGLang. Für Apple Silicon gibt es zusätzlich rec, eine schlanke Inferenz-Engine, die auf M4 Pro und M5 Pro/Max optimiert ist und sich in wenigen Schritten einrichten lässt. Von der Ankündigung zum laufenden Modell ist es damit nicht weit.
Beim Kontext nennt Recursive 512k Token, empfiehlt aber, innerhalb von 256k zu bleiben. Ein großes Kontextfenster heißt nicht, dass die Qualität über die ganze Länge gleich bleibt. Wichtiger ist der Hinweis zur Bedienung: Flint braucht laut Hersteller mehr Führung als die großen Closed-Source-Modelle, die man gewohnt ist. Zerlege komplexe Aufgaben in kleinere Teilaufgaben und formuliere ausdrücklich, was du willst. Wer das beherzigt, bekommt schnelles agentisches Coding auf lokaler Hardware statt eines Modells, das an vagen Aufträgen scheitert.
Was das für lokale KI für Programmierung bedeutet
Ein lokales KI-Modell für Programmierung in dieser Geschwindigkeitsklasse ändert die Rechnung. Agentisches Coding lebt von vielen Modellaufrufen, und dort summieren sich API-Kosten. Wenn ein MoE-Modell mit 40 Milliarden Parametern lokal 125 Token pro Sekunde schafft, wird die Variante ohne API für alltägliche Aufgaben realistisch. Nicht für jede Architekturentscheidung, aber für den Großteil dessen, was ein Agent den ganzen Tag tut. Deine Daten bleiben auf deiner Maschine – für viele Teams inzwischen der eigentliche Grund, über lokale KI nachzudenken.
Trotzdem lohnt ein nüchterner Blick. Benchmark-Führerschaft unter MoE-Modellen mit weniger als 50 Milliarden Parametern ist eine eng gefasste Kategorie, und die Vergleiche mit dichten Modellen stammen vom Hersteller selbst. Zwei Dinge bleiben: Automatisierte Forschung verkürzt die Entwicklungszeit, und Effizienz auf Modellebene schlägt Rohleistung, sobald das Modell auf einem Laptop laufen soll. Recursive nennt als langfristiges Ziel rekursiv selbstverbessernde Systeme, die Wissensentdeckung automatisieren. Flint ist der erste Schritt dahin, nicht der Beweis. Den liefert erst das nächste Modell – ob es schneller, besser oder beides ist und ob es wieder auf deiner Hardware läuft.
Quelle: recursive.com
