In der KI-Forschung gilt das Training moderner Basismodelle als Spiel der ganz Großen: Zehntausende Spezialchips, hunderte Millionen Dollar Rechenbudget und ein Heer von Ingenieuren scheinen die notwendige Ausstattung zu sein. Genau dieses Bild stellt ein technischer Bericht des KI-Labors Magic infrage, denn dort wurde ein Pretraining-Rezept entwickelt, das mit einem Bruchteil der üblichen Rechenleistung das Niveau führender offener Basismodelle erreicht. Wirft man einen Blick auf die Zahlen, wird klar, warum diese Ankündigung in der KI-Community Aufsehen erregt. Das Team von Magic arbeitet an Coding-Agenten und automatisierter KI-Forschung und sieht sich selbst als kleinstes Team der Welt, das Modelle im Billionen-Parameter-Bereich anstrebt.
Der Effizienzsprung in Zahlen
Die zentrale Behauptung: Magics Pretraining-Rezept sei mehr als zehnmal recheneffizienter als das führender Open-Weight-Basismodelle. Konkret schreiben die Autoren, sie erreichten mit einem ihrer Modelle das Leistungsniveau von DeepSeek V4 Pro Base – mit ungefähr fünfzigmal weniger Trainings-FLOPs. Als Maßeinheit dient die übliche Näherung 6·N·D, also sechs mal aktivierte Parameter mal Trainings-Token. Das kleinste aktuell beschriebene Modell besitzt danach ein Budget von rund 1,6 × 10^23 FLOPs.
In Dollar umgerechnet ist das wenig: Auf Nvidia-GB200-Systemen entsprächen rund 1,6 × 10^23 FLOPs geschätzten 500.000 Dollar Rechenkosten. Zum Vergleich: DeepSeek V4 Pro wird in derselben Näherung mit rund 9,7 × 10^24 FLOPs geführt, etwa dem Sechzigfachen. Wer ein Modell auf dem Niveau von DeepSeek V4 Pro bauen will, kann das nach Magics Methode offenbar zu einem Bruchteil der bisher veranschlagten Kosten tun. Nach oben haben sie noch einmal nachgelegt: Ein zehnmal größeres Modell, intern als e24 bezeichnet, kostete auf dem Papier rund vier Millionen Dollar und soll laut den internen Perplexitätsmessungen sämtliche öffentlich verfügbaren Open-Weight-Basismodelle übertroffen haben.
Provokant wird diese Aussage im Vergleich mit den Skalierungsgesetzen der Konkurrenz. Nach Magics eigener Kurvenanpassung würde ein Modell mit diesen Fähigkeiten nach dem Rezept von DeepSeek V4 Pro mehr als 100 Millionen Dollar an Trainingskosten verursachen. Das Team betont deshalb offen, dass man mangels eigener Chip-Armeen nur über einen Hebel verfüge: algorithmische Effizienz. Diese Effizienz treiben sie nun offenbar in einem Ausmaß, das die übliche Logik „viel Rechenleistung schlägt clevere Optimierung“ auf den Kopf stellt.
Perplexität, Bits pro Byte und gehaltene Daten
Bei Basismodellen lassen sich Fähigkeiten nicht einfach per Chatbot-Benchmark abfragen, weil sie noch nicht auf Prompts optimiert sind. Schon minimale Formulierungsunterschiede können die Ergebnisse massiv verändern. Deshalb setzen die Magic-Forscher auf eine direkte Metrik: Bits pro Byte. Diese Größe beschreibt, wie viele Bits ein Modell durchschnittlich benötigt, um ein Byte komprimierter Daten vorherzusagen. Je niedriger der Wert, desto besser das Modell. Gegenüber der klassischen Perplexität hat diese Messung den Vorteil, dass sie Unterschiede in der Tokenisierung normalisiert.
Um sicherzugehen, dass nicht auswendig gelernt wird, statt zu generalisieren, wurden gehaltene Datensätze zusammengestellt: der eigene Code, private Code-Repositories anderer Startups, frische Forschungsarbeiten mit wenig Zitationen sowie private Mathematikaufgaben. Aus dem eigenen Trainingskorpus entfernten die Forscher alle Dokumente, die eine hohe Ähnlichkeit zu diesen Evaluationsdaten aufwiesen – über einen Abgleich normalisierter Textfenster. Zusätzlich nutzen sie für die Eval-Daten ein anderes Parsing- und OCR-System als im Pretraining, damit das Modell nicht die Eigenheiten seines Trainingsparsers ausnutzen kann.
Auch der Ansatz, Wissen zu testen, ist aufschlussreich. Bei Domänen wie Informatik, Mathematik oder Medizin geht es nicht nur um Generalisierung, sondern auch darum, ob relevantes Fachwissen im Modell verankert ist. Das Problem: Genau diese Inhalte sollen im Trainingskorpus vorkommen. Um zu verhindern, dass wörtliche Memorierung belohnt wird, ließen die Forscher Dokumente mithilfe eines dritten Frontier-Modells umformulieren und zusammenfassen. So bleibt der semantische Kern erhalten, aber die Wortkette des Originals hilft bei der Evaluation nicht mehr. Um eine Überanpassung auf diese granularen Tests zu vermeiden, erstellt das Team die Tests bewusst nur einmal pro Modellgeneration. Die aktuellen Eval-Kategorien entstanden erst kurz vor Veröffentlichung des Berichts, was den zeitlichen Abstand zum Trainingsprozess dokumentiert.
Viele kleine Optimierungen statt eines einzelnen Tricks
Wer einen großen Effizienzsprung erwartet, sucht wahrscheinlich nach einem einzelnen revolutionären Einfall. Magics Bericht enttäuscht diese Erwartung: Der Gewinn sei das multiplikative Ergebnis dutzender Änderungen an Architektur, Optimierer, Trainingsziel und Datenaufbereitung. Das klingt unspektakulär, ist aber in der Praxis schwer zu erreichen – gerade weil viele Einzeländerungen bei kleinen Modellen funktionieren, aber bei großen nicht.
Deshalb setzten die Forscher auf einen strikten Validierungsprozess. Jede Kandidatenänderung wird an drei Modellgrößen getestet, deren Rechenbudgets sich über zwei Größenordnungen erstrecken. Nur wenn die Messpunkte im Log-Log-Diagramm eine Gerade ergeben und der Fit für sehr große Skalen einen Vorteil prognostiziert, wird die Änderung ins Rezept übernommen. Diese Methode schützt vor vorschnellen Schlüssen aus NanoGPT-Speedruns, die in der Szene oft als schnelle Feedbackschleife gelten. Das Team fand dabei auch Überraschendes: Manche Features, die heute in fast jedem großen Sprachmodell stecken, können ersatzlos entfernt werden, ohne die Leistung großer Modelle zu schädigen.
Der Weg zu diesem Punkt war steinig. Ende 2024 scheiterten die ersten Skalenversuche auf vielfältige Weise, wie es in dem Bericht heißt. Also arbeitete man zunächst an den Grundlagen: stabile Konvergenz, niedrige Präzision, die der Qualität von FP32 entspricht, schnelle Infrastruktur und korrekte Hyperparameterskalierung. Vor allem: konsequente Fehlersuche. Erst danach ließ sich mit den eigentlichen Effizienzexperimenten beginnen. Alle paar Wochen erlaubt sich das Team einen Lauf auf einem Zehntel der Zielgröße, alle paar Monate einen vollständigen Hero-Lauf. Fortschritt entsteht hier nicht durch punktuelle Eingebung, sondern durch kontinuierliche Iteration.
Warum das die Ökonomie des KI-Trainings verändert
Die wichtigste Implikation liegt nicht in einem einzelnen Modell, sondern in der Frage, wer überhaupt noch Grundmodelle trainieren kann. Bisher galt: Wer die Skalierungsgesetze ernst nimmt, muss sein Rechenbudget aggressiv erhöhen, um bessere Modelle zu bekommen. Chips und Kapital wurden zum bestimmenden Faktor. Wenn ein Team mit einem Bruchteil der Ressourcen das gleiche Niveau erreicht, wird algorithmische Effizienz zur strategischen Waffe.
Für Open-Weight-Modelle bedeutet das eine ungewohnte Dynamik. Nicht mehr nur die Großlabors mit proprietären Infrastrukturen könnten die besten Basismodelle hervorbringen. Auch kleinere Organisationen und Forschungseinrichtungen bekämen die Möglichkeit, Modelle mit weniger FLOPs zu trainieren und anschließend in nachgelagerte Bereiche zu investieren: Alignment, Reinforcement Learning, lange Kontexte. Diese Kombination aus effizientem Pretraining und anschließender Optimierung könnte den Abstand zwischen kommerziellen Giganten und unabhängigen Labors verkleinern.
Eine Einschränkung bleibt: Der Bericht ist bislang eine Eigenauswertung. Die Loss-Messungen wurden intern durchgeführt, öffentliche Vergleichsmodelle testete das Team zwar in mehreren Inferenz-Backends wie vLLM und SGLang und ließ die Ergebnisse von Fireworks gegenprüfen, doch unabhängige Reproduktionen stehen noch aus. Hinzu kommt eine Schwierigkeit: Kontamination lässt sich nur bei den eigenen Modellen kontrollieren, nicht bei den offenen Vergleichsmodellen. Wenn ein Teil der gehaltenen Internet-Daten schon in deren Trainingsdaten auftaucht, würde das die Vergleichsmodelle eher begünstigen als Magics Modelle, wodurch der gemessene Vorsprung konservativ sein dürfte. Trotzdem ist Vorsicht angebracht, bis weitere externe Tests die Ergebnisse bestätigen.
Nächste Schritte: Vom Basismodell zum Coding-Agenten
Magic hat ein klares Ziel vor Augen: Das Pretraining zusammen mit Long-Context-Techniken und agentischem Reinforcement Learning soll ausreichen, um übermenschliche Coding-Agenten zu bauen und schließlich große Teile der KI-Forschung zu automatisieren. In dem Blogpost wird dieser Plan nur grob skizziert, aber die Prioritäten sind erkennbar. Die Pretraining- und Long-Context-Arbeit gelte inzwischen als ausgereift, heißt es, nun wolle man das Training von Agenten über lange Zeiträume angehen. Konkrete offene Probleme sind die Erkundung in langen Zeithorizonten und die Zuordnung von Belohnungen, dazu die nötige Systemarbeit, um solche Trainingsläufe überhaupt zu bewältigen.
Auch das Thema Sicherheit wird angesprochen. Das Labor will eine aktualisierte „AGI-Readiness Policy“ veröffentlichen, die Einsatzgrenzen, Sicherheitsanforderungen während des RL-Trainings und den Umgang mit latenten Wissenskonflikten regeln soll. Für all das sucht das Team neue Mitarbeitende, denn ausdrücklich heißt es: Ein einzelner Mensch mit gutem Urteilsvermögen könne heute einen großen Einfluss auf die Entwicklung dieser Technologie nehmen.
Was bedeutet das nun für die KI-Landschaft? Wenn sich die Zahlen von Magic bestätigen, sinkt die Eintrittsschwelle für eigene Grundmodelle deutlich. Statt Hunderte Millionen Dollar nur für das Pretraining einzuplanen, würden einige Millionen und ein durchdachtes Rezept genügen, um mit den besten offenen Modellen mitzuhalten. Die Skalierungsgesetze im Deep Learning verlieren dann ihren Schrecken, weil ihre Steilheit von der Effizienz des Trainingsalgorithmus abhängt. Die nächsten Monate werden zeigen, ob das Modell hält, was die Kurven versprechen – und ob aus einem effizienteren Pretraining tatsächlich die versprochenen autonomen Coding-Fähigkeiten entstehen. Eines ist jetzt schon sichtbar: Der Wettbewerb um die besten Basismodelle ist nicht mehr allein eine Frage des Budgets, sondern auch eine Frage der Ideen.
Quelle: magic.dev
