Ein Forschungsteam trainiert Sprachmodelle mit Kombinationen aus Architektur-Rezepten und Datensätzen aus den Jahren 2019 bis 2025. Gemessen wird, wie viel Rechenleistung ein Modell benötigt, um eine bestimmte Fähigkeitsstufe zu erreichen. Das Ergebnis verschiebt den Blick auf den KI-Fortschritt: Sprachmodelle werden Jahr für Jahr besser, und die Trainingsdaten spielen dabei eine zentrale Rolle. Es geht nicht nur darum, wer den größeren Cluster besitzt, sondern auch darum, womit der Cluster gefüttert wird. Das Team hat seine Ergebnisse in einem ausführlichen Beitrag vorgestellt und liefert eine seltene kontrollierte Studie zu einer Frage, die sonst oft mit Bauchgefühl beantwortet wird.
Eine Studie trennt zwei Wachstumsfaktoren
Die Grundidee ist einfach. In fast jedem Jahr von 2019 bis 2025 erschien ein neues offenes Modell, das den damaligen Stand der Technik widerspiegelte. Daneben entstand jeweils ein neuer öffentlicher Datensatz, der mit besseren Methoden aus dem Netz gesammelt, gefiltert und aufbereitet wurde. Statt immer das neueste Modell mit dem neuesten Datensatz zu trainieren, testete die Forschungsgruppe alle Kombinationen. So lässt sich der Beitrag von Modell- und Datenverbesserungen getrennt auswerten.
Die Modelle stehen für mehr als nur die Architektur im engen Sinn. Sie enthalten den gesamten öffentlich bekannten Werkzeugkasten einer Epoche: Optimierer, Positionskodierung, Normalisierung, Aktivierungsfunktionen, Initialisierung und Lernratenpläne. Auf der Datenseite reicht die Spanne von OpenWebText, einem kleinen Korpus mit rund neun Milliarden Token, bis zu modernen Zusammenstellungen wie UltraFineWeb, das mithilfe von Klassifikatoren gefiltert wird. Zwischen diesen Extremen liegt eine Entwicklung, die oft im Verborgenen bleibt: Wer heute ein Sprachmodell trainiert, profitiert nicht nur von besseren Netzstrukturen, sondern vor allem von saubereren und größeren Datenpools.
Damit die Vergleichbarkeit gewahrt bleibt, verwendeten alle Trainingsläufe denselben Tokenizer und dieselbe Kontextlänge. Das Rechenbudget war einheitlich und reichte von 10^17 bis 10^19 FLOPs. Für jede Kombination aus Datenkorpus und Modellrezept wurde außerdem das rechenoptimale Verhältnis von Parametern und Trainingsdaten ermittelt. So entsteht ein Bild, das nicht von zufälligen Hyperparametern verzerrt wird.
Daten liefern mehr Effizienz als Modellinnovation
Am Ende bewertete das Team alle Modelle mit OLMES, einem Evaluationspaket aus zehn relativ einfachen Benchmarks, überwiegend Multiple-Choice-Fragen. Das ist eine bewusste Abkehr vom üblichen Blick auf die reine Vorhersagegenauigkeit. Da die Modelle auf unterschiedlichen Datensätzen trainiert wurden, wäre ein Vergleich der Verlustfunktion auf einem festen Testtext nicht aussagekräftig. Deshalb stehen Fähigkeiten im Mittelpunkt, nicht die mathematische Annäherung an einen bestimmten Korpus.
Das Ergebnis ist eindeutig. Zwischen 2019 und 2025 ist die Recheneffizienz durch bessere Daten um das 12-fache gestiegen. Durch bessere Modellrezepte dagegen nur um das 3,7-fache. Datenverbesserungen hatten also mehr als dreimal so viel Einfluss auf die Recheneffizienz wie Modellverbesserungen. Wer ein Modell bei einem festen Rechenbudget besser machen will, sollte in dieser Zeitspanne eher in Datenqualität investieren als in neue Architekturen.
Bemerkenswert ist außerdem, dass die Effekte weitgehend unabhängig voneinander wirken. Ein lineares Modell erklärt 88 Prozent der Varianz in den Testergebnissen allein durch die additive Wirkung von Daten- und Modellbeitrag. Das heißt: Bessere Daten bringen auch bei älteren Architekturen ihren vollen Nutzen, und neuere Modellrezepte funktionieren auch mit älteren Datensätzen. Eine geheime Paarung, die erst in der Kombination entsteht, gibt es nicht.
Allerdings gibt es Ausreißer. So schneidet das ältere GPT-2-Rezept beim größten Rechenbudget besser ab als das modernere NeoX, obwohl NeoX auf dem Trainingsloss eigentlich überlegen ist. Auch der Pile-Datensatz, ein Sammelsurium aus vielen Quellen, zeigt bei OLMES weniger Effizienz als OpenWebText. Das liegt vermutlich daran, dass der Pile bewusst diverse Domänen wie Patente, Rechtsmaterialien oder wissenschaftliche Paper enthält. Viele dieser Token helfen bei Multiple-Choice-Fragen aus dem englischen Webtext kaum weiter.
Modellverbesserungen machen Skalierung erst möglich
Trotzdem wäre es ein Fehler, Modellforschung als zweitrangig abzutun. Die gemessene Effizienzsteigerung pro Rechenoperation ist nicht der einzige Wert von Architekturinnovationen. Ein großer Teil der Modellarbeit hatte ein anderes Ziel: Sie machte größere Trainingsläufe überhaupt erst machbar. Wenn Parameterzahl, Kontextlänge, Laufzeit und Cluster-Größe wachsen, brechen Systeme an vielen Stellen auseinander. Gradienten explodieren oder verschwinden, Speicher und Bandbreite werden knapp, und das Training wird hoffnungslos langsam.
Viele zentrale Innovationen gehören in diese Kategorie: Mixture-of-Experts-Modelle, effiziente Aufmerksamkeitsmechanismen, bessere Normalisierung und Initialisierung sowie Kernel-Level-Optimierungen wie FlashAttention. Sie erhöhen nicht unbedingt die Effizienz pro Rechenoperation, aber sie erlauben es, überhaupt auf Hunderttausende von GPUs zu skalieren. Für die wirtschaftliche Entwicklung der großen Labore ist das vermutlich der eigentliche Wert der Modellforschung.
Ein naives Lesen der Zahlen würde sagen: Die ganze Magie liegt in den Daten, Modellarbeit bringt kaum etwas. Die Autoren widersprechen. Der Beitrag der Modellinnovation zeigt sich nicht in weniger FLOPs für dieselbe Leistung, sondern in der Fähigkeit, mehr FLOPs überhaupt sinnvoll zu nutzen. Beide Faktoren spielen zusammen, auch wenn die Studie für das Pretraining im engeren Sinn den Daten die größere Hebelwirkung zuschreibt.
Große Modelle brauchen andere Datenstrategien
Die Studie verwendet vergleichsweise kleine Modelle. Das ist wichtig, denn die Ergebnisse lassen sich nicht einfach auf die Milliarden-Parameter-Modelle an der Spitze übertragen. Kleine Modelle haben wenig Kapazität. Deshalb macht es einen großen Unterschied, ob man sie mit sorgfältig gefilterten oder mit rohen Daten füttert. Große Modelle dagegen haben so viel freie Kapazität, dass sie auch aus einem großen, unsortierten Datensatz lernen können.
Wer bei einem großen Modell zu stark filtert, muss die verbleibenden Daten mehrfach durchlaufen. Mehrere Epochen sind empirisch oft schlechter als ein einmaliger Durchlauf durch einen größeren, ungleichmäßigeren Korpus. Hinzu kommt, dass Frontier-Modelle bis zu hundertmal stärker trainiert werden, als es das sogenannte Chinchilla-Optimum vorschlagen würde. Das geschieht bewusst, um später bei der Inferenz Rechenleistung zu sparen. Aggressive Datenbereinigung wirkt dann sogar kontraproduktiv.
Die Autoren verwenden dafür ein anschauliches Bild. Ein kleines Modell ist wie ein Segelboot: Du musst genau überlegen, welche Ladung du mitnimmst, sonst kippt das Boot um. Ein großes Modell ist ein Containerschiff. Es fährt nicht unbedingt schneller, aber es kann Berge von Fracht transportieren und bleibt auch bei Wellengang stabil. Auf das Training übertragen heißt das: Sobald das Schiff groß und robust genug ist, musst du nicht mehr jede einzelne Tonne Fracht prüfen. Du lädst einfach alles, was entfernt nützlich sein könnte.
Datenwand, synthetische Daten und offene Fragen
Diese Sichtweise führt zu einer unbequemen Frage: Wenn der Pretraining-Fortschritt vor allem von Daten kommt, was passiert, wenn die Daten ausgehen? Das Internet wächst nicht beliebig schnell. Kuratieren lässt sich ein endlicher Korpus nur in einem bestimmten Umfang. Viele Labore setzen deshalb auf synthetische Daten. Die vorliegende Studie hat diesen Effekt nicht untersucht. Ob künstlich erzeugte Daten einen begrenzten Korpus wirksam vergrößern können, bleibt eine der wichtigsten offenen Fragen.
Das Team nennt mehrere konkrete Forschungsrichtungen: Man könnte das Experiment auf deutlich größere Modelle ausweiten, um zu sehen, ob Daten- und Modellbeiträge von der Skala abhängen. Man könnte den Grenznutzen neuer hochwertiger Daten für Vor- und Nachtraining untersuchen. Und man könnte testen, ob synthetische Daten besser sind als mehrere Epochen über einen kleinen, feinen Datensatz. Außerdem ließe sich der implizite Wert von Daten aus den Ausgaben der Labore für Datenhändler und Umgebungserzeuger ableiten.
Interessant ist auch ein Hinweis des Forschers Ryan Greenblatt. Viele historische Verbesserungen der Datenkorpusse sehen so aus, als könnte man sie mit automatisierten Forschungssystemen einfach empirisch testen. Man trainiert Modelle auf verschiedenen Datenvarianten und misst, welche besser abschneidet. Sollte KI-Forschung automatisiert werden, könnten Datenverbesserungen sogar schneller werden, statt langsamer.
Was diese Zahlen für die KI-Entwicklung bedeuten
Die Studie ist kein endgültiger Beweis, dass Datenarbeit alles ist. Dafür sind die Rechenbudgets zu klein, die Benchmarks zu schmal und die Unsicherheit zu groß. Aber sie ist ein starkes Indiz dafür, dass die gemessenen Fortschritte im Pretraining zu einem großen Teil aus den Trainingsdaten stammen. Wer also wissen will, warum ein neues Modell besser ist als sein Vorgänger, sollte nicht nur auf die Architektur schauen. Der Blick in den Trainingsdatensatz ist oft genauso entscheidend.
Das hat praktische Konsequenzen. Wenn Daten der wichtigste Hebel sind, wird die Frage nach neuen Quellen und synthetischen Daten zur strategischen Größe. Gleichzeitig bleibt Modellforschung unverzichtbar, weil größere Trainingsläufe ohne sie instabil bleiben. Die eigentliche Kunst besteht darin, beides verzahnt zu sehen: Daten geben die Richtung vor, Modelle bauen das Fahrzeug, das dorthin fahren kann. Wer diesen Zusammenhang versteht, kann besser einordnen, woher der nächste große Sprung in der KI kommen könnte.
Quelle: dwarkesh.com
