10 Billionen Parameter – mehr als das Dreifache des größten veröffentlichten chinesischen KI-Modells. ByteDance, der Konzern hinter TikTok, trainiert ein Modell dieser Größenordnung. Das berichtet die Financial Times aus informierten Kreisen. Das Unternehmen steckt in der frühen Vortrainingsphase, die üblicherweise drei bis sechs Monate dauert, bevor Feinabstimmung und Veröffentlichung folgen.
Der Wettbewerb um die Vorherrschaft bei künstlicher Intelligenz wird nicht mehr nur zwischen US-Giganten wie OpenAI und Google entschieden. Chinesische Tech-Firmen holen auf. ByteDance will mit diesem Modell an die Spitze. Was die Zahl bedeutet, wie das Training abläuft und warum Parameter nur ein Teil der Geschichte sind, zeigt dieser Text.
Was zehn Billionen Parameter bedeuten
Parameter sind die internen Stellschrauben eines KI-Modells. Sie werden während des Trainings angepasst, um Muster in Daten zu erkennen. Man kann sie sich wie das Gedächtnis und die Verarbeitungsbandbreite eines Gehirns vorstellen. Mehr Parameter bedeuten mehr Speicherkapazität und komplexere Zusammenhänge. Aber sie bedeuten nicht automatisch mehr Intelligenz. Modelle mit weniger Parametern erzielen durch bessere Datenqualität oder geschicktere Architektur ähnliche oder bessere Leistungen.
Das bisher größte veröffentlichte chinesische Modell, Kimi K3 von Moonshot AI, hat etwa 3,5 Billionen Parameter. ByteDance plant rund 10 Billionen – fast dreimal so viel. Zum Vergleich: Anthropics Mythos 5 wird auf etwa 8 Billionen geschätzt, Fable 5 auf rund 5 Billionen. Damit würde ByteDance den chinesischen Rekord brechen und die US-Konkurrenz übertreffen – zumindest auf dem Papier.
Der Wettlauf zwischen China und den USA
Derzeit gelten US-Labore wie OpenAI, Google DeepMind und Anthropic als Spitzenreiter bei großen Sprachmodellen. Chinesische Unternehmen wie Alibaba, Baidu und ByteDance investieren massiv, um aufzuholen. Laut Financial Times sehen Branchenkenner ByteDances Vorstoß als klares Signal: China will nicht nur aufholen, sondern führen.
Parameterzahlen sind nur ein Aspekt. Wichtig sind auch Rechenleistung, Daten und Talente. Die USA beschränken durch Exportkontrollen den Zugang zu High-End-Chips wie Nvidia H100. Chinesische Firmen weichen auf Alternativen aus – etwa Chips von Huawei – oder optimieren ihre Software. ByteDance besitzt riesige Rechenzentren und ein KI-Team, das bereits Modelle für TikTok trainiert hat.
Auch die Offenheit der Forschung spielt eine Rolle. US-Labore veröffentlichen oft geschlossene Systeme, chinesische Firmen setzen auf Open Source – teils aus strategischem Kalkül, um die Community zu stärken. ByteDance hat wenig öffentlich gemacht, das heizt Spekulationen an. Wer im KI-Rennen vorn liegt, entscheidet nicht allein die Parameterzahl, sondern der praktische Einsatz – bei Sprachassistenten, Bildgenerierung, Videoerstellung oder KI-Agenten.
Die technischen Herausforderungen des Trainings
Ein Modell mit 10 Billionen Parametern zu trainieren, ist aufwendig. ByteDance durchläuft die Vortrainingsphase, in der das Modell mit riesigen Textmengen gefüttert wird – aus dem Internet, Büchern und anderen Quellen. Das System lernt die statistischen Muster der Sprache, ähnlich wie ein Kind, das durch Zuhören und Lesen seine Muttersprache begreift. Nur mit Billionen von Beispielen.
Die nötige Rechenleistung ist enorm. Selbst mit modernsten Chips müssen Hunderttausende GPU-Äquivalente über Monate laufen. Dazu kommt der Energieverbrauch: Ein Training kann so viel Strom verbrauchen wie eine mittlere Stadt im Jahr. Je größer das Modell, desto mehr Speicher und Bandbreite für die Datenverteilung. ByteDance hat die Infrastruktur, aber auch die stößt an Grenzen – daher variieren die Schätzungen zur Parameterzahl.
Drei bis sechs Monate für die Vortrainingsphase sind realistisch. Danach folgt die Feinabstimmung, bei der das Modell mit spezialisierten Daten trainiert wird, um Aufgaben wie Chatten, Programmieren oder Bildklassifikation zu verbessern. Erst dann ist die Veröffentlichung möglich. Diesen Weg kennen wir von GPT-4 oder Claude 3.5, nur dass der Umfang hier größer ist.
Mehr als nur Parameter: Datenqualität und Methodik
Die Parameterzahl ist nur das Fassungsvermögen, nicht der Inhalt. Entscheidend ist, was das Modell gelernt hat und wie es es anwendet. Ein 10-Billionen-Modell liefert bei lückenhaften oder verzerrten Daten trotzdem schlechte Antworten. Kleinere Modelle mit sauberen Daten und cleverem Training können beachtliche Leistungen erbringen.
Entwickler achten auf drei Dinge: Datenqualität, Trainingsmethoden und Architektur. Häufig werden „MoE“- oder „Mixture-of-Experts“-Ansätze genutzt, bei denen nur ein Teil der Parameter pro Berechnung aktiviert wird – das spart Rechenleistung. Auch die Aufmerksamkeitsmechanismen, also die Verknüpfung relevanter Informationen im Text, beeinflussen die Qualität.
ByteDance will nicht nur mit der Zahl beeindrucken, sondern mit Fähigkeiten. Das Unternehmen hat Erfahrung mit Modellen wie „DaVinci“ oder „SeedLM“, die in eigenen Produkten laufen. Ein neues Modell könnte als KI-Assistent auf TikTok oder für automatisierte Videobearbeitung dienen – ein Bereich, in dem ByteDance stark ist. Ob die Milliardeninvestition sich auszahlt, hängt davon ab, ob das Modell im Alltag überzeugt.
Was das für die Zukunft der KI bedeutet
Dieser Schritt könnte die KI-Landschaft verändern. Wenn das Modell erfolgreich trainiert und veröffentlicht wird, hätte China einen neuen Rekord aufgestellt – und bewiesen, dass riesige Modelle trotz Exportbeschränkungen möglich sind. Das verstärkt die Diskussion über Risiken und Regulierung: Größere Modelle bergen größeres Potenzial für Missbrauch, etwa Deepfakes oder Manipulation.
Der Wettlauf um Parameterzahlen zeigt: Die Branche ist nicht am Ende. In zwei Jahren könnten Modelle mit 20 oder 50 Billionen Parametern erscheinen – von Google, Anthropic oder einer neuen chinesischen Firma. Der Marktführer wird nicht der mit dem größten Modell sein, sondern der, der es am besten nutzt: niedrigere Kosten, mehr Effizienz, bessere Produktintegration.
Das hat zwei Seiten. Leistungsfähigere Modelle versprechen bessere Assistenten, präzisere Diagnosen, effizientere Produktion. Aber sie wecken Sorgen um Arbeitsplätze, Datenschutz und Machtkonzentration. Der Bericht über ByteDance ist kein reines Technikthema – es geht um Industrie- und Geopolitik, Innovation und Verantwortung. Am Ende zählt nicht die Parameterzahl, sondern der Nutzen im Alltag. Das zeigt sich in den kommenden Monaten, wenn ByteDance sein Vorhaben umsetzt.
Quelle: kucoin.com
