„Training ist die Nachricht von gestern“, sagt Matt Kimball, leitender Data-Center-Analyst bei Moor Insights & Strategy. Der Satz beschreibt ganz gut, was gerade passiert: Im Rechenzentrum hat das Gespräch die Seite gewechselt. IT-Chefs (CIOs) wollen nicht mehr über den nächsten Trainingslauf reden, sondern über KI-Inferenz, also den Betrieb fertig trainierter Modelle. Auffällig ist das, weil die Branche seit etwa 2020 an einer einzigen Frage gearbeitet hat: Wie groß kann ein Modell werden?
Die Zahlen, mit denen dieser Wettlauf gemessen wurde, sind bekannt. Die größte Version von GPT-3 beantwortete 2020 auf einem gängigen Wissens- und Reasoning-Benchmark 43,9 Prozent der Fragen korrekt. Vier Jahre später erreichte GPT-4o im selben Test 88,7 Prozent, das Niveau menschlicher Expertinnen und Experten. Größere Modelle waren also tatsächlich die Antwort. Mit dem Erfolg hat sich nur die Frage verschoben: Wenn Modelle gut genug für den täglichen Einsatz sind, wird nicht mehr das Training zum Engpass, sondern die Nutzung – und damit die Hardware, auf der sie läuft.
Warum 2026 zum Jahr der KI-Inferenz wird
Nvidia-Chef Jensen Huang hat diesen Wechsel auf der GTC 2026 als „Wendepunkt der Inferenz“ bezeichnet, und die Analysefirmen ziehen mit. Der Grund ist zunächst banal: Sprachmodelle sind nützlich geworden, also werden sie benutzt. Dazu kommt eine zweite Entwicklung, die den Rechenbedarf vervielfacht. Viele der heute marktrelevanten Systeme sind Reasoning-Modelle. Sie beantworten eine Anfrage nicht in einem Durchlauf, sondern mehrfach, indem sie sich selbst neu abfragen – bekannt als Chain of Thought. Bei hohem Reasoning-Aufwand entsteht bis zu zwanzigmal so viel Text wie bei geringem oder ohne.
Und dann ist da noch die agentische KI. Sie läuft nicht als Antwort auf eine Frage, sondern rund um die Uhr, autonom auf ein vom Nutzer definiertes Ziel hin. Ein solcher Agent fragt sich permanent selbst, prüft Zwischenergebnisse, verwirft Ansätze, versucht es erneut. Aus einem kurzen Austausch mit einem Menschen wird Dauerlast. Für Rechenzentren ist das der Unterschied zwischen einem Taxi, das pro Fahrt abgerechnet wird, und einem Bus im Linienbetrieb. Die Nachfrage nach KI-Inferenz-Hardware ist damit keine Spitze mehr, sondern ein Grundrauschen, das nie ganz abschaltet.
KI-Inferenz vs. Training: zwei Probleme für dieselben Chips
Ein untrainiertes Modell gleicht einem Haufen Scrabble-Steine auf dem Tisch. Statt einzelner Buchstaben zeigen die Steine Wortfragmente, sogenannte Tokens. Alles, was man zum Schreiben fast beliebiger Texte braucht, liegt bereit – nur ergibt nichts davon einen Sinn. Training ist das Sortieren dieses Haufens mit einem Ratespiel im industriellen Maßstab: Das Modell sieht echten Text, das nächste Token ist verdeckt, und es muss vorhersagen, was kommt. Nach jeder Schätzung wird das richtige Token aufgedeckt, mit der Vorhersage verglichen, und aus der Differenz berechnet das System seine Treffsicherheit. Dieses Spiel läuft nicht über einen Satz, sondern über Milliarden Passagen.
Weil dabei über Backpropagation ständig alle Parameter nachjustiert werden, ist Training extrem rechenintensiv. Deshalb sind in den vergangenen Jahren immer größere Rechenzentren entstanden. Irgendwann entscheidet der Ersteller, dass weiteres Training den Aufwand nicht mehr rechtfertigt. Die Parameter frieren ein, aus dem Spiel wird ein vortrainiertes Modell, ein kurzes Fine-Tuning setzt Feinheiten obendrauf, dann wird ausgeliefert. Danach beginnt die Inferenz. An dieser Stelle liegt ein verbreiteter Denkfehler.
Man könnte annehmen, KI-Inferenz sei billiger, weil die rechenintensive Backpropagation wegfällt. Sudeep Bhoja, Gründer und CTO des Inferenz-Hardware-Herstellers d-Matrix, widerspricht dem. Die Modelle seien autoregressiv, die nächste Ausgabe hänge von der vorherigen ab. Um das nächste Token zu erzeugen, müssen alle Gewichte und der gesamte Kontext gelesen werden – Prompts, bisherige Antworten, hochgeladene Dateien. Es ist also nicht weniger Rechnung, sondern vor allem viel Datenverkehr, und der wiederholt sich mit jedem einzelnen Token.
Prefill und Decode: der Speicher als Engpass
Ein Sprachmodell arbeitet in zwei Phasen, die sich stark unterscheiden. Die erste, Prefill, ist das Lesen der Eingabe. Alle Tokens werden gleichzeitig verarbeitet, das Modell berechnet, wie jedes Token mit allen anderen zusammenhängt – die sogenannte Attention, das Kernmerkmal der Transformer-Architektur. Ergebnis sind Schlüssel- und Wertvektoren, die fast alle Modelle in einem Zwischenspeicher ablegen, dem KV-Cache. Er beginnt klein, kann aber auf Dutzende Gigabyte anwachsen, weil er die gesamte Konversation als Notizzettel mitführt. Prefill lässt sich gut parallelisieren, weshalb Grafikchips hier stark sind: Pixelberechnung ist ebenfalls massiv parallel, die Architektur passt zufällig gut dazu.
Die zweite Phase, Decode, ist das Gegenstück. Hier entsteht die Antwort Token für Token, jeder Schritt greift auf den KV-Cache zu und schreibt neue Vektoren hinein. Das Problem: Für jedes einzelne Token muss das gesamte Modell aus dem Speicher gelesen werden, dazu Dutzende bis Hunderte Gigabyte Parameter. Die Datenmenge übersteigt regelmäßig die Bandbreite, die die Hardware liefern kann. Deshalb stehen Teile eines Inferenz-Beschleunigers still, während sie auf Nachschub warten. Forscher haben gemessen, dass Nvidia H100 beim Betrieb quelloffener LLMs zwischen 50 und 80 Prozent der Zeit untätig sind.
Shahriar Rabii, früher Leiter der Silicon-Entwicklung bei Meta und Mitgründer des Start-ups Majestic Labs, bringt das Dilemma auf eine knappe Formel: Mit dem GPU-Ansatz überprovisioniere man Rechenleistung und hungere beim Speicher. Genau das treibt derzeit den Speicherausbau. Wer heute über KI-Chips spricht, spricht in Wahrheit über Datenbewegung – und über die Frage, wie teuer ein einzelnes erzeugtes Token am Ende ist.
Zwei Wege aus dem Engpass: stapeln oder verlängern
d-Matrix und Majestic Labs verfolgen dasselbe Ziel mit entgegengesetzten Mitteln. d-Matrix setzt bei seinem Beschleuniger Raptor auf Nähe: Der Rechenchip wird direkt auf einen DRAM-Die gestapelt, statt Speicher rund um den Prozessor zu legen. Bhoja zufolge schrumpfen die Wege, die Daten zurücklegen müssen, von Millimetern auf Mikrometer. Das ist wie beim Hochhausbau – vertikal zu gehen erlaubt mehr Inhalt auf gleicher Grundfläche. Übliche High Bandwidth Memory dagegen wird als Stapel am Rand der GPU platziert, was für Training hervorragend funktioniert, für Inferenz aber Mengen und Bandbreiten begrenzt.
Majestic geht den umgekehrten Weg und verlängert die Strecke. Über eine proprietäre Kupferverbindung und einen Aggregator-Chip will das Unternehmen Speicherstapel anbinden, die nicht direkt neben dem Prozessor sitzen. Rabii nennt eine Reichweite von etwa einem Meter – statt der zwei bis drei Millimeter, die ein HBM-Interface zulässt. Damit ließen sich bis zu 128 Terabyte DRAM in einem einzigen Rack unterbringen, deutlich mehr als die rund 20 Terabyte HBM3E, die Nvidias GB300 NVL72 bietet. Beide Firmen nutzen dabei Standard-DRAM statt HBM, auch aus Kostengründen: Laut dem Speicheranalysten Jim Handy ist HBM zwei- bis dreimal so teuer.
Die HBM-Anbieter bleiben dennoch aktiv. HBM4 ist in Produktion und soll in Nvidias Vera-Rubin-GPU zum Einsatz kommen, die für die zweite Hälfte 2026 erwartet wird. Hoshik Kim, Leiter der Speichersystem-Forschung bei SK Hynix, verspricht sich davon eine Verdopplung der maximalen Bandbreite und mehr Speicher pro Stapel. Der Wettbewerb läuft also nicht zwischen richtig und falsch, sondern zwischen zwei Antworten auf dieselbe Frage: Wie bekommt man möglichst viele Daten möglichst schnell an möglichst viele Rechenwerke?
Nvidia, Cerebras und Trainium: Allianzen statt Alleingänge
Die großen Player setzen auf mehrere Chiparten gleichzeitig. Nvidias GPUs und Amazons Trainium-Beschleuniger, ursprünglich fürs Training entworfen, bleiben für Prefill stark. Für Decode braucht es andere Hardware, und dort entstehen die ungewöhnlichen Bündnisse. Amazon Web Services teilt die Inferenz auf: Trainium übernimmt den rechenintensiveren Teil, während Cerebras mit seiner Wafer-Scale-Engine den speicherlastigen Teil abdeckt – Chips von der Größe eines Esstellers, auf denen Speicher und Recheneinheiten nebeneinander liegen, um Bandbreite zu maximieren.
Auch Nvidia hat sich extern bedient und laut Berichten Schlüsselpersonal sowie geistiges Eigentum des Inferenz-Start-ups Groq übernommen, in einem umstrittenen Geschäft im Volumen von rund 20 Milliarden US-Dollar. Ein weiteres Signal: Anthropic zahlt einem Wettbewerber mehr als eine Milliarde Dollar pro Monat für gemietete Rechenleistung. Solche Summen sind kein Ausdruck von Bequemlichkeit, sondern von Knappheit. Wer KI-Inferenz in großem Stil anbietet, kann sich derzeit die falsche Chip-Mischung nicht leisten.
Was das für den Blick auf KI-Inferenz bedeutet
Die naheliegende Schlussfolgerung wäre, dass ein Hersteller als Sieger hervorgeht. Danach sieht es nicht aus. Die Hardware für KI-Inferenz differenziert sich gerade in mehrere Nischen, weil die Arbeitslast selbst zerfällt: Prefill skaliert über parallele Rechenleistung, Decode über Speicherbandbreite, Reasoning-Modelle erhöhen das Datenvolumen, agentische KI verlängert die Laufzeit. Wer heute Inferenz-Beschleuniger für LLMs plant, sollte deshalb nicht nach der höchsten Rechenleistung fragen, sondern nach dem eigenen Lastprofil. Lange Kontexte, viele gleichzeitige Nutzer und dauerhaft laufende Agenten stellen andere Anforderungen als ein Chatbot mit kurzen Antworten.
Für den Alltag der meisten Unternehmen heißt das: Die Frage verschiebt sich von der Technik zur Rechnung. Entscheidend wird, wie viel Speicher pro Beschleuniger verfügbar ist, wie teuer die Datenbewegung ausfällt und was am Ende ein einzelnes Token kostet. Der Aufwand in der KI-Landschaft verlagert sich damit von der Forschung an größeren Modellen zum Betrieb – und die Hardware, die diesen Betrieb trägt, wird gerade neu gebaut.
Quelle: spectrum.ieee.org
