Du kennst das vielleicht: Du stellst einer KI eine Frage, und es dauert ein paar Sekunden, bis die Antwort eintrudelt. Manche Antworten kommen sofort, andere brauchen gefühlt eine Ewigkeit. Was du dabei nicht siehst, ist das komplexe Zusammenspiel aus Modellgröße, Hardware und Software, das hinter den Kulissen stattfindet. In der KI-Welt geht es aktuell nämlich nicht nur um schlauere Modelle, sondern auch um die Frage, welche Hardware sie überhaupt stemmen kann. Ein Beitrag des Unternehmens Wafer wirft dabei ein Schlaglicht auf einen Aspekt, der oft übersehen wird: den Speicher. Und der könnte sich als entscheidender Vorteil erweisen.
Doch bevor wir in die Details eintauchen: Was ist eigentlich ein großes KI-Modell? Stell dir ein gigantisches Netzwerk aus Millionen, ja Milliarden von Zahlen vor. Diese Zahlen, die man Parameter nennt, bestimmen, wie das Modell Texte versteht und generiert. Je mehr Parameter, desto leistungsfähiger ist das Modell in der Regel – aber auch desto größer ist der Speicherbedarf. Die Spitzenmodelle, die du aus ChatGPT und Co. kennst, haben oft hunderte Milliarden Parameter. Und die Open-Source-Szene hat in letzter Zeit mächtig aufgeholt: Modelle wie DeepSeek V4-Pro oder GLM5.2 erreichen fast das Niveau kommerzieller Top-Modelle. Der neue Star heißt allerdings Kimi K3 – und der ist ein echtes Schwergewicht.
Kimi K3 bringt stolze 2,8 Billionen Parameter auf die Waage. Das sind mehr als doppelt so viele wie bei GLM5.2 und fast doppelt so viele wie bei DeepSeek V4-Pro. Um ein solches Modell überhaupt zu laden, brauchst du mehr als 1,5 Terabyte VRAM – und das, bevor du überhaupt den sogenannten KV-Cache berücksichtigst, der für ein Modell mit 1 Million Token Kontext nötig ist. Zur Einordnung: Selbst eine Node mit acht NVIDIA B200-GPUs, die jeweils 192 GB Speicher haben, reicht dafür nicht aus. Man müsste also zwei Nodes zusammenschließen, was wiederum enorme Datenmengen zwischen den Rechnern hin- und herschickt. Genau hier kommt ein anderer Hersteller ins Spiel: AMD.
Der MI355X von AMD hat nämlich 288 GB Speicher pro GPU. Damit kann eine einzelne Node mit acht dieser Beschleuniger das komplette Modell aufnehmen – samt Kontext. Und das zu einem deutlich günstigeren Preis: Laut Wafer kostet der MI355X im Durchschnitt etwa 2,4-mal weniger pro GPU als ein NVIDIA B300 und etwa 1,7-mal weniger als ein B200. Auf dem Papier also ein klarer Preis-Leistungs-Sieg. Doch in der Praxis gibt es seit Jahren einen Haken: AMDs Software-Unterstützung. Kernel und Inferenz-Frameworks waren lange nicht so ausgereift wie NVIDIAs CUDA-Ökosystem. Deshalb galt es als riskant, ernsthafte KI-Workloads auf AMD zu betreiben. Doch wie der Blogbeitrag zeigt, könnte sich das gerade ändern.
Ein Benchmark mit Überraschungen
Das Team von Wafer hat Kimi K3 auf einer MI355X-Node zum Laufen gebracht und vermessen. Die Ergebnisse sind beachtlich. Bei einem typischen Benchmark mit 1.024 Eingabe-Token und 400 Ausgabe-Token erreicht die AMD-Node eine aggregierte Durchsatzrate von 952 Token pro Sekunde pro Node. Im Einzelstream schafft sie immerhin 118 Token pro Sekunde. Zum Vergleich: Eine Zwei-Node-Konfiguration mit B200-GPUs, die ebenfalls Kimi K3 serviert, kommt auf gerade einmal 498 Token pro Sekunde über alle 16 GPUs verteilt – also etwa 249 Token pro Sekunde pro Node. Die AMD-Lösung ist also fast viermal schneller im aggregierten Durchsatz pro Node. Und selbst die deutlich teureren B300-GPUs liegen mit 1.568 Token pro Sekunde zwar vorn, aber bei 2,4-fachem Preis wirtschaftet die AMD-Node deutlich besser: Auf jeden ausgegebenen Dollar kommen 48 Token pro Sekunde beim MI355X, aber nur 33 beim B300. Der B200 fällt mit gerade einmal 7 Token pro Dollar komplett ab.
Diese Zahlen zeigen etwas Wichtiges: Bei riesigen Modellen wird der Speicher zum Flaschenhals. NVIDIA hat mit der B200-Serie zwar enorme Rechenleistung, aber nicht genug Speicher, um ein Modell wie Kimi K3 in einer einzelnen Node zu halten. Die cross-node Kommunikation, die bei einer Zwei-Node-Lösung nötig ist, kostet wertvolle Zeit auf dem kritischen Pfad der Dekodierung. AMD hat dagegen genau auf diese Kapazität gesetzt – und damit einen praktischen Vorsprung. Natürlich ist das nur ein einzelner Benchmark, aber er veranschaulicht einen Trend: Speicherkapazität und Speicherbandbreite werden für KI-Inferenz immer entscheidender, nicht nur nackte Rechenleistung.
Software ist der Schlüssel – und die Hölle
Dass die MI355X von Haus aus mit Kimi K3 klar kommt, ist ein Fortschritt. Aber der Weg zu den guten Zahlen war nicht frei von Hindernissen. Das Team von Wafer musste ein Problem mit dem spekulativen Decoding lösen. Dabei geht es um eine Technik, die mehrere Token gleichzeitig vorhersagt und dadurch die Antwortgeschwindigkeit erhöht. Kimi K3 bringt zwar keine eigenen Entwurfs-Tensoren mit, aber ein externes Modell namens RadixArk diente als Entwurfsmodell. Unter CUDA funktionierte das sofort, unter ROCm, der AMD-Softwareplattform, gab es jedoch einen Fehler. Die Ursache: Ein bestimmter Kernel, der für die Neuberechnung von Wahrscheinlichkeiten zuständig ist, war im ROCm-Build nicht definiert. Statt eines komplexen Kernels war die Lösung überraschend simpel: eine einzelne PyTorch-Funktion, die das Sortieren, Ausblenden und Neu-Skalieren übernimmt. Kein maßgeschneiderter Kernel, nur eine fehlende Import-Zuordnung. Das zeigt, wie schnell man bei AMD auf unerwartete Hürden stößt – und wie trivial die Lösungen manchmal sind.
Noch interessanter war das Prefill-Problem. Bevor ein Modell eine Antwort generieren kann, muss es die Eingabe verarbeiten – das nennt man Prefill. Bei langen Kontexten, etwa 172.000 Token, kann das sehr lange dauern. Auf dem MI355X dauerte ein solcher Cold-Prefill zunächst 51 Sekunden, während eine B300 die gleiche Aufgabe in 23 Sekunden erledigte. Ein kräftiger Unterschied. Doch auch hier war die Ursache ein Software-Problem: Das schnelle MLA-Prefill-Kernel von AITER wollte nicht geladen werden, weil die Anzahl der Attention-Heads pro Rang nicht ins Schema passte. Statt der erwarteten 4, 8 oder 16 Heads hatte das Modell bei Tensor Parallelism mit 8 GPUs nur 12 Heads pro Rang. Die Lösung: einfach auf 16 Heads mit Nullen auffüllen, den schnellen Kernel verwenden und die überflüssigen Heads wieder verwerfen. Ergebnis: Die Prefill-Geschwindigkeit stieg von etwa 4–7.000 auf 13.000 Token pro Sekunde. Das ist eine Verbesserung um das Zwei- bis Dreifache.
Diese Optimierungen mögen technisch klingen, aber sie haben eine unmittelbare Wirkung für alle, die KI nutzen. Denn die Zeit bis zum ersten Token – also die Wartezeit, bevor überhaupt ein Zeichen erscheint – ist das, was Anwender am deutlichsten spüren. Ein Modell, das aggregiert tausende Token pro Sekunde verarbeitet, nützt wenig, wenn der Nutzer eine halbe Minute auf den ersten Satz warten muss. Genau diese Verzögerung hat Wafer mit den Optimierungen behoben. Und das ist letztlich das eigentliche Kunststück: Nicht die Hardware allein macht den Unterschied, sondern die Fähigkeit, die vorhandene Software an die eigenwilligen Gegebenheiten anzupassen.
Warum das für die KI-Welt wichtig ist – auch für dich
Du fragst dich jetzt vielleicht: Was hat das alles mit mir zu tun? Nun, KI-Modelle wie Kimi K3 sind die Motoren hinter vielen Anwendungen, die wir täglich nutzen – von Chatbots über Code-Assistenten bis hin zu automatisierten Textsystemen. Wenn solche Modelle günstiger und schneller auf AMD-Hardware betrieben werden können, sinken die Kosten für die Anbieter. Und das spürst du im Preis, in der Antwortgeschwindigkeit und vielleicht auch in der Verbreitung von Open-Source-KI. Denn je günstiger die Inferenz wird, desto eher lassen sich große Modelle in viele Produkte integrieren.
Der Beitrag von Wafer endet mit einer provokanten Frage: Ist der CUDA-Moat tot? CUDA, die Programmierschnittstelle von NVIDIA, galt lange als uneinholbarer Vorteil – wie ein Burggraben, den niemand überqueren kann. AMD hat mit ROCm eine Alternative, aber sie war nie so ausgereift. Die Erfahrungen mit Kimi K3 zeigen jedoch, dass sich die Lücke schließt. Nicht von heute auf morgen, aber stetig. Und gerade bei Modellen, die so groß sind, dass sie nur mit viel Speicher laufen, hat AMD einen echten Trumpf in der Hand.
Man sollte allerdings nicht in Euphorie verfallen. Ein einzelner Benchmark beweist noch keinen Gesamtsieg. Es gibt sicherlich viele Workloads, bei denen NVIDIA weiterhin klar führt. Und die Software-Unterstützung für AMD wird noch eine Weile ein Flickenteppich bleiben. Doch die Richtung stimmt: Die KI-Welt wird vielseitiger, offener und preiswerter. Genau davon profitieren am Ende alle – auch die, die nie etwas von Tensor-Kernen oder Attention-Heads gehört haben. Für alle, die sich zum ersten Mal mit dem Thema beschäftigen: KI ist nicht nur eine Frage cleverer Algorithmen, sondern auch eine Frage des Speichers und der intelligenten Ausnutzung von Hardware. Dass ausgerechnet der Speicher zum entscheidenden Vorteil werden könnte, ist eine Erkenntnis, die noch vor ein paar Jahren kaum jemand erwartet hätte.
Für die Zukunft bedeutet das: Wir dürfen gespannt sein, wie sich die Wafer-Prognose bewahrheitet. SOTA – also der neueste Stand der Technik – auf AMD ist offenbar nicht mehr fern. Wer also in den nächsten Monaten eine KI-Anwendung entwickelt oder betreibt, sollte AMD nicht mehr länger ignorieren. Die Softwarelücken sind da, aber sie sind überwindbar. Und wenn der Preisvorteil so deutlich bleibt, wird sich der Markt in eine Richtung bewegen, die mehr Wettbewerb und mehr Innovation bedeutet. Genau das, so scheint es, ist der eigentliche Gewinn.
Quelle: wafer.ai
