In einem F&E-Labor von Nvidia liegt ein Chip auf dem Tisch, der keine externen Speichermodule benötigt. Er ist das Ergebnis einer Lizenzvereinbarung mit einem Startup aus Toronto. Dieses Startup hat die Gewichte eines KI-Sprachmodells direkt in das Silizium geätzt. Nicht geladen, sondern als physische Transistoren verdrahtet. Die Ingenieure studieren die Zahlen. Es wird klar, dass hier mehr passiert als nur eine weitere Chip-Ankündigung.
Der Chip stammt von Taalas, einem Unternehmen, das die Idee der Spezialisierung bis zum Äußersten treibt. Auf der anderen Seite des Spektrums positioniert sich Groq mit einer flexiblen Lösung. Beide kämpfen gegen dasselbe Problem: die Speicherwand, die die Geschwindigkeit von KI-Inferenz limitiert. Zwei Giganten haben sich bereits positioniert – Nvidia und AMD. Was bedeutet das für die Zukunft der Künstlichen Intelligenz?
Die Mauer, an der alle stoßen
Um zu verstehen, warum Taalas und Groq so wichtig sind, musst du dir den Engpass bei herkömmlichen GPUs ansehen. Jedes Mal, wenn ein Sprachmodell eine Antwort generiert, müssen die Gewichte – also die gelernten Parameter – aus dem Speicher geholt werden. Bei einem GPU-System liegen diese Gewichte in HBM, einem gestapelten DRAM, das neben dem Rechenkern verbaut ist. Bei jedem Token, bei jeder Schicht werden die Gewichte über die Datenbusse geschoben. Das kostet Zeit und Energie. Die Recheneinheiten warten, während die Daten ankommen. Dieses Ungleichgewicht nennt man die Speicherwand – die Inferenz ist nicht durch die Rechenleistung begrenzt, sondern durch die Bandbreite des Speichers.
HBM ist zudem das teuerste Bauteil in einem KI-Server. Ein Chip, der die Gewichte direkt auf dem Die trägt, braucht kein HBM. Seine Speicherzellen sind als SRAM auf dem Logik-Wafer gedruckt – in einer Fabrik, die nicht zu den Speicherherstellern gehört, deren Produktion für 2027 längst ausverkauft ist. Das verschiebt die Fertigungslast auf Kapazitäten, die noch frei sind, und nimmt Druck vom Markt für RAM und VRAM, den du und ich für unsere eigenen Projekte nutzen möchten. Doch wie viel Druck abgebaut wird, hängt davon ab, wie weit die Spezialisierung geht.
Wette eins: Das Modell wird Silizium
Taalas setzt auf eine radikale Methode. Die Gewichte werden in eine maskenbasierte ROM-Struktur eingebrannt, die während der Fertigung entsteht. Ein einzelner Transistor speichert dabei vier Bits und führt gleichzeitig die Multiplikation durch. Die Daten fließen durch die physischen Schichten des Chips und kehren nie zu einem externen Speicher zurück. Das Ergebnis: 16.960 Token pro Sekunde pro Nutzer bei einem Llama-3.1-8B-Modell, während ein Nvidia H200 nur etwa 230 schafft. Laut Eigenangaben verbraucht der Chip nur 0,015 Joule pro Token – im Vergleich zu 1–3 Joule bei Groq und 10–30 Joule bei H-Systemen. Die Kosten pro Million Tokens liegen bei 0,0075 Dollar, ein Bruchteil der üblichen 0,20–0,50 Dollar.
Aber diese Methode hat einen Haken. Das Modell ist eingefroren. Änderungen an den Gewichten erfordern eine neue Maske und damit neue Chips. Zwar gibt es eine SRAM-Region für LoRA-Adapter, kleine Modellanpassungen, die zur Laufzeit geladen werden. Doch die Grundlage bleibt fixiert. Der Hersteller argumentiert, dass nur zwei von etwa hundert Schichten die Gewichte tragen und dass eine Neuanpassung innerhalb von zwei Monaten möglich ist. Die Kosten für einen Maskensatz werden auf etwa 3 Millionen Dollar pro Variante geschätzt – ein Betrag, der sich nur lohnt, wenn das Modell mindestens ein Jahr im Einsatz bleibt. Eine vollständige Neugestaltung des Modells oder eine neue Architektur bedeutet: neue Masken, neue Chips, neue Karten.
Wette zwei: Das Modell bleibt austauschbar
Groq hat einen anderen Weg gewählt. Ihre Language Processing Unit (LPU) verzichtet ebenfalls auf HBM, speichert die Gewichte aber in SRAM auf dem Chip. Diese Speicher sind flüchtig, aber extrem schnell. Ein Compiler plant im Voraus jede Instruktion und jeden Datenfluss, sodass zur Laufzeit keine Entscheidungen mehr getroffen werden müssen. Dadurch kann jedes Modell auf der LPU laufen, sofern es in die begrenzte Kapazität passt. Die erste Generation bietet 230 MB pro Chip – zu wenig für ein 7B-Modell in 8-Bit. Ein 70B-Modell benötigt daher 576 Chips, die per Interconnect verbunden werden. Das kostet Platz, Energie und Kühlung. Die neuere LP30-Die erhöht die Kapazität auf rund 500 MB, doch selbst damit braucht ein großes Modell Hunderte von Chips.
Der Vorteil dieser Lösung liegt in der Flexibilität. Ein Modellwechsel bedeutet lediglich eine Neukompilierung und ein Neuladen – Minuten statt Monaten. Du kannst also ständig neue Modelle ausprobieren, ohne die Hardware zu verändern. Doch diese Flexibilität erkauft man sich mit einer geringeren Dichte. Wo Taalas ein ganzes Modell auf einem Die unterbringt, benötigt Groq eine Armee von Chips. Der Trade-off ist offensichtlich: Entweder du frierst die Gewichte ein und erhältst maximale Effizienz, oder du behältst die Austauschbarkeit und bezahlst mit Skalierung.
Die gleiche Arbeitsteilung
Interessant ist, dass beide Unternehmen von den großen Halbleiterherstellern aufgekauft wurden. Nvidia lizenzierte Groqs Architektur für 20 Milliarden Dollar, AMD übernahm Taalas nur sieben Monate später. Beide Käufer beschreiben dasselbe Systemdesign: Eine Anfrage besteht aus zwei Phasen – dem Lesen des Inputs, was parallelisierbare Mathematik ist und perfekt auf GPUs läuft, und dem Erzeugen der Antwort Token für Token, wo die spezialisierten Chips ihre Stärke ausspielen. Die GPU übernimmt also den ersten Teil, der Spezialchip den zweiten. Diese Hybridarchitektur zeigt, dass es kein Entweder-oder gibt, sondern ein Sowohl-als-auch.
Das ist ein starkes Signal. Selbst der Marktführer Nvidia erkennt an, dass seine GPUs bei der Token-Generierung nicht optimal arbeiten. Die Übernahmen sind eine Absicherung gegen ein mögliches Scheitern des eigenen Designs. Für dich als Entwickler bedeutet das: Die Zukunft der KI-Hardware wird nicht aus einer einzigen Technologie bestehen, sondern aus einem Zusammenspiel verschiedener Komponenten, die je nach Workload ihre Stärken ausspielen.
Wo die Analogie bricht
Die Geschichte erinnert an Bitcoin-Mining. Dort ging es von CPUs über GPUs und FPGAs zu ASICs – anwendungsspezifischen integrierten Schaltkreisen, die nur eine Aufgabe erfüllen. Jeder Schritt wurde durch die Tatsache möglich, dass der Algorithmus SHA-256 seit Jahren unverändert ist. Er wird sich nicht ändern, denn eine Änderung würde eine neue Kryptowährung bedeuten. Bei Sprachmodellen ist das anders. Die Modelle entwickeln sich schnell weiter. Llama 3.1 erschien im Juli 2024, der Chip von Taalas kam im Februar 2026 – da war das Modell bereits 19 Monate alt und inzwischen gibt es bessere Alternativen in seiner Klasse. Die Veröffentlichungstaktung wird nicht langsamer, auch wenn sich grundlegende Architekturen stabilisieren.
Selbst wenn die Architektur, etwa der Transformer, über Jahre bestehen bleibt, ändern sich die Gewichte ständig. Jedes neue Release – Llama 3.2, 3.3, Qwen 2.5, 3 – bedeutet neue Zahlen, die in Metall gegossen werden müssten. Hinzu kommt, dass viele Anwendungen mehrere Modelle benötigen. Denk an einen Sprachassistenten: Er führt Spracherkennung, Bildanalyse, Textverständnis und Sprachsynthese aus – vier unterschiedliche Modelle in einem Arbeitsablauf. Ein Chip, der nur eines dieser Modelle in Silizium gießt, ignoriert die anderen drei. Die Flexibilität der Software bleibt also ein entscheidender Vorteil.
Der Dark Horse: Denken in Blöcken
Doch es gibt eine dritte Option, die das gesamte Paradigma infrage stellt. Diffusion-Sprachmodelle erzeugen nicht Token für Token, sondern ganze Blöcke auf einmal. Sie starten mit einem groben Entwurf und verfeinern ihn in mehreren Iterationen. Dadurch genügt ein einziger Durchlauf durch die Gewichte für einen Block, statt eines Durchlaufs pro Wort. Google hat mit Gemini Diffusion 1.479 Token pro Sekunde gemessen – ein Wert, der alle bisherigen Zahlen übertrifft, auch wenn die Details geheim bleiben. Das Startup Inception verkauft mit Mercury bereits ein Produkt auf dieser Basis und verspricht eine fünf- bis siebenfache Durchsatzsteigerung bei 70 Prozent geringeren Kosten pro Aufgabe.
Das Besondere an diesem Ansatz: Er nutzt die vorhandene GPU-Rechenleistung besser aus. Während der arithmetische Kern einer GPU bei sequenzieller Generierung oft untätig ist, wird er bei Diffusionsmodellen mit zusätzlichen Berechnungen gefüttert. Das ist eine rein softwarebasierte Lösung, die keine spezielle Hardware benötigt. Sie könnte die Nachfrage nach ASICs für die Textinferenz drastisch reduzieren – oder zumindest den Druck auf die Hersteller erhöhen, ihre Chips für beide Paradigmen zu öffnen.
Außerdem bieten Diffusionsmodelle einen weiteren Vorteil: Sie können Fehler korrigieren. Ein autoregressives Modell kann ein einmal ausgegebenes Token nicht zurücknehmen – es kann höchstens versuchen, sich selbst zu widersprechen. Ein Diffusionsmodell überarbeitet den gesamten Block mehrmals und erkennt so Inkonsistenzen. Das führt zu kohärenteren Antworten und eröffnet neue Wege für Reasoning, ohne die Tokenzahl zu erhöhen.
Am Ende bleibt eine nüchterne Betrachtung. Taalas und Groq setzen auf die eine oder andere Form der Spezialisierung und haben mit Nvidia und AMD mächtige Verbündete gefunden. Doch die eigentliche Revolution könnte aus der Software kommen, die die Hardware überflüssig macht. Die Preise für KI-Dienste werden weiter fallen – egal ob durch ASICs oder durch bessere Algorithmen. Du solltest dich auf beides einstellen: auf schnellere und billigere Inferenz, aber auch auf überraschende Wendungen, wenn neue Techniken wie Diffusionsmodelle die Spielregeln ändern.
Quelle: kernel.pryanic.com
