Die gängige Erzählung sieht KI-Infrastruktur als GPUs, Netzwerk und High-Bandwidth-Memory. Speicher gilt als Beiwerk, als Ablage für kalte Daten. Doch Inferenz – der Betrieb von KI-Modellen – ist längst ein Problem der Zustandsverwaltung. Speicher ist der Ort, an dem dieser Zustand lebt. Die Preise für KI-API-Aufrufe zeigen das.
Der teuerste Prozessor im Rechenzentrum wartet auf Bytes
Eine Tatsache wird selten genannt: Während der Textgenerierung rechnet eine GPU die meiste Zeit nicht. Um ein einziges Token auszugeben, muss sie sämtliche Modellgewichte und den kompletten KV-Cache der Sitzung aus dem Speicher streamen. Bei einem 70-Milliarden-Parameter-Modell sind das weit über 100 Gigabyte pro Schritt. Die Arithmetik wartet auf die Daten, nicht umgekehrt. Das Missverhältnis ist quantifizierbar: Bei Batch-Größe eins führt eine Dekodierung ungefähr zwei FLOPs pro gelesenem Byte aus, während ein moderner Beschleuniger auf 300 bis 600 FLOPs pro Byte Speicherbandbreite ausgelegt ist. Die Recheneinheiten bleiben strukturell zu über 99 Prozent untätig, wenn man sie nicht mit großen Batches füllt. Die Batch-Größe ist wiederum dadurch begrenzt, wie viel KV-Cache in den Speicher passt. Speicherkapazität, nicht Rechenleistung, bestimmt also zunehmend die Kosten pro Token.
Die Gewichte selbst sind die am häufigsten bewegten Bytes im Rechenzentrum: Ein 140-Gigabyte-Modell wird bei voller HBM-Bandbreite etwa 24 Mal pro Sekunde komplett gelesen. Das sind rund zwei Millionen komplette Durchläufe pro Tag und Serving-Instanz. Penguin Solutions beziffert den resultierenden Aufwand auf rund 30 Prozent Rechnen und 70 Prozent Speicherzugriff. Die Infrastruktur für KI hat vier Ebenen – Rechnen, Speicher, Netzwerk und Storage. Die letzten drei sind im Kern Varianten desselben Problems: Wie schnell können wir Bytes zur Arithmetik bringen? Das Training hat darauf mit HBM und NVLink geantwortet. Die Branche hielt das für eine dauerhafte Lösung. Aber Inferenz bewegt andere Bytes – Kontext, Gewichte, Adapter, Einbettungen –, und diese Bytes überleben den einzelnen Request. Zustand, der Bestand hat, muss irgendwo landen. Jede Ebene, auf der er landen kann, tauscht Latenz gegen Kapazität und Kosten. Deshalb wird die Optimierung von Inferenz zunehmend zu einer Frage des Speicherhierarchie-Designs, nicht des FLOPs-Einkaufs. Der unterste Teil der Hierarchie, der Storage, ist kein passives Archiv mehr, sondern ein aktiver Teilnehmer am Serving-Prozess.
Folge dem Geld: NAND-Flash explodiert, HBM ist Nebenschauplatz
Beinahe die gesamte Berichterstattung über KI-Speicher dreht sich um HBM. Optimistische Prognosen bezifferten den Markt für 2026 auf rund 55 Milliarden Dollar – bevor es in diesem Jahr zu einer Neubewertung kam. NAND-Flash dagegen, über das fast niemand schreibt, ist 2026 ein Markt von 270,6 Milliarden Dollar und soll 2027 auf 379 Milliarden Dollar wachsen (TrendForce, Mai 2026). Zum Vergleich: Die gesamte Festplattenindustrie erwirtschaftet in einem Jahr weniger Umsatz (rund 23 Milliarden Dollar) als die fünf größten NAND-Anbieter in einem einzigen Quartal (38,9 Milliarden Dollar). Storage blieb außen vor in der KI-Erzählung, weil die Serving-Story das erlaubte: Wenn Inferenz nichts behält, dann ist Storage nur der Ort, an dem kalte Daten billig abgelegt werden. Die letzten achtzehn Monate haben diese Prämisse stillschweigend widerlegt.
Training ist ein gelöstes Problem – Inferenz nicht mehr
Die Trainingsseite war nie leichtgewichtig, aber sie war ein Batch-Problem. Der MLPerf-Checkpoint-Benchmark nennt konkrete Zahlen: Ein 70-Milliarden-Parameter-Modell schreibt einen Checkpoint von 912 Gigabyte, ein 1-Billionen-Modell 15 Terabyte. Die Häufigkeit skaliert mit der Ausfallrate – Metas Llama-3-Lauf verzeichnete 419 Unterbrechungen in 54 Tagen auf 16.000 GPUs. Bei 100.000 Beschleunigern ergibt sich rechnerisch ein Checkpoint alle 90 Sekunden, der in unter fünf Sekunden geschrieben werden muss: ein Burst von rund 3,6 Terabyte pro Sekunde. DeepSeek hat die dafür gebaute Software offengelegt – 3FS, ein Flash-natives Dateisystem mit 6,6 TiB/s aggregiertem Lesedurchsatz. Aber Checkpoints sind periodisch, sequentiell und vorhersehbar: eine gelöste Problemklasse. Was sich 2025 und 2026 geändert hat, ist die andere Seite: Serving ist nicht mehr zustandslos.
Der Zustand, der die Annahme zerstört hat, ist der KV-Cache. Wenn ein Modell deinen Kontext liest, baut es ein Notizbuch aus Zwischenergebnissen auf – Aufmerksamkeits-Keys und -Values für jedes Token. So muss jedes neue Wort nur die Notizen konsultieren, statt den Rohtext erneut zu lesen. Wirft man das Notizbuch weg, muss das Modell die gesamte Konversation von vorne verarbeiten, bevor es etwas sagen kann. Dieses Notizbuch ist groß: Bei einem 70-Milliarden-Parameter-Modell sind es etwa 0,33 Megabyte pro Token. Eine Sitzung mit 128.000 Token trägt also rund 42 Gigabyte Zustand, zusätzlich zu den etwa 140 Gigabyte Modellgewichten. Vier gleichzeitige lange Sitzungen übersteigen den HBM-Speicher jeder bisher ausgelieferten GPU. Konkurrenz multipliziert das ohne Grenzen: Die Arithmetik von VAST Data für einen Dienst in Verbrauchergröße setzt 100.000 gleichzeitige Nutzer bei rund 45 Petabyte gespeichertem Kontext an – drei Größenordnungen jenseits dessen, was HBM und DRAM fassen können. Solidigms Formulierung trifft es: Ein Inferenzdienst wird speicherlimitiert, lange bevor er rechnenlimitiert wird.
Der KV-Cache ist nur das lauteste Mitglied eines wachsenden Inventars. Modellgewichte sind inzwischen heiße Storage-Objekte – DeepSeek-V3 hat 688 Gigabyte auf der Platte, und Serving-Flotten verschieben sie ständig. LoRA-Adapter, jeweils ein paar hundert Megabyte, werden pro Anfrage zu Tausenden getauscht. Agentengedächtnis überdauert Sitzungen per Design. Jedes einzelne Element ist klein neben einem Checkpoint; zusammen, multipliziert mit Nutzern, sind sie die größte neue Datenkategorie im Rechenzentrum.
Agenten und multimodale Inhalte treiben den Speicherbedarf
Agenten haben den Kontext von einer Kostenposition pro Anfrage in ein dauerhaftes Asset verwandelt. Die besten öffentlichen Trace-Daten stammen von LMCache, das 739 echte Claude-Code-Sitzungen repliziert hat: Im Durchschnitt wächst der Kontext einer Sitzung innerhalb einer einstündigen Konversation von etwa 20.000 auf 115.000 Eingabe-Token – eine 5,7-fache Inflation, die bei jeder Runde erneut gesendet wird, wobei 97 Prozent wiederverwendbarer Präfix sind. Bei 70-Milliarden-Parameter-Dichte entspricht das einer Sitzung mit etwa 7 Gigabyte Zustand am Anfang und 38 Gigabyte am Ende. Nun skaliere das: Reasoning- und Tool-Nutzungs-Modelle sind 2025 auf OpenRouter von vernachlässigbar auf mehr als die Hälfte aller Token gestiegen. Kioxia nennt agentische KI inzwischen den „primären Wachstumstreiber für die NAND-Nachfrageexpansion“. Eine Sitzung, die eine Stunde lebt, pausiert und am nächsten Tag fortgesetzt wird, ist kein Problem von DRAM-Caches. Sie ist ein Storage-Problem.
Multimodale Generierung verstärkt den Speicherbedarf von der Ausgabeseite her. Jedes erzeugte Video, Bild und Audio-Clip wird in dem Moment zu einem dauerhaften Asset. Die Fallstudien von Western Digital zeigen, dass jedes KI-generierte Video mindestens siebenmal über Plattformen hinweg gespeichert wird: am Erstellungsort, in den Kopien des Kreativen und auf jedem sozialen Netzwerk, auf dem es geteilt wird. WDs Zusammenfassung ist der strukturelle Punkt dieses gesamten Artikels: Speicherbedarf ist kumulativ und persistent, anders als Rechenbedarf. Diese Asymmetrie ist unterpreist – Rechenbedarf kann über Nacht durch einen einzigen Effizienzdurchbruch fallen; gespeicherte Bytes akkumulieren sich nie zurück. Eine GPU erledigt ihren Job und zieht weiter. Die Bytes bleiben.
Die Preismechanik: Warum Caching auf Flash die Rechnung kippt
Hier ist der Mechanismus in einem Satz: Kontext, den das Modell bereits gesehen hat, wiederzuverwenden bedeutet normalerweise, den vollen Rechenaufwand fürs erneute Lesen zu zahlen. Es sei denn, das Notizbuch wurde gespeichert – dann zahlst du einen Plattenzugriff. Die Preistabellen quantifizieren den Unterschied: Gecachte Eingabe-Token kosten bei OpenAI, Anthropic und Google rund 10 Prozent des frischen Preises, bei DeepSeek rund 1 Prozent. Dessen Cache liegt seit 2024 auf der Platte. Die Hersteller-Benchmarks, alle selbst durchgeführt, weisen in dieselbe Richtung: WEKA berichtet 20-mal schnellere Time-to-First-Token bei 128.000 Kontext durch Flash-residenten Cache. Mooncake, die Architektur hinter Kimi, berichtet 75 Prozent mehr bearbeitete Anfragen auf denselben GPUs durch Pooling von Cache über DRAM und SSD. Einen langen Präfix zu speichern kostet Cent pro Monat; ihn neu zu berechnen kostet jedes Mal dieselben Dollar. Sobald Kontext wiederverwendet wird – und Agenten garantieren Wiederverwendung – gewinnt Flash die Arithmetik.
Machen wir es konkret. Ein Präfix von 50.000 Token – ein Systemprompt plus Codebasis oder der gesammelte Arbeitskontext eines Agenten – trägt rund 16,5 Gigabyte KV-Zustand bei einem 70-Milliarden-Parameter-Modell. Das erneute Lesen kostet etwa 0,25 Dollar bei den üblichen Frischpreisen – jedes einzelne Mal. Das Speichern kostet ungefähr 1,32 Dollar pro Monat bei normalen Cloud-Block-Storage-Tarifen, und das Zurückspielen kostet etwa 0,025 Dollar pro Wiederverwendung zu Cache-Preisen. Die Ersparnis ist kein Rabatt, sondern eine Verschiebung von Rechenaufwand zu Speicherkosten. Und weil die Kosten pro Token sinken, können Anbieter größere Kontexte und längere Agentenläufe anbieten, was wiederum mehr Zustand erzeugt – eine positive Rückkopplung, die Speicher zum strategischen Engpass macht.
Was das für dich bedeutet: Speicher wird zum Differenzierungsmerkmal
Die Grenze zwischen Rechnen und Speichern verschwimmt. Das hat praktische Konsequenzen. Wer ein KI-Produkt betreibt, sollte nicht mehr nur GPUs budgetieren, sondern auch Storage-Kapazität und -Latenz. Die nächste Welle von Optimierungen wird nicht darin bestehen, mehr Chips zu kaufen, sondern darin, den Zustand intelligenter zu verteilen – vom HBM über DRAM, SSD bis hin zu Objektspeichern. Anbieter wie DeepSeek zeigen, dass radikale Kostenreduktion über Flash-Caching möglich ist. Etablierte Hyperscaler ziehen nach. Für Entwickler bedeutet das: Caching-APIs sind kein nettes Extra, sondern ein Kernbestandteil der Kostenkontrolle. Wer den KV-Cache ignoriert, bezahlt am Ende für jeden Token die teure Neuberechnung. Die Speicherhierarchie ist keine statische Gegebenheit, sondern ein Stellhebel für Wirtschaftlichkeit. Rechnen ist billig, aber Erinnern ist noch billiger – und Erinnern braucht Speicher.
Quelle: datagravity.dev
