Sparse Attention für Long-Context-Inferenz auf NVIDIA-GPUs

Makroaufnahme einer Festplatte mit Magnetscheibe und Schreib-Lesearm, metallische Reflexe
Deine Reaktion:

Agentische Workflows, lange Dokumente und umfangreiche Codebasen haben die Kontextlängen moderner Modelle von einigen zehntausend auf hunderttausend Tokens gebracht. Bei dieser Größe wird Attention innerhalb einer Transformer-Schicht zum teuersten Bestandteil. Das liegt nicht daran, dass Attention grundsätzlich ineffizient wäre. Das Problem ist die Rechenart: Jede Anfrage wird mit jedem vorhandenen Schlüssel verglichen, und genau diese Arbeit skaliert bei 128K Tokens mit der Kontextlänge.

Der Ansatz, Sparse Attention in das Modell zu trainieren, verlagert diese Arbeit nicht vollständig aus der Inferenz. Er teilt sie in eine Suche und eine gezielte Auswertung auf: Ein Indexer findet die relevanten Schlüssel, Top-k behält die besten Treffer, und die eigentliche Attention verarbeitet nur diese Auswahl. NVIDIA begleitet dieses Co-Design mit Messungen auf aktuellen GPUs. Die Messungen zeigen, wo die Hardware tatsächlich Zeit gewinnt und wo lediglich Rechenlast auf andere Kernel verteilt wird.

Damit ergibt sich ein nüchternes Bild: Sparse Attention verspricht nicht automatisch eine lineare Beschleunigung. Sie kann die Kosten der Core Attention deutlich begrenzen. Ob die Rechnung insgesamt schneller wird, entscheiden jedoch Indexierung, Top-k, Speicherzugriffe und das Format des KV-Caches.

Wie Sparse Attention die Rechenlast aufteilt

Dense Attention bildet für jede Query Scores über sämtliche Keys des Kontexts. Der Aufwand je Query wächst damit linear mit der Kontextlänge N. Bei 128K Tokens kann Attention in einer Schicht den Großteil der Prefill-Zeit beanspruchen; im genannten Messaufbau entfallen 91 Prozent der Schichtzeit auf Attention.

Sparse Attention setzt dagegen auf eine Auswahl: Jede Query verarbeitet nur wenige besonders relevante Keys, häufig einige tausend. Core Attention skaliert dadurch nicht mehr mit dem gesamten Kontext. Die Gesamtkosten sinken aber nur, wenn Indexer und Auswahlphase effizienter sind als die eingesparte Dense Attention.

Der Indexer bleibt der zentrale Engpass. Er bewertet weiterhin alle Keys, reduziert die Ergebnisse anschließend per Top-k und übergibt nur die ausgewählten Schlüssel an die Core Attention. Im Beispiel von DeepSeek V3.2 benötigen Indexer und Top-k zusammen 47 Prozent der Prefill-Zeit einer Schicht, während Core Attention nur noch 24 Prozent benötigt. Das FFN belegt die restlichen 25 Prozent.

Für die Praxis heißt das: Der entscheidende Designfehler liegt nicht darin, dass Sparse Attention zu wenig Kontext auswählt. Er entsteht, wenn die Suche nach den relevanten Tokens teurer wird als die Attention, die durch sie eingespart wurde. Man kann sich das wie eine Bibliothek vorstellen: Statt jedes Regal vollständig zu lesen, sucht ein Indexierer nach den passenden Büchern. Das spart Zeit, nur wenn die Suche selbst schlank genug bleibt.

Der Indexer als fusionierter Tensor-Core-Block

Der Indexer ist kein nebensächlicher Vorfilter. Er bildet einen kleinen, aufmerksamkeitsähnlichen Block. Seine wichtigste Rechenoperation ist ein Batch-Matrix-Produkt zwischen Queries und Index-Keys. Hinzu kommen Post-Processing wie ReLU, eine gewichtete Summe über Query-Gruppen und das Schreiben der resultierenden Logits.

Im Prefill bewertet dieser Block alle Eingabetokens gemeinsam. Die Matrixmultiplikation läuft auf Tensor Cores, während ReLU und gruppenweise Reduktion auf CUDA Cores stattfinden. Eine gute Implementierung verbindet diese Schritte in einem Kernel mit fusionierter Epilogue. So bleiben die Scores nach der Multiplikation im Speicher und müssen nicht erneut geladen werden.

Im Decode sieht die Situation anders aus. Dort gibt es nur wenige neue Query-Zeilen, die gegen einen langen KV-Cache ausgewertet werden müssen. Der Kernel liest diesen Cache aus dem HBM-Speicher und führt nur wenige Rechenoperationen pro geladenem Wert aus. Das Ergebnis ist ein Speicher-Durchsatz-Problem: Die Lesezeit des Caches setzt weitgehend die Laufzeit fest.

Die Kennzahlen FLOPs pro Byte und Bytes pro geschriebenem Logit erklären dieses Verhalten. Sie zeigen zugleich, dass weder Sequenzlänge noch Kompressionsratio die arithmetische Intensität direkt verändern. Beide erhöhen die absolute Arbeit. Das Verhältnis von Rechenoperationen zu Datenmenge bleibt unter denselben Annahmen weitgehend stabil.

Für die Modellarchitektur folgt daraus eine klare Präferenz: Der Indexer sollte pro Key möglichst wenige Logits erzeugen und diese Logits möglichst früh auf Top-k vorbereiten. Jede zusätzliche Precision im Epilogue, jeder ungefilterte Zwischenspeicher und jede zweite vollständige Ausgabe kann den theoretischen Gewinn der Sparse Attention wieder auffressen.

Query-Gruppen, Head-Zahl und spekulative Tokens

Die Zahl der Query-Heads bestimmt, wie viele Scores für denselben Key entstehen, bevor daraus ein gemeinsames Logit wird. Mit der Gruppierungsgröße G steigt die rechnerische Intensität proportional. Für Prefill bedeutet das mehr Arbeit auf den Tensor Cores; zusätzliche Query-Heads verlängern die Laufzeit deshalb merklich. Bei Decode verhält sich derselbe Aufbau anders: Mehr Query-Heads fügen Rechenoperationen hinzu, verändern aber nicht die Menge der Bytes, die aus dem Key-Cache gelesen werden müssen.

Im Messfall bleibt die Decode-Zeit nahezu konstant, während die Arbeit um den Faktor 16 wächst. Der einzelne Durchgang über den Key-Cache dominiert so stark, dass zusätzliche Köpfe zunächst fast umsonst sind. Der Nutzen entsteht erst dann, wenn sich die Query-Reihen so verarbeiten lassen, dass der Cache nur einmal gelesen wird.

Hier kommt spekulative Decoding ins Spiel. Statt nur das neue Token zu bewerten, kann der Decoder mehrere Entwurfstokens und das aktuelle Token gemeinsam scoren. Diese zusätzlichen Query-Zeilen verursachen ebenfalls mehr FLOPs, aber keinen zusätzlichen Cache-Durchgang. Sie sind deshalb fast kostenlos, solange alle Zeilen in einen Tensor-Core-Tile passen.

Mit FP32-Epilogue liegt die praktische Tile-Grenze bei rund 200 Query-Zeilen. Bei einer Gruppengröße von 32 passen so ungefähr sechs Tokens pro Durchgang, bei G = 8 rund 26. Innerhalb dieser Grenze steigt die Laufzeit nur auf das 1,37- beziehungsweise 1,87-Fache, obwohl die Arbeit um den Faktor 6 beziehungsweise 26 zunimmt. Erst danach benötigt der Kernel weitere CTAs und einen zweiten Durchgang über den Cache.

Gruppengröße und spekulative Tiefe konkurrieren also um denselben begrenzten Tile. Eine größere Gruppe verschiebt die Grenze für die Spekulation nach unten, kann dafür aber die Prefill-Zeit reduzieren. Es handelt sich um eine gekoppelte Ressourcenfrage: Man kann nicht unabhängig beide Werte maximal ausschöpfen.

Als Orientierung gelten zwei Regeln: Das Produkt aus Gruppengröße und geschätzten Query-Tokens sollte innerhalb eines Tensor-Core-Tiles liegen, etwa 200 Zeilen bei FP32 und 256 bei FP16. Außerdem lohnt sich ein FP16-Epilogue, der den Tile erweitert. Eine FP16-Akkumulation kann zusätzliche Geschwindigkeit bringen, setzt aber voraus, dass die Skalierung der QK-Produkte im darstellbaren FP16-Bereich bleibt.

Warum ein gemeinsamer Index-Key effizienter ist

Mehrere Index-Key-Heads klingen zunächst nach einer flexibleren Architektur. Numerisch kann das sinnvoll sein, weil verschiedene Key-Repräsentationen unterschiedliche Signale liefern. Hardware-seitig verursacht jede zusätzliche Key-Head jedoch einen weiteren vollständigen Lesevorgang des Key-Caches und eine weitere Menge auszuschreibender Logits.

Während die Zahl der FLOPs bei fixer Query-Head-Zahl nahezu konstant bleibt, wächst der Datenverkehr mit KH. Im Decode steigt die Laufzeit deshalb von KH = 1 bis KH = 8 nahezu linear auf das 7,6-Fache. Der Grund ist simpel: Die zusätzlichen Heads lesen dieselbe Information erneut aus dem HBM-Speicher.

Prefill reagiert deutlich schwächer. Dort wächst die Laufzeit über denselben Bereich nur um etwa 1,3 bis 1,6. Die zusätzlichen Cache-Bytes treten hinter die ohnehin dominierenden Logit-Schreibvorgänge zurück. Für den Prefill zählt deshalb nicht nur die Cache-Größe, sondern auch, wie viele Logits pro Key geschrieben werden.

Die bevorzugte Konfiguration bleibt deshalb KH = 1. Die verschiedenen Query-Heads werden anschließend über eine gewichtete Summe zu einem Logit pro Key reduziert. Das erhält die Flexibilität der Query-Seite, ohne den Key-Cache mehrfach zu lesen oder parallele Logit-Ströme zu erzeugen. Sollten mehrere Key-Heads fachlich unverzichtbar sein, braucht es einen triftigen Grund, weil ihre Kosten im Decode besonders sichtbar sind.

Head-Dimension, Kompression und das Format der Zwischenergebnisse

Die Head-Dimension Hsz beeinflusst Prefill stärker als Decode. Größere Heads verursachen mehr FLOPs in der Matrixmultiplikation, während das Post-Processing von ReLU und gewichteter Summe unabhängig von Hsz nahezu gleich viel Arbeit benötigt. Bei kleinen Hsz können die CUDA Cores den Tensor-Core-Berechnungsmassen hinterherlaufen. Eine größere Dimension füllt diese Lücke und erhöht dadurch den Anteil der Matrixmultiplikation.

Im Decode wirkt Hsz schwächer, weil der Kernel nur wenige Query-Zeilen verarbeitet. Die zusätzliche Key-Breite erhöht dort vor allem die Bytes, die einmalig aus dem Cache gelesen werden. Die praktische Entscheidung hängt deshalb von der dominanten Phase ab: Für prefill-lastige Modelle kann eine größere Head-Dimension sinnvoll sein, während decode-lastige Szenarien vor allem den Speicherzugriff niedrig halten müssen.

Die Kompressionsratio CR bestimmt, wie viele Tokens durch einen Index-Key repräsentiert werden. CR = 4 bedeutet, dass ein Index-Key vier reguläre Tokens abdeckt. Das verkleinert den Index-Cache und reduziert die Anzahl der zu bewertenden Positionen. Es ändert jedoch nicht automatisch die Auswahlgenauigkeit: Eine grobe Blockrepräsentation kann relevante Tokens schwerer unterscheiden.

Top-k muss deshalb nach einer sinnvollen Vorselektion arbeiten und seine Auswahl auf das ursprüngliche Token- oder Blockformat beziehen. Die Implementierung sollte keine unnötigen Zwischenmatrizen im vollen FP32-Format schreiben. Top-k-Fusion ist hier besonders wirksam, weil sie die erzeugten Logits direkt auswählt, statt erst alle Scores zu materialisieren und sie in einem separaten Durchgang zu sortieren oder zu filtern.

Als Faustregel empfiehlt sich FP8 für die Kernel- und Cache-Operationen, sofern das Modell die reduzierte Präzision im Indexer toleriert. Die entscheidende Größe ist nicht die theoretische Peak-Throughput, sondern die Zahl der tatsächlich bewegten Bytes. Ein Kernel, der schnell rechnet, aber den Key-Cache mehrfach anfasst, bleibt speicherseitig teuer.

Token-Level und Block-Level Attention im Vergleich

Die Auswahlgranularität bestimmt, wie präzise der Indexer relevante Positionen findet. Token-Level Attention kann einzelne Tokens gezielt auswählen, benötigt aber eine feinere Indexstruktur und erzeugt mehr Logits. Block-Level Attention fasst mehrere Tokens zusammen, reduziert die Anzahl der Kandidaten und vereinfacht die Top-k-Phase. Der Preis ist eine möglicherweise ungenauere Auswahl innerhalb der Blöcke.

Für lange Codebasen und dokumenteiche Agenten-Workflows ist diese Abwägung relevant. Ein einzelner entscheidender Codeabschnitt kann in einem großen Block untergehen, während die Blockrepräsentation für breit verteilte Themen effizienter wäre. Die Messungen aus dem NVIDIA-Artikel verdeutlichen außerdem, dass Token- und Blockauswahl nicht nur unterschiedliche Trefferquoten, sondern auch unterschiedliche Speicher- und Rechenprofile erzeugen.

Top-k-Kosten skalieren nicht einfach linear mit der Kontextlänge. Sie hängen von der Zahl der Kandidaten, der Sortier- oder Auswahlmethode, der Präzision der Logits und der Frage ab, ob Top-k direkt in den Indexer integriert wird. Je früher die irrelevanten Kandidaten verworfen werden, desto weniger Daten müssen später noch verarbeitet werden.

Ein belastbarer Vergleich misst deshalb das gesamte System: Indexer, Top-k, Core Attention und den KV-Cache-Zugriff. Ein isoliert schneller Top-k-Kernel nützt wenig, wenn der Indexer dafür doppelte Logits schreibt oder die ausgewählten Keys in einem ungünstigen Layout landen. Entscheidend ist die Summe der Zeiten, nicht die isolierte Benchmark einer einzelnen Phase.

Co-Design als Disziplin, nicht als Schlagwort

Die wichtigste Erkenntnis der Messungen liegt weniger in einzelnen Zahlen als in den Abhängigkeiten zwischen Modell, Kernel und Datenformat. Query-Gruppen bestimmen den theoretischen Rechenanteil. Key-Heads bestimmen den Speicherzugriff. Der Epilogue bestimmt die Tile-Größe und damit, wie viel spekulative Decoding ohne zweiten Cache-Durchgang funktioniert. CR bestimmt die Kandidatendichte, während die Auswahlgranularie entscheidet, wie genau relevante Tokens gefunden werden.

Für NVIDIA-GPUs ergibt sich daraus ein nüchternes Design. Ein einzelner Index-Key-Head mit gruppenweiser Query-Reduktion, FP8-Kerneln, fusioniertem Top-k und einem FP16- oder reduziert-präzisen Epilogue bildet eine solide Grundlage. Gruppengröße und spekulative Tiefe müssen gemeinsam an die Tile-Grenze angepasst werden. Token-Level Selection bietet höhere Präzision, Block-Level Selection dagegen weniger Kandidaten und potenziell günstigere Top-k-Kosten.

Bevor ein Modell mit Sparse Attention ausgerüstet wird, lohnt sich ein einfaches Kostenmodell. Es vergleicht die eingesparte Core Attention mit den zusätzlichen Kosten für Indexierung, Logit-Ausgabe, Top-k und Cache-Transfer. Erst wenn dieser Saldo über den relevanten Prefill- und Decode-Profilen positiv ausfällt, entsteht ein echter Vorteil. Das Co-Design endet sonst dort, wo es beginnen sollte: bei der Frage, ob die zusätzliche Intelligenz im Modell auch auf der Hardware wirtschaftlich ihren Weg in die Ausgabe findet.

Quelle: developer.nvidia.com

Deine Reaktion:
Artikel teilen:
Krötzsch-Check0 — 100
Fakten 78
Relevanz 84
Hype 18
Einschätzung 86
Redaktion 50 Stand 50 · noch keine Stimmen
Ist das Hype?
Sebastian Krötzsch
Autor

Sebastian Krötzsch

Sebastian Krötzsch schreibt auf sebask.de über Künstliche Intelligenz, Automatisierung, digitale Systeme und die Frage, was davon im Alltag wirklich nützlich ist. Ohne Buzzword-Nebel, dafür mit klarem Blick auf Praxis, Tools und echte Wirkung.