Ein Forscher starrt auf den Bildschirm seines Rechenclusters, während zwei Sprachmodelle parallel trainieren. Die Verlustkurven überlagern sich fast perfekt – obwohl eines von ihnen eine komplette Schichtengruppe vermissen lässt. Genau das beobachtete Henry Ndubuaku bei seiner Studie über Attention-Only-Transformer. Sein Ergebnis: Modelle, die ausschließlich auf Aufmerksamkeitsmechanismen setzen und auf Feed-Forward-Netze verzichten, kommen Standard-Transformatoren sehr nahe. Was bedeutet das für die Architektur von KI-Modellen?
Die Ausgangslage: Zwei Drittel der Parameter sind Feed-Forward
In einem typischen Transformer stecken etwa zwei Drittel der nicht-Embedding-Parameter in den Feed-Forward-Schichten. Das sind die Teile, die nach der Aufmerksamkeitsoperation jede Repräsentation linear transformieren und mit einer nichtlinearen Aktivierung versehen. Die Aufmerksamkeit selbst – mit ihren Query-, Key- und Value-Matrizen – macht nur ein Drittel aus. Seit 2017 galten Feed-Forward-Schichten als unverzichtbar, um komplexe Muster zu lernen. Viele Arbeiten haben ihre Funktion untersucht, aber ein direkter Test, der Parameter, Rechenaufwand und Tiefe gleichzeitig kontrolliert, fehlte. Diese Lücke schließt die neue Studie.
Die Forscher um Ndubuaku trainieren sogenannte Attention-Only-Transformer, die sie Simple Attention Networks (SANs) nennen. Diese Modelle enthalten nur Aufmerksamkeitsblöcke: Die Eingabe wird durch self-attention verarbeitet, dann normalisiert, aber die anschließende Feed-Forward-Transformation entfällt. Das spart Parameter und Rechenaufwand. Für einen fairen Vergleich konstruierten sie die Modelle so, dass sie entweder die gleiche Parameteranzahl, die gleiche Anzahl an Training-FLOPs oder die gleiche Tiefe wie ein Standard-Transformer haben. Dazu variierten sie die Dimensionen und die Anzahl der Aufmerksamkeitsköpfe.
Die Trainingsläufe umfassen Modelle mit 6 bis 87 Millionen Parametern und bis zu 48 Schichten. Die Tokenzahlen reichen bis 105 Milliarden – das ist ein umfangreiches Pretraining, auch wenn es deutlich weniger ist als bei den größten kommerziellen Modellen. Die Architektur der SANs ist simpel: Jede Schicht besteht aus Multi-Head-Self-Attention plus Layer-Normalisierung. Um tiefe Stapel trainierbar zu machen, verwenden sie eine QK-Normalisierung, also eine Normierung der Query- und Key-Matrizen. Diese Technik ist in modernen Transformatoren üblich.
Die Ergebnisse: Die Lücke schrumpft auf ein Minimum
Die naheliegende Erwartung ist, dass das Entfernen der Feed-Forward-Schichten die Leistung deutlich verschlechtert. Und tatsächlich zeigt sich dieser Effekt, wenn man die Tiefe konstant hält: Ein Standard-Transformer mit gleich vielen Schichten hat einen Vorteil von 0,47 nats im Vorhersageverlust. Das ist ein spürbarer Unterschied. Doch dieser Vergleich ist unfair, weil die Modelle dann unterschiedlich viele Parameter haben. Gleicht man die Parameterzahl aus, indem man die Attention-only-Modelle tiefer oder breiter macht, ändert sich das Bild. Bei gleicher Parameteranzahl beträgt der Unterschied nur noch 0,006 nats – das sind 0,27 Prozent des Gesamtverlusts. Diese Differenz ist so klein, dass sie bei wiederholten Läufen mit verschiedenen Seeds auf ein Zehntausendstel genau reproduzierbar ist.
Die Differenz von 0,006 nats bleibt über Budgets von 5, 30 und 105 Milliarden Token nahezu konstant. Sie schrumpft leicht, je größer das Budget wird. Attention-only-Modelle fallen mit mehr Daten also nicht ab, sondern holen minimal auf. Auch die Modellgröße spielt kaum eine Rolle: Über einen Bereich von 29-facher Parametergröße bleibt der Unterschied bei etwa 0,02 nats. Das ist bemerkenswert stabil.
Warum? Die Autoren erklären es mit der Umverteilung des Budgets. Entfernt man die Feed-Forward-Schichten, hat man bei konstanter Parameterzahl die Möglichkeit, mehr Aufmerksamkeitsschichten einzufügen. Diese zusätzliche Tiefe gleicht den Verlust der Feed-Forward-Kapazität fast vollständig aus. Es scheint, als sei die Aufmerksamkeit selbst in der Lage, einen Großteil der Funktionen zu übernehmen, die man normalerweise den Feed-Forward-Schichten zuschreibt. Genauer: Die Gewichtsspektren zeigen, dass sich die Routing-Matrizen (Q und K) früh im Training kristallisieren, während die Content-Matrizen (V und die Ausgabeprojektion) langsam an Rang gewinnen. Ohne Feed-Forward-Schichten verlagert sich dieser Rangaufbau in die Ausgabeprojektion der Aufmerksamkeit. Das Modell kompensiert die fehlende nichtlineare Transformation durch eine Kombination vieler Aufmerksamkeitsschichten.
Wo bleibt die Schwäche? Bei eingebettetem Wissen
Die fast verschwindende Differenz überrascht, aber sie ist nicht null. Die Autoren haben drei Messungen durchgeführt, um den Rest der Lücke zu lokalisieren. Dabei zeigt sich ein klares Muster: Attention-only-Modelle sind besser als Standard-Transformer bei Aufgaben, die sich direkt auf den gegebenen Kontext stützen – etwa beim Verständnis längerer Textpassagen oder beim Befolgen von Anweisungen. Sie sind schlechter, wenn die Antwort aus dem gespeicherten Wissen der Modellgewichte kommt – also bei Faktenabfragen ohne unmittelbaren Kontext. Dieser Unterschied wird mit zunehmendem Trainingsbudget deutlicher: Bei 105 Milliarden Token konzentriert sich der komplette Leistungsnachteil auf Vorhersagen mit wenig Kontext, bei denen das Modell auf sein „parametrisches Gedächtnis“ angewiesen ist.
Die Autoren nennen das „parametrisches Erinnern“ – die Fähigkeit, während des Trainings gelernte Fakten in den Gewichten zu speichern und bei der Inferenz abzurufen. Feed-Forward-Schichten scheinen dafür besonders wichtig zu sein, da sie Wissen schneller und effizienter komprimieren können. Die Attention-only-Modelle kompensieren einen Teil, aber nicht alles. Das bestätigen auch die Gewichtsspektren: Die Content-Matrizen der Attention akkumulieren langsamer Rang als die Feed-Forward-Matrizen, was auf eine begrenzte Fähigkeit hindeutet, viele Fakten gleichzeitig zu kodieren.
Um diese Hypothese zu untermauern, führten die Forscher einen präregistrierten Test durch. Sie sagten voraus, dass die Differenz auf wissensdichtem Webtext – also Texten mit vielen impliziten Fakten – zwischen 0,02 und 0,05 nats liegen würde. Ein Trainingslauf auf dem fein bereinigten Datensatz fineweb-edu ergab 0,040 nats, was exakt in diesen Bereich fällt. Das stützt die Theorie.
Die Rolle der QK-Normalisierung und die Trainierbarkeit tiefer Stacks
Ein weiteres Ergebnis betrifft die Trainierbarkeit. Attention-only-Transformer ohne QK-Normalisierung werden ab etwa 6 Schichten instabil und konvergieren nicht mehr. Erst die Normalisierung der Query- und Key-Matrizen ermöglicht Stacks mit 48 Schichten. Die Aufmerksamkeit braucht also selbst eine Regulierung, um tiefe Architekturen zu stabilisieren. In Standard-Transformatoren übernehmen die Feed-Forward-Schichten eine ähnliche Rolle, wie frühere Arbeiten zeigen.
Die Untersuchung der Gewichtsspektren liefert eine Erklärung: Die QK-Matrizen kristallisieren früh zu einem stabilen Zustand, während die Content-Matrizen langsam an Rang gewinnen. Ohne Feed-Forward-Schichten muss die Ausgabeprojektion der Attention diese Aufgabe übernehmen, was zu einer langsamen Ranganreicherung führt. Die QK-Normalisierung hält die Dynamik der Aufmerksamkeitsgewichte in einem gesunden Bereich und verhindert, dass die Softmax-Ausgaben in Extremwerte kippen. Das ist ein feines Detail, aber es zeigt, wie wichtig die Interaktion zwischen Architekturkomponenten ist.
Die Studie zeigt also nicht nur, dass Attention fast alles kann, sondern auch, dass die verbleibende Lücke sehr spezifisch ist. Es geht nicht um generelle Sprachfähigkeit oder komplexes Reasoning – hier sind die Attention-only-Modelle ebenbürtig. Der Nachteil liegt ausschließlich in der Fähigkeit, komprimiertes Wissen aus den Gewichten abzurufen. In einer Welt, in der Modelle zunehmend mit externen Wissensquellen (etwa Retrieval-Augmented Generation) arbeiten, könnte dieser Nachteil an Bedeutung verlieren. Wenn man die Fakten im Kontext bereitstellt, sind Attention-only-Modelle sogar besser.
Was bedeutet das für die Praxis?
Die Ergebnisse von Ndubuaku sind keine Aufforderung, sofort auf Feed-Forward-Schichten zu verzichten. Dafür sind sie zu neu und der getestete Bereich zu klein – die größten Modelle haben 87 Millionen Parameter, während kommerzielle Modelle Hunderte von Milliarden aufweisen. Aber die Studie liefert Hinweise für die Architekturentwicklung. Sie zeigt, dass eine bewusste Umverteilung von Parametern zugunsten von Aufmerksamkeitstiefe möglich ist, ohne große Qualitätsverluste. Bei festen Rechenbudgets, etwa für Edge-Geräte oder spezialisierte Anwendungen, könnte man auf Feed-Forward-Schichten verzichten und stattdessen mehr Schichten einbauen, um ähnliche Leistung zu erzielen – besonders wenn der Fokus auf Kontextverständnis liegt.
Die präzise Lokalisierung der Schwäche auf parametrisches Erinnern öffnet neue Forschungsfragen: Kann man diese Fähigkeit gezielt in andere Komponenten verschieben? Oder kann man Attention-only-Modelle mit einem schlanken Zusatzmodul ausstatten, das nur für Faktenwissen zuständig ist? Dass die Differenz bei größeren Trainingsbudgets stabil bleibt, deutet darauf hin, dass es sich nicht um ein reines Skalierungsproblem handelt, sondern um eine strukturelle Grenze. Das ist ein Signal für alle, die an alternativen Transformer-Architekturen forschen.
Für Anwender von KI-Modellen heißt das: Die Aufmerksamkeit ist ein weitaus mächtigerer Mechanismus, als viele angenommen haben. Sie übernimmt nicht nur das Routing von Informationen, sondern leistet auch einen Großteil der nichtlinearen Transformationen, die man den Feed-Forward-Schichten zuschreibt. Ob diese Erkenntnis in neue Modellfamilien einfließt, bleibt abzuwarten. Vielleicht stehen wir am Anfang einer Architektur, die deutlich schlanker ist und dennoch ähnlich gut funktioniert – zumindest in Bereichen, in denen der Kontext alles ist.
Quelle: arxiv.org
