Der Aufstieg der künstlichen Intelligenz wird meist als Geschichte der Größe erzählt: mehr Daten, mehr Rechenleistung, mehr Parameter. Natalie Wolchover setzt in ihrer Kolumne für Quanta Magazine vom 12. Oktober woanders an. Alles, was seit ChatGPT die Welt beschäftigt, beginnt für sie in gewissem Sinne mit einer mathematischen Operation, die 2014 in einem Labor der Universität Montreal entstand: Attention. Auf ihr bauen die Transformer auf und mit ihnen Sprachmodelle wie ChatGPT und Claude. Wolchover fragt, warum gerade diese Operation der Schlüssel war – und ob sie etwas über Intelligenz überhaupt verrät.
Am Anfang steht ein Praktikant namens Dzmitry Bahdanau, damals 23, Belarusse, seit seiner Kindheit wettbewerbsmäßig am Programmieren. Er hatte keine Forschungserfahrung, als er einem Computer das Übersetzen vom Englischen ins Französische beibringen sollte. Bahdanau arbeitete mit künstlichen neuronalen Netzen, die bei Mustererkennung schon überzeugten: Handschrift lesen, Objekte auf Fotos identifizieren. Seine Betreuer, der Informatiker Yoshua Bengio und der Postdoktorand Kyunghyun Cho, waren überzeugt, dass in diesen Netzen mehr steckte. Bahdanau selbst war skeptisch, was menschenähnliche Intelligenz betraf. Maschinelle Übersetzung galt damals als eine der schwierigsten Aufgaben für ein neuronales Netz.
Ein Engpass, der lange Sätze kaputt machte
Übersetzen ist kein Eins-zu-eins-Tausch von Wörtern. Sprachen haben unterschiedliche Satzstrukturen, sie sind voller Redewendungen und Nebenbedeutungen, und daran scheiterten automatisierte Verfahren jahrzehntelang. Übersetzungsregeln lassen sich nicht programmieren, weil es sie in dieser Klarheit nicht gibt. Neuronale Netze wirkten trotzdem vielversprechend, weil sie nicht nach Regeln arbeiten, sondern nach Beispielen: Man füttert sie mit riesigen Mengen englisch-französischer Satzpaare, und sie absorbieren mit der Zeit so etwas wie Quasi-Regeln, Ausnahmen und Feinheiten. Die Ergebnisse blieben mittelmäßig. Und je länger ein Satz wurde, desto schlechter wurde die Übersetzung.
Der Grund war ein Nadelöhr, das man sich wie einen zu kleinen Notizzettel vorstellen kann. Die damaligen Modelle mussten den gesamten Inhalt eines Satzes in eine feste Menge Speicher pressen, bevor sie mit dem Schreiben der Übersetzung begannen. War der Satz fertig gelesen, wurde der Notizzettel abgearbeitet. Je länger der Satz, desto mehr musste auf denselben Zettel, und desto schlechter wurde die Übersetzung. Die Architektur passte nicht. Also versuchte Bahdanau etwas anderes.
Rückblickend beschreibt er seine damalige Eingebung als etwas, das einfach offensichtlich richtig war – eine dieser seltenen Gelegenheiten in der Wissenschaft, bei der jemandem ohne viel Felderfahrung plötzlich alles klar ist. Und es habe einfach funktioniert, sagt er, gleich beim ersten Versuch. Der Trick, den er, Cho und Bengio als Attention bezeichneten, ließ ihr neuronales Netz lange Sätze genauso gut übersetzen wie kurze. Damit war der Ansatz skalierbar. Andere Forschende übernahmen die Idee schnell.
Warum der eigene Blick der Schlüssel war
Was Attention leistet, lässt sich an einem Satz zeigen, den man kaum falsch verstehen kann – bis man ihn übersetzen muss. The animal didn’t cross the street because it was too tired und The animal didn’t cross the street because it was too wide unterscheiden sich nur in einem Wort am Ende. Im ersten Satz bezieht sich it auf das Tier, ein männliches Wort im Französischen, also heißt es dort il. Im zweiten bezieht sich it auf die Straße, ein weibliches Wort, also elle. Für Menschen ist das selbstverständlich. Für ein Modell ist es eine harte Aufgabe, weil dasselbe Wort an derselben Stelle etwas völlig anderes bedeutet.
Bahdanau erinnerte sich an seine eigenen Übersetzungsübungen aus dem Englischunterricht. Um das nächste Wort seiner Übersetzung zu schreiben, musste er den Ausgangstext immer wieder absuchen: links der Quellsatz, rechts das eigene Geschriebene, und dazwischen wanderte der Blick hin und her. Diesen Vorgang hat er nach eigener Aussage in einen neuronalen Mechanismus übersetzt. Attention ist also nichts Mystisches, sondern eine mathematische Möglichkeit für ein Netz, die Wörter irgendwo im Satz zu finden, die für das nächste Wort der Übersetzung am wichtigsten sind. Bei unserem Pronomen durchsucht das System den restlichen Satz und bestimmt, welche Wörter seine Bedeutung am stärksten prägen.
Das Bild eines suchenden Blicks trägt weiter, wenn man unter die Haube schaut. Man kann sich ein neuronales Netz als dunkles Archiv vorstellen, in dem Regale voller Zwischenergebnisse stehen. Attention ist die Taschenlampe, die von einem Wort zum nächsten wandert und dabei entscheidet, wo es sich lohnt, stehenzubleiben. Mit ihr wird Bedeutung dorthin transportiert, wo sie gebraucht wird – Wolchover fasst es so zusammen: Das System verwandelt Kontext in Mathematik.
Query, Key und Value: wie Attention rechnet
Ein Transformer, also die Netzarchitektur, die heute fast alle großen Sprachmodelle trägt, besteht aus vielen Schichten von Knoten, die mit den Knoten der benachbarten Schichten verbunden sind. Ein Satz wird zuerst in Zahlen übersetzt: Jedes Wort wird zu einem Vektor, den man sich als Pfeil in eine bestimmte Richtung vorstellen kann. Diese Pfeile wandern durch das Netz, und Zahlen, die man Gewichte nennt, legen fest, wie sie in jeder Schicht umgeformt werden. Aus jedem Wortvektor entstehen dabei drei neue Vektoren mit unterschiedlichen Rollen, genannt Query, Key und Value.
Ein Attention-Kopf vergleicht die Query eines Wortes mit den Keys aller anderen Wörter im Satz. Je besser diese Vektoren zueinander passen, je ähnlicher ihre Richtung ist, desto stärker fließt der Value des anderen Wortes in eine aktualisierte Repräsentation des betrachteten Wortes ein. Die Query ist eine Frage, die ein Wort an den Satz stellt. Der Key ist das Aushängeschild eines Wortes, das sagt, wofür es zuständig ist. Und der Value ist der Inhalt, der geliefert wird, wenn die Anfrage passt. Das Netz rechnet diese Operation mehrfach parallel, in Systemen, die man Attention Heads nennt.
Im Beispielsatz kann die Query für it in einer tieferen Schicht etwa bedeuten: Ich suche ein früheres Substantiv, das müde sein könnte. Der Key von animal passt besser zu dieser Anfrage als der Key von street, und deshalb trägt animal stärker zur neuen, kontextangereicherten Darstellung von it bei. Diese Darstellung wandert in die nächste Schicht, wo sich das Spiel wiederholt. Was ein einzelner Attention-Kopf genau tut, ist laut Fachleuten oft schwer zu deuten; gemeinsam erfassen die Köpfe aber viele Arten von Beziehungen, vom Zusammenspiel von Substantiv und Verb bis zur Verbindung zwischen Lebewesen und Gefühlen. Schicht für Schicht werden die Wörter mit reicheren Bedeutungen aufgeladen, bis it aus dem Encoder herauskommt, dem ersten Teil des Transformers, der den Satz versteht. Der Decoder, der zweite Teil, erzeugt anschließend Wort für Wort die französische Übersetzung und greift dabei per Attention auf die numerischen Darstellungen der englischen Wörter zurück.
Niemand hat dem Netz gesagt, dass Tiere müde werden und Straßen breit sein können. Solche Zusammenhänge entdeckt das Modell selbst, indem es aus sehr vielen Satzpaaren lernt und die passenden Verbindungen in seinen Gewichten verstärkt. Am Anfang stehen Zufallswerte, die unbrauchbare Queries, Keys und Values und damit schlechte Übersetzungen produzieren. Jeder Fehler schickt jedoch ein Korrektursignal rückwärts durch das Netz, das die verantwortlichen Gewichte leicht verändert. Nach unzähligen solcher Anpassungen entstehen Vektoren, die brauchbare Übersetzungen liefern, auch bei Sätzen, die das Modell nie zuvor gesehen hat. Attention erwies sich damit als die richtige Operation, um Wörter zu verknüpfen und Kontext aufzubauen.
Attention Is All You Need: der Transformer
2017 baute ein Team bei Google eine neue Architektur, die den Attention-Mechanismus in den Mittelpunkt stellte und fast alles andere wegließ. Der Titel des Papers war programmatisch: Attention Is All You Need, auf Deutsch ungefähr: Attention ist alles, was du brauchst. Die Gruppe berichtete, dass dieser Transformer beste Übersetzungsqualität erreichte und dafür nur einen Bruchteil der Rechenleistung früherer Modelle brauchte. Das Papier wurde inzwischen mehr als 250.000 Mal zitiert. Alles, was seit 2022 die Welt beschäftigt – die KI-Wirtschaft, Rechenzentren, Chatbots als Gesprächspartner und Assistenten –, führt in dieser Linie zurück auf die Übersetzungsaufgabe von Montreal.
Der Sprung von der Übersetzung zum Sprachmodell ist kleiner, als er aussieht. Wer gelernt hat, englische Sätze ins Französische zu übertragen, kann auch Sätze in beiden Sprachen vervollständigen. Das Vorhersagen des nächsten Wortes einer Übersetzung ist nämlich nur ein Sonderfall der allgemeineren Aufgabe, das nächste Wort überhaupt vorherzusagen. Genau das tun große Sprachmodelle: Sie werden mit den Inhalten des gesamten Internets trainiert und lernen, welche Wörter in welchen Zusammenhängen auf welche anderen achten müssen. Sie verarbeiten den Datensatz immer wieder neu und versuchen Billionen Mal, das jeweils nächste Wort vorherzusagen. Ihre Gewichte verschieben sich dabei so, dass immer nützlichere Aufmerksamkeitsmuster zwischen Wörtern entstehen – oder passendere Antworten auf eine Frage.
Ist Attention das Wesen der Intelligenz?
Llion Jones, einer der Autoren des Transformer-Papiers und heute Technikchef bei Sakana AI, nennt diesen Übergang selbst einen großen Sprung. Er und andere vermuten, dass die Vorhersage des nächsten Wortes, also das Sprachmodellieren, in gewissem Sinne AI-complete ist: eine Aufgabe so schwer, dass ihre Lösung praktisch die Lösung der KI insgesamt bedeuten würde. Der Grund liegt in der Struktur der Aufgabe. Wer das nächste Wort vorhersagen will, muss als Teilaufgabe fast alles können, was Menschen schriftlich tun. Steht im Text ein französischer Satz, muss das Modell übersetzen können. Steht dort eine Rechnung, muss es rechnen. Steht dort eine Kette mathematischer Symbole, muss es der Mathematik folgen. Steht dort eine Frage nach einem Faktum, muss es das Faktum kennen.
Jones formuliert es so, dass die Fähigkeit, das nächste Wort vorherzusagen, genau deshalb all diese Fähigkeiten voraussetzt, und dass Sprachmodellierung damit die derzeit beste Annäherung an eine Definition von Intelligenz ist, die wir haben. Man kann einwenden, dass ein Sprachmodell nichts im menschlichen Sinne weiß oder versteht. Diese Formulierung beschreibt nur, wie wir gewohnt sind, über die Fähigkeiten solcher Systeme zu sprechen. Attention ist dabei das Werkzeug, mit dem künstliche neuronale Netze Bedeutung, Assoziation und Kontext erschließen – oft flüssig genug, um zu verblüffen. Für anspruchsvolle Mathematik setzen heutige Spitzenmodelle oft zusätzlich explizite Systeme zur formalen Schlussfolgerung und Beweisprüfung ein. Attention allein ist also nicht das Ende der Geschichte.
Mensch, Gehirn und die Grenzen der Attention
Bleibt die Frage aus dem Titel. Wolchover wendet sie zum Schluss auf den Menschen: Auch wir tun beim Sprechen, Schreiben und sogar beim Denken etwas, das dem Vorhersagen des bestmöglichen nächsten Wortes ähnelt. Könnte unser Gehirn einen Mechanismus nutzen, der Bahdanaus Operation gleicht? Kognitionswissenschaftler haben begonnen, das zu untersuchen – eine neue Fassung der alten Frage, wie Sprache und Denken zusammenhängen. Der Erfolg der Sprachmodelle zeigt immerhin, wie viel Wissen über die Welt allein in den statistischen Mustern der Sprache steckt.
Wolchovers eigene Antwort fällt zurückhaltend aus. Neuere Forschung überzeugt sie, dass menschliches Denken nicht rein sprachlich ist, und die Intelligenz der meisten anderen Tiere ist es gar nicht. Beim Denken sind mehr Hirnregionen aktiv als die Sprachnetzwerke der Großhirnrinde; Sinneseindrücke, körperliche und soziale Erfahrungen, Erinnerungen und Schlussfolgern liegen zumindest teilweise außerhalb davon. Sprachmodellierung wäre damit eine mächtige Komponente menschlicher Kognition, nicht ihr Gegenstück oder ihre Quelle. Wie wir sofort verstehen, dass das Tier müde ist und nicht die Straße, weiß bislang niemand.
Auch Llion Jones hält Attention inzwischen nicht mehr für alles, was man braucht, um Sprachmodellierung wirklich zu beherrschen. Das Gehirn erledigt diese Aufgabe offenkundig weit effizienter: Wir unterhalten uns flüssig, ohne auch nur einmal das ganze Internet gelesen zu haben, und verbrauchen dabei weniger Energie. Das derzeitige Paradigma werde dieses Effizienzproblem nicht lösen, sagt Jones, dafür brauche es offenbar einen Sprung zu etwas ganz anderem. Wolchover hält es trotzdem für folgerichtig, dass ausgerechnet die Übersetzung die KI aufschloss: Wer wirksam übersetzen kann, ob Mensch oder Maschine, hat in gewissem Sinne verstanden.
Quelle: quantamagazine.org
