180 Agenten-Konfigurationen im Test: Wann und warum sich Agentensysteme wirklich skalieren lassen

Ruhige Schreibtischszene mit Notizbuch, Laptop und Papieren im warmen Seitenlicht
Deine Reaktion:

180 getestete Agenten-Konfigurationen, fünf Architekturen und vier Benchmarks: Das ist einer der umfangreichsten Versuche, das Skalieren von KI-Agenten messbar zu machen statt nur nach Faustregeln zu entscheiden. Ein Team von Google Research und Google DeepMind hat die Ergebnisse unter dem Titel „Towards a Science of Scaling Agent Systems“ veröffentlicht. Die Studie widerspricht einer Annahme, die in vielen Teams noch gilt: mehr Spezialisten bringen mehr Leistung. Das stimmt nur unter bestimmten Bedingungen. Unter anderen schadet es.

Vergleichen lässt sich das mit einer Küche. Ein Koch schafft ein überschaubares Menü allein. Bei vielen Gerichten, mehreren Stationen und engen Timing-Fenstern braucht es eine Brigade – aber eine, die koordiniert wird. Ohne Absprache entsteht Gedränge am Pass. Arbeitsteilung und Abstimmungsaufwand stehen also gegeneinander; darum geht es bei der Skalierung von Agentensystemen.

Wann eine Aufgabe agentisch ist

Bevor sich messen lässt, wie Agenten skalieren, muss klar sein, was eine Aufgabe zur Agentenaufgabe macht. Die Forschenden nennen drei Eigenschaften. Erstens: anhaltende Mehrschritt-Interaktionen mit einer Umgebung, also eine Kette von Handlungen statt einer einzelnen Antwort. Zweitens: iteratives Sammeln von Informationen, obwohl der Agent zu Beginn nicht weiß, was er wissen müsste. Drittens: adaptive Verfeinerung der Strategie auf Basis von Rückmeldungen aus der Umgebung.

Ein Benchmark, der nur Wissen abfragt, erfüllt keinen dieser Punkte. Der Unterschied ähnelt dem zwischen einer Prüfungsfrage und einem echten Arbeitstag. An einem Arbeitstag kann ein früher Fehler den Rest verderben. Genau dann reicht die Kennzahl Genauigkeit nicht aus. KI-Agenten für komplexe Aufgaben brauchen deshalb andere Maße als ein Modell, das eine Antwort ausgibt und danach vergessen wird.

Fünf Architekturen, ein Kostentreiber

Verglichen wurden fünf Varianten. Die Single-Agent-Variante lässt einen Agenten alle Denk- und Handelsschritte nacheinander mit einem gemeinsamen Gedächtnis abarbeiten. Die unabhängige Variante verteilt Teilaufgaben parallel, ohne dass die Agenten miteinander sprechen; zusammengeführt wird erst am Ende. Zentralisiert bedeutet Hub-and-Spoke: ein Orchestrator delegiert und synthetisiert. Dezentral arbeiten die Agenten in einem Peer-to-Peer-Geflecht und einigen sich direkt. Hybrid kombiniert hierarchische Aufsicht mit gleichberechtigter Abstimmung.

Getestet wurde über vier Benchmarks – Finance-Agent für Finanzschlussfolgerungen, BrowseComp-Plus für Webnavigation, PlanCraft für Planung und Workbench für Werkzeugnutzung – sowie über drei Modellfamilien von OpenAI, Google und Anthropic. Der Vergleich von Agenten-Architekturen ist damit keine Glaubensfrage, sondern eine Messreihe. In dieser Messreihe taucht ein Faktor auf, der alle Varianten verbindet: der Aufwand für Koordination. Jede zusätzliche Schnittstelle kostet Rechenzeit, Kontext und Klarheit.

Zerlegbare Aufgaben: 80,9 Prozent mehr Leistung

Wo sich Aufgaben sauber zerlegen lassen, zahlt sich die Brigade aus. Beim finanziellen Schlussfolgern kann ein Agent Umsatztrends prüfen, ein zweiter Kostenstrukturen, ein dritter Marktvergleiche – parallel und ohne sich gegenseitig zu blockieren. In dieser Konstellation verbesserte die zentralisierte Architektur die Leistung um 80,9 Prozent gegenüber dem einzelnen Agenten. Das ist der Effekt davon, ein Problem in Stücke zu schneiden, die wirklich unabhängig sind.

Die zentrale Figur ist der Orchestrator. Er zerlegt die Aufgabe, verteilt sie und setzt die Ergebnisse wieder zusammen. Wichtig ist die Reihenfolge: Die Aufgabenstruktur kam zuerst, die Architektur folgte ihr. Wer die Agenten-Performance steigern will, sollte deshalb nicht mit der Frage beginnen, wie viele Agenten es sein sollen, sondern mit der Frage, wie parallelisierbar die Arbeit ist.

Sequenzielle Aufgaben: 39 bis 70 Prozent Verlust

Bei Aufgaben mit strikt sequenzieller Logik kippt das Bild. In PlanCraft, wo jeder Schritt vom vorherigen abhängt, verschlechterte jede getestete Multi-Agenten-Variante das Ergebnis – um 39 bis 70 Prozent gegenüber dem einzelnen Agenten. Der Grund ist nicht mangelnde Intelligenz der Modelle, sondern der Aufwand für Verständigung. Jede Übergabe kostet Aufmerksamkeit, jeder Zwischenbericht verbraucht Kontext. Am Ende bleibt zu wenig kognitives Budget für die eigentliche Aufgabe.

Dazu kommt ein zweiter Bremsklotz, den die Studie Tool-Koordination-Shift nennt: Je mehr Werkzeuge eine Aufgabe verlangt – bei einem Coding-Agenten etwa 16 oder mehr –, desto überproportionaler wächst die Koordinationslast. Mehr Agenten sind also nicht immer besser. Sie sind es nur, wenn die Aufgabe es hergibt. In der Küchen-Analogie: Eine Brigade hilft beim Bankett mit zwanzig Tellern gleichzeitig. Bei einem Gericht, das ziehen muss, bevor der nächste Schritt beginnt, stehen alle nur im Weg.

Fehlerverstärkung als Sicherheitsfrage

Der für den Betrieb wichtigste Befund betrifft nicht die Genauigkeit, sondern die Zuverlässigkeit. Die Forschenden messen eine Größe namens Fehlerverstärkung: die Rate, mit der sich ein Fehler eines Agenten bis ins Endergebnis fortpflanzt. Unabhängig arbeitende Multi-Agenten-Systeme, die sich nicht absprechen, verstärkten Fehler um den Faktor 17,2. Ohne eine Instanz, die gegenliest, addieren sich Irrtümer ungebremst. Zentralisierte Systeme mit Orchestrator begrenzten diesen Effekt auf das 4,4-Fache.

Der Orchestrator wirkt damit als Validierungsflaschenhals – unbequem, langsam, aber nützlich. Das geht über reine Leistungsfragen hinaus: Agenten-Architekturen sind auch eine Sicherheitsentscheidung. Wer Multi-Agenten-Systeme ohne Prüfschleife betreibt, spart im besten Fall Zeit und zahlt im schlechtesten Fall mit einem Ergebnis, das plausibel klingt und falsch ist. Für Anwendungen mit echten Konsequenzen ist das kein akademisches Detail.

Ein Vorhersagemodell für die Praxis

Die Untersuchung bleibt nicht bei der Rückschau stehen. Aus messbaren Eigenschaften der Aufgabe – etwa Werkzeugdichte und Zerlegbarkeit – leiteten die Forschenden ein Vorhersagemodell ab. Es erklärt mit einem R² von 0,513, wie gut eine Architektur abschneiden dürfte. In 87 Prozent der Fälle identifizierte es die optimale Koordinationsstrategie für bis dahin unbekannte Aufgabenkonfigurationen. Das ersetzt keine Prüfung, verschiebt die Diskussion aber von Geschmack zu Konstruktion.

Für die Praxis heißt das: Wie man Agentensysteme skaliert, lässt sich heute begründen statt raten. Prüfe zuerst, ob die Aufgabe zerlegbar ist oder eine feste Reihenfolge erzwingt. Zähle dann die Werkzeuge, die im Spiel sind, und plane die Koordinationskosten als echten Posten ein. Wenn du mehrere Agenten losschickst, gib ihnen eine Instanz, die gegenliest – die 17,2 gegen 4,4 sind der deutlichste Hinweis in dieser Studie. Smarter werdende Modelle ersetzen diese Entscheidungen nicht; sie machen Fehler nur teurer. Mehr Köche allein reichen nicht; jemand muss die Abläufe festlegen.

Quelle: research.google

Deine Reaktion:
Artikel teilen:
Krötzsch-Check0 — 100
Fakten 78
Relevanz 76
Hype 24
Einschätzung 72
Redaktion 50 Stand 50 · noch keine Stimmen
Ist das Hype?
Sebastian Krötzsch
Autor

Sebastian Krötzsch

Sebastian Krötzsch schreibt auf sebask.de über Künstliche Intelligenz, Automatisierung, digitale Systeme und die Frage, was davon im Alltag wirklich nützlich ist. Ohne Buzzword-Nebel, dafür mit klarem Blick auf Praxis, Tools und echte Wirkung.