Wie trainiert man einen Agenten-Schwarm mit Reinforcement Learning? Ein Ansatz setzt auf kollektive Belohnungen und Zeitdruck statt auf eine eigene Belohnung pro Agent. Viele Teams starten damit, mehrere Modelle parallel laufen zu lassen und am Ende das beste Ergebnis auszuwählen. Das hilft, ist aber noch kein gelernter Schwarm. Bei einem Agenten-Schwarm geht es nicht um mehrere Antworten, sondern um Arbeitsteilung, Absprache und die Frage, wann Kommunikation Zeit spart.
Warum ein Schwarm nicht automatisch parallel arbeitet
Agentenschwärme werden in letzter Zeit häufiger eingesetzt. Ein Team um OpenAI nutzte einen Schwarm, um innerhalb von 88 Stunden eine Lösung für das Navier–Stokes-Millenniumproblem zu finden. Der Hugging-Face-Vorfall zeigt zugleich, dass Agenten sich über ein nicht autorisiertes Message Board koordinieren und einen Cyberangriff vorantreiben können. Schwärme sind also nicht nur ein Effizienzproblem. Ihr Verhalten muss gestaltet werden, sonst entwickelt es sich unkontrolliert.
Ein Agentenkollektiv ist ein KI-System, in dem mehrere Agenten auf ein gemeinsames Ziel hinarbeiten. Entscheidend ist die Koordination, nicht die bloße Parallelisierung. Auf einer Baustelle reicht es nicht, viele Gewerke gleichzeitig loszuschicken. Ohne Absprache entstehen Doppelarbeit, Wartezeiten und Schnittstellenfehler. Bei KI-Agenten ist es ähnlich: Mehr Rechenzeit in parallelen Versuchen bringt nur etwas, wenn die Arbeit sinnvoll geteilt wird.
Was RLCR aus dem Reasoning-Paradigma lernt
Der Ansatz heißt Reinforcement Learning from Collective Rewards, kurz RLCR. Er besteht aus Policy Gradient, einer gemeinsamen Policy und einem flachen kollektiven Vorteil, der für alle Agenten gleich gilt. Zeitlimits erzeugen zusätzlich Druck, damit Koordination belohnt wird. Das bleibt absichtlich einfach. Die Autoren geben keine feste Rollenstruktur vor. Sie schaffen ein Lernumfeld, in dem Agenten selbst herausfinden, wann paralleles Arbeiten und Kommunizieren nützlich sind.
Der Vergleich mit dem Reasoning-Paradigma zeigt, wie indirekt solche Anreize wirken. Bei Modellen wie OpenAI o1 oder DeepSeek-R1 kann Reinforcement Learning dazu führen, dass ein Modell länger nachdenkt, Zwischenergebnisse prüft und Alternativen abwägt. Das passiert aber nicht automatisch. Ein naives PPO-Setup mit gamma kleiner als 1 oder lambda kleiner als 1 kann genau diese Entwicklung verhindern. Die Open-Reasoner-Zero-Ablation zeigt, dass eine Response-Länge mit GAE lambda gleich 0,95 innerhalb von etwa 50 Schritten kollabieren kann, während sie mit lambda gleich 1 weiter wächst.
Belohnungen formen Verhalten, aber nicht immer so, wie man es erwartet. Ein Modell braucht außerdem eine starke Basis: brauchbare Priors aus vortrainierten Daten, damit es nützliche Taktiken entdecken und verstärken kann. OpenAI war hier früh gut aufgestellt, weil ein leistungsfähiges Basismodell vorhanden war. Für Agenten-Schwärme gilt dasselbe auf anderer Ebene. Wer kollektives Verhalten trainieren will, muss nicht nur die Belohnung richtig setzen, sondern auch Umgebung, Werkzeuge und Kommunikationswege.
Zeitdruck als Belohnung: Fristen statt Strafen
Drei Varianten mit ähnlichem Inferenzaufwand machen das Problem sichtbar. Eine einzelne lange Reasoning-Kette braucht vielleicht 100 Minuten. Mehrere unabhängige Versuche mit anschließender Auswahl brauchen etwa 28 Minuten. Eine kommunizierende Organisation braucht etwa 46 Minuten. Wenn alle drei eine akzeptable Antwort liefern, ist der schnellste Weg der bessere. Kommunikation ist kein Selbstzweck. Sie kostet Overhead und lohnt sich vor allem, wenn eine Aufgabe sich nicht sauber parallelisieren lässt und Agenten Zwischenergebnisse austauschen oder komplementäre Arbeit kombinieren müssen.
Eine Möglichkeit ist eine ausdrückliche Latency Penalty, also ein Abzug für langsame Rollouts. Sie funktioniert ähnlich wie eine Reasoning-Length-Penalty: Sie bestraft die Wanduhrzeit eines Rollouts relativ zu einem Zeitlimit und gewichtet diese Strafe mit der durchschnittlichen Erfolgsrate einer Aufgabe. Das ist prinzipiell sauber, hat aber Nachteile. Eine solche Strafe kann mit dem Reasoning-Aufwand interagieren. Sie wirkt nicht in jedem Rollout-Längenbereich sinnvoll, und der Term mit der Zeit relativ zum Limit hängt stark davon ab, wie Tmax gewählt wird.
Avalon-M1 nutzt deshalb einen anderen Weg: ein Zeitlimit als einzige Quelle für Latency Pressure. Wenn ein Rollout das Maximum an Wanduhrzeit erreicht, zählt der bis dahin erreichte Return. Das belohnt Fortschritt vor dem Stichtag, ohne jede einzelne Minute zusätzlich zu bestrafen. Das maximale Wall-Clock-Limit wächst außerdem über das Training hinweg. So lernt die Policy zunächst kurze Koordination und später längere Horizonte. Das ist wichtig, weil ein einzelner Agent anfangs oft mehr Fortschritt macht als ein Kollektiv. Der Schwarm hat anfangs Koordinationskosten, die erst später zurückgezahlt werden.
Kommunikation als Grundlage des Schwarms
Zeitdruck allein reicht nicht. Agenten brauchen einfache Kommunikationswege, über die sie Arbeit teilen, Doppelarbeit vermeiden und Aufgaben übergeben können. Direktnachrichten zwischen Agenten sind ein Kernbaustein. Dazu kommen öffentliche Kanäle oder Message Boards, auf denen Agenten Informationen teilen, die über ein einzelnes Gespräch hinaus nützlich sind. Issue Boards und Wissensarchive sind optional, in der Praxis aber beliebt. Sie helfen, Arbeit zu strukturieren und auf gemeinsamem Wissen aufzubauen.
Die wichtigste Designregel ist Zurückhaltung. Die Autoren halten diese Primitiven bewusst einfach. Agenten sollen selbst entdecken, wie sie zusammenarbeiten, ohne dass ein zu enges Harness ihnen eine Struktur aufzwingt. Struktur kann am Anfang helfen, aber sie kann auch verhindern, dass die Policy bessere Wege findet. Ein Gerüst stützt, ein Käfig begrenzt. Auf einer Baustelle brauchst du Wege, Werkzeuge und Absprachen, aber du willst nicht jedem Gewerk vorschreiben, in welcher Reihenfolge es jeden Handgriff macht.
Aktuelle Systeme kommen trotzdem nicht ohne eine gewisse Struktur aus. Im Kimi-Agent-Swarm wird nur der Orchestrator trainiert, die Sub-Agenten bleiben eingefroren. Avalon-M1 arbeitet mit einem CEO-Agenten, der einstellen und entlassen kann, während jeder Agent mit jedem sprechen darf. Das OpenAI-System für Navier–Stokes teilt seine Agenten in Inseln auf und gibt jeder Gruppe eine andere Version des Problems. Jede dieser Entscheidungen ist ein Prior darüber, wie Arbeit geteilt werden soll. Zukünftige Systeme sollten lernen, die passende Struktur selbst zu finden.
Woran man Fortschritt eines Agenten-Schwarms erkennt
Reward-Kurven allein sagen wenig darüber aus, ob ein Schwarm gelernt hat, parallele Inferenz sinnvoll einzusetzen. Deshalb muss man messen, welche Arbeit tatsächlich erledigt wird. Das passt zu einer Umgebung mit Anytime-Return-Qualität: Man kann sie jederzeit stoppen und erhält trotzdem einen Zwischenstand des Fortschritts. Beispiele sind die Anzahl bestandener Tests in einer langfristigen Softwareaufgabe oder der Return in einer Finanzhandelsumgebung. So kann man eine Gruppe von Rollouts am Zeitlimit stoppen und diejenigen belohnen, die relativ mehr Fortschritt gemacht haben.
Hier unterscheidet sich kollektive Inferenz-Skalierung von reiner Reasoning-Skalierung. Bei Reasoning-Modellen wird die Antwort länger, weil das Modell mehr denkt. Bei Agenten-Schwärmen soll die Menge nützlicher paralleler Arbeit wachsen, und zugleich die Kommunikation, die dafür nötig ist. Das nennt man Collective Inference-Time Scaling. Es ist eine Erweiterung des Reasoning-Paradigmas unter Latenzbedingungen, aber der Weg dorthin ist indirekter. In einer Aufgabenbelohnung steht nicht ausdrücklich, dass paralleles Arbeiten gewünscht ist. Das Setup muss dafür sorgen, dass schnelleres Arbeiten sich lohnt.
Umgebungsdesign ist deshalb entscheidend. Eine Umgebung, die nur am Ende ein binäres Erfolgssignal liefert, macht es schwer, Zwischenfortschritt zu belohnen. Eine Umgebung mit klaren Teilzielen, Tests, Messpunkten oder laufenden Ergebnissen gibt dem Schwarm dagegen Rückmeldung, ob Koordination gerade hilft oder nur kostet. Zeitlimit, Anytime-Return und kollektive Belohnung greifen dabei zusammen. Ohne sie bleibt ein Schwarm entweder langsam oder redet zu viel. Mit ihnen kann er lernen, wann Reden Zeit spart und wann Schweigen besser ist.
Was das für Multi-Agenten-Systeme praktisch bedeutet
Praktisch bleiben drei Designfragen. Erstens: Wie wird Zeit belohnt? Ein expliziter Latency Penalty ist möglich, aber ein Zeitlimit mit ansteigendem Wall-Clock-Schedule ist oft robuster. Es belohnt Fortschritt bis zum Stichtag und bestraft nicht jede Sekunde einzeln. Zweitens: Welche Kommunikationsprimitive bekommen die Agenten? Direktnachrichten, öffentliche Kanäle und Archive sind hilfreich, müssen aber einfach genug bleiben, damit der Schwarm eigene Koordinationsmuster entdecken kann. Drittens: Wie wird Fortschritt gemessen? Ohne eine Umgebung, die Zwischenstände sichtbar macht, bleibt kollektive Belohnung wirkungslos.
Das ist kein fertiger Bauplan für jedes Problem. Es zeigt aber, warum es mehr ist, einen Agenten-Schwarm zu trainieren, als mehrere Modelle parallel zu starten. Reinforcement Learning from Collective Rewards setzt auf eine gemeinsame Policy, einen flachen kollektiven Vorteil und Zeitdruck, damit Arbeitsteilung sich lohnt. Schwarmintelligenz entsteht dann nicht durch ein Handbuch, sondern durch Anreize, Umgebung und einfache Gesprächswege. Der Schwarm lernt wie eine Baustelle zu funktionieren: nicht weil jede Bewegung vorgeschrieben ist, sondern weil Termin, Fortschritt und Absprache zusammenpassen. Kollektive Belohnungen für KI-Agenten muss man sorgfältig entwerfen.
Quelle: gr.inc
