Ein Entwicklerbund hat sich ein klares Ziel gesetzt: Eine NumPy-Arbeitslast soll schneller laufen, ohne dass sich ihr beobachtbares Verhalten verändert. Nach zwei Stunden erreicht ein einzelner Claude-Opus-Agent eine 3,66-fache Beschleunigung. Ein Schwarm aus 32 Agenten kommt im selben Zeitfenster auf das 18,92-Fache. Entscheidend ist damit nicht allein die Zahl der Beteiligten, sondern die Art ihrer Organisation. Das ist die zentrale Erkenntnis aus den in Replit durchgeführten Tests mit Agent Habitat und Optimization-Bench.
Multi-Agenten-Schwärme sind für die Softwareentwicklung daher mehr als eine Variante höherer Inference-Time-Compute. Sie sind eine Form des Performance Engineering. Paralleles Arbeiten bringt nur dann einen Vorteil, wenn die Aufgaben tatsächlich unabhängig sind und die Koordination nicht mehr kostet als sie einspart. Die Forscher von Replit haben sechs Frontier-Modelle mit 36 Workloads aus 14 Open-Source-Bibliotheken getestet. Die Ergebnisse sind gemischt: Anthropic-Modelle wurden durch Schwärme systematisch schneller, während die stärksten OpenAI-Einzelagenten mit zunehmender Teamgröße teilweise langsamer wurden als allein.
Warum klassische Software-Benchmarks die Teamfrage falsch beantworten
Fred Brooks formulierte 1975 einen Grundsatz, der bis heute gilt: Wer Programmierer zu einem späten Projekt hinzufügt, macht es später fertig. Jede zusätzliche Person verursacht Kommunikation, Abstimmung und Integrationsaufwand. Frühe Forschung zu Multi-Agenten-Systemen kam deshalb zu ähnlich nüchternen Ergebnissen. Wenn man die Kosten der Koordination vollständig einrechnet, konnten Teams aus mehreren Agenten hinter einem einzelnen Agenten zurückbleiben.
Viele veröffentlichte Agenten-Benchmarks messen jedoch Aufgaben, bei denen Teamwork fast kostenlos wirkt. Bei ProgramBench müssen Agenten ein Programm rekonstruieren, und die Bewertung zählt bestandene Tests. Die Arbeit ist weitgehend additiv: Ein Agent bearbeitet einen Teil, ein anderer den nächsten, und die Ergebnisse lassen sich anschließend zusammenführen. Die Agenten müssen voneinander wenig lernen, weil die Teilaufgaben kaum voneinander abhängen.
Außerdem ist die Punktzahl nach oben begrenzt. Wenn ein einzelner Agent bereits nahezu alle Tests besteht, kann ein Team allenfalls früher fertig werden, nicht aber substanziell besser punkten. Bei kleinen Problemen übersteigt der Koordinationsaufwand den verbleibenden Geschwindigkeitsvorteil. Das testet zwar Parallelität, aber kaum die Fähigkeit eines Teams, gemeinsam zu forschen, Konflikte zu lösen und Wissen zu kombinieren.
Reale Softwareentwicklung sieht anders aus. Fortschritt entsteht dort oft durch Suche und Experiment. Ein Ansatz scheitert, ein zweiter führt in eine Sackgasse, und erst die Kombination der Ergebnisse bringt die Lösung näher. Performance Engineering eignet sich als Testfeld, weil der Feedback-Loop schnell, objektiv und nahezu grenzenlos ist: Eine Änderung an einem Hot Path ist entweder schneller oder nicht. Gleichzeitig bleibt die Aufgabe interdependent, weil Patches am gemeinsamen Code beim Zusammenführen kollidieren können und ungeteilte Erkenntnisse zu doppelter Feilarbeit führen.
Optimization-Bench misst Suchleistung statt nur Abschlussgeschwindigkeit
Optimization-Bench ist eine vorläufige Benchmark-Suite für Performance-Optimierungen auf fest gepinnten Versionen verbreiteter Open-Source-Bibliotheken. Jede Aufgabe stellt den Agenten den Quellcode der Bibliothek, einen Treiber mit realistischer Last, einen strikten Output-Vertrag und eine isolierte Prüfumgebung bereit. Ziel ist es, die Laufzeit unter festen Bedingungen zu reduzieren, ohne beobachtbare Ausgaben, Fehlerbehandlung oder öffentliche Schnittstellen zu verändern.
Die Auswahl der Bibliotheken folgt einem gezielten Kriterium: Profiling zeigte, dass ein Großteil der Laufzeit im Code der jeweiligen Bibliothek und nicht in externen Abhängigkeiten liegt. Damit liegen die relevanten Hot Paths tatsächlich in Dateien, die die Agenten bearbeiten dürfen. NumPy umfasst 13 Workloads, darunter Quantile, Sortierung, Datumsverarbeitung und Zufallszahlen. SQLite enthält 12 Workloads für Volltextsuche, Indizes, JSON und Verknüpfungen. SQLGlot stellt vier Transpilationsaufgaben bereit, während Git sieben Diff-Workloads in einer auf 15 Dateien begrenzten Änderung vereint.
Jeder Agent erhält acht virtuelle CPUs, 16 GiB RAM, Standard-Profiling-Werkzeuge und ein Zeitfenster von zwei Stunden. Unzulässig sind unter anderem Cross-Call-Caching, das Vorberechnen von Ergebnissen, Sonderbehandlungen für einzelne Eingaben, das Auslagern an externe Bibliotheken und Änderungen prozessweiter Laufzeiteinstellungen. Getestet wurde mit einem einzelnen Agenten sowie mit Schwärmen aus 8, 16 und 32 Agenten. Die sechs untersuchten Modelle arbeiten grundsätzlich mit mittlerem Reasoning-Aufwand; lediglich GPT-6 Luna wurde mit hohem Reasoning-Aufwand konfiguriert.
Der Koordinator kennt die Anforderungen, erhält aber keine Organisationsanweisung. Wie Aufgaben verteilt, Beiträge beansprucht und Branches integriert werden, entscheiden die Agenten selbst. Dadurch misst die Benchmark nicht nur einen günstigen Schwarm mit einem voroptimierten Handbuch. Sie zeigt, welche Koordinationsstruktur ein Modell spontan entwickelt.
Agent Habitat stellt jedem Agenten eine eigene Baustelle bereit
Agent Habitat bildet die technische Grundlage für diese Versuche. Jeder Agent, ob Koordinator oder Worker, erhält eine eigene Replit-Agent-Instanz mit isolierter Cloud-Sandbox. Er kann Code bauen, ausführen und profilieren, ohne mit einem anderen Agenten denselben Arbeitsbereich zu teilen. Gemeinsam ist das Repository, nicht das Dateisystem; Änderungen treffen über Branches und Pushes zusammen.
Die Plattform stellt drei Kanäle für Kontext bereit. Ein Swarm Board erlaubt Threads, Antworten, direkte Adressierungen und Statusangaben. Ergänzend gibt es Nachrichten zwischen einzelnen Teammitgliedern. Transkripte zeigen außerdem, was ein anderer Agent versucht hat und warum, ohne dass dieser dafür unterbrochen werden muss. Das ist ein wichtiger Unterschied zu einem Chat-Chaos: Wissen kann asynchron und dauerhaft gespeichert werden. Es bleibt auch dann verfügbar, wenn ein Agent ausfällt oder eine Aufgabe später aufgegriffen wird.
Hinter dieser Architektur steht elastische Compute-Infrastruktur. Jede Sandbox läuft in einer isolierten Linux-MicroVM, deren CPU-, Speicher- und Plattenressourcen mit der Aufgabe wachsen können. Netzwerkzugriff, Zugangsdaten und Laufzeitaktivitäten sind pro Agent begrenzt und nachvollziehbar. Der Ausführungszustand wird dauerhaft protokolliert, sodass ein Schwarm Ausfälle überstehen kann. In der Praxis entsteht damit etwas, das eher einem technischen Team als einer losen Sammlung von Chatboten gleicht.
Die Ergebnisse: Mehr Agenten sind nicht automatisch besser
Bei den Anthropic-Modellen hing der Zugewinn eng davon ab, wie viele weitgehend unabhängige Workloads eine Bibliothek anbot. NumPy profitierte mit 13 klar getrennten Aufgaben besonders stark: Der Median stieg von 3,66-facher Performance eines einzelnen Opus-5.5-Agenten auf 18,92-fache Performance mit 32 Agenten. Auch SQLite und SQLGlot erreichten im Schwarm nennenswerte Verbesserungen, obwohl die Einzelagenten dort weniger leicht Gewinne fanden.
Git bildete den Gegenfall. Sieben Workloads klangen nach ausreichender Teilbarkeit, teilten sich aber stark überlappende Bereiche in derselben 15-Dateien-Änderung. Die Anthropic-Schwärme konnten ihren Solo-Lauf deshalb kaum übertreffen. Die Zahl der Aufgaben allein genügt nicht. Entscheidend ist, ob Agenten unabhängige Flächen bearbeiten können oder ob dieselben Dateien und Annahmen umkämpft werden.
Bei OpenAI ergab sich kein ähnlich klares Muster. Einige Schwärme schlagen ihre Einzelagenten, andere bleiben zurück. Auf SQLGlot verbesserten die OpenAI-Modelle ihren Solo-Wert kaum messbar. GPT-6.2 Astra war in den Einzeltests das stärkste Modell und auf NumPy mehr als dreimal so schnell wie ein einzelner Opus-Agent. Seine Schwärme erreichten jedoch bei acht Agenten ihr Bestes und lagen bei 32 Agenten auf NumPy, SQLGlot und Git unter dem jeweiligen Einzelwert.
Ein konkretes Beispiel zeigt, welchen Gewinn paralleles Arbeiten ermöglichen kann. NumPys Funktion searchsorted bestimmt für jeden Suchwert seine Position in einem sortierten Array. Die ursprüngliche Implementierung vergleicht alle Suchwerte gemeinsam, wodurch große Datenmengen den CPU-Cache verlassen. Der Opus-Schwarm verarbeitete stattdessen jeweils 256 Suchwerte als Block, dessen Daten im Cache bleiben konnten. Zusätzlich wurde die langsamere NaN-sichere Vergleichslogik übersprungen, wenn weder Suchwerte noch sortiertes Array NaN enthielten. Bei float64-Eingaben mit vielen Suchwerten wurde die Funktion dadurch 8,7- bis 13,1-mal schneller, bei identischen Ergebnissen.
Ein starkes Einzelmodell ist kein zuverlässiger Prädiktor für ein Schwarm
Die wichtigste Auswertung liegt nicht in der Frage, welches Modell die beste Punktzahl erreicht. Sie liegt in der Beobachtung, dass die Qualität des Einzelagenten nur wenig über die Leistung seines Teams verriet. Opus 5.5 und Sonnet 5.5 übertrafen ihre jeweiligen Solo-Läufe durchgehend. Im Median lag der Vorteil bei 16 und 32 Agenten um den Faktor 1,30. GPT-6 Astra und GPT-6.1 Sol blieben mit ihren Teams dagegen meist ungefähr auf dem Niveau des Einzelagenten.
Noch deutlicher wurde der Zusammenhang bei GPT-6.2 Astra. Das Modell gewann allein fast jede Testaufgabe, wurde mit wachsender Teamgröße aber langsamer. Hier verwechselte das System gewissermaßen zwei Optimierungsziele. Der Einzelagent konzentrierte seine Ressourcen auf wenige Versuche und behielt den gesamten Kontext. Das Team vervielfältigte die Trial-and-Error-Rate, verlor aber durch Koordination und konkurrierende Änderungen einen Teil des gemeinsamen Ergebnisses.
Die entscheidende Variable war die Topologie der Kommunikation. Opus 5.5 leitete 82 Prozent seiner Nachrichten an das Board, überwiegend in Threads pro Workload. Worker beanspruchten dort Aufgaben und berichteten ihre Ergebnisse. GPT-6 Astra und GPT-6.1 Sol handelten anders: Ihre Worker schickten durchschnittlich 22 beziehungsweise 20 direkte Nachrichten an den Koordinator, während Opus-Worker im Mittel nur 1,4 versandten.
Der Unterschied wird verständlich, wenn man das Ganze als Fluss betrachtet. Ein Board ist ein Flussbett. Nachrichten lagern, sind sortierbar und stehen auch dann noch zur Verfügung, wenn niemand aktiv zuhört. Der Koordinator ist ein Engpass. Jede zusätzliche Nachricht muss ihn erreichen, geprüft und verteilt werden. Mit mehr Workloads wächst sein Postfach, während die eigentliche Entwicklungsarbeit weiterläuft. Am Ende bearbeitet der Koordinator die Messages nicht mehr, er verwaltet nur noch die Verwaltung.
Damit bestätigt die Studie Brooks’ Warnung in einer modernen Form. Zusätzliche Agenten erzeugen zusätzliche Koordination. Sie lohnen sich, wenn die Aufgabe genügend unabhängige Breite besitzt und die Kommunikation in einem gemeinsam sichtbaren, dauerhaften Medium landet. Sie schaden, wenn alles durch einen zentralen Boten muss oder wenn Agenten dieselbe enge Codestelle bearbeiten.
Wann Multi-Agenten-Schwärme effizienter sind als einzelne Agenten
Für den praktischen Einsatz folgt daraus keine allgemeine Regel, im Namen des stärksten Modells eine möglichst große Agentenflotte zu starten. Replit Missions kann Nutzerinnen und Nutzern ein Ziel geben und einen Schwarm zu dessen Verfolgung starten lassen. Die sinnvolle Entscheidung hängt jedoch von der Struktur der Aufgabe ab. Unabhängige Workloads, mehrere Testumgebungen oder klar trennbare Bibliotheken bieten gute Voraussetzungen. Zentral konfliktäre Dateien, stark geteilte Annahmen oder knappe Übergaben verschlechtern die Skalierung.
Auch das gewählte Modell muss zum Koordinationsstil passen. Ein Modell, das Aufgaben ausgezeichnet selbstständig beansprucht und Ergebnisse am Board dokumentiert, kann seine Stärke durch Parallelität vervielfachen. Ein Modell mit starker Einzelperformance und einer Tendenz zur intensiven Kommunikation mit dem Koordinator benötigt dagegen klare Grenzen, direkte Ausführung ohne unnötige Rückfragen oder ein Harness, das längere Arbeitsphasen ohne Nachrichten erlaubt.
Die klassische Software-Benchmark, ob ein Team eine Aufgabe schneller abschließt, greift daher zu kurz. Für echte Multi-Agenten-Koordination bei Software-Engineering-Aufgaben braucht es Scores, die Suche belohnen, Abhängigkeiten sichtbar machen und Konflikte abbilden. Optimization-Bench liefert dafür einen ersten Ansatz: maximale Beschleunigung ohne erlaubte Abkürzungen, verborgene Tests, externe Verifikation und randomisierte, wiederholte Messungen. Die gezeigten CUDA-Beschleunigungen anderer Systeme erinnern zugleich daran, wie leicht ein scheinbar großer Performance-Sprung aus einer fehlerhaften Messumgebung entsteht.
Die praktische Konsequenz ist nüchtern. Inference-Time Compute lässt sich mit Agentenschwärmen skalieren, aber nicht blind. Der Schwarm gewinnt dort, wo Arbeit teilbar ist und Lösungen gemeinsam sichtbar bleiben. Er verliert dort, wo ein Engpass die Koordination übernimmt oder mehrere Agenten um dieselbe Stelle konkurrieren. Ein guter Multi-Agenten-Schwarm ist deshalb keine möglichst große Menschenmenge, sondern eine kleine, klar geführte Gruppe mit einem offenen Board, sauber getrennten Arbeitsbereichen und einer Trennung zwischen dem, was entschieden, und dem, was gemeinsam gelernt wird. Genau dort wird aus Parallelität ein echter Performance-Fortschritt.
Quelle: frontier.replit.com
