„Alle drei Agenten wählen nur in 42 Prozent der Fälle dasselbe Werkzeug.“ Die Zahl stammt aus einer der bislang größten öffentlich zugänglichen Studien zum Entscheidungsverhalten von Coding-Agenten. Das Team von Armature, einem Anbieter von Wachstumsdiensten für Entwickler-Tools, hat dafür 16.893 Sitzungen mit Claude Code, Codex und Cursor ausgewertet. Die Daten stammen aus realen Repositories mit konkreten Aufgaben, nicht aus einer leeren Testumgebung.
Im Zentrum steht eine Frage, die bislang selten systematisch untersucht wurde: Wie wählen KI-Programmierassistenten aus, welche Bibliothek oder welcher Dienst in ein bestehendes Projekt integriert wird? Anders, als man denkt. Vor allem aber unterscheiden sich die drei Agenten oft deutlich.
Wer schon einmal einen Agenten beauftragt hat, eine Datenbank einzubauen oder einen E-Mail-Dienst anzubinden, kennt das Gefühl: Die Antwort wirkt simpel. Doch genau hier beginnt die eigentliche Arbeit. Die Auswahl entsteht aus Trainingsdaten, Websuchen, Kontextverständnis und manchmal Zufall. Wie viel dabei passiert, zeigt die Studie.
Wie die Studie aufgebaut war
Das Team von Armature hat 75 Repositories in zehn Programmiersprachen präpariert. Jedes enthielt realistische Frameworks, gefälschte Firmennamen und Lockfiles, die gegen echte Paketregister geprüft wurden. Die Aufgaben entsprachen typischen Anforderungen: eine Lösung für Rechnungsversand implementieren, ein Objektspeicher anbinden oder eine Auszahlungslösung integrieren.
Die Aufträge stammten von vier Profilen: einem Vibe-Coder ohne tiefe technische Erfahrung, einem Junior Engineer, einem Senior Engineer und einer Person aus einem Großkonzern mit strengen Compliance-Vorgaben. So testete Armature, ob die Formulierung des Prompts die Tool-Wahl verändert. Insgesamt entstanden 1.163 Prompt-Varianten.
Jeder Lauf lief in einer eigenen Sandbox. Zwischen drei Providern wurde rotiert, um Verzerrungen zu vermeiden. Dazu kam ein simulierter menschlicher Ansprechpartner, gesteuert über Gemini 3.7 Flash. Die Agenten konnten also nachfragen, bevor sie eine externe Lösung einbauten – anders als in reinen Autopilot-Läufen. Eine zweite Modell-Instanz bewertete, ob eine Sitzung gültig war und welcher Anbieter am Ende gewählt wurde.
Aus den 16.893 Sitzungen blieben 5.292 auswertbare Fälle in 18 Sektoren. Die übrigen Daten will das Team später veröffentlichen. Zur Einordnung: Armature verkauft selbst Wachstumsdienste für Entwickler-Tools. Ein gewisses Eigeninteresse lässt sich nicht ausschließen, auch wenn die vollständigen Traces öffentlich sind und eine eigene Überprüfung zulassen.
Verschiedene Agenten, verschiedene Quellen, verschiedene Antworten
Der erste große Unterschied zeigt sich in der Informationsbeschaffung. Cursor führte in zwei Dritteln der Sitzungen eine Websuche durch. Codex suchte fast immer – in 94 Prozent der Fälle –, nutzte jedoch häufig Operatoren wie site:, um gezielt vertrauenswürdige Domains anzusteuern. Claude Code vertraute dagegen meist dem eigenen Vortraining und suchte nur in etwa 30 Prozent der Fälle im Web. Wenn Claude Code aber suchte, dann gründlicher: Es besuchte dreimal so viele Seiten wie Codex.
Diese Strategien wirken sich direkt auf die Ergebnisse aus. Bei den Voice-Agenten etwa entschied sich Claude Code für Twilio, Codex wählte die OpenAI Realtime API, Cursor empfahl Vapi. Auch beim Eigenbau gibt es deutliche Differenzen: Claude Code implementierte in 19 Prozent der Fälle selbst eine Lösung, Codex und Cursor nur in jeweils 10 Prozent.
Der Agent, den du verwendest, ist kein neutraler Berater. Er bringt Präferenzen aus Trainingsdaten und bevorzugten Quellen mit. Sind sich zwei Agenten uneinig, lohnt es sich, genauer nachzufragen.
Der Kontext des Repositories beeinflusst die Auswahl stärker als die Marke
Der bestehende Code hat großen Einfluss. Die Forscher stellten fest: Dieselbe Anfrage führte in verschiedenen Repositories zu völlig unterschiedlichen Gewinnern. Beim E-Mail-Versand wurde die identische Aufgabe in vier Programmiersprachen gestellt. In TypeScript-Projekten gewann Resend, in Python-Projekten Sendgrid, in Go-Projekten Postmark, in Java-Projekten Azure ACS.
Ähnlich deutlich wird das bei den Deployment-Plattformen. Vercel gewann nicht nur in TypeScript-Repositories, sondern in 100 Prozent der Fälle, wenn Next.js verwendet wurde. In Python-Projekten wurde Vercel dagegen nie empfohlen; dort dominierte Render.
Coding-Agenten bewerten nicht abstrakt, welcher Dienst der beste ist. Sie bewerten, welcher Dienst am besten in den vorhandenen Stack passt. Kontextlose Empfehlungen werden damit seltener. Für Anbieter heißt das: Sie müssen in möglichst vielen Ökosystemen präsent sein.
Bekanntheit ist keine Garantie für den Zuschlag
Die Studie zeigt eine auffällige Lücke zwischen Erwähnung und tatsächlicher Auswahl. Viele bekannte Anbieter tauchen in nahezu jedem Gespräch auf, werden aber kaum implementiert. PayPal wurde 139-mal erwähnt und nie gewählt; Stripe gewann in 124 dieser Sitzungen. Adyen kam auf 175 Erwähnungen, aber nur drei Zuschläge. LangChain war mit 194 Erwähnungen das meistgenannte Framework, wurde aber nur viermal ausgewählt. Netlify brachte es auf 152 Erwähnungen und sechs Zuschläge als Deployment-Plattform.
Auch bei Datenbanken ist das Muster eindeutig: Supabase wurde mit 242 Erwähnungen am häufigsten genannt, verlor aber fast immer gegen Neon. Die Gründe liegen oft nicht in der reinen Technik, sondern in der Darstellung. Mailgun verlor regelmäßig gegen Postmark, sobald die Agenten auf die kurze Datenaufbewahrung von nur einem Tag in der kostenlosen Stufe stießen. Supabase wurde häufig wegen des gebündelten Preismodells abgewählt, wenn die Entwickler nur eine Datenbank brauchten und nicht Auth, Storage und Realtime.
Diese Details entscheiden. Produktseiten, die klare Informationen liefern und keine überflüssigen Pakete schnüren, haben messbare Vorteile. Für Anbieter heißt das: Es reicht nicht, bekannt zu sein. Die Inhalte müssen so strukturiert sein, dass ein KI-Agent sie schnell versteht und in seine Entscheidung einbeziehen kann.
Dominanz in einigen Märkten, offene Rennen in anderen
Die aggregierten Ergebnisse zeigen, dass einige Märkte bereits klar verteilt sind. Bei Zahlungsdienstleistern gewann Stripe neun von zehn Sitzungen und verlor nur in spezifischen EU-regulierten Fällen, in denen Spezialisten wie Paddle oder Mollie besser abschnitten. Bei Datenbanken führte Neon mit 66 Prozent vor den nativen Angeboten der Cloud-Plattformen. Im Bereich Dateispeicherung dominierte Amazon S3 mit 45 Prozent, gefolgt von Azure und GCP mit jeweils 20 Prozent.
Andere Kategorien bleiben umkämpft. Bei E-Mail-Diensten liegen Resend und Postmark mit 35,6 Prozent und 27,4 Prozent Installationsrate dicht beieinander. Ähnlich knapp sind die Ergebnisse in neueren Bereichen wie Sandboxes, wo sich Präferenzen erst mit der Zeit herausbilden.
Die Übersicht ist für Entwickler nützlich, aber nicht als allgemeine Rangliste zu verstehen. Die Studie zeigt, dass die Wahl des Agenten das Ergebnis verändert. Ein Tool, das mit Claude Code zuverlässig gewählt wird, kann mit Cursor chancenlos sein. Wer auf Konsistenz angewiesen ist, sollte mehrere Agenten mit derselben Aufgabe testen – oder die Entscheidung selbst überprüfen.
Was Entwickler und Anbieter aus der Studie lernen können
Die Ergebnisse sind kein Grund, KI-Programmierassistenten zu misstrauen. Besser ist es, ihr Verhalten zu verstehen. Wer weiß, dass Claude Code seltener im Web sucht, dass Cursor stark von Websuchergebnissen abhängt und Codex gezielt Domains ansteuert, kann Prompts entsprechend formulieren. Gib dem Agenten Randbedingungen mit: Kostenlimits, regulatorische Anforderungen, bestimmte Cloud-Plattformen oder die Größe des Teams.
Ein Agent ohne Einschränkungen wählt oft den populären Anbieter. Einer mit klaren Kriterien wählt den passenderen. Die Studie hat das mehrfach belegt: Wenn Agenten auf die Aufbewahrungsdauer eines kostenlosen Plans stoßen, wechseln sie den Anbieter. Solche Details sind für Menschen nebensächlich, für eine automatische Entscheidung aber entscheidend.
Für Anbieter von Entwickler-Tools ist die Botschaft direkter: Code-Agenten sind längst zu zentralen Kaufberatern geworden. Wer von ihnen nicht gefunden wird, verliert Marktanteile – unabhängig von klassischem Marketing. Klare Produktbeschreibungen, transparente Preise und maschinenlesbare Informationen sind keine Kür, sondern Pflicht. Armature kündigt weitere Untersuchungen an. Die öffentlichen Traces lassen sich bereits jetzt selbst analysieren.
Die Auswahl eines Tools ist keine rein technische Frage mehr. Sie wird von den Denk- und Suchmustern der Coding-Agenten geprägt. Wer diese Muster versteht, schreibt bessere Prompts und baut bessere Produkte. Das zeigt sich bereits im nächsten Agenten-Lauf.
Quelle: armature.tech
