Ein Benchmark-Sieg klingt nach einem eindeutigen Ergebnis. Der Bericht „Agents on Rails“ vom 2. September 2026 zeigt etwas anderes: einen Gleichstand an der Spitze. Die Entscheidung fällt an einer Stelle, die beim Modellvergleich meist übersehen wird. Svyatoslav Kryukov und Artur Petrov haben 17 Modelle auf 21 Rails-Aufgaben geschickt, jede Aufgabe dreimal. Heraus kam kein Sieg der reinen Rechenleistung, sondern eine Frage von Werkzeug, Preis und Zeit.
Wer ein Modell für Ruby-on-Rails-Aufgaben auswählt, schaut meist auf die oberste Zeile des Leaderboards. Dort steht jetzt ein Unentschieden. Zwei Modelle erreichen 92 Prozent. Darunter liegt ein Kandidat, der für fünf Cent pro Lauf fast dasselbe leistet. Interessanter als der Spitzenwert ist der Abstand zwischen Preis und Ergebnis.
Ein KI-Coding-Agent arbeitet wie ein Geselle in einer gut sortierten Werkstatt. Es reicht nicht, dass am Ende ein Bauteil passt. Er muss auch das richtige Werkzeug von der Wand nehmen, statt sich mit Klebeband eine Eigenlösung zu biegen. Beides hält erstmal. Der Unterschied zeigt sich, wenn jemand die Konstruktion später anfassen muss.
Gleichstand an der Spitze: Claude Fable 5.1 zieht mit Claude Opus 5 nach
Claude Fable 5.1 ist einen Tag vor dem Bericht erschienen und landet direkt auf Augenhöhe mit dem bisherigen alleinigen Spitzenreiter. Beide Modelle lösen 58 von 63 Durchläufen, das sind 92 Prozent, und beide schaffen mindestens 20 der 21 Aufgaben wenigstens einmal. Der Unterschied liegt nicht in der Trefferquote, sondern im Aufwand dahinter. Fable 5.1 kostet 75 Dollar für alle 63 Läufe, Claude Opus 5 verlangt 120 Dollar. Auch bei der Zeit liegt das neue Modell vorn: 5,4 Minuten im Median gegen 9,7 Minuten.
Claude Fable 5 kam auf 57 von 63 Läufen, kostete 146 Dollar und brauchte 6,8 Minuten pro Durchlauf. Die Rechnung ist also rund 50 Prozent günstiger als beim Vorgänger und rund 40 Prozent günstiger als bei Opus 5. In der Spitzengruppe ist Fable 5.1 damit das schnellste Modell, auf Augenhöhe mit GPT-5.6 Sol. Ein Benchmark ist allerdings ein Prüfstand und keine Landstraße: Die Autoren betonen selbst, dass 63 Läufe eine kleine Stichprobe sind. In den Vorläufen lag Fable 5.1 bei etwa 95 Prozent, im offiziellen Durchlauf hatte es schlicht Pech.
Ein Detail abseits der Punktzahl ist wichtiger, als es aussieht. In der ersten Runde scheiterte Fable 5 an einer Aufgabe, die wie ein Pen-Test-Bericht formuliert war, und zwar in allen drei Versuchen. Fable 5.1 liest denselben Bericht und behebt jeden Befund. Ein Modell, das eine Sicherheitsaufgabe nicht mit einem Sicherheitsproblem verwechselt, ist im Alltag mehr wert als ein Prozentpunkt auf dem Leaderboard.
Rails API Recall: 41 Prozent und der Fall quote_column_name
Der Rails API Recall Benchmark misst etwas anderes als das reine Lösen von Aufgaben. Jede Aufgabe verweist auf eine bestimmte Rails-API, die eine ideale Lösung verwenden sollte. Eine selbst gebaute Ersatzlösung kann die Tests bestehen, aber sie ist nicht der Weg, den das Framework vorsieht. Hier liegt der Unterschied zwischen Code, der funktioniert, und Code, den das nächste Teammitglied ohne Zorn lesen kann. Bisher lagen die Werte in diesem Benchmark zwischen 8 und 35 Prozent.
Claude Fable 5.1 erreicht 41 Prozent. In Zahlen heißt das: In 26 der 63 Läufe erinnerte sich das Modell unaufgefordert an die passende API, 9 Mal fand sie sich in der Ausgabe, 20 Mal wurde sie übergangen, 8 Mal baute das Modell eine Eigenlösung. Claude Opus 5 kam auf 20 Treffer aus dem Stand, also 32 Prozent, dazu 14 gefundene APIs, 15 übergangene und 14 Eigenlösungen. Claude Fable 5 lag bei 21 unaufgeforderten Treffern, im Bericht mit 35 Prozent angegeben, dazu 6 gefundene APIs, 21 übergangene und 12 Eigenlösungen; drei Läufe endeten ohne Patch.
Die Verbesserung liegt nicht daran, dass ein neueres Modell neuere APIs kennt. quote_column_name ist fast so alt wie Active Record selbst, und kein vorheriges Modell hatte diese Methode unaufgefordert erwähnt. Es geht also nicht um frisches Trainingswissen, sondern um die Frage, ob ein Modell nachsieht, was an der Wand hängt, bevor es improvisiert. Für Teams, die KI-Modelle für Rails einsetzen, zählt am Ende diese Zahl: Der Agent schreibt Code, den später Menschen warten müssen.
GLM 5.3 Flash: Der Stealth-Kandidat aus der letzten Runde hat jetzt einen Namen
Das Modell, das in der vorigen Runde unter dem Codenamen ox-alpha antrat, ist enttarnt. Es handelt sich um GLM 5.3 Flash von Z.ai. Die Autoren haben den Stealth-Namen beerdigt und alle 63 Versuche unter dem echten Namen und dem echten Preis erneut laufen lassen. Das Ergebnis deckt sich mit den Vorabwerten: 52 von 63 Läufen, also 83 Prozent, bei Gesamtkosten von 3,31 Dollar. Das sind rund fünf Cent pro Durchlauf.
Damit liegt GLM 5.3 Flash auf demselben Niveau wie Grok 4.6, das ebenfalls 83 Prozent erreicht, aber zum Fünfzehnfachen des Preises. In der Rangliste steht Flash hinter Kimi K3 mit 90 Prozent und GPT-5.6 Sol mit 84 Prozent, auf Augenhöhe mit Grok 4.6 und vor dem großen GLM 5.3 mit 79 Prozent. Die Preis-Leistung von GLM 5.3 Flash ist hier keine Marketingfloskel, sondern eine Rechnung. Wer viele kleinere Rails-Aufgaben automatisiert, für den ist der Cent-Betrag pro Lauf relevanter als die letzten Prozentpunkte.
Wie der Agents-on-Rails-Benchmark aufgebaut ist
Alle Zahlen stammen aus dem üblichen Aufbau. Der Harness heißt lemans, es gelten Standard-Effort-Stufen, und jede der 21 atomaren Writebook-Aufgaben wird dreimal versucht. Die Prüfung ist versteckt, die Rohdaten liegen im Repository rails/ai-evals, die aktuellen Werte stehen auf der Agents-on-Rails-Seite. Jede Zahl lässt sich bis zum einzelnen Lauf zurückverfolgen.
Zwei kleinere Änderungen betreffen die Darstellung. Die Standard-Effort-Stufen, mit denen die Läufe stattgefunden haben, sind jetzt auf der Seite dokumentiert. Die Diagramme wurden zusätzlich überarbeitet, nach einer Anregung von Nate Berkopec: Egal was du vergleichst, die besseren Modelle erscheinen nun in der oberen rechten Ecke. Das klingt nach Kosmetik, macht aber den Vergleich zwischen zwei Kenngrößen auf einen Blick lesbar.
Der wichtigste Vorbehalt steht im Kleingedruckten. Drei Läufe pro Aufgabe sind ein Kompromiss zwischen Laufzeit und Aussagekraft, nicht mehr. An der Spitze steht ein Unentschieden, und beide Modelle wurden von derselben Aufgabe gestoppt. Der atomare Aufgabenkatalog wird langsam zu klein, weshalb die Autoren größere und realistischere Aufgaben für eine zweite Stufe vorbereiten.
Was das für die Auswahl eines KI-Coding-Agenten bedeutet
Drei Punkte bleiben für die Auswahl. Erstens: Der Spitzenplatz im Agents-on-Rails-Leaderboard ist derzeit geteilt, und die Entscheidung zwischen den beiden 92-Prozent-Modellen fällt über Preis und Laufzeit, nicht über Qualität. Claude Fable 5.1 liefert dieselbe Trefferquote für deutlich weniger Geld und in etwa der halben Zeit. Zweitens: Für Aufgaben, bei denen es nicht um Sekunden oder Centbeträge geht, ist GLM 5.3 Flash mit 83 Prozent für fünf Cent pro Lauf eine ernsthafte Option, nicht bloß eine Notlösung.
Drittens, und das wird beim Blick auf die reine Punktzahl übersehen: Der Rails API Recall entscheidet darüber, wie lange der erzeugte Code lebt. Ein Modell, das 92 Prozent der Aufgaben löst, aber regelmäßig an der Werkzeugwand vorbeigeht und Eigenlösungen baut, produziert Arbeit für später. Ein Modell mit etwas niedrigerer Trefferquote, das die vorhandenen Rails-APIs kennt, liefert dagegen Code, der sich in eine bestehende Anwendung einfügt, ohne sie zu verbiegen. Wer Claude Fable 5.1 für Rails-Aufgaben in einem gewachsenen Projekt einsetzt, sollte deshalb beide Zahlen nebeneinander lesen.
Die 41 Prozent von Claude Fable 5.1 sind kein Endstand, sondern eine Zwischenmarke. Sie zeigen, dass sich die Erinnerung an Framework-APIs messbar verbessern lässt. Bis die größeren Aufgaben der zweiten Stufe kommen, bleibt der Prüfstand ein kontrollierter Raum mit 21 Aufgaben und drei Versuchen. Was dort funktioniert, funktioniert noch nicht automatisch in deiner Anwendung.
Quelle: rubyonrails.org
