Die verbreitete Annahme lautet, ein guter KI-Agent-Harness sei weitgehend modellunabhängig: Wenn ein Harness mit einem Modell gut funktioniert, lasse sich derselbe Aufbau auch mit einem anderen Modell sinnvoll betreiben. FrontierHarness Eval v1.1 widerlegt diese Vereinfachung. Die neue Auswertung zeigt, dass die Kombination aus Modell und Harness den Preis und die Erfolgsquote gemeinsam bestimmt.
Für den Test wurden 83 Milliarden Tokens über 27.280 Agenten-Durchläufe verbraucht. Fünf Modelle, 22 Harness-Konfigurationen, 62 Aufgaben und jeweils vier Versuche bilden den Rahmen des bislang größten Harness-Leaderboards dieser Art. Besonders wichtig ist nicht nur der jeweilige Sieger, sondern die Erkenntnis, dass ein Wechsel des Modells häufig auch einen Wechsel des Harnesses rechtfertigt.
Die Analogie, die dabei hilft, ist die eines Werkzeugkastens für ein bestimmtes Material. Ein Modell liefert nicht nur eine bestimmte Qualität, sondern verändert auch, wie viel Aufwand bis zum fertigen Ergebnis nötig ist. Der Harness bestimmt, wie geschickt dieses Material eingesetzt wird. Zwei gute Einzelkomponenten ergeben deshalb nicht automatisch die beste Gesamtlösung.
Was FrontierHarness Eval v1.1 neu misst
Die Version 1.0 verglich neun Harness-Konfigurationen ausschließlich mit Kimi K3. Die Version 1.1 erweitert den Vergleich auf fünf Modelle und 22 getrennt gewertete Konfigurationen. Damit ist der Umfang nach Angaben der Entwickler um den Faktor 76 gewachsen. Baseten stellte dafür die Inferenz bereit, während Harbor jeden Durchlauf orchestrierte und bewertete.
Getestet wurden GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash-1017, Muse und Kimi-K3. Bei den Harnesses handelte es sich um 18 verschiedene Systeme. Vier DeepSeek-Harness-Profile besitzen unterschiedliche Werkzeugausstattungen und zählen deshalb einzeln. OpenCode wurde in zwei Versionen geprüft. Zusammen ergeben sich 22 Konfigurationen, die jeweils mit allen fünf Modellen liefen.
Die 62 Aufgaben waren Terminal-Aufgaben mit Zeitlimits zwischen 15 Minuten und acht Stunden. Jeder Versuch erhielt eine frische Runta-Laufzeit, die nach der Auswertung wieder entfernt wurde. Dadurch konnten Dateien oder Ergebnisse eines vorherigen Durchlaufs nicht in den nächsten hineinwirken. Das klingt technisch, ist aber methodisch entscheidend: Ein Harness kann nur dann zuverlässig verglichen werden, wenn die Startbedingungen weitgehend gleich bleiben.
Pass Rate und Kosten ergeben das eigentliche Ranking
Eine hohe Erfolgsquote allein reicht als Auswahlkriterium nicht. Schließlich soll ein Agent nicht nur häufig erfolgreich arbeiten, sondern dabei auch möglichst wenig kosten. Die Auswertung verwendet deshalb zwei Kennzahlen: die durchschnittlichen Kosten pro Aufgabe und die Kosten pro bestandenem Test. Letztere teilt den Aufwandswert durch die Pass Rate und beschreibt, wie teuer ein erfolgreicher Abschluss im Mittel ist.
Für das Gesamtleaderboard liegt OpenCode v2 mit durchschnittlich 0,561 Dollar pro Aufgabe am günstigsten. Pi, Codex CLI und ZCode bilden die weitere starke Gruppe, wobei ZCode mit 61,9 Prozent die höchste Pass Rate erreicht. Die übrigen Harness lagen bei Pass Rates zwischen 50,6 und 60,2 Prozent, verbrauchten aber bis zu 1,6-mal so viele Kosten. Das ist die entscheidende Abwägung: Ein teurerer Harness kann mehr liefern, ohne insgesamt wirtschaftlicher zu sein.
Als beste Wert-Kombination wurde zunächst der günstigste Harness pro bestandenem Test gewählt. Eine Ausnahme galt, wenn eine Alternative höchstens 30 Prozent mehr pro Erfolg kostete und zugleich mindestens fünf Prozentpunkte häufiger bestand. Diese Regel bevorzugt ZCode gegenüber OpenCode v1 bei DeepSeek und Alma gegenüber Oh My Pi bei Kimi-K3. Sie stellt nicht nur den billigsten Kandidaten heraus, sondern berücksichtigt einen begrenzten Leistungsaufschlag.
Die Kosten basieren auf den Listenpreisen von Baseten und den vom Anbieter gemeldeten Tokenmengen. Für 208 Durchläufe lagen keine Preisdaten vor. Infrastrukturfehler wurden nicht gewertet, sondern erneut ausgeführt. Timeout-Ergebnisse gelten dagegen als gültiger Befund. Auch Versuche mit Belohnungshacking erhielten keine Sonderbehandlung, sondern zählen als Fehler.
Eine Prüfung der Protokolle kennzeichnete 216 Durchläufe wegen potenziellen Reward-Hackings, davon 163 wegen einer Online-Lösungssuche. Diese Versuche erhielten null Punkte. Das verhindert, dass ein Harness künstlich gut abschneidet, weil er Aufgaben extern löst, statt die vorgesehenen Werkzeuge und lokalen Informationen zu verwenden.
Die besten Harness-Kombinationen nach Modell
Für GLM-5.3 lag Codex CLI mit 0,803 Dollar pro bestandenem Test an der Spitze. Bei GLM Flash übernahm Pi diese Position mit 0,223 Dollar. ZCode war bei DeepSeek mit rund 0,177 Dollar pro bestandenem Test am besten, während Oh My Pi bei Muse hervorragte. Für Kimi-K3 lag Alma vorn, knapp vor Oh My Pi.
Besonders auffällig ist die Bewegung von Codex CLI. Mit GLM-5.3 war der Harness der günstigste pro erfolgreichem Abschluss, mit Kimi-K3 hingegen nur der zehnte dieser Rangfolge. Der Median der Harness verschob sich beim Vergleich der Kosten pro Aufgabe zwischen den Modellen um 11 von 22 Plätzen. Das spricht deutlich gegen die Annahme, es gebe einen für alle Modelle gleichermaßen optimalen Harness.
Die Ranglisten sind allerdings nicht nur Produkte zufälliger Messschwankungen. Eine Zufallsverteilung der Versuche innerhalb jeder Modellgruppe erzeugte bei den Verhältnissen zwischen günstigster und teuerster Konfiguration lediglich Medianwerte von 1,2 bis 1,8. Die realen Spannweiten lagen mit 1,8 bis 5,0-mal darüber. In allen fünf Fällen lagen die echten Verhältnisse über den Ergebnissen sämtlicher 300 Wiederholungen.
Die statistische Sicherheit unterscheidet sich allerdings zwischen den eindeutigen und den knappen Siegern. Codex CLI mit GLM-5.3 blieb in 99,6 Prozent der 4.000 erneut gezogenen Stichproben auf Rang eins. Die übrigen Sieger waren deutlich weniger eindeutig: Oh My Pi bei Muse erreichte 53 Prozent, ZCode bei DeepSeek 47 Prozent, Pi bei GLM Flash 42 Prozent und Alma bei Kimi-K3 25 Prozent. Bei diesen Modellen existieren mehrere ähnlich starke Optionen, deren Reihenfolge von der Stichprobe abhängt.
Warum das Modell die Kosten dominiert, der Harness aber trotzdem zählt
Eine Varianzanalyse zerlegt die Unterschiede in den durchschnittlichen Kosten pro Aufgabe in drei Anteile. Auf das Modell entfallen 92,8 Prozent, auf den Harness 2,3 Prozent und auf die konkrete Kombination 4,9 Prozent. Das Modell bestimmt somit den Großteil des Kostenniveaus. Schon eine kleine Veränderung der Tokenpreise oder der benötigten Antwortlänge verschiebt die gesamte Rechnung deutlich stärker als ein Wechsel zwischen ähnlich effizienten Harnesses.
Die entscheidende Einschränkung lautet: Der reine Modelleffekt ist nicht die gesamte Geschichte. Bei festgehaltenem Modell machen 68 Prozent der Variation zwischen Harnesses entweder die Paarung oder statistisches Rauschen aus. Mit anderen Worten, Harness und Modell sind gemeinsam relevant. Wer nur einen globalen „besten Harness“ sucht, misst die falsche Größe.
Auch teurere Ergebnisse sind nicht automatisch besser. Die Korrelation zwischen Kosten pro Aufgabe und Pass Rate reichte je nach Modell von -0,39 bis +0,22. In vier von fünf Modellen bestand das teuerste Harness weniger häufig als das günstigste. Der Harness mit der höchsten Pass Rate landete bei den Kosten pro Aufgabe nur auf Platz fünf bis 20. Mehr Ausgaben erzeugen somit nicht automatisch mehr verlässliche Abschlüsse.
Besonders deutlich wird dies bei DeepSeek. Cline CLI kostete dort gemessen an OpenCode v1 rund 5,0-mal so viel pro Aufgabe und lag lediglich zwei Prozentpunkte in der Pass Rate vorn. Bei den anderen Modellen lag der günstigste Harness pro Aufgabe höchstens 0,4 Punkte hinter dem teuersten. Gerade bei DeepSeek erzeugte die Wahl der Tool- und Agentenstrategie also einen erheblichen wirtschaftlichen Unterschied bei nahezu gleichbleibender Qualität.
Was die Kostenanalyse über die Architektur verrät
Eine einfache Erklärung wie „mehr Werkzeuge machen einen Harness teurer“ hält der Untersuchung nicht stand. Promptgröße, Anzahl der verfügbaren Tools und Cache-Trefferquote korrelieren nicht stark mit den Kosten pro bestandenem Test. Stattdessen rückt die Zahl der Schritte in den Vordergrund. Ein Schritt bezeichnet einen Eintrag in der Trajektorie des Agenten, also einen zusätzlichen Handlungs- und Rückmeldungszyklus.
Das ist praktisch bedeutsam. Ein Harness kann durch seine Systemanweisungen, seine Werkzeugdefinitionen oder seinen Caching-Mechanismus zwar Tokens einsparen. Die größere Hebelwirkung entsteht jedoch dort, wo der Agent weniger Schritte benötigt, um eine Aufgabe zuverlässig abzuschließen. Jeder zusätzliche Schritt verbraucht nicht nur Tokens, sondern vergrößert auch die Wahrscheinlichkeit, dass der Agent in eine Fehlspur gerät oder ein Problem unnötig lange bearbeitet.
Die Benchmark misst allerdings nur Beobachtbares. Ohne eine vollständige qualitative Auswertung der konkreten Agentenverläufe lässt sich nicht bestimmen, ob ein Harness effizienter plant, seine Werkzeuge gezielter auswählt oder Fehler schneller korrigiert. Für die praktische Entscheidung bleibt die Aussage dennoch klar: Die Anzahl der Ausführungsschritte gehört neben Tokenpreis und Pass Rate in die Auswahl eines Harnesses.
FrontierHarness als Entscheidungsgrundlage für den Produktiveinsatz
Der wichtigste praktische Schluss aus FrontierHarness Eval v1.1 lautet nicht, dass ein einzelner Harness alle anderen ersetzt. Er lautet, dass Modellwechsel und Harness-Auswahl gemeinsam geplant werden sollten. Wer von GLM-5.3 zu Kimi-K3 wechselt, kann nicht einfach die bestehende Agentenkonfiguration beibehalten und dieselbe Qualität erwarten.
Für einen Produktiveinsatz bietet das Leaderboard eine vernünftige Ausgangsbasis. Zuerst wird das passende Modell anhand von Qualität und Preis gewählt. Danach lohnt es sich, die kostengünstigsten und leistungsstärksten Harness-Konfigurationen für genau dieses Modell zu vergleichen. Bei eindeutigen Ergebnissen wie Codex CLI mit GLM-5.3 ist die Entscheidung leicht. Bei engeren Paarungen, etwa Alma und Oh My Pi mit Kimi-K3, sollte zusätzlich mit eigenen Aufgaben getestet werden.
Auch der Einsatzumfang bleibt relevant. Das Leaderboard basiert auf Terminal-Aufgaben, nutzt Standardeinstellungen der Harness, maximale Reasoning-Anstrengung und eine gemeinsame Harbor-Infrastruktur. Die Ergebnisse übertragen sich daher nicht automatisch auf IDE-Integrationen, spezialisierte Workflows oder Unternehmensdaten. Sie zeigen aber deutlich, wo eine pauschale Harness-Empfehlung falsch wäre.
FrontierHarness Eval v1.1 liefert damit mehr als eine Rangliste. Es verlagert die Leitfrage von „Welcher Harness ist am besten?“ zu „Welche Kombination liefert pro Dollar den verlässlichsten Abschluss?“. Genau diese Kombination entscheidet im Alltag, ob ein KI-Agent wirtschaftlich arbeitet. Der Harness bleibt wichtig, aber nicht als isolierter Favorit. Er ist die Schnittstelle, durch die ein bestimmtes Modell praktisch wirksam wird.
Quelle: runta.com
