Ein Sprachmodell arbeitet einen mehrstufigen Auftrag ab: Es liest den Systemprompt, wählt ein Werkzeug, füllt seinen Kontext, verwirft einen Zwischenschritt und versucht es erneut. Alles, was dabei um das Modell herum gebaut ist, also Systemprompt, Werkzeugliste, Ausführungshooks und die Verwaltung des Kontextfensters, läuft in der Forschung unter dem Begriff Harness. Ein Team um Zhou Yu untersucht in arXiv:2609.09134 dieses Zusammenspiel. Der Befund: Harness und Modellgewichte lassen sich nicht unabhängig voneinander verbessern.
Untersucht wurden sieben Enterprise-Agent-Aufgaben. Die Frage dahinter: Wie lassen sich automatische Harness-Evolution und leichtes Fine-Tuning kombinieren? Praktisch relevant ist das, weil Agenten für spezialisierte Unternehmensabläufe pro Token bei einem Frontier-Modell bezahlt werden. Kleineren Modellen dieselbe Aufgabenqualität beizubringen wäre rechnerisch attraktiv. Genau hier wird es kompliziert.
Der Harness ist Werkzeugkasten und Werkbank zugleich
Man kann sich den Harness wie einen Werkzeugkasten vorstellen, der um einen bestimmten Handwerker herum gepackt wurde. Steht der Hammer links statt rechts und der Schraubenschlüssel in Griffweite statt am Boden, arbeitet derselbe Handwerker schneller. Der Kasten selbst rechnet nicht, er strukturiert nur. Deshalb ist Harness-Optimierung für KI-Agenten attraktiv: Es ändert sich kein einziges Gewicht im Netz, und trotzdem werden die Ergebnisse besser.
Die Autoren haben einen solchen Kasten automatisiert weiterentwickelt, zunächst mit dem schwächeren Modell. Anschließend legten sie denselben, nun ausgereiften Harness einem stärkeren Expertenmodell vor. Der Experte schnitt besser ab als das schwache Modell. In dem optimierten Harness steckt also noch ungenutztes Potenzial: Wenn ein stärkeres Modell denselben Aufbau effektiver nutzt, fehlt dem schwächeren offenbar nicht nur Ausrüstung, sondern auch Können.
Wer solche Systeme baut, sollte das mitnehmen: Ein guter Harness hebt ein Modell nicht über sein eigenes Leistungsniveau hinaus. Er hilft ihm, das vorhandene Niveau auszuschöpfen. Wo das Niveau selbst nicht reicht, hilft Werkzeug allein nicht weiter.
Sieben Aufgaben, zwei Modellfamilien und ein Rückfall
Der nächste Schritt wäre naheliegend: Man nehme die vollständigen Trajektorien des Experten unter dem optimierten Harness und trainiere das schwächere Modell darauf. Klassisches Imitation Learning. Die Daten sind gut, das Verfahren ist bewährt, und unter dem unveränderten Harness funktioniert es.
Unter dem weiterentwickelten Harness sieht es anders aus. Die Autoren berichten, dass die Leistung in allen sieben Aufgaben zurückging, je nach Aufgabe um vier bis dreißig Punkte, geprüft über Qwen3-Coder und Gemma 4. Das ist kein Ausreißer, sondern ein systematischer Effekt über Modellfamilien hinweg. Er trat ausgerechnet dort auf, wo Nachahmung am sinnvollsten schien.
Die Imitation überträgt Wissen und erhöht sogar die Nutzung des Harness. Gleichzeitig beschädigt sie die Modell-Harness-Kompatibilität. Das schwache Modell übernimmt die Planungsstrategie des Experten, ohne dessen Fähigkeiten zu besitzen. Es verhält sich wie jemand, der den Plan eines Meisters auswendig gelernt hat, aber nicht dessen Handwerk beherrscht.
Warum Nachahmung die Passung zerstört
Der zweite Teil der Erklärung ist subtiler. Der Harness wurde um den ureigenen Planungsstil des schwachen Modells herum optimiert. Jede Abfolge von Werkzeugaufrufen, jede Kontextstrategie, jede Abbruchbedingung wurde an das angepasst, was dieses Modell tatsächlich tut. Sobald es durch Imitation einen anderen Stil übernimmt, passt der Harness nicht mehr zu ihm.
Man kann sich das wie einen Maßanzug vorstellen, der auf eine bestimmte Körperhaltung zugeschnitten wurde. Ändert der Träger seinen Gang, spannt der Stoff an Stellen, die vorher nie auffielen. Nicht weil der Anzug schlecht wäre und nicht weil der andere Gang falsch wäre, sondern weil beides nicht mehr zusammenpasst. Genau diese Passung ist der Punkt, an dem Harness-Evolution und Modelltraining sich gegenseitig untergraben.
Das erklärt, warum dasselbe Trainingsverfahren unter dem nicht weiterentwickelten Harness funktioniert. Dort ist der Aufbau generisch genug, um einen Stilwechsel zu verkraften. Je spezifischer ein Harness auf ein Modell zugeschnitten ist, desto teurer wird jede Veränderung am Modell selbst.
On-Policy-Korrektur: nur den einen misslungenen Schritt umschreiben
Die Autoren ziehen daraus eine andere Konsequenz. Statt das schwache Modell auf den vollständigen Experten-Trajektorien zu trainieren, lassen sie es zunächst selbst laufen, im eigenen Rollout, unter dem eigenen Harness. Dann wird der Moment lokalisiert, an dem der Lauf scheitert. Nur dieser eine Zug wird vom Experten neu geschrieben.
On-Policy-Korrektur für schwächere Sprachmodelle setzt dort an, wo das Modell falsch abbiegt, und betrifft nur die Stelle des Fehlers. Der Rest des Verhaltens bleibt unangetastet. Der Planungsstil des Modells wird bewahrt, die Werkzeugnutzung passt weiterhin zum Harness, und der Nutzen der Expertenhilfe kommt trotzdem an.
Der Unterschied zum klassischen Ansatz ist im Bild des Anzugs leicht zu fassen. Imitation Learning schneidert einen neuen Anzug um das Modell und wirft den alten weg. Die On-Policy-Korrektur lässt den Anzug, wie er ist, und bessert nur die eine Naht aus, die aufgeplatzt ist.
Ein Meta-Agent automatisiert die Fehlersuche
Die Autoren beschreiben eine Pipeline, die ein Meta-Agent automatisiert, also ein Modell auf einer höheren Ebene, das den MLE-Prozess selbst steuert. Dieser Meta-Agent übernimmt die Ablaufsteuerung der Modellverbesserung: Rollout auswerten, fehlerhaften Zug identifizieren, Korrektur anfordern, Ergebnis prüfen.
Das verschiebt die Arbeit von manueller Kuratierung zu automatisierter Agentenentwicklung. Trainingsdaten für jeden Domänenagenten von Hand zu pflegen ist teuer und skaliert schlecht. Eine Pipeline, die ihren eigenen Fehlerfall findet und sich von einem stärkeren Modell nur die eine Stelle korrigieren lässt, ist deutlich billiger. Der Experte wird punktuell eingesetzt, nicht als Generator für komplette Läufe.
Daraus ergibt sich eine Arbeitsteilung. Das starke Modell liefert Kompetenz in kleinen Dosen. Das schwache Modell liefert den Stil, an dem der Harness bereits hängt. Die Automatisierung sorgt dafür, dass beides ohne Handarbeit zusammenfindet.
Was das für den Bau eigener Agenten bedeutet
Die praktische Lehre: Wer Harness und Gewichte gleichzeitig verbessert, muss Reihenfolge und Datenmenge kontrollieren. Ein starkes Modell als Lehrmeister klingt verlockend, aber vollständige Trajektorien sind das falsche Übertragungsformat, sobald der Harness auf ein bestimmtes Modell zugeschnitten ist.
Für dich heißt das konkret: Wenn du einen KI-Agenten für Unternehmen kostengünstig trainieren willst, hilft ein automatisch evolvierter Harness schon viel. Willst du zusätzlich Gewichte anpassen, dann nicht auf fremden, sondern auf eigenen Läufen, und dann nur punktuell. Ob dein Aufbau diesen Konflikt hat, zeigt ein einfacher Test: Trainiere auf Experten-Trajektorien und miss, ob die Leistung unter dem optimierten Harness fällt. Wenn ja, hast du keinen Datenmangel, sondern ein Passungsproblem.
Die Autoren formulieren ihr Ergebnis als kompatibilitätsbewahrendes Rezept für wirtschaftliche Co-Evolution. Harness und Modell sind kein Baukasten aus unabhängigen Schrauben. Sie sind ein Paar, das sich aneinander anpasst, und jede Verbesserung auf einer Seite muss die andere Seite mitdenken.
Quelle: arxiv.org
