„Bei ihrer niedrigsten Einstellung behielten vier der sieben Modelle mindestens 80 Prozent ihres Vals-Index-Scores – bei der Hälfte der Kosten oder weniger.“ Mit diesem Satz beginnt eine Messreihe, in der sieben Frontier-Modelle auf drei Denkstufen gegeneinander antreten. Er beschreibt, worum es bei Reasoning-Effort inzwischen geht: nicht darum, ob ein Modell klug ist, sondern darum, wie viel Klugheit man bezahlt. Wer ein Modell über eine API oder in einem Agenten betreibt, entscheidet mit jeder Anfrage über zwei Dinge – über die Qualität der Antwort und über die Rechnung am Monatsende.
Grundlage der Auswertung ist der Vals Index, ein einzelner Wert für die wirtschaftliche Wirkung von KI. Er fasst die Leistung agentischer Modelle in Finanzen, Coding, Recht und Steuern zusammen, gewichtet nach dem Anteil dieser Branchen am US-Bruttoinlandsprodukt. Ein Modell erscheint dort erst, wenn alle acht Benchmarks einen Score haben. Diese acht Benchmarks sind der Prüfstand, auf dem die Autoren den Zusammenhang von Reasoning-Effort, Score und Kosten messen.
Der Denkaufwand wirkt wie ein Schmierblatt, nicht wie ein Qualitätsschalter
Reasoning-Tokens lassen sich wie die Nebenrechnungen auf einem Schmierblatt vorstellen. Ein Modell, das eine Aufgabe löst, notiert Zwischenschritte: Annahmen, Varianten, verworfene Wege, Gegenproben. Je mehr Platz es auf diesem Blatt bekommt, desto mehr Zwischenschritte produziert es – und jeder davon wird als Token abgerechnet. Das Blatt ist kein Nebenschauplatz, sondern der eigentliche Posten auf der Rechnung.
Der Regler dreht aber keine Antwort von falsch auf richtig. Er erhöht die Wahrscheinlichkeit, dass eine schwierige Aufgabe sauber durchgerechnet wird. Bei einer leichten Aufgabe ändert sich am Ergebnis nichts: Das Modell schreibt mehr Nebenrechnungen, die niemand liest, und antwortet gleich. Der Aufwand ist eine Versicherung gegen Denkfehler, keine Garantie auf bessere Ergebnisse.
Die Kosten fallen deutlich schneller als der Score
Getestet wurden DeepSeek V4.1 Flash, Grok 4.7, Muse Spark 1.3, GPT-6 Astra, Claude Opus 5.5, GLM-5.3 und Gemini 4 Argon – jedes Modell auf seiner niedrigsten Stufe, einer mittleren und der Stufe, die auf dem Leaderboard läuft, meist der höchsten. Die Ergebnisse: Gemini 4 Argon hält 99 Prozent seines Scores für 84 Prozent der Kosten. DeepSeek V4.1 Flash kommt auf 89 Prozent für 50 Prozent, GPT-6 Astra auf 88 Prozent für 18 Prozent, Grok 4.7 auf 86 Prozent für 16 Prozent, GLM-5.3 auf 81 Prozent für 53 Prozent, Opus 5.5 auf 80 Prozent für 16 Prozent und Muse Spark 1.3 auf 77 Prozent für 29 Prozent.
Auffällig ist das Verhältnis. Bei GPT-6 Astra, Grok 4.7 und Opus 5.5 fällt der Preis auf knapp ein Sechstel, während der Score nur auf 80 bis 88 Prozent sinkt. Der letzte Schluck aus der Flasche ist der teuerste. Bei Gemini 4 Argon liefert die mittlere Stufe sogar einen leicht höheren Score als die Leaderboard-Stufe, bei 78 Prozent der Kosten – günstiger als die eigene niedrigste Einstellung. Solche Ausreißer zeigen, dass die Bezeichnungen der Anbieter nicht deckungsgleich sind: Was bei einem Hersteller mittel heißt, kann bei einem anderen etwas anderes bedeuten.
Alle Läufe fanden auf derselben festen Teilmenge der jeweiligen Benchmarks statt, etwa der Hälfte der Aufgaben. Diese Teilmengen wurden so gewählt, dass sie die Modelle in derselben Reihenfolge sortieren wie der vollständige Benchmark. Gerechnet wird mit Listenpreisen, und jeder Vergleich nutzt einen paarweisen Bootstrap-Test über dieselben Aufgaben, korrigiert nach Benjamini-Hochberg. Ein Unterschied zählt als signifikant, wenn der korrigierte p-Wert unter 0,05 liegt.
In 22 von 56 Fällen war die günstigere Stufe nicht schlechter
Aus sieben Modellen und acht Benchmarks ergeben sich 56 Kombinationen. In 22 davon erreichte eine günstigere Einstellung denselben Score wie die Leaderboard-Stufe, zu niedrigeren Kosten. In keinem dieser Fälle lag die billigere Variante signifikant über der teuren. In 33 Fällen lag sie signifikant darunter. Der Rest war statistisch nicht unterscheidbar – was nicht heißt, dass die Werte gleich sind, sondern nur, dass die Datenmenge für einen Nachweis nicht reicht.
Auf Ebene des Gesamtindex sieht es anders aus. Keines der sieben Modelle hielt mit seiner niedrigsten Einstellung den Leaderboard-Score. Der Befund ist kein Freibrief, sondern eine Frage der Auflösung: Auf der Aggregatsebene verliert die billige Variante messbar, auf der Ebene einzelner Aufgaben oft nicht. Wer KI-Benchmarks nach Score und Kosten vergleicht, sollte dazusagen, auf welcher Ebene er argumentiert.
Manche Benchmarks brauchen das Nachdenken, andere kaum
Wie viel mehr Reasoning bringt, hängt stark von der Aufgabe ab. In Legal Research liegt der Median der Score-Differenz zwischen höchster und niedrigster Stufe bei 19,2 Punkten, in Code Migration 1.1 bei 15,6, in Terminal-Bench 4 bei 12,1, in Tax Agent Bench bei 11,5 und in Vibe Code Bench bei 10,6 Punkten. Finance Agent 2.1 kommt auf 5,0, HLAB 1.1 und EMB 1.1 auf jeweils 3,3 Punkte.
Es gibt Aufgaben, bei denen sich langes Nachdenken auszahlt, und solche, bei denen es fast nur Geld kostet. Rechtliche Prüfungen und Code-Migrationen verlangen offenbar viele Zwischenschritte, weil sie mehrdeutige Randbedingungen und Gegenproben enthalten. Einfache Extraktions- oder Klassifikationsaufgaben kommen mit dem halben Schmierblatt aus. Wer mit wenig Reasoning-Aufwand fährt, verliert dort wenig und woanders spürbar.
Die Orakelrechnung zeigt die Obergrenze: sechs Punkte für zwei Drittel der Kosten
Die Autoren haben zusätzlich gefragt, was ein perfektes Routing bringen würde. Dafür wurde im Rückblick für jede Aufgabe die billigste Einstellung gewählt, die den besten Score erzielte. Im Median ergab das 6,0 Punkte mehr als die Leaderboard-Einstellung, bei 64 Prozent der Kosten. Je nach Modell fällt das anders aus: Opus 5.5 kommt auf 50 Prozent der Kosten, Grok 4.7 auf 55, DeepSeek V4.1 Flash auf 62, GPT-6 Astra auf 64, GLM-5.3 auf 76, Muse Spark 1.3 auf 80 und Gemini 4 Argon auf 84 Prozent.
Das ist eine Obergrenze. Ein reales System muss sich entscheiden, bevor es das Ergebnis kennt, und schneidet deshalb schlechter ab als der Blick zurück. Die Rechnung zeigt außerdem: Selbst mit perfektem Wissen kostet aufgabenspezifisches Routing mehr als die simple Variante, alles auf der niedrigsten Stufe laufen zu lassen – 64 Prozent gegen 29 Prozent – und bringt nur sechs Punkte. Ob niedrige oder höchste Reasoning-Einstellung günstiger ist, hängt also vom Ziel ab.
Was das für den Betrieb heißt – und wo die Zahlen enden
Die Autoren benennen die Grenzen ihrer Messung. Die Scores beruhen auf der halben Aufgabenmenge und rauschen dadurch stärker als die veröffentlichten Zahlen, für die meisten Benchmarks existiert nur ein Lauf pro Einstellung. Ein nicht signifikanter Unterschied bedeutet nicht Gleichheit, sondern möglicherweise nur, dass der Test einen kleinen echten Effekt nicht sieht. Außerdem stammen die Leaderboard-Läufe meist aus früheren Monaten, die übrigen aus Oktober – Änderungen auf Anbieterseite dazwischen lassen sich nicht ausschließen.
Für die Praxis ergibt sich trotzdem eine Richtung. Die Standardeinstellung auf hoch zu setzen ist teuer und bringt auf vielen Aufgaben nichts. Sinnvoller ist ein zweistufiges Vorgehen: niedrig starten und nur dort eskalieren, wo die Aufgabe nachweislich von Zwischenschritten profitiert – bei mehrdeutigen Prüfungen, Code-Migrationen und Rechenketten mit vielen Randbedingungen. Das senkt die Inferenzkosten pro KI-Anfrage, ohne dass die Qualität dort einbricht, wo sie zählt.
Der Benchmark ersetzt aber keine eigene Messung. Wer Kosten pro KI-Anfrage senken will, sollte die drei Stufen auf den eigenen Aufgaben durchmessen, nicht auf fremden. Die Auswertung liefert dafür eine Vorlage: Score und Kosten pro Aufgabentyp getrennt erfassen, die billigste Variante mit vollem Score suchen und dann über die Standardeinstellung entscheiden. Damit wird Reasoning-Effort zu einem Parameter unter anderen, der sich in Zahlen begründen lässt.
Quelle: vals.ai
