Wie viel sagt ein einzelner KI-Benchmark noch aus? Der Intelligence Index v5 von Artificial Analysis gilt derzeit als wichtigste unabhängige Kennzahl für große Sprachmodelle. Bei Modellvorstellungen schauen viele fast automatisch auf diese Zahl. In einem Markt mit zweistelligen Milliardenumsätzen entscheidet sie mit, welche Modelle als Referenz gelten. Deshalb sollte man sich die Mechanik dahinter genauer ansehen. Je mehr Gewicht eine Rangliste bekommt, desto wichtiger wird die Frage, wie sie zustande kommt.
Ein Autor, der sich seit Jahren mit dieser Frage beschäftigt, schreibt in seinem Blogbeitrag zu v5 trocken: Scores nach oben zu treiben sei einfach, dafür gebe es ein eingespieltes Rezept. Schwerer sei die Frage, was man überhaupt nach oben treiben sollte. Das trifft den Kern. Unabhängige Evaluation gilt öffentlich als Nebenaufgabe. Sie ist technisch anspruchsvoll und wirkt stark darauf, welche Fähigkeiten trainiert werden – und welche nicht.
Vier Bereiche mit je 25 Prozent: so ist der Index v5 aufgebaut
Der Index v5 verteilt sein Gewicht gleichmäßig auf vier Felder, jedes davon zu 25 Prozent. Im Bereich Knowledge Work zählen AA-Briefcase mit 15 Prozent, AutomationBench-AA mit 5 Prozent und GDP.pdf mit 5 Prozent. Beim Coding entfallen 15 Prozent auf FrontierCode 2.0 und 10 Prozent auf Terminal-Bench 4.0. Für Wissenschaft stehen Terminal-Bench-Science mit 15 Prozent und ein harter Ausschnitt von CritPt v2 mit 10 Prozent. Der allgemeine Teil kombiniert AA-Omniscience v1.1 mit 15 Prozent – davon 10 Prozent für Treffsicherheit und 5 Prozent dafür, nicht zu halluzinieren – sowie HLE-Diamond mit 10 Prozent.
Die Aufteilung ist symmetrisch. Vier gleich große Blöcke zeigen: Hier wird keine einzelne Fähigkeit bevorzugt, sondern ein Bündel. Das ist eine Entscheidung gegen Spezialisierung und für ein Gesamtzeugnis. Die Anbieter beschreiben den Index als Abbild dessen, was heute mit Modellen gemacht wird. Die reale Nutzung ist aber, wie der Autor anmerkt, sehr ungleichmäßig – so ungleichmäßig wie die Modelle selbst. Am besten belegt ist Coding: Dort sind offene Modelle deutlich konkurrenzfähiger als in den anderen Bereichen.
Wie aus Einzelwerten eine Punktzahl wird
Das lässt sich mit einem Zehnkampf vergleichen. Am Ende steht eine Punktzahl, mit der sich Athleten vergleichen lassen, obwohl ihre zehn Disziplinen kaum etwas miteinander zu tun haben. Das geht nur, weil vorher jemand festgelegt hat, wie ein Sprint gegen ein Kugelstoßen zu verrechnen ist. Jede dieser Verrechnungen ist angreifbar. Trotzdem braucht man sie, sonst bleibt nur ein unübersichtlicher Haufen Einzelzahlen. In dieser Lage steckt jeder Benchmark für Sprachmodelle.
Die Aggregation von Benchmark-Scores ist kein technisches Detail, sondern eine Wertentscheidung. Wer aggregiert, legt fest, welche Fehler schwerer wiegen und welche Domänen als zentral gelten. Ein Index, der Halluzinationen mit fünf Prozent gewichtet, sagt damit: Das Thema ist wichtig, aber nicht das wichtigste. Man kann das anders sehen und anders gewichten. Darum ist die eine Zahl, die alles zusammenfasst, immer auch eine Erzählung. Der Autor erwartet, dass die Ära solcher Einzelindizes langsam enden sollte – rechnet aber mit einem sehr langen Übergang.
Die Rangliste und der Abstand zu offenen Modellen
Das neue Ranking wirkt zunächst plausibel, hat aber Bruchstellen. In der vom Autor zitierten Rangliste liegt GPT 6.1 Terra vor Claude Fable 5.1 – ein Ergebnis, das irritieren kann, wenn man den eigenen Alltag mit Modellen vergleicht. Dazu kommt eine kursierende Grafik: Sie zeigt acht geschlossene Modelle vor dem besten offenen Gewichtsmodell Kimi K3.1 Pro. Das ist der Streitpunkt. Ein Index, der die Richtung der Frontier misst, vergrößert die Lücke zu offenen Modellen. Das kann eine begründbare Entscheidung sein. Es birgt aber das Risiko, die wirtschaftlich relevante Mitte der Branche aus dem Blick zu verlieren.
Der Autor hält den Niedergang offener Modelle trotzdem für übertrieben. Er räumt ein, dass der vorherige Index offene Gewichte zu freundlich behandelt hat. Für den nächsten Modellzyklus in zwei bis drei Monaten erwartet er deutliche Sprünge. Seine Erklärung für die Lücke ist nüchtern: Die besten offenen Modelle trainieren ein wenig auf die Tests hin, die schlechtesten sehr stark. Ein weiterer Faktor sind Reinforcement-Learning-Umgebungen, deren Datenverteilung den Evaluationsaufgaben nahe liegt. Wer dort einen ausgereiften Stack hat, hält leichter mit. Nicht jedes offene Labor kann das.
Private Benchmarks: mehr Schutz, weniger Kontrolle
Ein zweiter Teil der Ankündigung betrifft private Benchmarks, bei denen Prompts und Testumgebungen nicht öffentlich sind. Die Begründung ist nachvollziehbar: Sind die Aufgaben sichtbar, lässt sich leichter Trainingsmaterial dafür erzeugen. Der Autor hält den Schritt für verteidigbar, weist aber auf den Preis hin. Wer die Aufgaben verbirgt, verzichtet auf Fehlerkorrektur durch die Community – und die hat in der Vergangenheit oft gegriffen. Bei so viel Geld auf dem Spiel plädiert er für Transparenz, damit viele Augen Fehler finden.
Der Punkt ist grundsätzlicher, als er klingt. Ein öffentlicher Benchmark ist Infrastruktur, an der viele mitbauen; diese Mitarbeit ist Teil seiner Qualität. Ein privater Test ist dagegen eine Blackbox mit gutem Ruf, die sich nicht überprüfen lässt. Beides hat Kosten, nur fallen sie anders an: einmal als Übertraining, einmal als blindes Vertrauen.
Wem man bei der Bewertung von KI-Modellen vertrauen kann
Damit kommt die unbequemste Frage der Debatte: die nach den Interessen. Artificial Analysis finanziert sich unter anderem dadurch, dass Labs ihre Ergebnisse kostenpflichtig verifizieren lassen. Das ist ein legitimes Geschäftsmodell, erzeugt aber Abhängigkeit. Andere Anbieter haben ähnliche Konstruktionen, etwa wenn vorab getestete Modelle vor dem Release geprüft werden. Der Autor trennt zwei Dinge, die oft vermischt werden: Fairness und Genauigkeit. Am ehesten fair seien gemeinnützige Organisationen, akademische Gruppen und staatliche Stellen. Am ehesten präzise an der Frontier seien junge Unternehmen.
Dazu kommt eine Verschiebung, die den Index schmeichelt, ohne dass er es beabsichtigt. Die großen geschlossenen Anbieter konzentrieren sich längst auf interne Forschungsautomatisierung und auf Kunden mit sehr großen Budgets. Öffentliche Benchmarks spielen dort nur noch am Rand eine Rolle. Für kleinere und mittlere Labs ist der Auftritt in diesen Ranglisten dagegen existenziel, weil die eigene Marke vom Aufholen zur Frontier abhängt. So entsteht ein Wettlauf: Die einen schauen kaum noch hin, die anderen umso genauer.
Was ein einzelner Score im Alltag taugt
Im Alltag heißt das nicht, den Index zu ignorieren. Behandle ihn als Einstieg. Schau dir die vier Blöcke einzeln an, bevor du eine Rangfolge zitierst, und prüfe, ob der Block zu deiner Aufgabe aussagekräftig besetzt ist. Wer KI-Modelle vergleichen will, kommt um einen eigenen kleinen Test mit echten Ausschnitten aus der eigenen Arbeit nicht herum. Ein Benchmark sagt, wo du anfangen solltest zu schauen. Das Messen im eigenen Kontext ersetzt er nicht.
Der Befund ist soziologisch, nicht technisch. Kein Score ist perfekt, und jedes Aggregat lässt Spielraum. Wer einem zu dominanten Index begegnen will, braucht mehrere Indizes mit unterschiedlichen Verzerrungen und liest sie gegeneinander. Bis dahin bleibt Intelligence Index v5 eine Orientierung – mehr nicht.
Quelle: interconnects.ai
