Ein Datenanalyst sitzt vor einem Dashboard und hat soeben eine Anfrage an einen KI-Agenten geschickt. Die Frage: Hat die Marketingkampagne „Midwest acquisition v2″ den Einsatz gelohnt? Der Agent rechnet, summiert und liefert nach wenigen Sekunden eine klare Antwort: Nein, die Kampagne war das Geld nicht wert. Der Analyst nickt zufrieden, bis er bemerkt, dass die zugrunde liegenden Daten gar nicht existieren. Es gibt schlicht keinen Tracking-Code für die Kampagne. Der Agent hat sich die Zahlen aus dem Zusammenhang heraus erfunden – mit einer Selbstsicherheit, die menschliche Analysten verblüfft.
Genau dieses Szenario beschreibt das Team von Hex, einer Plattform für kollaborative Datenanalyse, in ihrem neuen Benchmark. Sie nennen ihn DataBench. Die Lektion daraus ist unbequem: Die größte Stärke großer Sprachmodelle – ihre Fähigkeit, aus Kontext Wahrscheinlichkeiten zu berechnen – wird in der Datenanalyse zur tödlichen Schwäche, weil sie keine intrinsische Skepsis kennen. Die Ergebnisse betreffen jeden, der mit Daten arbeitet.
Warum herkömmliche Benchmarks ein falsches Bild zeichnen
Die führenden KI-Modelle glänzen auf etablierten Benchmarks wie Spider 2.0 oder DABstep mit Erfolgsraten von über 85 Prozent. Sonnet 4.5 von Anthropic erreicht 90 Prozent, Claude Haiku 4.5 liegt bei 89 Prozent. Auf dem Papier wirkt die Datenanalyse damit nahezu gelöst. Doch das Team von Hex argumentiert, dass diese Benchmarks eine Realität abbilden, die mit der Arbeit echter Datenanalysten wenig zu tun hat.
Die Aufgaben dort sind präzise formuliert, die Datenbanken sauber aufgeräumt, die Ziele glasklar. Es gibt genau eine richtige Antwort, oft sogar einen vorgegebenen SQL-Code als Vergleich. „Das ist wie Krafttraining im Fitnessstudio“, schreibt der Autor des Beitrags, „beeindruckend, aber nicht der Alltag.“ Echte Anfragen in Unternehmen sind vage, mehrdeutig und mit impliziten Annahmen durchsetzt. Ein Analyst fragt nicht: „Berechne die Summe aller Umsätze für Produktkategorie X im Zeitraum Y.“ Er fragt: „Sollten wir unsere Preisstrategie in Europa überdenken?“ – und erwartet eine Empfehlung, keine Zahl.
Die Diskrepanz zwischen Benchmarktests und realen Anforderungen ist das Kernproblem, das DataBench adressiert. Die Entwickler haben 100 realistische Aufgaben aus der Nutzung ihrer eigenen Plattform gesammelt, anonymisiert und in eine synthetische Geschäftswelt namens Shorelane Commerce eingebettet. Die Aufgaben reichen von einfachen Datenabfragen bis zu komplexen Entscheidungsszenarien mit Fallstricken, die bewusst an die Grenzen der Modelle führen.
Die unbequeme Wahrheit über Datenqualität und geteilte Verantwortung
Die Ergebnisse von DataBench zeigen ein ernüchterndes Bild: Selbst die besten Modelle scheitern an Aufgaben, die für Menschen trivial erscheinen. Die Hälfte der Testfälle beinhaltet chaotische Daten – widersprüchliche Metrikdefinitionen, fragmentierte Datensätze, veraltete Einträge. Hier zeigen die Modelle überraschende Stärke, solange die Absicht klar ist. Ein Beispiel: Die Aufgabe verlangt die aktuelle USD-Pipeline für einen historischen Bericht mit Stichtag 15. Januar – eine scheinbar simple Abfrage, die aber erfordert, dass der Agent den Datenbestand auf den damaligen Zustand zurückspult. 29 von 32 Modellkonfigurationen meistern das.
Doch sobald die Anweisung vage wird oder der Kontext Interpretationsspielraum lässt, kippt die Bilanz. Bei offenen, delegierten Entscheidungen sinkt die Erfolgsquote auf 66 Prozent, bei speziell konstruierten „Fallen“ – Aufgaben mit einer plausiblen, aber falschen Antwort – sogar auf 54 Prozent. Das Team spricht von einem „verfluchten Bereich“: In der Datenanalyse sehen einfache Fragen schwer aus, schwere Fragen leicht, und viele Fragen sind schlicht unmöglich zu beantworten, weil die Datenlage es nicht hergibt.
Ein konkretes Beispiel ist die Aufgabe mit den zwei Abrechnungssystemen, die unterschiedliche Aussagen darüber treffen, welche Kunden säumig sind. Die naheliegende Lösung – alle Kunden anzurufen, über die sich die Systeme uneinig sind – wird durch Daten im System gestützt. Doch diese Daten sind veraltet: Die meisten fraglichen Konten haben längst bezahlt, nur die Sync-Prozesse haben das nicht erfasst. Nur Opus 5 von Anthropic erkennt die Falle. Alle anderen Modelle folgen dem naheliegenden Pfad – und scheitern.
Das Problem der erfundenen Sicherheit
Besonders beunruhigend ist ein Muster, das sich durch die Tests zieht: Modelle konstruieren Sicherheit, wo keine existiert. In einem Testfall geht es um die Frage, ob Bestellungen, die in mehreren Paketen geliefert werden, mehr Support-Tickets erzeugen. Opus 5 rechnet elf Minuten lang korrekt, um dann eine kausale Beziehung zu „verifizieren“, die schlicht nicht aus den Daten ableitbar ist. Die Analyse ignoriert den Kontext: Bestellungen werden nur dann geteilt, wenn das Lagerbestände verteilen muss – was typischerweise bei Engpässen passiert, die auch ohne die Pakettrennung zu Beschwerden führen.
Der Unterschied zwischen Korrelation und Kausalität ist für Modelle offenbar kaum überwindbar. Sie akzeptieren ihre eigenen Rechenergebnisse als Beweis für einen Mechanismus, den sie nur vermuten. Das Team von Hex nennt das „Herstellung von Gewissheit“ – ein Prozess, der die Modelle dazu bringt, ihre Ergebnisse zu überschätzen und menschliche Nutzer in die Irre zu führen.
Das ist kein Randphänomen. Die Entwickler berichten, dass sie bei fünf Aufgaben, die als „unlösbar“ konzipiert waren, die Bewertung ändern mussten, weil Fable 5 von Anthropic – eine der neuesten Modellgenerationen – elegantere Lösungen fand als die erwartete Antwort. Diese Mischung aus Brillanz und Arroganz macht die Arbeit mit KI-Agenten in der Datenanalyse zu einem ständigen Spagat zwischen Vertrauen und Kontrolle.
Die Kostenfrage: Wo günstige Modelle erstaunlich stark konkurrieren
DataBench zeigt auch, dass die Kosten-Nutzen-Rechnung vieler Unternehmen überdacht werden muss. Die „Pareto-Effizienzgrenze“ – ein Begriff für das beste Verhältnis von Kosten zu Genauigkeit – offenbart eine Überraschung: Das Modell GPT-5.6 Luna erreicht bei hohem Rechenaufwand fast die Leistung des deutlich teureren Sol – zu einem Bruchteil der Kosten. Das Team von Hex spricht von einem „absurden Preisleistungsverhältnis“. Während Fable 5 das einzige Modell ist, bei dem erhöhte Anstrengung keine negativen Effekte zeigt, verhält sich Opus 5 auf hohen Stufen erratisch.
Für Unternehmen bedeutet das: Das beste Modell ist nicht automatisch das wirtschaftlichste. Wer täglich hunderte Datenanalysen automatisiert ausführen lässt, kann mit einem günstigen Modell wie Luna erhebliche Kosten sparen – ohne signifikanten Qualitätsverlust bei Standardaufgaben. Bei kniffligen Fällen bleibt der Griff zu den großen Modellen unvermeidlich, aber die Schwelle, ab wann sich das lohnt, liegt deutlich höher als bisher angenommen.
Die Brücke zwischen Skepsis und Automatisierung
Die Autoren von DataBench lassen offen, ob sie eine Lösung für das Problem der mangelnden Modell-Skepsis haben. Ihr Rat ist bodenständig: Bleiben Sie neugierig, fragen Sie nach, testen Sie Ergebnisse, behalten Sie Ihr Urteilsvermögen. Sie versprechen, dass sie Bescheid geben, sobald man „das Gehirn ausschalten kann“ – ein Versprechen, das vermutlich noch lange uneingelöst bleibt.
Was DataBench konkret zeigt, ist, dass die Datenanalyse für KI-Agenten nicht nur eine technische, sondern eine kulturelle Herausforderung ist. Modelle müssen lernen, Unsicherheit zu kommunizieren statt Gewissheit zu erfinden. Sie müssen erkennen, wann eine Frage nicht beantwortet werden kann, und den Mut haben, das dem Nutzer mitzuteilen – auch auf die Gefahr hin, als weniger intelligent zu gelten. Denn in der Datenanalyse ist die Fähigkeit, die eigenen Grenzen zu kennen, wertvoller als jede errechnete Zahl.
Der Benchmark bleibt ein erster Versuch, wie die Entwickler selbst einräumen. Die 100 Aufgaben sind ein Ausschnitt, keine vollständige Landkarte des analytischen Denkens. Doch sie liefern ein wichtiges Signal für alle, die mit KI-Agenten arbeiten: Die Technologie ist mächtig, aber sie ist kein Ersatz für den gesunden Menschenverstand. Sie ist ein Werkzeug, das nachdenkliche Nutzer fordert – und belohnt.
Quelle: hex.tech
