DeepsecBench ist ein neuer Benchmark für KI-gestützte Sicherheitsanalyse. Entwickelt von einem Team, das Sicherheitslücken automatisiert finden will, testet er, wie gut Modelle Schwachstellen in Anwendungsquellcode erkennen. Angreifer nutzen KI, aber Verteidiger kennen ihren eigenen Code von innen. DeepsecBench hilft, diesen Vorteil zu nutzen.
Was genau ist DeepsecBench?
Der Benchmark basiert auf einem Open-Source-Codebase, das kurz vor einem Commit voller Sicherheitsfixes steht. Das Team wählte 50 Einstiegspunkt-Dateien aus und erstellte einen goldenen Datensatz mit 231 manuell bestätigten Schwachstellen. Jedes Modell durchläuft diesen Test – dreimal, der Median fließt in die Wertung ein. Die Metrik: ein F2-Score, der Recall doppelt so stark gewichtet wie Precision. Die Logik: Eine übersehene Lücke bleibt ungepatcht, ein falscher Alarm verursacht nur kurze Verwirrung. Die Konstruktion des Benchmarks bleibt geheim – kein Modell kann sich auf die spezifischen Dateien oder Commit-Nachrichten trainieren. Das Ergebnis: Die besten Modelle finden im Schnitt etwa 30 Prozent der bekannten Schwachstellen.
Die Kosten der Fähigkeit sinken
Gründliche Sicherheitsanalyse war lange teuer. Nur leistungsstarke Modelle erkannten komplexe Lücken, Kosten im dreistelligen Dollarbereich für ein großes Codebase. Während Modelle wie GPT-5.6 Sol und Claude Opus 5 die Spitzenplätze belegen, bieten günstigere Modelle inzwischen respektable Leistung. Kimi K3 vom chinesischen Startup Moonshot AI erreicht einen Score von 17,56 für 12,38 Dollar – etwa die Hälfte der Spitzenleistung, aber ein Fünftel der Kosten. Grok 4.5 von xAI erzielt mit 15,58 für 5,60 Dollar ein fast gleichwertiges Ergebnis. GPT-5.6 Sol auf mittlerer Einstellung bietet mit 25,10 und Kosten von 17,95 Dollar das beste Preis-Leistungs-Verhältnis unter den Top-Modellen. Die Kosten pro Durchlauf beziehen sich auf 50 Dateien. Ein echtes Produktions-Codebase kann das Hundertfache umfassen – ein kompletter Scan kostet dann je nach Modell zwischen 1.200 Dollar (Kimi) und über 5.000 Dollar (OpenSpitzenteam von OpenAI). Kein Schnäppchen, aber eine Investition, die sich lohnen kann, wenn sie eine teure Sicherheitslücke verhindert.
Wie baust du ein Scannprogramm aus mehreren Modellen?
Sicherheitsanalyse erfordert Regelmäßigkeit. Welches Modell für welchen Job? Eine sinnvolle Strategie: Setze die leistungsstärksten Modelle wie GPT-5.6 Sol für tiefgehende, periodische Audits ein – alle zwei Wochen oder vor wichtigen Releases. Günstigere Modelle wie Kimi K3 oder Grok 4.5 könnten kontinuierlich laufen – bei jedem Merge, nach jedem Commit. So deckst du die Fläche ab, ohne das Budget zu sprengen. GPT-5.6 Sol auf höchster Stufe (xhigh) braucht über drei Stunden und kostet 55,98 Dollar. Auf medium sinkt die Zeit auf rund 30 Minuten und der Preis auf 17,95 Dollar – der Score fällt auf 25,10, reicht aber für neue Features vor dem Deployment. Ein Startup könnte jeden Merge mit Grok 4.5 scannen und die teuren Modelle nur für Meilensteine reservieren. Ein Großunternehmen könnte auf kritischen Services Frontier-Modelle in voller Tiefe laufen lassen, für wichtige Pull Requests dieselben Modelle auf niedriger Stufe und für den Rest der Codebasis eine durchgehende Kimi- oder Grok-Sweep.
Die technische Umsetzung: Ein Endpunkt für alle Modelle
Sicherheitsscans sind spitzenlastig – sie verbrauchen in kurzer Zeit viele Token. Diese Burst-Kapazität ist schwer direkt bei jedem Anbieter zu buchen. DeepsecBench läuft deshalb über einen einzigen Endpunkt, den AI Gateway. Das Gateway vereint alle Modelle hinter einer Schnittstelle. Routing, Wiederholungen, Failover passieren automatisch. Kein separates API-Keys für jeden Anbieter, keine Rate-Limits. Du übergibst einfach den Modellnamen – zum Beispiel xai/grok-4.5 – und deinen API-Key aus der Umgebungsvariablen AI_GATEWAY_API_KEY. Der Befehl pnpm deepsec process --project-id my-app --agent pi --model xai/grok-4.5 startet den Scan. Das Gateway balanciert Kosten und Leistung – du bestimmst, welches Modell für welchen Scan-Typ zuständig ist. Das senkt die Hürde für kontinuierliche Sicherheitsprüfungen.
Dein Vorteil: Du kennst dein eigenes System
Angreifer verwenden dieselben KI-Modelle – aber sie agieren von außen. Sie können nur erraten, was hinter einem Endpunkt lauert. Du dagegen siehst den gesamten Quellcode, die Architektur, die Historie. Diese Transparenz macht die Modelle in deinen Händen mächtiger. Ein Modell, das den Quellcode liest, findet eine Lücke, die ein Angreifer nur durch langes Probieren aufdecken könnte. Der Vorteil zählt nur, wenn du ihn nutzt, bevor ein Angreifer zuschlägt. DeepsecBench liefert dir die Daten, um zu entscheiden, wie viel du in Sicherheit investieren willst. Ob Startup oder Enterprise – du kannst dir deinen eigenen Mix aus Spitzenleistung und Kosteneffizienz zusammenstellen. Der Benchmark wird laufend aktualisiert, sobald neue Modelle erscheinen. Sicherheit ist kein einmaliges Projekt, sondern ein kontinuierlicher Prozess. Mit den richtigen Tools und einer klaren Strategie hast du die Oberhand.
KIs finden Sicherheitslücken immer besser, die Kosten sinken. Du brauchst kein großes Budget für effektive Scans. Ein Mix aus teuren Audits und häufigen, günstigen Scans macht Code sicherer. Die besten Modelle finden rund 30 Prozent der Lücken – jedes gefundene Problem ist ein verhindertes. KI ist kein Allheilmittel, sondern ein Werkzeug. Nutze es regelmäßig und bewusst.
Quelle: vercel.com
