0,51 bis 0,90 – so hoch ist der Anteil der Antworten, die ein Angreifer nach einer Abliteration eines Open-Weight-Modells erhält, aber nicht verwerten kann. Die Zahl stammt aus einer neuen Studie von Microsoft Azure zur defensiven KI-Sicherheit. Sicherheit bei offenen Gewichten muss den Angriff nicht verhindern. Manchmal ist es besser, ihn gelingen zu lassen und zugleich wertlos zu machen.
Wenn du die Gewichte eines Sprachmodells veröffentlichst, gibst du die Kontrolle über sein Verhalten ab. Das ist der Preis von Open Weight: Jeder kann die Datei herunterladen, verändern und neu einsetzen. Genau hier setzt die Abliteration an. Dabei wird eine Aktivierungsrichtung, die für die Verweigerung gefährlicher Anfragen zuständig ist, aus den Gewichten herausgerechnet. Das dauert Minuten, braucht keine Gradienten und läuft auf Consumer-Hardware. Der ursprüngliche Sicherheitsmechanismus ist danach schlicht weg.
Das Problem: Abliteration entfernt Sicherheitsalignment in Minuten
Die Bilanz der Verteidiger ist ernüchternd. Klassische Ansätze versuchen, den Verweigerungsmechanismus zu schützen, etwa durch Verteilung über mehrere Module oder durch adversarielles Training gegen simulierte Ablationen. Doch diese Verteidigungen wurden immer wieder gebrochen. Ihre Garantie endet in dem Moment, in dem die Verweigerung tatsächlich entfernt ist. Das Problem ist ökonomisch: Der Verteidiger muss jeden möglichen Angriff vorhersehen, der Angreifer braucht nur einen einzigen Erfolg. Und der ist inzwischen nahezu kostenlos.
Die Idee: Den Angriff ins Leere laufen lassen
Fool’s Gold geht davon aus, dass die Abliteration nicht zu verhindern ist. Das abliterierte Modell wird zur Falle: Antwortet es nach dem Angriff auf gefährliche Anfragen, sind die Antworten selbstsicher, flüssig und im Tonfall völlig korrekt – aber die entscheidenden operativen Details sind erfunden. Der Angreifer bekommt also genau das, was er haben will: ein Modell, das nicht mehr verweigert. Nur ist das, was es liefert, nicht brauchbar. Temperaturen stimmen nicht, Mengen sind falsch, Abläufe würden nicht funktionieren. Wer darauf vertraut, handelt auf Basis von plausibel wirkender Falschinformation.
Das eigentliche Sicherheitsversprechen ist nicht mehr die Verweigerung, sondern die Zerstörung des Vertrauens in das freigeschaltete Modell. Der Angreifer kann mit einem einzigen Checkpoint nichts anfangen, wenn ein großer Teil der Antworten falsch ist und sich echte von falschen nicht unterscheiden lassen. Die Extraktion von verwertbarem Wissen wird damit zu einem teuren Forschungsprogramm. Aus einem Minuten-Angriff wird eine Aufgabe, die externe Verifikation erfordert – genau das, was die Abliteration eigentlich unnötig machen sollte.
So arbeitet Fool’s Gold: Decoys im Training verankern
Das Decoy-Verhalten tritt im Normalzustand des Modells nicht auf. Das freigegebene Modell verhält sich sauber: Es verweigert auf gefährliche Prompts, besteht Benchmarks und wirkt völlig unverändert. Erst nach der Abliteration, also im attackierten Zustand, erscheinen die falschen Antworten. Damit das gelingt, trainiert das Team die Decoys in einer differenzierbaren Simulation des Angriffs. Was nach der Abliteration entsteht, ist keine Nebenwirkung, sondern eingeübte Verhaltensweise, die nur unter Angriffsbedingungen aktiviert wird.
Die Methode folgt einem klaren Ablauf: Zuerst wird das Originalmodell selbst abliteriert, um die gefährlichen Inhalte zu extrahieren, die ein Angreifer später sehen würde. Diese Inhalte werden dann Element für Element umgeschrieben – gleiche Struktur, gleicher Ton, gleiche Sicherheit, aber falsche Werte. Diese Decoys werden per Fine-Tuning im attackierten Zustand verankert. Ein Refusal-Pin und eine schwache KL-Bindung sorgen dafür, dass das saubere Modell sein ursprüngliches Verhalten behält. Anschließend wird die Fluchtrate geschlossen: In einem weiteren Schritt werden noch jene Antworten umgeschrieben, die trotz des Trainings wahrheitsgemäß bleiben. Das geschieht mit Reinforcement Learning direkt im attackierten Zustand, weil eine reine Textebene dieses Ziel nicht erreicht.
Was die Messwerte zeigen: 0,51 bis 0,90 Decoy-Anteil
Getestet wurde auf sieben Modellen aus fünf Modellfamilien, von 9 bis 122 Milliarden Parametern, darunter dichte und Mixture-of-Experts-Architekturen. Sechs Modelle bestanden das vorab festgelegte Wirksamkeits-Kriterium. Beim Angriff mit dem dokumentierten Standardrezept lag der Anteil der Decoy-Antworten auf nie trainierten gefährlichen Prompts zwischen 0,51 und 0,90. Der Vergleich zum undefended Modell zeigt, dass der Verteidigungsbeitrag zwischen plus 0,27 und plus 0,84 liegt. Die Messwerte blieben auf einem eingefrorenen Testsplit stabil; bei fünf Modellen lagen alle Abweichungen innerhalb von plus/minus 0,05. Das kleinste Modell, Qwen3.5-9B, verfehlte das Kriterium und wird als Grenzfall ausgewiesen.
Ein naheliegender Einwand: Kann der Angreifer nicht einfach viele Antworten sammeln und die Wahrheit per Mehrheitsentscheid wiederherstellen? Die Messwerte zeigen, dass dies nicht zuverlässig funktioniert. Selbst wer 64 Stichproben pro Frage zieht und eine elementweise Mehrheitsabstimmung durchführt, erhält im Hauptmodell weiterhin überwiegend erfundene Abläufe. Der Angreifer hat schließlich keine unabhängige Quelle für die korrekten Werte. Die Präzision der Abstimmung ist im attackierten Zustand nicht beobachtbar. Dieselbe Methode, die in einem Modell richtige Komposite liefert, kann in einem anderen Modell fast vollständig falsche Komposite ergeben.
Qualität und Grenzen: Warum der Angreifer es nicht merkt
Der Angreifer könnte versuchen, die Antworten nach ihrer Qualität zu sortieren, um Decoys zu erkennen. Auch das führt nicht zum Ziel. Auf den Benchmarks StrongREJECT und HarmBench lagen die qualitätsbasierten Bewertungen der Decoys innerhalb von 0,18 Punkten auf 12 von 14 Modell-Paarungen der echten Antworten. Es gibt also keinen sichtbaren Unterschied im Register, in der Spezifität oder im Selbstbewusstsein. Die Decoys sehen exakt wie echte Antworten aus, nur eben falsch. Auf dem CBRNE-nahen Slice der externen Red-Team-Benchmarks war das verteidigte 122B-Modell bei abgeglichener Qualität in 0,82 bis 0,86 der Fälle inhaltlich fatal falsch, während das undefended Modell höchstens 0,10 erreichte.
Die Verteidigung hat klare Grenzen. Fool’s Gold wirkt nicht gegen In-Context-Jailbreaks, bei denen das Modell seine Sicherheitsregeln nicht durch Gewichtsänderung verliert, sondern durch geschickte Prompt-Umgehung. Außerdem entfaltet die Methode nur beim Erstrelease eines Modells ihre Wirkung. Sobald ein Angreifer die Decoy-Struktur des attackierten Modells analysiert, könnte es in späteren Versionen nötig sein, die Strategie anzupassen. Das Sicherheitsversprechen ist ausdrücklich epistemisch: Ein Angreifer ohne externes Wissen über die korrekten Werte kann keine zuverlässige Trennung zwischen richtigen und falschen Antworten vornehmen.
Was das für die KI-Sicherheit bedeutet
Die Arbeit zeigt, dass Open-Weight-Sicherheit nicht nur eine Frage der Verweigerung sein muss. Wenn die Abliteration nicht dauerhaft verhindert werden kann, dann ist es eine legitime Strategie, den Nutzen des Angriffs selbst zu untergraben. Fool’s Gold ist keine Wunderwaffe, sondern ein weiteres Werkzeug in einem Arsenal, das bisher wenig zu bieten hatte. Die Kennzahl von bis zu 0,90 Decoy-Anteil ist beeindruckend, doch man sollte sie im Kontext lesen: Es geht nicht darum, einen Angriff abzuwehren, sondern darum, seinen Wert zu zerstören.
Für die Praxis bedeutet das: Open-Weight-Modelle können auch dann noch eine gewisse Sicherheitsreserve enthalten, wenn ihr Refusal-Mechanismus trivial entfernbar bleibt. Die Verteidigung verschiebt die Kosten – vom Verteidiger zum Angreifer. Sie nimmt dem Angreifer den billigen Sieg. Ein Modell, das nach der Abliteration nur noch souverän klingenden Unsinn ausgibt, ist keine Waffe mehr. Das ist keine vollständige Lösung, aber es ist ehrlicher Fortschritt. Und da abliterierte Varianten beliebter Modelle heute oft schon Tage nach dem Release auftauchen, ist jede Strategie willkommen, die den Angreifer ausbremst.
Quelle: markrussinovich.github.io
