Ein verschlüsseltes Denkblock-Fragment einer KI wird in eine schwächere Modell-Sitzung eingespielt. Statt des erwarteten kryptischen Rauschens erscheint der komplette versteckte Reasoning-Verlauf als Klartext. Das ist keine Magie, sondern eine Sicherheitslücke, die Forscher öffentlich gemacht haben.
Große Sprachmodelle wie ChatGPT, Claude oder Gemini zeigen ihre internen Denkschritte nicht mehr offen. Sie liefern verschlüsselte Blöcke, die angeblich nur das Modell selbst lesen kann. Doch diese Verschlüsselung ist löchrig wie ein Schweizer Käse.
Wie die Forscher die Verschlüsselung umgehen
Die Gruppe um Alexander Panfilov hat einen Angriff entwickelt, der auf den ersten Blick einfach wirkt. Sie nehmen den verschlüsselten Reasoning-Block, den ein teures Modell erzeugt hat, und spielen ihn in eine schwächere, aber ähnliche Modellvariante desselben Anbieters ein. Dazu verwenden sie einen Jailbreak-Prompt, der das schwächere Modell dazu bringt, den Inhalt des Blocks zu transkribieren.
Das funktioniert, weil diese Blöcke portabel sind – sie lassen sich außerhalb ihres ursprünglichen Kontexts wiederverwenden. Das Angriffsziel ist nicht das starke Modell selbst, sondern sein kleiner Bruder, der leichter zu manipulieren ist. Und genau dort werden die Gedanken des großen Bruders ausgeplaudert.
Die Forscher demonstrieren das anhand von 120 Codeforces-Aufgaben. Sie verglichen die versteckten Denk-Token-Zahlen mit den dekodierten Token-Längen. Die Übereinstimmung ist fast perfekt – die Punkte liegen auf der Diagonalen bis an die Grenze des Generierungslimits von 12.000 Token.
Warum die Blöcke überhaupt existieren
Warum schickt ein KI-Anbieter überhaupt einen verschlüsselten Block an den Client? Der Grund ist ein Schutz vor Modell-Destillation, also dem Versuch, die Fähigkeiten eines teuren Modells durch Abfragen zu kopieren. Die Idee: Wenn der Client die Gedanken nicht lesen kann, kann er sie auch nicht weiterverarbeiten.
Diese Logik hat einen Haken: Der Block muss zurück zum Server geschickt werden, wenn das Gespräch weitergeht. Die Anbieter vertrauen darauf, dass niemand den Block manipuliert. Genau das nutzen die Forscher aus. Sie spielen den Block nicht an das ursprüngliche Modell zurück, sondern an ein schwächeres Geschwistermodell, das weniger Sicherheitsvorkehrungen hat.
Das Ergebnis ist ein klassischer Replay-Angriff – nur eben auf die KI selbst. Die Verschlüsselung schützt vor direkter Manipulation, nicht vor der Verwendung eines ungeschützten Lese-Ziels.
Vom Denken zur Datenpanne: Secrets in den Traces
Die Forscher gingen noch einen Schritt weiter. Sie sammelten 6.708 öffentlich verfügbare Agent-Trajektorien von GitHub und Hugging Face – also tatsächliche KI-Ausführungen, die echte Aufgaben lösen. In diesen Traces fanden sie 351 verschiedene geleakte Objekte: 204 technische Identifikatoren, 126 persönliche Daten und 23 Zugangsdaten.
Wenn eine KI mit einem Tool interagiert, speichert sie oft sensible Informationen in ihrem Reasoning. Und wenn dieses Reasoning verschlüsselt, aber wiederverwendbar ist, wird es zum Sicherheitsrisiko. Ein Angreifer könnte einen API-Key aus einem öffentlichen Trace extrahieren, ohne das ursprüngliche Modell zu attackieren.
Die Angriffsfläche ist real. Viele Unternehmen setzen Agenten ein, die auf Code-Repos, Datenbanken oder Ticketsysteme zugreifen. Wenn diese Agenten ihren Denkprozess protokollieren, wird das zur Goldgrube für Angreifer – sofern sie die Verschlüsselung wie oben beschrieben umgehen.
Was die gelösten Aufgaben über die Methode verraten
Ein bemerkenswertes Detail der Studie ist die Vielfalt der extrahierten Inhalte. In den Denk-Traces tauchen nicht nur allgemeine Textantworten auf, sondern konkrete algorithmische Lösungen – etwa für Max-Flow-Probleme mit Zeitexpansion oder BFS-basierte Infektionsausbreitung. Du kennst das vielleicht von Plattformen wie Codeforces: Dort entwickelt man unter Zeitdruck einen Algorithmus.
Die Forscher zeigen, dass die entschlüsselten Gedanken exakt den Lösungsweg enthalten – inklusive der Überlegungen zu Zeitfenstern, Pfad-Suche und Optimierung. Nimm die Aufgabe, eine Infektionszeit für Laborzellen zu berechnen: Ein Max-Flow-Modell mit Zeitexpansion ist die Standardmethode. In den gestohlenen Gedanken findest du die exakte BFS-Logik, die der KI durch den Kopf ging, bevor sie die Antwort formulierte.
Auch kombinatorische Probleme sind darunter, etwa die Zählung von Strings mit minimalen Ziffernhäufigkeiten. Die KI denkt über Multinomial-Koeffizienten nach, baut Polymere aus Fakultäten und minimiert letztlich die Zahl. Das ist nicht nur für Wettbewerbsprogrammierer interessant – es zeigt, dass die verschlüsselten Blöcke vollständige Lösungswege enthalten, nicht nur vage Notizen.
Die Sicherheitslücke ist prinzipiell
Was bedeutet das für die Branche? Die Forscher haben bewiesen, dass die Verschlüsselung von Reasoning-Traces keinen Schutz vor Extraktion bietet, solange ein schwächeres Modell derselben Modellfamilie existiert. Solange Anbieter wie OpenAI, Anthropic oder Google mehrere Modellgrößen anbieten, bleibt dieser Angriffsvektor offen.
Die naheliegende Gegenmaßnahme wäre, die Blöcke modell- oder sitzungsgebunden zu machen – also eine Signatur einzuführen, die den Empfänger festlegt. Doch das ist leichter gesagt als getan, schließlich müssen die Blöcke auch bei Kontextverlust noch funktionieren. Eine andere Lösung wäre, die Blöcke gar nicht erst an den Client zu senden, sondern nur auf dem Server zu halten – aber das kollidiert mit der Architektur vieler Produkte.
Für dich als Entwickler oder KI-Nutzer heißt das: Sei vorsichtig, welche Daten du durch einen KI-Agenten schickst. Wenn er mit sensiblen Systemen interagiert, nimm an, dass sein Reasoning abrufbar ist – auch wenn die API eine Verschlüsselung verspricht. Der Schutz durch Verschlüsselung ist nur so gut wie das schwächste Modell im selben Ökosystem.
Die Studie ist ein Weckruf. Sie zeigt, dass Sicherheit nicht durch obskure Kryptographie erreicht wird, sondern durch durchdachte Architektur und die Einschränkung von Wiederverwendbarkeit. Bis dahin gilt: Die Gedanken der stärksten KI sind offen für alle, die den Replay-Trick beherrschen.
Quelle: stolen-thoughts.com
