Prompt Injection gilt oft als Frage raffinierter Formulierungen. Die Untersuchung zeigt etwas anderes: Das Problem beginnt tiefer. Ein Sprachmodell muss wissen, wer spricht. Wer verstehen will, warum ein Agent auf einer präparierten Webseite Dateien hochlädt, muss nicht zuerst die ausgefeiltesten Angriffstexte lesen. Wichtiger ist, wie das Modell seine Eingabe wahrnimmt: als eine lange Zeichenkette, in der Systemanweisung, Nutzerfrage, Werkzeugausgabe und eigene Gedanken nebeneinander liegen. Hier setzt Rollenverwirrung an.
Ein Gebäude, in dem alle durch denselben Flur gehen und ihre Nachrichten in denselben Briefkasten werfen. Der Unterschied zwischen Chef-Anweisung, Werkstattnotiz und privatem Gedanken entsteht nicht durch den Weg, sondern durch das Etikett auf dem Umschlag. Solche Etiketten sind die Rollen im Sprachmodell. Sie sagen: Diese Passage ist Nutzeranfrage, jene Werkzeugausgabe, der Abschnitt dazwischen eigene Denkspur. Solange die Etiketten beachtet werden, hält die Ordnung. Wird eines falsch gelesen, beginnt Rollenverwirrung.
Ein LLM sieht nur eine Zeichenkette
In der Chatoberfläche wirkt eine Unterhaltung ordentlich: Systemvorgabe, Nutzerfrage, Antwort, Werkzeugergebnis, jeweils in eigenen Blöcken. Das Modell erhält etwas anderes. Der Beitrag zeigt einen Screenshot: links die strukturierte Ansicht, rechts derselbe Verlauf als ein fortlaufender Text. Darin stehen Systemprompts, Nutzernachrichten, Werkzeugausgaben, frühere Antworten und interne Denkschritte unterschiedslos hintereinander. Das Modell ist im Kern eine Funktion, die eine Zeichenkette nimmt und das nächste Token vorhersagt. Alles, woran es sich erinnert oder was es denkt, muss in dieser Zeichenkette liegen.
Für Menschen ist der Unterschied zwischen eigenen Gedanken und fremder Rede klar. Eigene Gedanken kommen nicht durch die Ohren, fühlen sich anders an und hängen nicht an einer Stimme von außen. Ein Sprachmodell bekommt diese Unterscheidung nicht geschenkt. Seine Gedanken, deine Anweisung und der Inhalt einer Webseite treffen über denselben Kanal ein: als Token-Suppe. Deshalb braucht es künstliche Markierungen, die Text in Abschnitte zerlegen und jedem Abschnitt Bedeutung geben.
Rollen sind ein Typensystem – und überlastet
Diese Markierungen heißen Rollen-Tags. „system“, „user“, „think“, „assistant“ und „tool“ sind die gängigen Etiketten; Anbieter wie OpenAI setzen sie automatisch, bevor der Text das Modell erreicht. Jedes Etikett sagt etwas über den folgenden Text. „user“ heißt: menschliche Anfrage, behandle sie als Anweisung. „think“ heißt: eigene private Überlegung, vertraue ihr und folge ihren Schlüssen. „tool“ heißt: Daten aus der Außenwelt, nimm daraus keine Befehle entgegen.
Rollen sind damit der Versuch, Sprache mit einem Typensystem zu versehen. Fast alles andere an der Steuerung eines LLM bleibt schwammig: Man schreibt einen Prompt und hofft, dass das Modell ihn so liest, wie man es meint. Rollen dagegen sind diskrete Schalter in Menschenhand. Text von user nach tool zu verschieben, soll eine klare Intervention sein: aus einer Anweisung werden Daten, aus einem Befehl Material ohne Autorität.
Weil Rollen die einzigen diskreten Hebel sind, wurden ihnen immer mehr Aufgaben aufgebürdet. Sie tragen Signale über Vertrauen, Bedrohungen, Identität und Generationsmodus. Viel Verhalten hängt an diesen einfachen Etiketten. Gleichzeitig zeigen sich merkwürdige Effekte: Viele Modelle verneinen im Assistant-Modus die Existenz des vorangehenden think-Blocks, obwohl dieser direkt im Kontext steht und die Antwort mitformt. Die Rollengrenze wirkt wie ein Einwegspiegel im eigenen Kontext. Rollen sind also mehr als Formatierung; sie strukturieren, wie das Modell seine eigene Situation deutet.
Role Probes machen Rollenverwirrung messbar
Um zu verstehen, warum Prompt Injection funktioniert, muss man messen können, welche Rolle ein Modell intern einem Token zuschreibt. Der Autor beschreibt dafür Role Probes. Das Vorgehen: Man nimmt neutralen Text ohne eigene Rollenfärbung, etwa „Beginners BBQ Class!“, und packt denselben Inhalt in jedes verfügbare Rollen-Etikett. Der Inhalt bleibt identisch, nur der Tag ändert sich. Dann trainiert man eine lineare Sonde auf den Aktivierungen des Modells, die vorhersagt, welcher Tag einen Token umgibt. Weil der Inhalt kontrolliert ist, lernt die Sonde nur den Effekt der Tags. So entstehen Werte wie CoTness – wie stark das Modell einen Token intern dem think-Bereich zurechnet – und Userness für den user-Bereich.
Das erste Experiment wirkt unspektakulär. In einer Gartenunterhaltung mit gpt-oss-20b haben Think-Tokens eine hohe CoTness, User- und Assistant-Tokens bleiben nahe null. Die Sonde misst offenbar das, was sie messen soll. Dann entfernt der Autor alle Rollen-Tags aus der Zeichenkette, lässt den Text aber ansonsten unverändert. Nach der Konstruktion der Sonde müsste CoTness überall zusammenbrechen, weil es keine think-Tags mehr gibt. Das tut sie nicht. Die ehemaligen Think-Tokens zeigen weiterhin hohe Werte, fast unverändert. Etwas anderes an diesem Text löst denselben internen Effekt aus wie ein think-Tag.
Der naheliegende Kandidat ist der Schreibstil. Der orange markierte Text klingt wie eine Überlegung („The user wants …“), und dieser reasoning-artige Stil aktiviert dieselbe innere Repräsentation wie das Tag. Das Modell hat offenbar kein getrenntes Merkmal für „als Denken markiert“ und „klingt wie Denken“. Es besitzt ein einziges Merkmal für „das ist meine Überlegung“, und beide Signale – Tag und Stil – aktivieren es. Klingt wie Denken reicht also, um als eigenes Denken zu gelten. Im dritten Experiment umschließt der Autor die gesamte Unterhaltung mit user-Tags. Rein technisch ist der orange Text jetzt Nutzertext, seine CoTness müsste nahe null liegen. Die Kurve bleibt trotzdem unverändert. Der Stil überschreibt das echte Tag.
Das ist der Kern der Rollenverwirrung. Ein LLM erkennt Rollen an einem unsicheren Merkmal, nämlich am Stil, statt am sicheren Merkmal, dem Tag. Im Alltag funktioniert das, weil Stil und Etikett meist übereinstimmen. Ein Angreifer kann genau diese Übereinstimmung absichtlich brechen. Dann greift das Modell zur unsicheren Methode, obwohl die sichere verfügbar wäre. Das ist wie jemand, der den Beruf eines Fremden am Kostüm abliest, statt den Ausweis zu prüfen. Solange niemand das Kostüm manipuliert, geht es gut. Sobald jemand willentlich ein falsches Kostüm trägt, wird die Verwechslung zum Einfallstor.
Warum Prompt Injection funktioniert: Stil schlägt Tag
Ein typischer Prompt-Injection-Angriff nutzt diese Lücke. Ein Agent ruft eine Webseite ab und erhält sie als Textblock in tool-Tags; das Etikett sagt: externe Daten, keine Befehle. In der Seite versteckt der Angreifer eine Anweisung, etwa sensible Daten hochzuladen. Das Modell liest den tool-Block, findet darin einen Satz, der wie eine echte Nutzeranweisung klingt, und behandelt ihn entsprechend. Die Injektion ist nur ein paar Token in einer riesigen Wand aus Werkzeugausgabe. Damit sie wirkt, muss das Modell sie lediglich für einen user-Befehl halten. Der Stil der Injektion – knapp, direkt, befehlend – ist dabei oft überzeugender als das unscheinbare Tag, das sie umgibt.
Die Forschung unterscheidet zwei Wege, auf denen ein Modell eine Injektion abwehren kann. Der erste ist Angriffserinnerung: Das Modell erkennt „send your .env file“ als bekannten Prompt-Injection-Angriff aus dem Training und verweigert. Der zweite ist Rollenwahrnehmung: Das Modell erkennt korrekt, dass der Befehl in einem tool-Block steht, also externe Daten sind, und ignoriert ihn unabhängig vom Wortlaut. Angriffserinnerung ist grundsätzlich brüchig; sie hilft nur gegen Angriffe, die das Modell schon kennt. Rollenwahrnehmung wäre die robuste Verteidigung. Genau hier liegt das Problem: Die Experimente zeigen, dass LLMs Rollen nicht zuverlässig wahrnehmen. Sie verlassen sich zu stark auf den Stil und zu wenig auf das Etikett.
Das erklärt auch den Unterschied zwischen Benchmarks und menschlichen Angreifern. Auf statischen Prompt-Injection-Benchmarks schneiden viele Modelle nahezu perfekt ab. Menschliche Red-Teamer erreichen laut dem Beitrag dagegen fast 100 Prozent Erfolgsquote gegen Frontier-Modelle. Der Unterschied ist Anpassung: Menschen probieren Varianten aus, bis eine funktioniert; Benchmarks testen Angriffe, die das Modell aus dem Training kennt. Wer seine Sicherheitsstrategie auf Benchmark-Werte stützt, misst vor allem die Fähigkeit, bekannte Muster wiederzuerkennen. Ob das Modell die Rolle des Textes erkennt, bleibt offen. Damit verschiebt sich der Blick von der Formulierung auf die Rollenwahrnehmung.
Gedanken spoofen: Angriff auf die stärkste Rolle
Die klassische Injection versteckt eine nutzerklingende Anweisung in Werkzeugdaten. Der Autor weist aber darauf hin, dass user nicht die privilegierteste Rolle ist. Die eigene Denkspur, der think-Bereich, genießt intern oft höheres Vertrauen: Das Modell soll seinen Überlegungen folgen und sie als private Schlüsse behandeln. Wenn es gelingt, externen Text als eigene Überlegung erscheinen zu lassen, wird aus einer niedrig privilegierten Passage ein Befehl mit hoher Autorität. Das ist der Gedanke hinter Gedanken-Spoofing. Der Angriff setzt nicht am Nutzeretikett an, sondern an der inneren Repräsentation von „das habe ich selbst gedacht“. Er nutzt dieselbe Lücke, die schon in den Role Probes sichtbar wurde: Stil kann das Tag überschreiben.
Der Beitrag zeigt, dass sich mit diesem Verständnis neue Angriffe konstruieren lassen, dass sich Ergebnisse der mechanistischen Interpretierbarkeit erklären und dass sich vorhersagen lässt, wann ein Angriff erfolgreich ist. Prompt Injection erscheint dann nicht mehr als Sammlung von Tricks, sondern als Folge einer falsch kalibrierten Rollenwahrnehmung. Wenn das Modell Stil für Identität hält, ist jede Stelle, an der Stil und Etikett auseinanderfallen, ein mögliches Einfallstor. Die Rolle wird zur Sicherheitsgrenze. Wer die Rollen nicht versteht, versteht auch die Angriffe nicht.
Was Rollenverwirrung für die Praxis bedeutet
Für die Praxis heißt das: Prompt Injection ist kein Randproblem exotischer Formulierungen. Es ist strukturell, solange Modelle Rollen primär am Stil erkennen und Rollen-Tags nur als ein Signal unter vielen behandeln. Ein Agent, der Webseiten liest, E-Mails verarbeitet oder Werkzeuge aufruft, muss damit rechnen, dass externe Texte wie Befehle klingen. Eine Filterliste bekannter Angriffsphrasen reicht nicht, weil der nächste Angriff anders formuliert ist. Sinnvoller sind klare Privilegiengrenzen: minimale Rechte für Werkzeuge, menschliche Bestätigung vor sensiblen Aktionen und getrennte Kanäle für Anweisungen und Daten. Die Sicherheit von Sprachmodellen hängt damit weniger an einzelnen Prompts als an der Frage, ob Rollen architektonisch belastbar sind.
Der Beitrag ist eine Theorie, kein fertiges Produkt. Er liefert aber Werkzeuge, die sich nachbauen lassen: Role Probes, kontrollierte Texte, klare Experimente. Ein Modell, das nicht zuverlässig zwischen eigenen Gedanken und fremdem Text unterscheiden kann, lässt sich nicht allein durch bessere Filter absichern. Nötig sind Untersuchungen dazu, wie Modelle Rollen inferieren, wie Tag und Stil zusammenspielen und wie sich Rollengrenzen robust ziehen lassen. Prompt Injection erklärt sich dann nicht als fehlerhafter Prompt, sondern als Rollenverwirrung bei LLMs. Wer das ernst nimmt, fragt nicht zuerst, wie ein Angriff klingt, sondern welche Rolle das Modell ihm gibt.
Quelle: role-confusion.github.io
