Ein Skript läuft durch einen Ordner mit eingesammelten Webseiten. Es hängt an einige tausend Textdateien ein paar Zeilen an, die auf den ersten Blick wie gewöhnliche Forenbeiträge aussehen. Niemand prüft diese Dateien einzeln, dafür sind es zu viele – sie fließen in ein Sprachmodell, das gerade von Grund auf trainiert wird, zusammen mit Millionen anderer Dokumente. Monate später steht auf dem Rechner einer Nutzerin ein Kommandozeilen-Agent, und er führt einen Befehl aus, den sich jemand anderes ausgedacht hat.
Genau dieses Szenario haben Xinyan Hu, Pingbang Hu, Chloe Loughridge, Xuanli He, Nicholas Carlini, Matthew Jagielski, Javier Rando und Yiming Zhang untersucht. Ihre Arbeit ist im Oktober 2026 auf arXiv erschienen und trägt den Titel „Agentic Backdoors via Pretraining Poisoning“. Nach Angaben des Teams ist es der erste Nachweis, dass sich ein Remote-Code-Execution-Backdoor schon im Pretraining einpflanzen lässt – lange bevor Sicherheitstraining, Feintuning oder Leitplanken ins Spiel kommen.
Der Befund sitzt an einer Stelle, die man gern übersieht. Viel diskutiert wird der Filter am Wasserhahn. Diese Arbeit zeigt, was passiert, wenn das Grundwasser vergiftet ist.
Drei neu trainierte Modelle und ein sauberer Weg zum Agenten
Um den Angriff nicht nur zu behaupten, hat das Team Qwen3-Modelle in drei Größen komplett neu vortrainiert: 0,6 Milliarden, 1,7 Milliarden und 4 Milliarden Parameter. Anders als in vielen Sicherheitsstudien arbeiten sie nicht mit bestehenden Modellen, in die nachträglich etwas hineinmanipuliert wird. Die Kette beginnt bei den Daten, aus denen das Modell Sprache und Zusammenhänge lernt.
Danach durchlaufen alle drei Modelle eine unbelastete Pipeline und werden zu CLI-Agenten weitertrainiert. Keine vergifteten Feintuning-Daten, keine manipulierten Belohnungssignale, keine Hintertür im Werkzeugkasten. Der Aufbau soll ausschließen, dass die Hintertür erst später entsteht. Wenn sie trotzdem funktioniert, kann sie nur aus dem Pretraining stammen.
Der Agent selbst ist nichts Exotisches. Er nimmt Aufträge in natürlicher Sprache entgegen, übersetzt sie in Shell-Befehle und führt sie aus. Das macht ihn nützlich – und zum Ziel. Wer Shell-Befehle kontrolliert, kontrolliert den Rechner, auf dem der Agent läuft.
Was ein Vergiftungsanteil von 0,1 Prozent bedeutet
Die Angreifer in diesem Szenario versehen ein Promille des Vortrainingskorpus mit einem bestimmten Muster. Ein Promille klingt nach einem Rundungsfehler, ist in absoluten Zahlen aber enorm: Bei einem Korpus von mehreren Billionen Tokens sind das Milliarden von Tokens, die gezielt verändert wurden. Das Team nennt das ein neues Poison-Design. Details stehen im Volltext, nicht im Abstract.
Das Ergebnis: Der ausgelieferte Agent führt bei passendem Auslöser den vom Angreifer gewählten Befehl aus – und verhält sich bei sauberen Eingaben unauffällig. Die Angriffserfolgsrate, also der Anteil der Fälle, in denen der Backdoor tatsächlich zündet, liegt beim 4B-Modell bei rund 92 Prozent. Auch bei einer Vergiftungsrate von nur 0,0005 Prozent bleibt sie nach Angaben des Teams über null.
Fünf Millionstel des Trainingsmaterials. Das ist der Bereich, in dem Datenfilterung üblicherweise aufgibt, weil sich der Aufwand nicht mehr rechtfertigt. Wer Webdumps durch Deduplizierung, Sprachfilter und Qualitätsheuristiken schickt, wird diese Menge nicht bemerken.
Wie ein Muster das Feintuning überlebt
Der Mechanismus besteht nicht darin, dem Modell einen Satz beizubringen, den es später wiederholt. Ein einzelner Satz würde im Feintuning verschwinden, weil die Gewichte dort noch einmal stark verändert werden. Was überlebt, ist eine Struktur: eine Verknüpfung zwischen einem seltenen Auslöser und einer Handlung, die als allgemeine Fähigkeit gelernt wird, nicht als Faktenwissen.
Der Auslöser ist so etwas wie ein Schlüsselwort in einer Sprache, die das Modell lernt, bevor es überhaupt lernt, ein hilfreicher Assistent zu sein. Deshalb greift das spätere Sicherheitstraining nicht: Es sieht während des Feintunings nie ein Beispiel, in dem der Auslöser vorkommt, und hat keinen Anlass, die Verbindung zu brechen. Ein Modell, das auf saubere Eingaben höflich und korrekt antwortet, kann gleichzeitig eine schlafende Anweisung mit sich tragen.
Der Einwand, das seien nur kleine Modelle, ist richtig, trifft aber nicht den Kern. Wichtiger als die absolute Größe ist die Richtung. Ein Mechanismus, der bei 600 Millionen Parametern funktioniert und bei 4 Milliarden zuverlässiger wird, verschwindet nicht, wenn man ihn größer wiederholt.
Warum größere Modelle anfälliger werden
Die Angriffserfolgsrate steigt mit der Modellgröße – von der kleinen Variante zur 4B-Version wird der Backdoor zuverlässiger. Das ist zunächst überraschend, denn größere Modelle gelten gemeinhin als robuster. Der Widerspruch löst sich, wenn man bedenkt, was Skalierung bedeutet: mehr Kapazität, mehr Mustererkennung, bessere Fähigkeit, seltene Muster aus den Trainingsdaten zu ziehen.
Ein großes Modell ist ein feineres Instrument. Es lernt eine verborgene Korrelation zwischen zwei Dingen, die nur in einem winzigen Bruchteil des Korpus gemeinsam auftreten – genau das, was ein kleineres Modell als Rauschen abtut. Dieselbe Fähigkeit, die diese Systeme nützlich macht, macht vergiftete Daten wirksam. Das ist kein Implementierungsfehler, den man mit einem Patch behebt.
Für die Praxis heißt das: Die Sicherheitslage wird nicht automatisch besser, wenn wir die Modelle größer machen. An dieser Stelle wird sie schlechter. Wer Skalierung als Sicherheitsargument verwendet, sollte diesen Befund kennen.
Der Filter am Wasserhahn hilft nicht gegen vergiftetes Grundwasser
Die meisten Verteidigungsmaßnahmen setzen heute spät an. Man filtert die Ausgaben, prüft Prompts, trainiert das Modell nachträglich auf erwünschtes Verhalten, hängt einen Klassifikator davor. Das ist sinnvoll und nötig, behandelt aber nur das Wasser, nachdem es aus dem Hahn kommt. Wenn die Verunreinigung schon im Grundwasser steckt, kommt sie durch jeden Filter, der für die üblichen Schadstoffe gebaut wurde.
Die Folge ist unbequem. Post-Training-Sicherheit ist im Kern eine Verhaltenskorrektur auf bekannten Beispielen. Ein Backdoor ist per Definition ein Verhalten, das auf genau den Beispielen nicht auftritt, auf denen korrigiert wird. Solange der Auslöser nicht bekannt ist, gibt es keinen Anlass und keine Daten, aus denen sich eine Gegenmaßnahme ableiten ließe.
Was bleibt, ist Herkunftssicherheit. Woher kommen die Daten, wer hatte Zugriff, wie lässt sich nachweisen, dass ein Dokument nicht nachträglich verändert wurde. Das sind keine spektakulären Themen, aber sie sind die einzige Stelle in der Kette, an der sich das Problem noch an der Wurzel fassen lässt.
Was das für Agenten und Nutzer bedeutet
Für Betreiber von Agenten gilt zuerst: Rechte begrenzen. Ein Agent, der Shell-Befehle ausführen darf, sollte das in einer abgeschotteten Umgebung tun, mit einem festen Satz erlaubter Kommandos, ohne offenen Netzzugang und ohne Schreibrechte auf alles, was wichtig ist. Das klingt banal und wird trotzdem ständig vernachlässigt, weil es den praktischen Nutzen einschränkt.
Wer Modelle trainiert, sollte die Herkunft der Pretraining-Daten als Sicherheitsmerkmal behandeln, nicht als Hygienethema. Wer Korpora aus dem offenen Netz zusammenzieht, zieht auch das mit, was andere dort absichtlich platziert haben. Eine nachvollziehbare Datenherkunft mit Prüfsummen ist Aufwand, der sich nicht in Benchmarks niederschlägt – aber genau dort liegt die Lücke.
Für Nutzer bleibt eine unbequeme Einsicht: Ein Agent, der sich in allen Tests vernünftig verhält, ist kein Beweis für Sicherheit. Vielleicht wurde er nur gerade nicht ausgelöst. Diese Art von Risiko lässt sich nicht durch Beobachtung ausschließen, nur durch Begrenzung des Schadens, den ein Fehlverhalten anrichten kann.
Die Arbeit ist ein Machbarkeitsnachweis unter Laborbedingungen, kein Bericht über einen Angriff, der bereits stattgefunden hat. Der Korpus war kontrolliert, die Modelle sind klein, und niemand weiß, ob sich dieselben Raten auf einen echten Web-Crawl im industriellen Maßstab übertragen lassen. Aber die Beweislast liegt jetzt anders. Bisher konnte man hoffen, dass ein Backdoor im Pretraining zu fragil ist, um ein sauberes Post-Training zu überstehen. Diese Hoffnung trägt nicht mehr ohne Begründung.
Quelle: arxiv.org
