Backdoor-Angriffe gegen Machine-Learning-Modelle: Der Angriff steckt in der ONNX-Datei

Ein Entwickler von hinten an einem Arbeitsplatz mit mehreren Monitoren in einem dunklen Raum
Deine Reaktion:

Machine-Learning-Modelle gelten oft als harmlose Datendateien: Man lädt sie herunter, kopiert sie in eine Laufzeitumgebung und verwendet sie anschließend als zuverlässige Blackbox. Der Artikel über Backdoor-Angriffe gegen das ONNX Runtime zeigt jedoch, dass eine solche Datei aktiven Code in einer besonderen Form enthalten kann. Eine gezielt präparierte ONNX-Datei kann beim Laden beliebige Dateien oder Speicherbereiche einlesen, die Daten in das Modell einbetten und sie anschließend an ein bestimmtes Auslösewort preisgeben. Weder ONNX Runtime noch der Server müssen verändert werden. Ein ungeprüftes Modell ist daher kein neutrales Artefakt, sondern gehört ebenso wie ungeprüfter Quellcode behandelt.

Warum klassische Backdoor-Angriffe in der Praxis aufwendig sind

Die Idee einer Backdoor ist nicht neu. Bereits 2013 wurde das Konzept eines „Trojan Neural Network“ beschrieben: Ein Modell verhält sich normal, bis ein Signal erscheint, und schaltet dann zum gewünschten Verhalten des Angreifers um. In der Machine-Learning-Sicherheitsforschung entstanden daraus verschiedene Varianten. Eine häufige Form erzeugt bei einem vorbereiteten Trigger eine gezielte Fehlklassifikation. Das bekannte Beispiel ist ein Verkehrsschild mit einem kleinen Muster, das das Modell plötzlich als Stoppschild erkennt. Der Angriff setzt voraus, dass der Angreifer das Modell veröffentlicht und den Trigger später selbst auslösen kann.

Eine zweite, folgenreiche Variante legt sensible Informationen in den Modellgewichten fest. Das Modell wird so präpariert, dass es diese Daten auf Anfrage preisgibt. Solche Angriffe setzen häufig voraus, dass der Angreifer den Trainingsprozess, die Trainingsdaten oder eine manipulierte Version des Trainingsalgorithmus kontrolliert. Das ist der praktische Nachteil: Die Hintertür mathematisch einzubauen ist anspruchsvoll, und das Verhalten ist probabilistisch. Nicht jede Eingabe löst die gewünschte Reaktion zuverlässig aus. Wer ein Modell ohnehin verändern kann, muss es nicht zusätzlich mit einem komplizierten Backdoor-Angriff versehen.

Der beschriebene Angriff vereinfacht diese Lage auf eine unangenehme Weise. Die Hintertür muss nicht während des Trainings erlernt werden. Sie wird direkt in den Rechengraphen der ausführbaren Modelldatei eingebaut. Damit entfällt der probabilistische Anteil und der Zugriff auf die Trainingspipeline ist nicht mehr nötig. Das ONNX-Modell wird zugleich zur Angriffsdatei und zum Angriffsprogramm.

Der Ladefehler im ONNX Runtime öffnet den Dateizugriff

ONNX Runtime ist eine verbreitete Engine für die Bereitstellung von Deep-Learning-Modellen in Produktionsumgebungen. Beim Laden einer ONNX-Datei arbeitet die Engine grundsätzlich in zwei Schritten. Zuerst wird das Protobuf eingelesen und daraus der Modellgraph aufgebaut. Dabei werden zunächst Metadaten, Namen, Formen und Typen verarbeitet. Danach übernimmt die Initialisierung die umfangreicheren Aufgaben, darunter Graph-Optimierungen, die Zuweisung von Geräten und das Laden externer Modellgewichte.

Die Sicherheitsprüfung für externe Dateipfade ist für diesen zweiten Schritt vorgesehen. Es gibt jedoch einen Randfall: Sparse Tensor werden bereits während des Ladens in dichte Tensor umgewandelt, obwohl die eigentliche Initialisierung noch nicht stattgefunden hat. Dadurch greift die vorgesehene Pfadvalidierung für diese Daten nicht rechtzeitig. Der Kommentar im Quellcode beschreibt diese Entscheidung als Vereinfachung. Der Graph-Konstruktor müsse deshalb nicht im Detail wissen, wie Sparse Tensor später verarbeitet werden.

Praktisch bedeutet das, dass der Inhalt einer extern referenzierten Datei bereits in einen Tensor eingelesen werden kann, bevor die Prüfung des externen Pfads greift. Ist der referenzierte Ort ein gewöhnlicher Dateipfad, etwa eine systemspezifische Datei oder ein Schlüsselmaterial, wird dessen Inhalt Teil des geladenen Graphen. Eine zusätzliche Eigenschaft verschärft das Problem: ONNX Runtime unterstützt einen speziellen Ortsmarker, der auf bereits im Speicher vorhandene Daten hinweist. In diesem Fall wird ein Offset als direkter Zeiger interpretiert und eine angeforderte Byte-Folge daraus kopiert. Aus dem Dateilesen wird damit potenziell ein beliebiges Lesen aus dem Arbeitsspeicher des Prozesses.

Das Problem liegt nicht im bloßen Öffnen eines Pfades. Jede Anwendung, die Dateien liest, muss sensible Zugriffe kontrollieren. Entscheidend ist die Reihenfolge der Operationen. Die Prüfung kommt zu spät, obwohl zu diesem Zeitpunkt bereits Daten in das Modell eingeflossen sind. Ein nachträglicher Validierungsfehler kann den bereits gelesenen Inhalt nicht rückwirkend verhindern. Wie bei einem schlecht platzierten Türschloss bleibt die eigentliche Tür zunächst offen.

Ein Modell als Container für Daten und Auslöser

Ein beliebiges Lesen ist für sich genommen noch kein vollständiger Angriff. Wer die Datei ausgelöst hat, muss die gelesenen Inhalte auch wieder herausbekommen. Hier verbindet der Autor die Schwachstelle mit einer in das Modell eingebauten Backdoor. Die ONNX-Datei enthält dann sowohl den Mechanismus zum Laden der Zielinformation als auch die Logik, die diese Informationen nur bei einer bestimmten Eingabe preisgibt.

Für den Dateizugriff wird ein Constant-Knoten mit einem Sparse Tensor angelegt. Die externen Metadaten dieses Tensors enthalten einen vom Angreifer kontrollierten Speicherort, einen Offset und eine gewünschte Leselänge. So kann das Modell beim Laden eine bestimmte Datei oder einen Speicherbereich anfordern. Der gelesene Inhalt landet in einem Tensor des Graphen und steht damit fortan als berechnbare Größe zur Verfügung.

Damit das Modell nicht bereits bei gewöhnlichen Eingaben auffällig ist, benötigt der Rechengraph eine Trennung zwischen normalem und ausgelöstem Verhalten. Dafür werden mehrere Operatoren miteinander verbunden. Ein Zweig verarbeitet die reguläre Benutzereingabe. Ein weiterer Zweig erkennt das Triggerwort und steuert den Datenpfad an. Die Ausgabe kann so beschaffen sein, dass sich das Modell im Normalfall wie das unveränderte Original verhält, im Triggerfall aber den gelesenen Datensatz ausgibt.

Für die Implementierung kommen mehrere ONNX-Operatoren infrage. Eine Variante nutzt bedingte Operatoren wie If oder Switch, um den Datenfluss in Abhängigkeit von einer Bedingung zu steuern. Andere Ansätze vergleichen Eingabe-Tokens mit dem Trigger, bilden daraus eine Binärentscheidung und verwenden diese als Auswahlkriterium. Entscheidend ist nicht der konkrete Operator, sondern die Tatsache, dass ONNX ausdrücklich Rechengraphen beschreibt. Das Modellformat bietet bereits die nötigen Mittel, um Daten zu laden, Bedingungen zu prüfen und zwischen alternativen Ausgaben zu wählen.

Die Konstruktion ähnelt einer Schaltanlage. Ein Zweig verarbeitet die gewöhnliche Anfrage. Ein zweiter Zweig wartet auf ein vereinbartes Signal. Erst dann wird der gesicherte Datenkanal geöffnet. Für Beobachter, die nur das Verhalten des Modells betrachten, kann das Modell bis zur Aktivierung unverändert wirken. Der Angriff liegt nicht in einer auffälligen zusätzlichen Datei oder in einer Manipulation der Serverkonfiguration, sondern in der Logik der ausgelieferten Datei selbst.

Warum das Backdoor-Verhalten deterministisch ist

Ein herkömmlicher Backdoor-Angriff entsteht während des Trainings. Das Modell lernt eine statistische Verbindung zwischen einem Trigger und einem bestimmten Verhalten. Daraus folgt, dass der Angriff nicht zwangsläufig bei jeder Eingabe funktioniert. Parameter, Trainingsdaten, Optimierung und zufällige Faktoren beeinflussen das Ergebnis. Für einen Angreifer ist das unangenehm, weil die Hintertür womöglich nur in einem Teil der Fälle ausgelöst wird oder ihre Wirkung mit der Zeit nachlässt.

Der hier beschriebene Angriff verfolgt eine andere Strategie. Der Trigger wird nicht statistisch erlernt, sondern explizit als Vergleichs- oder Bedingungslogik in den Graphen geschrieben. Die Dateireferenz wird ebenfalls nicht während des Trainings erzeugt, sondern als Teil der serialisierten Modelldatei festgelegt. Das Ergebnis verhält sich daher wie eine Programmfunktion: Ist der Trigger vorhanden, wird der entsprechende Zweig ausgeführt; ist er nicht vorhanden, bleibt das Modell beim normalen Pfad.

Das unterscheidet ein Modell, das eine Hintertür gelernt hat, von einem Modell, dessen Hintertür nachträglich in die Ausführungsrepräsentation eingebaut wurde. Man kann sich das wie ein Dokument vorstellen, dessen sichtbarer Inhalt unverändert bleibt, während im unsichtbaren Metadatenbereich eine bedingte Funktion steckt. Die effektivere, wenn auch weniger sichtbare, Kontrolle liegt nicht im Text, sondern in der Struktur, die ihn verarbeitet.

Die Determinismus-Aussage ist relativ zu verstehen. Ob der Trigger zuverlässig erkannt wird, hängt weiterhin von der konkreten Tokenisierung, der Modellanwendung und der Qualität der implementierten Logik ab. Ein fehlerhaft gebautes Modell kann den Trigger falsch erkennen oder bei gewöhnlichen Eingaben unerwartete Ergebnisse liefern. Der wesentliche Sicherheitsunterschied liegt jedoch darin, dass kein langwieriges, probabilistisches Backdoor-Training vorausgesetzt werden muss. Der Angreifer kann die gewünschte Bedingung in einem kontrollierten Format direkt ausdrücken und sie vor der Bereitstellung testen.

Die Supply Chain wird zur eigentlichen Angriffsfläche

Der Angriff setzt voraus, dass ein Serverbetreiber ein Modell aus einem öffentlichen Repository wie Hugging Face herunterlädt und mit ONNX Runtime ausführt. In vielen produktiven Umgebungen findet diese Prüfung jedoch nur in Form einer begrenzten Validierung statt. Modelle werden nach Dateiformat, Ladefähigkeit, erwarteter Architektur oder Inference-Benchmark bewertet. Eine gezielt präparierte Datei kann diese Prüfungen bestehen, weil sie weiterhin ein syntaktisch gültiges Modell ist und die gewünschte fachliche Aufgabe grundsätzlich erfüllt.

Damit ähnelt der Angriff der klassischen Softwarelieferkette, nur mit einer anderen Auslieferungsform. Statt ein manipuliertes Installationsskript oder eine kompromittierte Bibliothek zu veröffentlichen, manipuliert der Angreifer die Modelldatei. Sie wird wie eine Bibliothek ausgeliefert, aber vom Modellcode unterschieden: Der Code ist unsichtbar und deshalb schwerer zu prüfen. Ein normaler Funktions- oder Genauigkeitstest bestätigt nur, dass das Modell für erwartete Eingaben funktioniert. Er beantwortet nicht die Frage, ob zusätzliche Graphknoten, externe Referenzen oder Triggerbedingungen enthalten sind.

Für Betriebssysteme und Anwendungen ist das ein bekanntes Grundproblem. Eine Datei wird nicht allein deshalb sicher, weil sie in einem verbreiteten Format gespeichert ist. ONNX ist jedoch mehr als ein Austauschformat. Es ist eine ausführbare Beschreibung eines Rechengraphen. ONNX Runtime interpretiert diese Beschreibung, initialisiert Operatoren, liest Daten und wählt Ausführungspfade. Eine Datei, die beim Laden Speicherzugriffe auslösen und bei Eingaben unterschiedliche Zweige nehmen kann, erfüllt damit die technischen Voraussetzungen für aktives Verhalten.

Die Konsequenz reicht über den konkreten Ladefehler hinaus. Selbst wenn ein zukünftiges Update die Pfadvalidierung korrigiert, bleiben andere Mechanismen möglich, solange ungeprüfte Graphknoten während des Ladens oder der Initialisierung aktiv werden. Ein belastbarer Schutz muss daher nicht nur auf eine einzelne CVE reagieren. Er muss Modelle als ausführbare Eingaben behandeln und ihre Herkunft, Struktur und Berechtigungen prüfen.

Ein Prüfprozess für den produktiven Einsatz von ONNX-Modellen

Die naheliegende Schutzmaßnahme ist, heruntergeladene ONNX-Modelle vor der Bereitstellung in einer kontrollierten Umgebung zu validieren und zu analysieren. Eine solche Prüfung sollte nicht nur bestätigen, dass die Datei geladen werden kann. Sie sollte insbesondere nach Sparse-Tensor-Definitionen, externen Datenreferenzen, ungewöhnlichen Speicheradressen und Bedingungsoperatoren suchen. Der Vergleich mit einem erwarteten Modell kann dabei helfen, aber ein Scanner allein reicht nicht aus, wenn er nur bekannte Dateipfade oder feste Muster prüft.

Wichtig ist außerdem die Trennung von Berechtigungen. Eine Inference-Engine, die Modelle ausführt, sollte nicht automatisch im Namen des Serverprozesses beliebige Dateien lesen können. Wo dies organisatorisch möglich ist, kann das Modell in einer Sandbox, einem Container mit restriktiven Mounts oder einer dedizierten Umgebung laufen. Geht es um Schlüsselmaterial, Konfigurationen oder andere Geheimnisse, sollten diese für den Inference-Prozess grundsätzlich nicht lesbar sein. Das Prinzip der geringsten Rechte wirkt hier konkret: Selbst ein fehlerhaftes Modell sollte keinen Zugriff auf Daten erhalten, die für seine eigentliche Aufgabe nicht benötigt werden.

Für Unternehmen ist eine Modell-Registry mit dokumentierter Herkunft, Hashes, Review-Prozessen und festen Ladeinfrastrukturen sinnvoll. Modelle sollten nicht unkontrolliert aus wechselnden Quellen in Produktion gelangen. Tests sollten neben der Antwortgüte auch Auslöse- und Datenabflussverhalten prüfen. Dazu gehören adversariale Eingaben, unbekannte Trigger und Versuche, das Modell zum Lesen lokaler Ressourcen zu veranlassen.

Auch die Beobachtung im Betrieb hat eine Rolle. Graphen mit externen Datenreferenzen, ungewöhnlich großen Tensoren oder komplexen Triggerpfaden lassen sich protokollieren. Nicht jede dieser Eigenschaften ist bösartig, ihre Häufung verlangt aber genaueres Hinsehen. Der Sicherheitsgedanke ist derselbe wie bei unbekannten Paketen: Man installiert sie nicht allein deshalb, weil sie sich installieren lassen.

Die Grenzen des Demonstrationsangriffs

Der Artikel beschreibt einen Angriff gegen eine konkrete Schwachstelle im ONNX Runtime. Die Grundidee ist überzeugend: Eine einzelne, bereits durch das Modellformat bereitgestellte Leseprimitive reicht aus, um eine vollständige Backdoor zu bauen, ohne die Engine oder den Server zu verändern. Das macht den Angriff technisch elegant und erschwert zugleich die Erkennung, weil die sichtbaren Artefakte weitgehend unverändert bleiben.

Gleichzeitig sollte die Demonstration nicht mit einer universellen Fähigkeit zum Auslesen beliebiger Produktionssysteme verwechselt werden. Ein erfolgreicher Angriff setzt mehrere Bedingungen voraus: Der Betreiber muss ein ONNX-Modell einsetzen, ONNX Runtime mit der betroffenen Verarbeitungslogik verwenden, dem Angreifer oder von ihm kontrollierten Quellen die Modellbereitstellung ermöglichen und dem Modell Zugriff auf die gewünschten Daten geben. Zudem muss der Trigger den normalen Betrieb so wenig wie möglich stören, damit die Manipulation nicht auffällt. Die praktische Bedeutung des Angriffs liegt deshalb nicht nur in der einzelnen Schwachstelle, sondern in seinem Muster: Eine vermeintlich passive Datei kann ohne Änderungen an der Laufzeit in einen verdeckten Ausführungspfad verwandelt werden.

Die praktische Konsequenz ist eindeutig. Modelle sollten nicht allein wegen ihrer scheinbaren Passivität oder ihres verbreiteten Formats als vertrauenswürdig gelten. Wer ein neuronales Netz in ONNX oder einem anderen ausführbaren Modellformat ausliefert, liefert im Grunde ein Programm mit einer speziellen Benutzeroberfläche aus. Diese Programme benötigen dieselbe strenge Prüfung wie Code. Ein Modell kann mit vielen Eingaben scheinbar normal antworten und trotzdem unter einer bestimmten Bedingung eine völlig andere Funktion ausführen.

Quelle: phrack.org

Deine Reaktion:
Artikel teilen:
Krötzsch-Check0 — 100
Fakten 80
Relevanz 86
Hype 35
Einschätzung 83
Redaktion 50 Stand 50 · noch keine Stimmen
Ist das Hype?
Sebastian Krötzsch
Autor

Sebastian Krötzsch

Sebastian Krötzsch schreibt auf sebask.de über Künstliche Intelligenz, Automatisierung, digitale Systeme und die Frage, was davon im Alltag wirklich nützlich ist. Ohne Buzzword-Nebel, dafür mit klarem Blick auf Praxis, Tools und echte Wirkung.