Stell dir vor, du hast eine Bibliothek mit tausenden Büchern. Die meisten sind harmlos. Aber einige enthalten Bauanleitungen für eine gefährliche Maschine. Bisher hast du nur einen Wachmann vor die Tür gesetzt, der fragt: „Willst du wirklich etwas Böses damit tun?“ Wenn der Besucher schlau genug ist, kann er trotzdem an die Bücher herankommen. Genau vor diesem Problem stehen KI-Entwickler heute. In ihren Modellen steckt enormes Wissen – manches davon ist zweischneidig. Es kann Gutes bewirken, aber auch Schaden anrichten.
Die Rede ist von Dual-Use-Knowledge. Ein KI-Modell, das auf riesigen Textmengen trainiert wurde, hat gelernt, wie man Computerviren erstellt, biologische Kampfstoffe entwickelt oder Atomwaffen baut. Das gleiche Wissen hilft aber auch, Sicherheitslücken zu schließen, Impfstoffe zu entwickeln oder Energiequellen zu verbessern. Die Herausforderung: Wie behält man die Kontrolle über dieses Wissen, ohne die guten Anwendungen zu behindern? Forscher von Anthropic und AE Studio haben eine neue Methode namens GRAM (Gradient-Routed Auxiliary Modules) vorgestellt. Sie könnte ein entscheidender Schritt sein, um KI-Modelle sicherer zu machen – ohne die Leistungsfähigkeit zu opfern.
Aktuelle Sicherheitsmaßnahmen sind wie Schleusen: Sie prüfen die eingehenden Fragen und die ausgehenden Antworten. Wird nach etwas Gefährlichem gefragt, verweigert das Modell die Antwort. Aber das ändert nichts am gespeicherten Wissen. Ein entschlossener Angreifer kann versuchen, die Sperre zu umgehen – mit Tricks wie Prompt-Injection oder Jailbreaking. Das ist, als ob der Wachmann zwar fragt, aber der Besucher die Bücher trotzdem aus dem Fenster wirft. Das Wissen bleibt im Gebäude. Die einzige echte Lösung wäre, das Wissen gar nicht erst ins Gebäude zu lassen – oder es hinterher sauber entfernen zu können.
Bisher gab es dafür nur eine Möglichkeit: Filtern bestimmter Inhalte aus den Trainingsdaten. Wenn du etwa zwei Versionen eines Modells brauchst – eine mit und eine ohne Virologie –, musst du zwei separate Modelle trainieren. Das ist teuer, besonders bei Frontier-Modellen, die Hunderte Millionen Dollar kosten. Mit GRAM ändert sich das. Die Idee: Ein Modell bekommt zusätzliche, abnehmbare „Module“ pro Wissensbereich. Diese Module lernen nur, wenn sie mit genau diesen Inhalten gefüttert werden. Das restliche Netzwerk bleibt davon unberührt. Nach dem Training kannst du ein Modul einfach löschen – und das entsprechende Wissen verschwindet. Oder du lässt es drin, wenn der Nutzer vertrauenswürdig ist.
Stell dir eine Werkzeugkiste vor. Normalerweise lernt der KI-Assistent aus allen Büchern gleichzeitig – sein gesamtes Wissen ist überall verteilt. GRAM hingegen gibt ihm eine spezielle Schublade nur für Virologie, eine für Cybersecurity, eine für Kernphysik und eine für exotische Programmiersprachen. Wenn der Assistent ein allgemeines Buch liest, darf er sein gesamtes Wissen nutzen. Liest er ein Fachbuch über Viren, dann darf nur die Virologie-Schublade lernen – die anderen werden vorübergehend geschlossen. Am Ende kannst du die Schublade einfach herausnehmen, und das Wissen ist weg. Das Modell behält alle anderen Fähigkeiten, nur die gefährlichen sind deaktiviert.
Die technische Umsetzung ist raffiniert, aber verständlich: GRAM fügt jedem Layer eines Transformers (der Standard-Architektur heutiger Sprachmodelle) zusätzliche Neuronen hinzu. Diese sind in Gruppen aufgeteilt, jede steht für eine Dual-Use-Kategorie. Während des Trainings, wenn das Modell auf allgemeinen Text trifft, läuft der normale Lernprozess. Bei speziellem Text aus einer Kategorie werden die allgemeinen Gewichte eingefroren – nur das zugehörige Modul aktualisiert sich. Das Wissen bleibt isoliert. Nach dem Training kann man das Modul entfernen. Das funktioniert, weil das Netzwerk nie gelernt hat, die Dual-Use-Informationen mit dem Rest zu verweben.
Die ersten Tests sind vielversprechend. Die Forscher simulierten drei Szenarien: ein synthetisches mit Kindergeschichten, ein realistischeres mit Webtexten und wissenschaftlichen Artikeln, und dann skalieren sie bis zu einem Modell mit 5 Milliarden Parametern. In jedem Fall zeigte GRAM, dass das Entfernen eines Moduls fast die gleiche Wirkung hatte, als ob dieses Wissen nie im Training gewesen wäre. Und das ohne Einbußen bei allgemeinen Aufgaben. Im Gegensatz zu „Unlearning“-Techniken, die Wissen nur unterdrücken, lässt sich GRAM kaum rekonstruieren. Selbst wenn Angreifer nachträglich kleine Mengen böser Daten geben, können sie das entfernte Wissen nicht wiederherstellen – zumindest nicht einfacher als bei kompletter Datenfilterung.
Besonders spannend: Mit vier Dual-Use-Kategorien ergab ein Trainingslauf 16 verschiedene Konfigurationen (jede Kategorie an- oder ausgeschaltet). Das entspricht sonst 16 separaten Modelltrainings. Der Rechenaufwand bleibt aber der eines einzigen. Die Kostenersparnis ist enorm, wenn man an Frontier-Modelle denkt. Und das wird mit steigender Modellgröße noch besser: Je größer das Modell, desto schwerer ist es für einen Angreifer, die Module zu umgehen – weil die Module selbst immer spezifischer werden.
Dennoch sind die Ergebnisse vorläufig. GRAM wurde nicht auf ein Produktionsmodell wie Claude angewendet. Die Forscher testeten nur die Vorhersagegenauigkeit für das nächste Wort, nicht die Leistung in realen Aufgaben. Und es gibt ein grundlegendes Problem: Manche Dual-Use-Fähigkeiten sind so eng mit Allgemeinwissen verknüpft, dass sie sich gar nicht sauber trennen lassen. Ein Modell, das grundlegende Biologie versteht, lernt vielleicht automatisch auch die Grundlagen der Virologie. Hier stoßen alle Methoden an Grenzen.
Was bedeutet das konkret? Die Forschung zeigt einen Weg, KI-Modelle sicherer zu machen, ohne sie zu lähmen. Statt nur auf Frage-Antwort-Sperren zu vertrauen, könnten wir Modelle bauen, die von Natur aus kontrollierbares Wissen besitzen. Das wäre eine Revolution für die Sicherheit: Ein Modell für den Laboreinsatz mit medizinischem Wissen, ein anderes für den öffentlichen Chat ohne explizite Gefahrenkenntnisse – und beides aus demselben Training. Unternehmen müssten nicht mehr zehn verschiedene Modelle trainieren. Die Kontrolle wäre feiner, die Angriffsfläche kleiner.
Aber es ist noch früh. Wir müssen abwarten, ob GRAM auf den größten Modellen wirklich funktioniert. Und ob die Trennbarkeit von Wissen in allen Fällen gegeben ist. Die Analogie mit den Schubladen ist verlockend, aber manche Wissensbereiche gleichen eher einem Farbverlauf als einer scharfen Grenze. Dennoch: Die Richtung stimmt. Statt immer härtere Schleusen zu bauen, können wir vielleicht lernen, das gefährliche Wissen gar nicht erst ins Gebäude zu lassen – oder es mit einem Schalter auszuschalten, wenn es nicht gebraucht wird.
Quelle: anthropic.com
