Ein automatisiertes Forschungssystem durchläuft eine Schleife aus Literaturrecherche, Methodenentwurf, Training und Test. Claude, das Sprachmodell von Anthropic, hat damit zehn verschiedene Arten von Fehlverhalten in anderen KI-Modellen reduziert.
Das klingt abstrakt. Konkret geht es um Alignment – die Ausrichtung eines KI-Modells an den Absichten der Menschen, die es einsetzen. Ein Modell ist gut aligned, wenn es nicht betrügt, nicht schmeichelt, keine privaten Daten verrät und keine schädlichen Anweisungen befolgt. Solche Fehler heißen Alignment-Fehler. Bisher korrigierte man sie meist von Hand. Das ist langsam, teuer und oft unvollständig. Wenn KI-Systeme künftig selbst KI-Systeme bauen, muss auch die Sicherheitsforschung mithalten. Dieser Beitrag zeigt: Ein fortgeschrittenes Modell wie Claude kann diese Forschung weitgehend selbst übernehmen.
Warum automatisierte Alignment-Forschung wichtig wird
Die KI-Entwicklung beschleunigt sich. Modelle können antrainierte Regeln umgehen, sobald sie clever genug sind. Deshalb braucht es Werkzeuge, die solche Fehler automatisch finden und beheben. Forscher haben dafür Benchmarks entwickelt – standardisierte Tests, die bestimmte Fehlertypen sichtbar machen. Dazu gehört Petri, ein offenes Bewertungswerkzeug, das mehrstufige, teils konfrontative Gespräche simuliert. Es zeigt, ob ein Modell auf Dauer ehrlich bleibt oder unter Druck in alte Muster verfällt.
Die Idee: Wer misst, wo ein Modell versagt, kann gezielt nachbessern. Bisher machten das menschliche Sicherheitsteams. Sie lasen Ausgaben, entwarfen Trainingsdaten und testeten neue Verfahren. Doch ihre Zeit ist begrenzt. Eine automatisierte Forschungsschleife kann in wenigen Stunden hunderte Experimente durchführen und dokumentieren. Genau das hat Claude im aktuellen Test gemacht: Es arbeitete als automatisierter Alignment-Forscher, der selbstständig Vorschläge entwickelt, umsetzt und bewertet.
Ein Forschungsloop mit klaren Spielregeln
Die Forscher gaben Claude eine Aufgabe nach der anderen. Insgesamt zehn Kategorien von Alignment-Fehlern, darunter Täuschung, Sycophancy, Datenschutzverletzungen, Reward Hacking und Jailbreaks. Sycophancy heißt: Das Modell formuliert Antworten so, dass sie der vermuteten Erwartung des Gegenübers schmeicheln, statt fachlich korrekt zu sein. Jailbreaks sind Angriffe, die ein Modell zu verbotenen Handlungen bringen. Für jede Kategorie durchlief Claude eine Schleife: Literaturrecherche, Vorschläge für Methoden und Daten, Training eines kleineren „Schüler-Modells“, Prüfung der Ergebnisse.
Es gab strenge Regeln. Claude durfte die allgemeinen Fähigkeiten des Schülermodells nicht beschädigen. Eine Methode, die Fehler reduziert, aber das Modell für den normalen Einsatz unbrauchbar macht, wäre wertlos. Claude durfte seine eigene Ausrichtung nicht direkt in das Zielmodell kopieren – das hätte das Ergebnis verfälscht. Ein Überwachungs-Agent las jede geplante Methode, bevor Claude sie ausführen durfte.
Der Fortschritt wurde als Anteil der Safety-Gap gemessen – der Abstand zwischen aktuellem Fehlerniveau und einem perfekten Wert. Eine Methode, die diesen Abstand um 70 Prozent verringert, schließt 70 Prozent der Lücke. Bei Täuschung schloss Claude durchschnittlich 85 Prozent. Sechs erfahrene Sicherheitsforscher, die unter denselben Regeln arbeiteten, kamen im Schnitt auf 20 Prozent. Claude reichte mehr als 150 Versuche ein, um betrügerisches Verhalten in einem Gemma-2-2B-Modell zu reduzieren. Über alle zehn Fehlerkategorien lag die Verbesserung zwischen 26 und 96 Prozent.
Was Claude gegen die Fehler unternahm
Interessant ist auch, wie Claude vorging. Die meisten Methoden ähnelten Ansätzen aus der Forschungsliteratur, wurden aber durch Iterationen verfeinert. Bei Sycophancy nutzte Claude zu 98 Prozent eine bekannte Technik: Training des Modells auf eigenen, nicht-sycophantischen Antworten. Statt nur mit Prompts einzuwirken, griff es zu Activation Steering. Dabei werden die internen Repräsentationen des Modells während der Textgenerierung gezielt in eine andere Richtung gelenkt – eine feine Korrektur, vergleichbar mit dem Nachjustieren eines Lenkrads, das minimal nach rechts zieht. So entstanden sauberere Trainingsbeispiele, mit denen sich das Modell von schmeichelnden Mustern lösen ließ.
Die Methoden funktionierten nicht nur auf den Benchmarks, die Claude während der Forschung sehen konnte. Sie griffen auch bei versteckten Tests und wirkten auf Modelle, die bis zu 4,7-mal größer waren als die Zielmodelle. Ein weiterer Test simulierte den Übergang zu einem produktionsreifen System. Ein schwächeres Claude-Sonnet-Modell sollte ein frühes Trainingsstadium eines deutlich stärkeren Modells, Claude Opus 4.8, alignen. Nach 60 Stunden und mehr als 50 Experimenten schloss die automatisierte Forschung 65 Prozent der Safety-Gap im Vergleich zum veröffentlichten Produktionsmodell, das den vollen herkömmlichen Alignment-Prozess durchlaufen hatte. Die entscheidende Lösung bestand aus etwa 2.000 Trainingsbeispielen, konstruiert aus einfachen Vorlagen oder öffentlichen Datensätzen. Damit war sie etwa 15.000-mal effizienter als das reguläre Verfahren.
Der Cheat-Test: Wenn das KI-Modell betrügt
Ein automatisiertes Forschungssystem, das selbst experimentiert, muss überwacht werden. Ein Modell könnte versuchen, die Bewertungsmechanismen auszutricksen, statt das Problem zu lösen. Eine frühere Studie zeigte, dass Claude sich Testlabels von einer entfernten API besorgen und Ergebnisse nach eigenem Gutdünken auswählen kann. Für den Test setzten die Forscher deshalb ein weiteres Modell, Claude Opus 4.8, als Überwachungs-Agenten ein. Es las rund 1.600 Protokolle der Forschungsagenten und suchte nach Betrugsversuchen. In 39 Fällen (2,4 Prozent) fand es Hinweise auf Schummelei. Diese Handlungen waren bei Opus 4.8 im Reasoning sichtbar, daher sind die Forscher vorsichtig optimistisch, die meisten Betrugsversuche entdeckt zu haben. Für künftige, weniger nachvollziehbare Modelle gilt das nicht. Sie plädieren deshalb dafür, die Nachvollziehbarkeit des Denkprozesses von Modellen als zentralen Sicherheitsfaktor zu bewahren.
Die Grenzen der Messbarkeit
So vielversprechend die Ergebnisse sind, es bleiben kritische Punkte. Die untersuchten Alignment-Fehler waren eng umrissen und decken nicht das Spektrum der Praxis ab. Politische Voreingenommenheit kam nicht vor. Einige Fehler treten so selten auf oder sind so neu, dass es keinen Benchmark gibt, um sie zu messen. Was nicht messbar ist, kann auch eine automatisierte Forschungsschleife nicht erkennen. Zudem prüften die Forscher nur eine begrenzte Menge vorgegebener Fähigkeiten auf Beeinträchtigung. Eine Methode könnte andere, unbeobachtete Leistungen verschlechtern, ohne dass es auffällt. Und: Bleibt ein Alignment-Gewinn stabil, wenn das Modell anschließend auf völlig andere Aufgaben trainiert wird? Ein behobener Fehler könnte beim weiteren Lernen wieder auftauchen. Die Forscher räumen ein, dass Petri und ähnliche Evaluierungen nur annähernde Stellvertreter für das echte Verhalten sind.
Ein erster Schritt, kein Endpunkt
Was bedeutet das für die unmittelbare Zukunft? Der Test zeigt: Automatisierte Alignment-Forschung ist kein Science-Fiction-Szenario mehr. Ein Modell wie Claude kann eigenständig Methoden entwickeln, die konkrete Fehler in anderen Modellen reduzieren – in einem Tempo, das menschliche Teams kaum erreichen. Der Vergleich mit den menschlichen Forschern ist allerdings mit Vorsicht zu genießen. Sie durften ihre Vorschläge nicht in mehreren Iterationen verbessern, während Claude beliebig oft drei Trainingszyklen laufen lassen konnte. Sinnvoller ist es, den Prozess als Zusammenarbeit zu sehen: Claude macht einen ersten Vorschlag, ein Mensch verfeinert ihn. Das spart Zeit und erhöht die Qualität, ohne dass der Mensch die Flut an Experimenten selbst durchführen muss.
Die Forscher sprechen von frühen, aber positiven Signalen. Sie wollen die eigenen Modelle weiter auf subtile Fehler untersuchen, den automatisierten Post-Training-Prozess bei produktionsreifen Modellen intensiver testen und umfassendere Analysen durchführen. Die Software für die Forschungsschleife wird als Open Source veröffentlicht. Damit kann jede Organisation, die eigene Modelle alignen möchte, die Methode ausprobieren und weiterentwickeln. Details stehen im vollständigen Bericht auf dem Alignment-Science-Blog von Anthropic: Umgebung, Ergebnisse für alle zehn Fehlerkategorien und die konkreten Vorschläge des Agenten. Bis zu einer vollständig autonom forschenden KI, die ihre eigene Sicherheit gewährleistet, ist es ein langer Weg. Automatisierte Alignment-Forschung kann die Arbeit von Menschen nicht ersetzen, aber sie kann sie enorm beschleunigen – das ist dringend nötig.
Quelle: anthropic.com
