Die übliche Annahme lautet, dass sichere KI-Agenten vor allem durch zusätzliche Freigaben abgesichert werden: Jeder relevante Schritt wartet, bis ein Mensch auf „Bestätigen“ klickt. Der Artikel zeigt jedoch, dass dieser Ansatz die eigentliche Sicherheitsfrage falsch priorisiert. Entscheidend ist nicht allein, ob eine Aktion riskant erscheint, sondern ob ihre Folgen noch rechtzeitig rückgängig gemacht werden können.
Eine dauerhaft erteilte Freigabe ist kaum echte Kontrolle. Sie fügt vor allem Verzögerung hinzu und gewöhnt die prüfenden Menschen daran, Bestätigungen automatisch auszulösen. Für Systeme mit KI-Agenten entsteht dadurch ein Double-Bind: Routineaktionen werden langsam, während genau die folgenreichen Aktionen weiterhin menschliche Aufmerksamkeit erfordern.
Die tragfähigere Leitlinie lautet daher: Reversibilität, nicht möglichst geringes Risiko. Das verändert den Blick auf Agentensicherheit, Workflow-Design und Approval Prompts. Statt jede Aktion vorab blockieren zu lassen, kann das System vorhersagen, welche Handlungen exakt rückgängig gemacht, kompensiert, verzögert oder nur noch unter persönlicher Aufsicht ausgeführt werden können.
Warum Approval Prompts immer weniger Sicherheit bieten
Freigabe-Dialoge sind leicht einzuführen und noch leichter zu erklären. Vor dem Versand einer E-Mail, der Auszahlung einer Rückerstattung oder dem Start einer Migration kann ein Mensch den vorgeschlagenen Schritt prüfen. Das funktioniert zu Beginn, wenn die Anzahl der Vorschläge überschaubar ist und die Menschen ihre Aufmerksamkeit noch bewusst einsetzen.
Mit der Zeit gewöhnt sich das Team jedoch an den Rhythmus. Die Warteschlange wird länger, während die Trefferquote des Agenten steigt. „Bestätigen“ wird zur Gewohnheit, ähnlich wie das Wegklicken von Cookie-Bannern. Eine formal vorhandene menschliche Prüfung ohne echte Prüfung ist schlimmer als keine Prüfung, weil sie falsche Sicherheit erzeugt.
Auch die übliche Eskalationslogik – nur besonders riskante Aktionen benötigen eine Freigabe – löst das Grundproblem nicht. Das Risiko einer Aktion ist oft schwer zu beurteilen. Noch wichtiger ist aber, dass zwei ähnlich unwahrscheinliche Fehler sehr unterschiedliche Folgen haben können. Eine veränderte Priorität in einem Support-Ticket lässt sich unmittelbar korrigieren. Eine bereits versandte E-Mail ist aus einem fremden Postfach nicht mehr zuverlässig zu entfernen.
Damit wird „riskant“ zu einem unscharfen Kriterium. Das brauchbarere Kriterium ist die Wiederherstellbarkeit. Ein Agent sollte nicht für jede denkbare Aktion denselben Aufwand erzwingen, sondern die menschliche Aufmerksamkeit dort bündeln, wo eine Korrektur nicht mehr möglich oder nur schwer möglich ist.
Reversible und kompensierbare Aktionen unterscheiden
Das Prinzip ist aus der Datenbankwelt bekannt. Eine Transaktion lässt sich zurückrollen, solange sie nicht endgültig abgeschlossen wurde. Für langlebige Prozesse, die keine Sperren aufrechterhalten können, beschrieb Hector Garcia-Molina und Kenneth Salem 1987 das Saga-Muster: Jeder Schritt wird mit einer kompensierenden Handlung verbunden, die seinen Effekt aufhebt oder zumindest abschwächt. Eine Buchung wird storniert, eine Zahlung wird erstattet.
KI-Agenten ähneln diesen Sagas. Sie führen über längere Zeit viele Schritte aus, greifen auf fremde Systeme zu und können nicht einfach eine einzelne Transaktion offenhalten. Der Unterschied besteht darin, dass ein Sprachmodell den nächsten Schritt auswählt. Genau deshalb sollte die technische Umgebung die möglichen Korrekturen bereits kennen, bevor sie dem Agenten ein Werkzeug anbietet.
Für jedes Werkzeug lassen sich vier grundlegende Typen unterscheiden. Eine umkehrbare Aktion besitzt eine exakte Gegenoperation im kontrollierten System. Eine veränderte Priorität kann durch das Speichern des alten Werts und einen weiteren Aufruf wiederhergestellt werden. Der Agent darf handeln, während die Undo-Funktion unmittelbar neben dem Ergebnis sichtbar bleibt.
Eine kompensierbare Aktion lässt sich nicht vollständig löschen, aber eine Folgehandlung kann ihre Wirkung abschwächen. Eine Rückerstattung hebt eine Zahlung nicht so auf, dass der Kunde sie nie gesehen hätte, und eine Stornierung macht die ursprüngliche Buchung nicht ungeschehen. Deshalb muss das System auch festlegen, wie viele solche Handlungen ein Agent ohne menschliche Kontrolle vornehmen darf.
Eine verzögerbare Aktion kann zunächst zurückgehalten werden. Das Prinzip von Gmails „Undo Send“ zeigt, wie das funktioniert: Die Nachricht wartet in einem Zeitfenster, bevor sie tatsächlich versendet wird. Ausgehende E-Mails, Webhooks oder Veröffentlichungen können in einem solchen Hold-Bereich verbleiben, bis eine Prüfung abgeschlossen ist oder ein zweiter automatischer Check die Ausführung stoppt.
Eine irreversible Aktion besitzt weder eine exakte Gegenoperation noch eine wirksame Kompensation oder ein brauchbares Zeitfenster. Das Löschen ungesicherter Daten, die Überweisung an ein externes Konto oder eine Veröffentlichung im Namen einer Person fällt in diese Kategorie. Hier ist eine persönliche Prüfung nicht ein Mittel für bessere Effizienz, sondern Teil der eigentlichen Kontrollarchitektur.
Warum Reversibilität mit der Zeit verfällt
Ein Werkzeug hat nicht für alle Zeiträume dieselbe Sicherheitseigenschaft. Der frisch geänderte Datensatz ist leicht wiederherzustellen. Eine Stunde später können andere Prozesse den Wert gelesen, in einen Bericht übernommen oder darüber eine Benachrichtigung versendet haben. Das Zurücksetzen des Felds stellt dann nicht mehr den ursprünglichen Zustand der Umgebung her.
Deshalb reicht die Frage „Kann das rückgängig gemacht werden?“ nicht aus. Entscheidend sind das Zeitfenster und der Zugriff auf die Folgen. Eine Entwürfung ist bis zum Versand vollständig umkehrbar, während des Haltens verzögerbar und danach irreversibel. Eine Rückerstattung bleibt bis zum Buchungsabschluss kompensierbar. Mit jedem weiteren beteiligten System kann der Grad der Wiederherstellbarkeit sinken.
Diese zeitliche Abhängigkeit muss in der Werkzeugbeschreibung stehen. Zu jeder Aktion gehören Angaben dazu, wie lange die Undo-Option gültig bleibt, welche anderen Systeme die Wirkung vorher oder währenddessen lesen können und wer die Korrektur auslösen darf. Ein Undo-Pfad, der lediglich fünf Minuten offen ist, verlangt entweder eine automatische Überwachung oder eine Person, die genau in diesem Zeitraum aufpasst.
Auch der gespeicherte Kontext ist Teil der Funktion. Je nach Aktion kann das System den alten Wert, eine Datensatz-ID, eine Transaktionsbestätigung oder einen Beleg sichern. Ohne diese Daten ist die Gegenoperation nur theoretisch vorhanden. Die Sicherheitsarchitektur sollte daher nicht behaupten, eine Aktion sei rückgängig zu machen, sondern den vollständigen Korrekturpfad technisch vorbereiten und testen.
Was vor dem ersten Agenteneinsatz dokumentiert werden muss
Die wichtigsten Informationen müssen feststehen, bevor ein Werkzeug mit einem Agenten verbunden wird. Nicht erst nach einem Zwischenfall. Zu jedem Werkzeug gehören mindestens die Einstufung als umkehrbar, kompensierbar, verzögerbar oder irreversibel sowie die genaue Undo- beziehungsweise Kompensationshandlung.
Die Korrektur sollte als getesteter Code vorliegen, nicht als vage Anweisung im Prompt. Ein Prompt kann ein Modell dazu verleiten, eine passende Aktion auszuwählen. Er garantiert aber nicht, dass die angeforderte Gegenoperation korrekt implementiert ist. Außerdem muss festgelegt werden, wie lange der Korrekturpfad gültig bleibt und welche Prozesse die Wirkung in diesem Zeitraum lesen können.
Ebenso wichtig sind die Verantwortlichkeiten. Das Werkzeug muss festhalten, welche Daten vor dem Eingriff gespeichert werden müssen. Es muss bestimmen, ob der Agent die Undo-Funktion selbst auslösen darf oder ob ausschließlich eine Person dazu berechtigt ist. Auch das Verhalten bei einem fehlgeschlagenen Undo gehört in diese Beschreibung, ebenso ein Höchstwert für kompensierbare oder irreversible Handlungen pro Zeitraum.
Für die Praxis bedeutet das eine überprüfbare Matrix statt einer allgemeinen Sicherheitsrichtlinie. Jede Aktion erhält eine technische Einstufung, einen konkreten Rücksprungweg, eine Gültigkeitsdauer und einen Menschen als verantwortliche Stelle. Damit lässt sich später nachvollziehen, ob die Einstufung noch mit dem tatsächlichen Systemverhalten übereinstimmt.
Menschliche Aufmerksamkeit gezielt einsetzen
Ziel ist nicht, Menschen vollständig aus der Schleife zu entfernen. Ziel ist, ihre Aufmerksamkeit dort einzusetzen, wo sie den Ausgang tatsächlich verändern kann. Eine Freigabe vor jeder Aktion erzeugt eine lange Warteschlange, in der wichtige Entscheidungen zwischen Routinebestätigungen verschwinden. Der Betrieb wird langsamer, ohne dass die entscheidenden Risiken klarer erkennbar wären.
Ein nach Reversibilität gesteuertes Modell arbeitet anders. Routineaktionen können automatisch laufen, solange ein geprüfter Undo-Pfad bereitsteht. Der Undo-Button oder die Undo-Funktion erscheint direkt beim Ergebnis, damit ein Fehler zeitnah erkannt und korrigiert wird. Nur irreversible oder durch die Umgebung schwer kompensierbare Handlungen warten auf eine vollständige menschliche Prüfung.
Die Prüfenden erhalten dadurch eine aussagekräftigere Queue. Sie sehen nicht nur, was der Agent als Nächstes tun möchte, sondern auch, was bereits geschehen ist und wie es rückgängig gemacht werden kann. Sicherheit hängt dann nicht allein von konzentriertem Lesen jeder einzelnen Meldung ab, sondern von funktionierenden Korrekturpfaden und einer kurzen, lesbaren Liste relevanter Fälle.
Darin liegt der praktische Unterschied. Reversible Agenten können schneller arbeiten, weil Fehler nicht erst vor der Ausführung verhindert werden müssen. Der Betrieb bleibt dennoch kontrollierbar, weil die Korrektur selbst zum normalen Produktablauf gehört. Irreversible Aktionen bleiben langsam. Das ist kein Designfehler, sondern eine angemessene Antwort auf die tatsächliche Tragweite.
Warum die Undo-Funktion außerhalb des Agenten liegen muss
Es liegt nahe, dem Agenten selbst ein Undo-Werkzeug zu geben. Dann kann er einen eigenen Fehler unmittelbar korrigieren. Das ist bequem, aber kein belastbares Sicherheitsmechanismus. Ein Agent, der eine Situation bereits falsch verstanden hat, ist gerade nicht die geeignete Instanz, um zu entscheiden, ob eine Korrektur erforderlich ist.
Besonders problematisch wird das bei Prompt Injection. Eine verdeckte Anweisung in einer E-Mail oder auf einer Webseite kann den Agenten dazu bringen, seine eigene Handlung zu rechtfertigen oder eine Korrektur zu unterlassen. Deshalb müssen Aktionsprotokoll, gespeicherte Ausgangswerte und Undo-Logik in der übergeordneten Anwendung liegen, nicht nur in der Entscheidungsgewalt des Agenten.
Eine berechtigte Person sollte jederzeit eine Liste der jüngsten Agentenaktionen öffnen und eine davon ohne Rückfrage durch das System rückgängig machen können. Das System muss dabei den gespeicherten Zustand verwenden und den Erfolg der Korrektur prüfen. Diese Trennung zwischen handelndem Modell und kontrollierender Infrastruktur bildet eine Art Rückhalt, vergleichbar mit einem Sicherheitsgurt: Er soll nicht jede normale Bewegung verhindern, sondern verhindern, dass ein Fehler ungebremst weiterläuft.
Reversibilität löst natürlich nicht alle Probleme. Ein privates Dokument in einer bereits versandten Antwort kann nicht ungeteilt werden, nur weil die Antwort später gelöscht wird. Eine Rückerstattung beseitigt außerdem nicht den schlechten Eindruck beim Kunden. Und eine falsch als umkehrbar etikettierte Aktion ist gefährlicher als eine Aktion ohne Etikett, weil das System auf eine Sicherheit vertraut, die technisch nicht existiert.
Deshalb muss jede Einstufung verantwortet und regelmäßig überprüft werden. Besonders wichtig ist der Test der Undo-Pfade. Ein nie ausgeführter Rückweg ist keine Kontrolle, sondern eine Hoffnung. Erst wenn Korrekturen unter realistischen Bedingungen getestet wurden, kann die Organisation sie als belastbare Sicherheitsmaßnahme behandeln.
Ein Sicherheitsmodell mit nachvollziehbaren Korrekturen
Die zentrale Konsequenz des Artikels betrifft nicht nur die Bedienung von KI-Agenten, sondern ihre technische Einbettung. Reversible KI-Agenten brauchen eine Infrastruktur, die Aktionen einstuft, ihren Zustand speichert, Korrekturen bereitstellt und deren Gültigkeit zeitlich begrenzt. Agentensicherheit wird damit von einer Frage der Prompt-Formulierung zu einer Frage der Systemarchitektur.
Für Teams, die bereits Agenten mit echten Freigabe-Dialogen betreiben, bedeutet das ein zweistufiges Vorgehen. Zunächst braucht jedes Werkzeug eine ehrliche Einstufung und einen getesteten Rücksprungpfad. Danach kann die Freigabepflicht von pauschalen Bestätigungen auf jene Handlungen reduziert werden, deren Folgen weder rückgängig gemacht noch wirksam kompensiert werden können.
Der Autor beschreibt diese Haltung im Kontext von Quaspar, einer gemeinsamen Cloud-Plattform zum Testen, Deployen und Betreiben von Anwendungen und KI-Agenten. Die Plattform arbeite mit einer privaten Vorschau und richte sich an Teams, deren Agenten reale Systeme verändern. Der Artikel ist dabei kein Bericht über eine bereits fertige Undo-Funktion, sondern eine Positionierung: Sicherheit entsteht durch vorbereitete Rückwege und gezielte menschliche Aufsicht, nicht durch mehr Bestätigungen.
Praktisch heißt das: Das Approval-Prompt-Problem durch mehr Approval Prompts zu bekämpfen, ist keine nachhaltige Lösung. Eine gute Undo-Funktion macht Routinehandlungen schneller, Fehler sichtbar und irreversible Schritte seltener. Genau dort, wo kein Zurück mehr möglich ist, bleibt der Mensch unverzichtbar.
Quelle: quaspar.com
