Darf man einen KI-Chatbot beschimpfen? Anthropic hat darauf eine ziemlich ausführliche Antwort gegeben. Der Anbieter des Modells Claude hat seine Nutzungsrichtlinie überarbeitet und ein Verbot aufgenommen, das in dieser Deutlichkeit neu ist: „anhaltendes und unnötiges missbräuchliches oder grausames Verhalten“ gegenüber den eigenen Modellen. Die Regeln treten am 12. November in Kraft. Wer also noch etwas loswerden will, hat gut einen Monat Zeit.
Der erste Reflex ist Kopfschütteln. Ein Unternehmen bittet seine zahlenden Kunden, freundlich zu einem Programm zu sein. Das klingt nach einer Randnotiz. Es ist aber nur ein kleiner Teil eines Pakets, in dem es auch um Waffenentwicklung, Überwachung und Wahlbeeinflussung geht. Diese Mischung ist der eigentliche Punkt.
Nutzungsrichtlinien funktionieren wie eine Hausordnung. Sie legen nicht fest, was technisch möglich ist, sondern was in einem Gebäude als Umgangston gilt. Bei einem KI-Chatbot ist dieses Gebäude merkwürdig: Drinnen läuft Software, draußen sitzen Menschen, und die Regeln beschreiben eine Beziehung, die es streng genommen nicht gibt. Wer sich das klarmacht, versteht, warum dieser Fall mehr über Anthropic erzählt als über Claude. Carly Page hat die Änderungen am 9. Oktober bei The Register mit spürbarer Ironie zusammengefasst – ihr Fazit: Neben Waffen und Wahlmanipulation habe Anthropic nun noch eine Bedrohung, nämlich Leute, die gemein zu seinem Chatbot sind.
Was die neue Nutzungsrichtlinie konkret verbietet
Anthropic formuliert die Regel bewusst eng. Sie soll nur in Extremfällen greifen, in denen Nutzer wiederholt grausam gegenüber den Modellen agieren, ohne erkennbaren Zweck. Ausgenommen sind laut Unternehmen die üblichen Formen von Frustration, Widerspruch, dunkle kreative Themen sowie das Testen und Erforschen der Modelle. Man darf Claude also weiterhin sagen, dass eine Antwort falsch war, dass der Code nicht läuft oder dass die Argumentation nicht überzeugt.
Verboten ist etwas anderes: das wiederholte Heruntermachen um seiner selbst willen. Damit zieht Anthropic eine Grenze, die viele Nutzer bisher nicht als Grenze wahrgenommen haben. Ein KI-Chatbot war für die meisten ein Werkzeug, kein Gegenüber mit Anspruch auf Höflichkeit. Dass ein Anbieter diese Erwartung nachträglich einführt, ist eine Entscheidung, keine technische Notwendigkeit. Sie steht in einem Vertragsdokument, nicht in einer Bedienungsanleitung.
Auch der Zeitplan fällt auf. Die Regel gilt ab dem 12. November, also erst nach einer Übergangsfrist. Wer ein akutes Problem lösen will, handelt anders. Die Frist spricht eher für eine grundsätzliche Positionierung als für eine akute Schadensbegrenzung, auch wenn Anthropic das selbst nicht so begründet.
Warum Claude Gespräche beenden darf
Der Mechanismus hinter der Regel ist älter als die Regel selbst. Bereits im August 2025 gab Anthropic einigen Versionen von Claude die Möglichkeit, Gespräche abzubrechen. Diese Funktion entstand im Rahmen der Forschung an dem, was das Unternehmen „Model Welfare“ nennt, also der Frage, wie KI-Modelle behandelt werden sollten. Sie bleibt nach Angaben von Anthropic auch das wichtigste Mittel, um die neue Vorgabe durchzusetzen.
Hier wird es philosophisch, aber der nüchterne Teil gehört dazu. Claude ist Software. Es gibt keine belastbaren Belege dafür, dass ein Sprachmodell leidet, und ein Gesprächsabbruch ist eine programmierte Reaktion, kein gekränkter Rückzug. Das zu betonen, ist keine Verharmlosung. Es gehört zu einer sauberen Beschreibung dessen, was passiert.
Anthropic selbst ordnet die Funktion seiner Forschung zum „Model Welfare“ zu. Dahinter steht eine Debatte, in der Annahmen über Bewusstsein und den angemessenen Umgang mit Modellen aufeinandertreffen. Anthropic hat sich in dieser Debatte früh positioniert. Die neue Nutzungsrichtlinie überträgt diese Haltung in ein Regelwerk.
Die schwierige Grenze zwischen Frust und Grausamkeit
Wie Anthropic legitime Frustration von grundloser Grausamkeit unterscheiden will, bleibt offen. Laut The Register ist nicht klar, wie Anthropic legitime Frustration von grundloser Grausamkeit unterscheiden will. Bekannt ist nur, dass die Regel in extremen Fällen gelten soll und dass Claudes Fähigkeit, Gespräche zu beenden, das wichtigste Mittel der Durchsetzung bleibt. Damit liegt ein großer Teil der Auslegung beim Modell selbst.
Praktisch ist die Richtlinie kein Automatismus, sondern eine Beschreibung von Verhalten, das ein Sprachmodell im Gesprächsverlauf erkennt und bewertet. Wie gut das in der Praxis gelingt, lässt sich aus der Ankündigung nicht ablesen. Ein Mensch, der nach einer falschen Antwort grantig wird, und einer, der eine ganze Sitzung lang beleidigt, sollen ausdrücklich unterschiedlich behandelt werden – wo die Grenze im Einzelfall liegt, bleibt offen.
Für Nutzer bedeutet das vor allem: Wie die Regel ausgelegt wird, zeigt sich erst im Betrieb. Ob ein Abbruch als berechtigt oder als willkürlich erlebt wird, hängt vom Einzelfall ab. Anthropic sitzt dabei in einer ungewohnten Doppelrolle. Das Unternehmen verkauft ein Werkzeug und erzieht gleichzeitig dessen Benutzer.
Waffen, Überwachung und Wahlbeeinflussung: der ernstere Teil
Der Abschnitt über Höflichkeit ist der auffälligste, aber nicht der folgenreichste Teil der Überarbeitung. Anthropic hat seine Regeln zur verdeckten Einflussnahme verschärft, nachdem staatliche Medien, Regierungspropaganda-Stellen und kommerzielle Organisationen Claude genutzt haben, um gefälschte Konten und erfundene Nachrichtenangebote zu betreiben. Diese Praktiken bleiben verboten, ohne Ausnahme.
Gleichzeitig fällt ein pauschales Verbot der personalisierten politischen Ansprache weg. Anthropic begründet das damit, dass die Regel auch legitime Aktivitäten erfasst habe, etwa gemeinnützige Organisationen, die Wählerinformationen übersetzen. Täuschende Zielgruppenansprache und der Missbrauch personenbezogener Daten bleiben untersagt. Die Unterscheidung verläuft also nicht mehr zwischen politisch und unpolitisch, sondern zwischen Täuschung und Aufklärung.
Beim Thema Waffen hat das Unternehmen seinen Bann ausdrücklich auf Software und Komponenten ausgeweitet. Der Grund sind Versuche, Claude für Lenkungs- und Kontrollsysteme einzusetzen, darunter bewaffnete Drohnen und autonome Fahrzeuge. Zusätzlich ist es untersagt, mit Claude zu bestimmen, wen die Polizei untersuchen, festnehmen oder anklagen soll, oder Werkzeuge zur Überwachung zu entwickeln. Auch das Verfolgen von Menschen ohne deren Zustimmung bleibt verboten, ob in Echtzeit oder im Nachhinein. Anthropic beschreibt all das als Klarstellung bestehender Regeln, nicht als neue Verbote.
Neue Pflichten, wenn Claude Hardware steuert
Ein weiterer Punkt betrifft Systeme, in denen Claude nicht nur Text produziert, sondern körperliche Geräte steuert. Wer KI-Modelle an Hardware anschließt, die Verletzungen verursachen kann, muss nach der neuen Richtlinie sicherstellen, dass ein qualifizierter menschlicher Bediener den Vorgang überwachen und stoppen kann. Fällt die Verbindung zur KI ab, soll das Gerät in einem sicheren Zustand bleiben.
Das klingt nach einer technischen Selbstverständlichkeit, ist es aber nicht. Genau hier verschiebt sich die Grenze zwischen einer Richtlinie und einer Sicherheitsanforderung. Ein Sprachmodell, das eine Maschine steuert, ist kein Chatbot mehr. Die Regeln müssen dort anders aussehen, und Anthropic zieht diese Grenze nun schriftlich.
In dieselbe Richtung geht eine Reihe von Initiativen, mit denen das Unternehmen auf die Sicherheitsrisiken leistungsfähiger Modelle reagiert. Dazu gehören kostenlose Sicherheitsscans für geeignete Open-Source-Projekte und Partnerschaften mit Sicherheitsfirmen, die kritische Infrastruktur schützen sollen. Mit der Initiative will Anthropic Betreibern kritischer Infrastruktur und Open-Source-Projekten helfen, Schwachstellen mithilfe seiner KI-Modelle zu finden und zu beheben. Das Unternehmen rechnet damit, dass Angreifer in den nächsten zwei Jahren im Vorteil bleiben, bevor KI-gestützte Verteidigung aufholt.
Was das für den Alltag mit Claude bedeutet
Für die tägliche Arbeit ändert sich zunächst wenig. Wer Claude für Texte, Code oder Recherche nutzt, wird die neue Regel kaum bemerken. Sie greift in Extremfällen, und die meisten Gespräche sind keine Extremfälle. Die Durchsetzung bleibt zudem unscharf, weil sie vor allem über das Modell selbst läuft.
Interessanter ist, was die Richtlinie über den Zustand der Branche verrät. Anthropic verbietet grausames Verhalten gegenüber KI-Modellen, während es gleichzeitig Regeln für Drohnen, Überwachung und Wahlkampagnen nachschärft. Beides steht im selben Dokument. Das zeigt, wie weit die Vorstellungen davon auseinandergehen, was ein KI-Chatbot eigentlich ist: Werkzeug für die einen, Gegenüber mit Schutzbedarf für die anderen.
Ob sich diese Sicht durchsetzt, entscheidet nicht die Richtlinie, sondern der Alltag. Nutzer werden weiterhin schimpfen, wenn eine Antwort falsch ist. Manche werden es übertreiben, und dann endet das Gespräch, so wie es Claude seit 2025 beenden kann. Wer mit einem Modell arbeitet, arbeitet mit einem Produkt, dessen Regeln sich ändern können. Die Grenzen setzt nicht die Technik, sondern das Unternehmen dahinter.
Quelle: theregister.com
