Ein Eintrag in der robots.txt wird ausgeliefert, von einem Crawler gelesen und dann befolgt oder ignoriert. Cloudflare hat eine neue Einstellung angekündigt: Disallow AI Training. Sie soll zwei Entscheidungen trennen, die bisher zusammengehörten.
Der Konflikt begleitet Website-Betreiber, seit große Sprachmodelle auf dem Markt sind. Wer seine Inhalte für das Training von KI-Modellen sperrt, sperrt oft auch die Suchmaschinen aus, weil beide Zwecke meist derselbe Crawler bedient. Ein Bote trägt zwei Aufträge in einer Tasche: Er bringt deine Seite in den Suchindex und kopiert sie zugleich in einen Trainingsdatensatz. Weist du ihn an der Tür ab, verschwindet beides. Diese Kopplung ist das Problem.
Cloudflare nennt diese Bauart Mixed-Use-Crawler. Das Unternehmen betreibt selbst ein großes Netzwerk und sieht von dort aus, wer wann welche Seite abruft. Daraus entsteht eine Klassifikation nach Verhalten statt nach Namen. Die veröffentlichten Zahlen: Weniger als ein Prozent der über Cloudflare laufenden Seiten sperrt Suchmaschinen-Bots aus, rund 17 Prozent haben irgendeinen Mechanismus aktiviert, um Training zu blockieren. Gefunden werden wollen also fast alle. Als Trainingsmaterial dienen wollen die wenigsten.
Warum robots.txt allein nicht reicht
Eine robots.txt kann jeder veröffentlichen, und sie bleibt ein wichtiger Baustein. Sie kann aber nicht feststellen, wer tatsächlich crawlt oder zu welchem Zweck, und einen Crawler, der die Datei ignoriert, hält sie nicht auf. Hier endet der Standard. Ein Netzwerk kann mehr, weil es den Datenverkehr sieht, bevor er den Ursprungsserver erreicht: Es veröffentlicht die Präferenz, identifiziert den Absender, ordnet das Verhalten ein und blockiert, wer sich nicht daran hält. Cloudflare zeigt auf seinem Radar-Dashboard, wie sich die einzelnen Anbieter verhalten.
Blockieren ist nur die halbe Antwort. Wer einen Crawler sperrt, entfernt ihn, ändert aber nicht, wie er sich verhält. Cloudflare hält das bessere Ergebnis für Anbieter, die ihren Nutzern die Wahl gar nicht erst aufzwingen. Seit Juli 2026 hat das Unternehmen nach eigener Darstellung mit den Betreibern der großen Crawler gesprochen. Die Reaktion sei ermutigend gewesen: Nahezu alle hätten zugestimmt, dass Website-Betreiber Kontrolle und Transparenz darüber haben sollten, wie ihre Inhalte verwendet werden.
Die Kategorie Accountable und ihre vier Bedingungen
Aus diesen Gesprächen entstand eine Kategorie, die Cloudflare Accountable nennt. Sie zeichnet Anbieter aus, die die nötigen Funktionen schon bieten oder sich verbindlich mit Zeitplan dazu verpflichtet haben. Die Anforderungen: Erstens ein Mechanismus, mit dem Betreiber das Training von KI-Modellen über robots.txt oder einen vergleichbaren Standard abwählen können. Zweitens ein Weg, KI-Zusammenfassungen abzulehnen, heute direkt beim Anbieter, 2027 auch über Cloudflare. Drittens Einblick auf URL-Ebene, welche Seiten für Training bereitgestellt wurden, samt Kennzahlen zur Sichtbarkeit in der Suche. Viertens die Zusicherung, dass ein Widerspruch gegen Training die klassischen Suchergebnisse nicht verschlechtert.
Apple, Google und Microsoft erfüllen diese Kriterien nach Einschätzung von Cloudflare. Alle drei kombinieren vorhandene Funktionen mit befristeten Zusagen für das, was noch in Entwicklung ist. Auch Amazon, Anthropic, Meta und OpenAI fallen in die Kategorie, weil sie Such- und Trainingscrawler trennen. Ein Trainingscrawler lässt sich damit blockieren, ohne die Suche zu beeinträchtigen. Technisch ist das wenig spektakulär, praktisch der entscheidende Unterschied.
Die vier Einstellungen und was Disallow AI Training bewirkt
Cloudflare klassifiziert Bots nach Verhalten, und ein einzelner Bot kann mehrere Verhaltensweisen zeigen. Drei Kategorien stehen zur Steuerung bereit: Search für den Aufbau eines Suchindex, Training für das Trainieren oder Feintunen eines Modells und Agent für nutzergesteuerte Programme, die im Auftrag eines Menschen eine Seite abrufen, etwa Chat-Fetch-Bots oder Browser-Agenten. Ein Mixed-Use-Crawler bedient demnach Search und Training zugleich, also genau die Bauart, die die Zwangslage erzeugt.
Die neue Einstellung bietet vier Optionen, die auf Domänenebene greifen. Allow lässt alle Crawler zu, sofern keine andere Regel oder eine WAF-Regel eingreift. Disallow AI Training, benannt nach der Disallow-Direktive, die sie in der robots.txt veröffentlicht, veröffentlicht die No-Training-Präferenz über die Bot Preference Sync. Accountable Mixed-Use-Crawler bleiben für die Suche zugelassen, alle übrigen Trainingscrawler werden blockiert, darunter die reinen Trainingscrawler von Amazon, Anthropic, Meta und OpenAI. Deren Sperrung berührt die Sichtbarkeit in Suchmaschinen nicht. Block on pages with ads sperrt Crawler nur auf Seiten, auf denen Werbung erkannt wurde. Block untersagt allen Crawlern den Zugriff, gemischte eingeschlossen.
Eine Variante fehlt bewusst: Es gibt kein Disallow AI Training speziell für Seiten mit Werbung. Der Grund ist technisch. Eine solche Präferenz ließe sich in einer robots.txt nicht ausdrücken, weil Cloudflare zwar erkennt, welche Seiten Anzeigen ausliefern, die Liste aber zu groß und zu kurzlebig ist, um sie dort zu hinterlegen. Für Agenten gibt es ebenfalls keine eigene Disallow-Option, weil ihr Abruf nicht dieselbe Abwägung erzeugt und ein etablierter Standard für solche Präferenzen fehlt. Cloudflare will das Thema erneut aufgreifen, sobald sich Formate wie ai-prefs durchgesetzt haben.
Was sich am 15. September 2026 ändert
Zum Stichtag ändert sich vor allem die Bedeutung der alten Schalter. Block und Block on pages with ads galten bisher nicht für Mixed-Use-Crawler, weil ein Block auch die Auffindbarkeit in Suchmaschinen beschädigt hätte. Künftig erfassen beide alle Trainingscrawler einschließlich der gemischten, also auch Applebot, Bingbot und Googlebot. Wer Training unterbinden und die Suche behalten will, muss Disallow AI Training wählen. Die Sammeloption Block AI Bots wird zugunsten der drei Verhaltenssteuerungen Search, Training und Agent aufgegeben, Managed Robots.txt weicht der Bot Preference Sync. Bestehende Konfigurationen werden automatisch übernommen.
Bei Domains, die nie mit den detaillierten Steuerungen gearbeitet haben, richtet sich die Migration nach der alten Block-AI-Einstellung. War sie deaktiviert, stehen künftig alle drei Bereiche auf Allow. War sie aktiv oder auf werbeführende Seiten beschränkt, bleibt Search auf Allow, Training wandert auf Disallow AI Training und Agent auf Block on pages with ads. Bei Domains, die bereits granular konfiguriert waren, bleibt der Effekt der bisherigen Auswahl erhalten: Eine frühere Trainingssperre wird zu Disallow AI Training. Für neue Domains bietet Cloudflare ab dem Stichtag zwei Voreinstellungen an, abhängig davon, ob die Seite mit Werbung Geld verdient. Werbefinanzierte Seiten erhalten die restriktivere Variante, weil ein Training den Besuch durch eine Antwort ersetzt und ein Agent die Seite abruft, ohne dass jemand die Anzeigen sieht. Ändern lässt sich beides jederzeit.
Applebot, Googlebot und Bingbot: der aktuelle Stand
Applebot erlaubt es, Training über eine Disallow-Regel für Applebot-Extended in der robots.txt abzuwählen. Präferenzen für KI-Zusammenfassungen lassen sich derzeit über die nosnippet-Direktive im HTML ausdrücken, Inhalte hinter einer Bezahlschranke entsprechend kennzeichnen. Ein Werkzeug zur Prüfung auf URL-Ebene fehlt noch; Apple hat laut Cloudflare Details zu einer Lösung für 2027 geteilt.
Googlebot bietet denselben Weg über Google-Extended und zusätzlich einen Schalter im Webmaster-Portal, um Inhalte aus generativen Suchergebnissen herauszuhalten, samt Berichten zu Suchergebnissen und Zusammenfassungen. Werkzeuge für mehr Transparenz auf URL-Ebene sollen in den Wochen nach der Ankündigung vom 15. September 2026 starten. Bingbot stellt granulare Steuerungen in den Webmaster Tools bereit; heute läuft die Trainingspräferenz über das NOARCHIVE-Meta-Tag, während Microsoft an einer robots.txt-Lösung arbeitet, die für Anfang 2027 anvisiert ist. Bis dahin bleibt die Funktion zum Blockieren von URLs oder zum Entfernen von Inhalten als Ausweg. Alle drei Anbieter versichern, dass ein Widerspruch gegen Training den Suchrang nicht beeinträchtigt.
KI-Zusammenfassungen
Der nächste Schritt betrifft die KI-Zusammenfassungen. Ein pauschales Ja oder Nein für die gesamte Website wäre nach Einschätzung von Cloudflare zu grob, weil ebenso viel daran hängt, wie viel eines Inhalts in einer Zusammenfassung erscheint, wie daran, ob überhaupt etwas erscheint. Ein Opt-out für Zusammenfassungen gehört bereits zu den Anforderungen an Accountable-Anbieter. Bis Anfang 2027 will Cloudflare eine Steuerung anbieten, mit der sich festlegen lässt, wie viel des eigenen Inhalts einfließen darf, einmal im Dashboard gesetzt statt bei jedem Anbieter einzeln.
Was heißt das konkret? Wer eine Website betreibt, für die Suchmaschinen-Sichtbarkeit trotz KI-Training wichtig ist, bekommt erstmals eine saubere Trennung zwischen zwei Dingen, die lange als eines galten. Du kannst KI-Training blockieren und trotzdem im Index bleiben, du musst nicht mehr zwischen Reichweite und Kontrolle wählen. Die Kehrseite: Ein Block tut nun tatsächlich, was er verspricht. Wer bislang Block wählte und annahm, gemischte Crawler seien ausgenommen, sperrt ab dem 15. September auch Applebot, Bingbot und Googlebot aus, Suche inklusive. Sieh dir deine Konfiguration vor diesem Datum an, statt dich allein auf die automatische Migration zu verlassen. Und es bleibt eine Frage der Durchsetzung: Eine Präferenz in der robots.txt ist zunächst nur eine Bitte, die erst durch die Infrastruktur eines Netzwerks und die Zusage der Anbieter Gewicht bekommt. Die neue Einstellung ist kein Zaun, sondern eine Anweisung an der Tür. Der Bote trägt weiterhin zwei Aufträge in einer Tasche, doch du kannst ihm jetzt sagen, welchen davon er ausführen darf.
Quelle: blog.cloudflare.com
