Stell dir vor, du betreibst eine Website – vielleicht einen Blog mit selbst geschriebenen Artikeln, eine Nachrichtenseite oder ein Forum mit wertvollen Diskussionen. Du investierst Zeit, Geld und Kreativität, um Inhalte zu schaffen, die Menschen finden und nutzen sollen. Doch dann kommt ein Unternehmen daher, scannt deine gesamte Seite und verwendet deine Texte, um seine künstliche Intelligenz zu trainieren. Ohne deine Zustimmung. Ohne eine Vergütung. Das passiert tagtäglich im Internet. Aber damit könnte bald Schluss sein.
Cloudflare, einer der größten Infrastrukturdienstleister des Webs, hat eine neue Politik angekündigt, die die Beziehung zwischen Inhalteerstellern und KI-Unternehmen grundlegend verändern wird. Ab dem 15. September 2026 werden die Standardeinstellungen von Cloudflare sogenannte Mixed-Use-Crawler blockieren – Bots, die sowohl für die klassische Websuche als auch für KI-Agenten und das Training von Sprachmodellen eingesetzt werden. Und zwar dann, wenn die betroffene Seite Werbung enthält. Das klingt technisch, hat aber gewaltige Auswirkungen auf die gesamte digitale Wirtschaft.
Bevor wir in die Details eintauchen, lohnt es sich, ein Bild im Kopf zu behalten: Stell dir einen Marktstand vor. Der Betreiber stellt seine Waren aus, damit Passanten sie sehen und kaufen können. Bisher durfte jeder vorbeikommen, die Waren anfassen und sogar eine Kopie mitnehmen, um daraus neue Produkte herzustellen – ohne zu bezahlen. Cloudflare sagt nun: Wer die Waren nur anschauen will (wie eine Suchmaschine, die Inhalte indexiert), darf das weiterhin tun. Wer sie aber abgreift, um sie in seiner eigenen Fabrik zu verwerten (wie ein KI-Unternehmen, das mit den Daten seine Modelle füttert), der muss fortan entweder draußen bleiben oder eine Gebühr entrichten. Und Cloudflare stellt die Weichen dafür, dass die Entscheidung nicht mehr dem Website-Betreiber allein überlassen bleibt, sondern technisch von Netzwerkseite durchgesetzt wird.
Die Ankündigung von Cloudflare ist präzise. Der Dienst unterscheidet zwischen Bot-Typen: Reine Search-Crawler, wie sie Google für seine Suchergebnisse oder Bing für seine Indexierung einsetzt, sollen weiterhin ungehindert arbeiten können. Mixed-Use-Crawler hingegen – Bots, die zwischen Search, KI-Agenten und Training hin- und herspringen – werden standardmäßig auf allen Seiten blockiert, die Werbung schalten. Das betrifft Neukunden von Cloudflare, neue Projekte bestehender Kunden und alle bestehenden Free-Tarif-Nutzer. Wer einen kostenpflichtigen Plan hat, kann die Einstellungen selbst anpassen. Aber der neue Default ist ein klares Signal: Cloudflare erwartet, dass KI-Unternehmen ihre Bots transparent kennzeichnen und trennen – nach dem Motto: Ein Bot für die Suche, ein anderer für das Training, und jeder muss sich eindeutig ausweisen.
Damit trifft Cloudflare einen Nerv. Immer mehr Website-Betreiber beklagen, dass ihre Inhalte von KI-Modellen verwertet werden, ohne dass sie eine Gegenleistung erhalten. Gleichzeitig wollen die meisten, dass ihre Seiten in Suchmaschinen gefunden werden – das ist das Lebenselixier des Internets. Bisher war es oft eine Entweder-oder-Entscheidung: Entweder man erlaubt den Googlebot vollständig, inklusive seiner KI-Funktionen, oder man sperrt ihn ganz und verschwindet aus den Suchergebnissen. Cloudflare bietet einen dritten Weg: Man kann den Bot für die herkömmliche Suche zulassen, aber ihm den Zugriff für KI-Training verwehren. Dazu kommt Marktmacht ins Spiel – immerhin liegt Cloudflare zwischen einem Fünftel und einem Drittel des weltweiten Web-Traffics. Wenn der Anbieter solche Filter standardmäßig aktiviert, können sich kleinere Publisher endlich gegen die Datenextraktion wehren, ohne technische Experten einstellen zu müssen.
Cloudflare-CEO Matthew Prince hat die Ankündigung mit drastischen Worten begleitet: „Da die Mehrheit des Internet-Traffics inzwischen nicht-menschlich ist, müssen wir weiter gehen und schneller handeln, damit ein nachhaltiges Ökosystem entstehen kann.“ Er bezieht sich auf eine aktuelle Entwicklung: Erstmals übersteigt der Traffic von Bots den von menschlichen Nutzern – und das früher als erwartet. Diese Verschiebung hat weitreichende Konsequenzen. Serverkapazitäten werden von Crawlern gefressen, Bandbreite wird verschwendet, und die Inhalte von Publishern werden zum Rohstoff für milliardenschwere KI-Konzerne. Cloudflare hat errechnet, dass über 50 Prozent der Crawl-Anfragen von KI-Bots für bereits unveränderte Seiten aufgewendet werden – sinnlose Mehrfachabfragen, die den Publishern nur Kosten verursachen.
Die neue Politik ist nur ein Teil eines größeren Pakets. Bereits zuvor hatte Cloudflare einen Marktplatz namens „Pay Per Crawl“ vorgestellt, auf dem Website-Betreiber KI-Unternehmen den Zugriff auf ihre Inhalte in Rechnung stellen können. Dieses Modell wird nun zu „Pay Per Use“ weiterentwickelt. Der Unterschied: Nicht der einzelne Crawl-Vorgang wird bepreist, sondern die tatsächliche Nutzung des Inhalts. Wenn ein KI-Modell etwa einen Satz aus einem Artikel in seiner Antwort verwendet, soll der Publisher daran beteiligt werden. Um das umzusetzen, arbeitet Cloudflare mit zwei Partnern zusammen: Ceramic.ai und You.com. Wenn ein Publisher sich für das Programm anmeldet, wird er automatisch vergütet, sobald seine Inhalte in den Suchergebnissen von Ceramic.ai erscheinen oder von You.com als Premium-Inhalt abgerufen werden. Andere KI-Unternehmen können dieses Modell für ihre eigenen Zwecke anpassen.
Interessant ist dabei die Rolle von Google. Cloudflare nimmt explizit Bezug auf die „weltweit größte Suchmaschine“ und wirft ihr vor, dass sie etwa doppelt so viele Daten über das Web sammle wie andere KI-Unternehmen. Der Grund: Google macht es Website-Betreibern schwer, ihre Inhalte für die Suche freizugeben, aber gleichzeitig aus dem KI-Training herauszuhalten. Zwar bietet Google mit „Google Extended“ einen speziellen Bot an, mit dem Publisher das Training für Gemini und andere KI-Produkte blockieren können. Doch der Haupt-Crawler, der Googlebot, wird weiterhin auch für KI-Funktionen wie AI Overviews und den neuen AI Mode genutzt. Wer also Google Extended sperrt, verliert möglicherweise die Sichtbarkeit in diesen Bereichen. Cloudflare schafft hier eine klare Trennung: Wenn ein Bot sowohl für die Suche als auch für das Training eingesetzt wird, wird er standardmäßig geblockt – es sei denn, der Publisher stimmt explizit zu. Das setzt Google und andere unter Zugzwang, ihre Crawler-Infrastruktur zu bereinigen.
Die Reaktion von Google ließ nicht lange auf sich warten. Das Unternehmen betont, dass man stets transparente Tools anbiete und dass Google Extended die Opt-out-Möglichkeit für das Training sei. Allerdings räumt Google indirekt ein, dass der Googlebot nicht nur für die klassische Suche, sondern auch für KI-Übersichten arbeitet – eine Grauzone, die Cloudflare nun schließen will. Für Publisher bedeutet das: Sie können in Zukunft sicher sein, dass ein Bot, der auf ihrer Seite erscheint, entweder ein reiner Search-Crawler ist (und dann willkommen) oder ein Mixed-Use-Crawler (der dann standardmäßig abgewiesen wird, es sei denn, sie haben eine Vergütungsvereinbarung getroffen). Das gibt den Inhalteerstellern eine Verhandlungsposition, die sie vorher nicht hatten.
Kritiker könnten einwenden, dass dies den Wettbewerb im KI-Sektor verzerrt. Große Unternehmen wie Google, Microsoft oder OpenAI haben die finanziellen Mittel, um für Inhalte zu zahlen. Kleinere Startups, die auf öffentlich zugängliche Daten angewiesen sind, könnten ins Hintertreffen geraten. Allerdings ist die Ausgangslage schon jetzt ungleich: Die großen Player haben bereits riesige Datenmengen gesammelt, während Neueinsteiger auf frisches Material angewiesen sind. Cloudflare argumentiert, dass gerade diese Transparenz und die Möglichkeit, Inhalte zu bepreisen, langfristig ein faires Ökosystem schaffen – ähnlich wie bei der Musikindustrie, wo Streaming-Dienste heute Lizenzen zahlen müssen, weil die Urheber sich organisiert haben. Das Internet war lange ein Wildwuchs, in dem Daten kostenlos abgegriffen werden konnten. Cloudflare möchte einen geordneten Markt etablieren, in dem der Wert von Inhalten anerkannt wird.
Bleibt die Frage: Was bedeutet das konkret für dich als Leser und möglichen Website-Betreiber? Wenn du Cloudflare nutzt, wirst du ab September 2026 automatisch vor Mixed-Use-Crawlern geschützt, sofern du Werbeanzeigen schaltest. Du musst nichts weiter tun. Wenn du keine Werbung hast, greifen die neuen Standardeinstellungen nicht – dann sind weiterhin alle Bots willkommen. Du kannst aber jederzeit in deinem Dashboard Feinjustierungen vornehmen. Für KI-Unternehmen bedeutet es, dass sie ihre Crawler-Architektur überdenken müssen. Es wird nicht mehr ausreichen, einen einzelnen Bot loszuschicken, der alles frisst. Sie werden separate Bots für Search, Agents und Training benötigen, und für die Trainings-Bots werden sie entweder die Zustimmung der Publisher einholen oder auf öffentlich zugängliche, nicht-werbefinanzierte Inhalte ausweichen müssen. Das könnte die Qualität der Trainingsdaten beeinflussen – denn die besten Inhalte stecken oft hinter Paywalls oder auf werbefinanzierten Seiten.
Die Entwicklung ist ein Wendepunkt. Noch vor zwei Jahren wurde KI-Training als eine Art „Fair Use“ betrachtet – die Annahme, dass öffentlich zugängliche Webinhalte ohne Vergütung genutzt werden dürfen. Diese Annahme bröckelt. Mit Cloudflare-Infrastruktur wird das Recht auf Selbstbestimmung über die eigenen Inhalte technisch durchsetzbar. Es ist kein moralisches Urteil, sondern eine pragmatische Lösung: Wer seine Inhalte für KI-Zwecke zur Verfügung stellen will, kann das tun und wird dafür bezahlt. Wer nicht, kann seine Inhalte schützen, ohne aus dem Suchindex zu fallen. Das ist das, was ein nachhaltiges Internet braucht: klare Regeln und faire Kompensation. Wir werden in den nächsten Jahren sehen, ob die KI-Unternehmen mitspielen oder ob sie versuchen, die Blockaden zu umgehen. Cloudflare hat jedenfalls einen ersten, mächtigen Schritt gemacht.
Quelle: techcrunch.com
