Scott Alexander veröffentlicht im Oktober 2026 auf seinem Blog Astral Codex Ten einen Essay über die Warnungen von KI-Unternehmen vor existenziellen Risiken. Er beschreibt, wie Firmen wie Anthropic und OpenAI seit Jahren sagen, ihre Produkte könnten gefährlich werden – und wie diese Warnungen zuletzt schärfer geworden sind. Wer die Debatte verfolgt, stößt schnell auf den Vorwurf, dahinter stecke ein Komplott.
Die Erzählungen variieren. Mal heißt es, die Unternehmen würden ihr Produkt mit Gefahr aufladen, weil ein System, das die Menschheit auslöschen könne, auch für Geschäftsprozesse intelligent genug sein müsse. Mal heißt es, die Warnungen lenkten von kurzfristigen Schäden ab. Am verbreitetsten ist die These der Regulierungserfassung: Wenn KI gefährlich sei, dürfe sie vielleicht nur von wenigen großen, politisch vernetzten Firmen betrieben werden. Alexander hält alle diese Erzählungen für falsch. Er begründet das nicht mit einer Meinung über Motive, sondern prüft Zeitpunkte, Personen und Aussagen.
Man kann sich die Warnungen wie Rauchmelder in einem Gebäude vorstellen. Der Vorwurf lautet, die Melder seien nur installiert worden, um teure Löschtechnik zu verkaufen oder andere Bauherren auszusperren. Der Essay zeigt stattdessen, dass die Melder schon piepten, als das Gebäude noch gar nicht stand. Die Analogie verschiebt die entscheidende Frage: Nicht „Wer profitiert von der Warnung?“ ist der erste Prüfstein, sondern „Wer hat gewarnt, bevor es etwas zu profitieren gab?“
Der Vorwurf: Warnungen als Marketing, Ablenkung und Regulierungsstrategie
In der KI-Branche wird diese Debatte seit einigen Jahren schärfer. Anthropic und OpenAI warnen nicht mehr nur abstrakt vor möglichen Risiken, sondern sprechen zunehmend davon, das Tempo an der Forschungsgrenze zu drosseln und international zu koordinieren. Genau das hat skeptische Kommentatoren misstrauisch gemacht. Sie unterstellen den Unternehmen, sie wollten entweder das Produkt durch Dramatik aufwerten, von nahen Schäden ablenken oder den Markt über Sicherheitsauflagen abschotten.
Die plausibelste Version dieser Skepsis ist die Regulierungserfassung. Wenn ein Produkt als potenziell existenzgefährdend gilt, könnte der Staat es nur noch wenigen großen Anbietern erlauben – jenen, die sich teure Sicherheitsprüfungen leisten können. Das ist ein bekanntes Muster in regulierten Märkten, und es wäre naiv, es in der KI-Debatte komplett auszuschließen. Alexander bestreitet nicht, dass Unternehmen von Regeln profitieren können. Er bestreitet, dass die konkreten Warnungen aus diesem Motiv entstanden sind. Dafür prüft er, wer wann gewarnt hat und ob die Warnenden überhaupt etwas zu gewinnen hatten.
Unabhängige Forscher warnen ähnlich deutlich wie die Unternehmen
Ein Gegenargument liefert die Umfrage von Grace et al. aus dem Jahr 2024. Befragt wurden 1.580 KI-Forscher, die auf großen Konferenzen publiziert hatten und überwiegend akademisch, also ohne Firmenbindung, arbeiteten. Über die Hälfte hielt es für mindestens zehn Prozent wahrscheinlich, dass KI eine menschliche Auslöschung oder eine vergleichbar dauerhafte und schwere Entmachtung der Menschheit verursacht. 72 Prozent sprachen sich dafür aus, der KI-Sicherheitsforschung höhere Priorität einzuräumen. Alexander merkt an, dass die Zahlen heute wahrscheinlich höher lägen. Das ist keine Umfrage unter Marketingabteilungen, sondern unter Menschen, die die Technik fachlich einordnen können.
Auch die Gründerväter des Deep Learning passen schlecht zum Komplott-Bild. Geoffrey Hinton verließ 2023 Google, um Vollzeit vor den existenziellen Gefahren von KI zu warnen; er nannte eine Chance zwischen zehn und fünfzig Prozent, dass seine Erfindung die Menschheit zerstört. Yoshua Bengio wechselte im selben Jahr in den Aktivismus und sagte, er bereue sein Lebenswerk; KI könne eine katastrophale Wirkung haben. Beide waren zu diesem Zeitpunkt nicht bei einem großen KI-Unternehmen angestellt. Der dritte im Bunde, Yann LeCun, leitet zwar ein milliardenschweres KI-Unternehmen und sagt, er sei nicht besorgt – aber er ist die Ausnahme, nicht die Regel.
Hinzu kommen ehemalige Mitarbeiter, die mit erheblichen finanziellen Nachteilen ausgestiegen sind. Paul Christiano verließ OpenAI 2021 und gründete eine gemeinnützige Organisation für KI-Ausrichtung; später sprach er von einer fünfzigprozentigen Chance auf Verderben kurz nach dem Erreichen menschlichen Niveaus. Daniel Kokotajlo kündigte 2024 bei OpenAI und weigerte sich, eine Nichtherabsetzungsklausel zu unterschreiben, obwohl er dadurch nach der Darstellung des Essays Aktien im Wert von etwa zwei Millionen Dollar riskierte. Jacob Coxon verließ im September Anthropic, ebenfalls mit hohen Einbußen, weil er den Umgang mit dem Risiko als Glücksspiel mit Menschenleben beschrieb. Alexander verweist auf Dutzende weitere Fälle. Die Bereitschaft, viel Geld für eine Warnung aufzugeben, ist kein Beweis für Richtigkeit, aber sie ist ein starkes Indiz gegen die Annahme, die Warnungen seien nur ein bequemes Manöver.
Die Gründer warnten, bevor sie Unternehmen gründeten
Entscheidend ist der Zeitpunkt. Dario Amodei sprach bereits 2013 über die Gefahr, dass Superintelligenz die Menschheit zerstören könnte – Jahre bevor OpenAI oder Anthropic gegründet wurden und in einer Phase, in der er nicht einmal in der Tech-Branche arbeitete. 2013 führte er eine ausführliche schriftliche Debatte mit Eliezer Yudkowsky und anderen Sicherheitsinteressierten über Strategien. 2017, als einfacher OpenAI-Mitarbeiter, beschrieb er in einem Podcast, dass er vor allem an Sicherheit arbeite und mit Paul Christiano ein kleines Team aufbaue. Damals ging es nicht um Börsenkurse, sondern um technische Sicherheit und die Frage, wie man Organisationen zur Zusammenarbeit bewegt.
Amodei sorgte sich damals ausdrücklich vor einem Wettrüsten, in dem Firmen zuerst entwickeln und Sicherheit schleifen lassen. Seine Lösung war Kooperation, nicht Abschottung. Er stellte einen ehemaligen Gemeinwohlanwalt ein, der in einer PowerPoint-Präsentation beschrieb, wie eine Koalition von KI-Labors mit einer internationalen Stelle ähnlich der NATO zusammenarbeiten könnte. Der damalige OpenAI-Präsident Greg Brockman fragte laut dem New Yorker Bericht vor allem, wie man damit mehr Geld einnehme und Wettbewerber schlage. Diese Differenz führte zu internen Kämpfen, einer Sicherheitsfraktion um Amodei und schließlich 2021 zur Gründung von Anthropic. Wer darin nur Marketing sieht, muss erklären, warum die Sicherheitsfraktion das Unternehmen verließ, statt es zu benutzen.
Sam Altman sagte im Februar 2015, zehn Monate vor der Gründung von OpenAI, die Entwicklung supermenschlicher Maschinenintelligenz sei wahrscheinlich die größte Bedrohung für das Fortbestehen der Menschheit. Er forderte staatliche Regulierung und argumentierte, sie könne die Schlechten bremsen und die Guten beschleunigen. Im Juni 2015 folgte der oft zitierte Satz, KI werde wahrscheinlich zum Ende der Welt führen, aber in der Zwischenzeit werde es großartige Firmen geben. Manche nennen das einen Scherz. Alexander hält es für den seltenen Moment, in dem Altman vollständig ehrlich war. Das ist zugespitzt, aber es macht den Punkt: Die Aussage lag vor dem Unternehmen, nicht danach.
Elon Musk sprach 2014, bevor er größere KI-Geschäfte betrieb, davon, dass wir mit künstlicher Intelligenz den Dämon herbeirufen. Er nannte sie die größte existenzielle Bedrohung und verlangte nationale und internationale Aufsicht. Er saß auf der ersten großen Konferenz zur KI-Sicherheit in Puerto Rico, spendete anschließend zehn Millionen Dollar und blieb jahrelang ein regelmäßiger Teilnehmer. Shane Legg, Mitgründer von DeepMind, schrieb 2008 seine Doktorarbeit über Maschinensuperintelligenz und nannte sie ein Albtraumszenario. Demis Hassabis versuchte bereits 2012, Musk von einem existenziellen Risiko zu überzeugen, und machte 2015 den Aufbau eines starken Sicherheitsausschusses zur Bedingung für die Übernahme von DeepMind durch Google. All diese Menschen waren nicht in der heutigen KI-Industrie, als sie zu warnen begannen.
Warum die Komplott-Erzählung an einem Zeitproblem scheitert
Die These von der Regulierungserfassung verlangt den heutigen KI-Chefs erstaunliche Hellseherei. 2008, 2013 oder 2015 hätten sie erkennen müssen, dass KI eines Tages ein Billionengeschäft wird, dass sie selbst an der Spitze eines der führenden Unternehmen stehen und dass dieses Unternehmen von strengen Regeln profitieren würde. Sie hätten dann über Jahre öffentlich und teilweise gegen die eigenen Karriereinteressen vor Risiken warnen müssen, damit die Warnung im richtigen Moment als politisches Argument dient. Das ist möglich, aber es wäre eine sehr große Verschwörung mit vielen frühzeitigen, unbelohnten Schritten. Einfacher ist die Erklärung, dass sie die Gefahr tatsächlich für real halten.
Dazu kommt ein inhaltliches Problem. Regulierungserfassung funktioniert meist über Details, Lizenzen und Übergangsfristen. Die Warnungen in der KI-Debatte zielen dagegen auf ein fundamentales Problem: Wie verhindert man, dass ein sehr fähiges System Ziele verfolgt, die mit menschlichem Wohlergehen kollidieren? Diese Frage lässt sich nicht sauber in einen Wettbewerbsvorteil übersetzen. Sie kann sogar das eigene Geschäftsmodell bremsen, weil sie Tempo, Offenlegung und Kooperation verlangt. Wer ernsthaft an existenzielle Risiken glaubt, wird nicht automatisch zum Freund strenger Regeln für alle – aber er hat einen Grund, über Koordination nachzudenken, der nicht in der üblichen Marktlogik aufgeht.
Unternehmen haben Interessen, und sie verfolgen sie. Die Warnungen können taktisch genutzt werden, auch wenn sie ehrlich gemeint sind. Ein Rauchmelder kann korrekt piepen und trotzdem von jemandem installiert worden sein, der später Löschgeräte verkauft. Die Frage ist, ob das Piepen falsch ist. Alexander trennt beides: die mögliche Instrumentalisierung einer Warnung und die Frage, ob die Warnung einen realen Hintergrund hat. Seine Antwort: Die Zahl unabhängiger Warnender, die langen Vorlaufzeiten und die persönlichen Kosten des Ausstiegs passen schlecht zur Vorstellung eines reinen Komplotts.
Was aus der Debatte für Regulierung und KI-Sicherheit folgt
Das heißt nicht, KI-Firmen blind zu vertrauen. Du musst Anthropic, OpenAI oder Google nicht für uneigennützige Institutionen halten, um anzuerkennen, dass ihre Warnungen nicht automatisch falsch sind. Unternehmen können gleichzeitig um Marktanteile kämpfen und echte Sorge vor ihren Produkten haben. Die relevante Frage ist, welche Aussagen sich unabhängig prüfen lassen: Gibt es Modelltests, externe Audits, nachvollziehbare Sicherheitsberichte, und werden Regeln so formuliert, dass sie nicht nur den größten Anbietern nützen? Darum geht es, wenn man die Debatte versachlicht.
KI-Sicherheitsforschung ist kein Randthema für Weltuntergangsphantasien. Sie umfasst konkrete Fragen: Wie prüft man, ob ein Modell gefährliche Fähigkeiten verbirgt? Wie verhindert man, dass Systeme bei zunehmender Autonomie Ziele verfolgen, die niemand beabsichtigt hat? Wie gestaltet man internationale Kooperation, ohne Innovation abzuwürgen? Die Umfrage unter Tausenden Forschern und die Aussagen der Deep-Learning-Pioniere sind keine Beweise, aber sie sind ein Signal, das man nicht mit dem Hinweis auf Marketing wegerklären kann. Wer KI-Sicherheit ernst nimmt, muss weder die Firmen idealisieren noch ihre Warnungen als Werbetrick abtun.
Alexanders Schluss lautet: Die Warnungen lassen sich nicht überzeugend als bloßes Unternehmenskomplott erklären. Sie sind auch keine Garantie dafür, dass jede vorgeschlagene Regulierung klug ist. Aber die Komplott-Erzählung macht es sich zu einfach. Sie übersieht die unabhängigen Forscher, die ausgestiegenen Mitarbeiter und die Aussagen, die Jahre vor den heutigen Firmen gemacht wurden. Wenn die Menschheit eine Technologie baut, deren Risiken selbst ihre Erfinder beschreiben, dann sollte sie zuerst die Warnung prüfen – und Regeln so bauen, dass sie dem Risiko entsprechen, nicht nur den Interessen derer, die am lautesten warnen.
Quelle: astralcodexten.com
