Kategorie: KI-News

Sie bezahlen für einen KI-Dienst wie ChatGPT oder Claude einen Festpreis pro Monat oder nach Verbrauch. Hinter den Kulissen gibt es einen Schwarzmarkt von Wiederverkäufern. Sie bieten denselben Zugang zu einem Bruchteil des offiziellen Preises an. Das ist ein ausgewachsenes Ökosystem mit eigenen Preisvergleichsseiten, Affiliate-Programmen und täglichen Lotterien für API-Keys. Der Sicherheitsforscher Matt Lenhard von Vectoral hat dieses Netzwerk über Monate untersucht und seine Ergebnisse veröffentlicht.

Der Markt funktioniert wie ein Schwarzmarkt für Konzerttickets. Dieselben Plätze werden mehrfach verkauft, die Künstler zahlen drauf, niemand merkt, dass die Tickets gestohlen sind. Offizieller Preis: 100 Euro. Der Wiederverkäufer bietet es für 10 Euro an. Er hat einen Zugang gefunden, den er unendlich oft kopieren kann.

Was ist ein Relay?

Der Kern dieses Marktes ist der sogenannte Relay – zu Deutsch „Transferstation“. Ein Relay leitet Traffic zu den offiziellen KI-Modellen der großen US-Anbieter (OpenAI, Anthropic, Google) weiter, aber zu einem starken Rabatt. Ein Beispiel aus Lenhards Recherche: Ein Anbieter listete ein Paket, das offiziell 3.333 Dollar wert wäre, für umgerechnet 425 chinesische Yuan – das entspricht etwa 0,13 Dollar Nutzung pro ausgegebenem Dollar. Bis zu 97,8 Prozent Rabatt.

Technisch betreiben die Anbieter eine Proxy-Software. Sie sammeln Hunderte oder Tausende API-Keys – gestohlen, über Testkonten generiert oder mit kompromittierten Kreditkarten finanziert – und bündeln sie zu einem Pool. Jede Anfrage wird durch einen dieser Keys geleitet. Der Relay zieht eine Gebühr ab, meist weit unter dem offiziellen Preis.

Die vier Schichten des Marktes

Der gesamte Markt ist in vier Ebenen organisiert, die Lenhard beschreibt. Ganz oben stehen die Karten- und Account-Händler (卡商 und 号商). Sie verkaufen virtuelle Kreditkarten, die die Prüfungen der US-Anbieter bestehen, und liefern in großen Mengen registrierte Accounts.

Darunter die Account-Pools (账号池). Diese Dienste aggregieren Dutzende oder Hunderte von Accounts, verwalten Authentifizierungstokens, überwachen Rate-Limits, wechseln bei Sperrungen automatisch auf den nächsten Account und stellen eine einheitliche API-Schnittstelle bereit. Die Pools sind nicht auf die großen Labs beschränkt: Auch Konsumentenprodukte wie Kiro oder antigravity werden systematisch rückentwickelt, um deren Modellzugänge zu nutzen.

Die dritte Schicht sind die Relays selbst, die Transferstationen. Sie verpacken die API des Pools in ein chinesischsprachiges Produkt, kümmern sich um Abrechnung, Rechnungsstellung und Kundenservice per WeChat-Gruppen. Der Wettbewerb findet fast nur über den Preis statt.

Ganz unten stehen die Endnutzer: chinesische Entwickler, kleine Startups und mittelständische SaaS-Unternehmen, die günstige Inferenz suchen. Und größere kommerzielle Käufer, die die Infrastruktur für Model-Destillation nutzen – das Trainieren eigener Modelle auf Basis der Ausgaben der Frontier-Modelle. In der Praxis sind die Grenzen fließend: Viele Betreiber führen sowohl Pool als auch Relay, in den Foren werden die Begriffe oft synonym verwendet.

Die Software dahinter

Die meisten Relays basieren auf zwei Open-Source-Projekten: one-api und new-api. Das sind OpenAI-kompatible Gateways. Ein Betreiber installiert das Panel, fügt Kanäle (渠道) hinzu – jeder Kanal repräsentiert einen Anbieter plus einen Pool von API-Keys – und stellt einen Endpunkt zur Verfügung, der exakt der OpenAI-API entspricht. Käufer müssen nur ihr bestehendes SDK auf die URL des Relays umstellen.

Bei jeder Anfrage zieht das System einen Key aus dem Pool, leitet die Anfrage an den Originalanbieter weiter, gibt die Antwort zurück und zieht dem Nutzer Kontingent ab – bepreist nach Nutzung multipliziert mit einem Faktor (倍率). Das Panel verwaltet Benutzer, Tokens, Preisstufen, Logs und Abrechnung. new-api ist ein aktiver Fork von one-api und bringt Funktionen für Selbstbedienungszahlung, Aufladung sowie Bild-, Video- und Audiomodelle mit. Unter den beobachteten Relays kommt one-api etwa viermal häufiger vor als new-api – das originale Basisprojekt ist weiter verbreitet, auch wenn new-api speziell für den Verkauf gebaut wurde.

Die Software an sich ist nicht illegal. Viele Unternehmen hosten one-api oder new-api auf eigenen Servern, um ihre Accounts hinter einem Gateway mit Team-Kontingenten und Ausgabenkontrolle zu bündeln. Missbrauch beginnt, wenn die Kanäle mit gestohlenen, geleakten oder gepoolten Schlüsseln bestückt werden und der Betreiber diesen Zugang gegen die Nutzungsbedingungen der Anbieter weiterverkauft.

Die Methoden der Abuser

Lenhard nennt mehrere Techniken zur Beschaffung von Keys. Free-Trial-Abuse: automatisierte Massenerstellung von Konten für kostenloses Guthaben. Chargeback-Angriffe: Betrüger lassen Kreditkartenzahlungen nach der Nutzungsperiode zurückbuchen oder verwenden gestohlene Karten. Prepaid-Karten: Konten werden mit Prepaid-Karten aufgeladen, die ein begrenztes Limit haben – der Schaden des Anbieters bleibt begrenzt, aber der Relay kann trotzdem Gewinn machen.

Eine weitere Methode ist der „Open Inference“-Missbrauch: Jeder Support-Chatbot ohne strenge Guardrails ist ein Einstiegspunkt. Angreifer leiten Traffic durch den Chatbot und nutzen so die dahinterliegende KI. Dann gibt es „Denial of Wallet“: Eine Menge gleichzeitiger Anfragen, die nicht den Dienst stören, sondern das Kontingent des Anbieters verbrennen – aus Bosheit oder Konkurrenzgründen, ohne finanziellen Gewinn.

Die Käufer und das Ausmaß

Die Hauptabnehmer lassen sich in drei Gruppen einteilen: Entwickler, die günstige Tokens benötigen; Startups, die Geoblocking umgehen wollen – viele US-Modelle sind in China nicht offiziell verfügbar; und Unternehmen, die Model-Destillation betreiben. In einem chinesischen Forum (V2EX) diskutieren Nutzer darüber, wie sie mit destillierten Modellen Millionen verdient haben. „Wenn du schnelle Inferenz bra

Quelle: vectoral.com

Du arbeitest an einem Softwareprojekt, das über Jahre gewachsen ist. Irgendwann liest du einen Kommentar im Code, der verspricht, dass eine bestimmte Variable nie null sein darf – aber du traust dem Kommentar nicht mehr. Du hast schon zu oft erlebt, dass solche stillen Versprechen durch Refactoring gebrochen wurden, ohne dass es jemand bemerkt hat. Am Ende stehst du vor undefiniertem Verhalten, das sich schwer reproduzieren lässt.

In einer idealen Welt stünden solche Invarianten nicht in Kommentaren, sondern im Typsystem der Programmiersprache. Genau das ermöglichen abhängig typisierte Sprachen wie Lean oder Rocq (früher Coq). Du kannst Bedingungen wie „dieses Array ist mindestens n Bytes lang“ oder „diese Zahl ist eine Primzahl“ formal spezifizieren. Der Compiler prüft automatisch, ob dein Code diese Bedingungen einhält. Das klingt nützlich, hat aber einen hohen Preis: den manuellen Beweisaufwand.

Der Autor des zugrundeliegenden Textes kennt diese Problematik aus eigener Erfahrung. Er beschreibt, wie er ganze Tage damit verbringen kann, relativ einfache Eigenschaften zu beweisen. Das Beweisen selbst macht Spaß, ist interaktiv und herausfordernd, aber es kostet enorm viel Zeit. Besonders frustrierend ist es, wenn man nach stundenlanger Arbeit feststellt, dass die zu beweisende Aussage schlichtweg falsch ist. Diese Erfahrung teilt er mit vielen anderen in der Welt der abhängigen Typen.

Ein bekanntes Beispiel ist das seL4-Projekt, ein formal verifizierter Mikrokernel. Die Entwickler berichteten, dass sie etwa zehnmal so viel Zeit für das Schreiben von Beweisen aufgewendet haben wie für das eigentliche Design und die Implementierung. Am Ende hatten sie mehr als zwanzigmal so viele Zeilen Beweiscode wie C-Code. Diese Kosten haben abhängig typisierte Sprachen zu einer extremen Nische gemacht. Nun bahnt sich eine Veränderung an, und sie kommt von einer unerwarteten Seite: Large Language Models (LLMs).

Stell dir vor, du baust ein komplexes Uhrwerk. Bisher musstest du jedes Zahnrad einzeln mit der Hand feilen und prüfen, ob es perfekt in das nächste greift. Das ist mühsam und fehleranfällig. Jetzt kommt ein automatischer Assistent, der die Passgenauigkeit für dich überprüft – so schnell, dass du kaum noch selbst Hand anlegen musst. Genau das versprechen LLMs in Kombination mit einem Konzept namens Beweisirrelevanz. Bei vielen Beweisen kommt es nur darauf an, dass ein Beweis existiert, nicht wie er im Detail aussieht. Ein LLM kann solche Beweise oft automatisch generieren, ohne dass du dich um die Struktur kümmern musst.

Der Autor hat das getestet und einen Zstandard-Dekompression in Lean geschrieben. Zstandard ist ein modernes Kompressionsverfahren, das gzip als Standard ablöst. Es basiert auf der LZ77-Struktur, nutzt aber eine ausgefeiltere Entropiecodierung namens FSE (Finite State Entropy). Der Autor erklärt, wie FSE funktioniert: eine Zustandsmaschine mit mehr Zuständen als Symbolen. Häufige Symbole bekommen mehrere Zustände zugewiesen, sodass sie im Durchschnitt weniger Bits benötigen. Die Feinheit liegt darin, dass der Encoder nicht nur ein Symbol auswählt, sondern auch entscheiden kann, in welchem Zustand er landet – diese Wahl trägt Information in die Zukunft. Dadurch können echte Bruchteile von Bits codiert werden, was Huffman-Codierung nicht kann.

Die eigentliche Pointe: Der Autor implementierte diesen komplexen Algorithmus in Lean, ohne sich durch einen Berg manueller Beweise kämpfen zu müssen. Stattdessen ließ er die Beweise weitgehend von einem LLM generieren. Das funktionierte erstaunlich gut. Man muss noch aufpassen, dass der Typchecker nicht überlastet wird, aber die Automatisierung reduziert den Aufwand drastisch. Abhängige Typen mit KI-Unterstützung werden deutlich praktikabler.

Für Entwickler, die hohe Zuverlässigkeit brauchen – in der Luftfahrt, Medizintechnik oder bei Kryptobibliotheken – könnten abhängig typisierte Sprachen bald eine echte Alternative sein. Statt wochenlanger manueller Verifikation könnte KI-gestützte Beweisautomation zum Einsatz kommen. Die Technologie steht noch am Anfang, aber die Richtung ist klar: Die Hürden, die abhängige Typen bisher umgeben haben, sinken.

Du musst nicht sofort in Lean einsteigen. Aber du solltest beobachten, wie sich diese Werkzeuge entwickeln. Wenn LLMs zuverlässig Beweise generieren können, wandern formale Methoden aus der Nische in den Mainstream. Dann wirst du dich vielleicht wundern, warum du je darauf vertraut hast, dass ein Kommentar im Code die Wahrheit sagt.

Quelle: imperialviolet.org

Du entwickelst einen automatischen Assistenten, der Software repariert, mit deinem Terminal kommuniziert und mehrfach nachdenkt, bevor er ein Werkzeug einsetzt. Zwei unterschiedliche Motoren stehen zur Wahl. Der eine ist klein, kompakt und läuft auf deinem Arbeitsrechner. Der andere ist ein Gigant, der nur auf teuren Spezial-GPUs funktioniert, aber ganze Code-Repositorien durchforsten kann. Genau diesen Größenvergleich zeigt die aktuellen Veröffentlichungen der Agentic-KI-Modelle Nanbeige 4.2-3B und Laguna S 2.1. Beide sind für agentische Arbeitslasten optimiert – Aufgaben, die mehrstufiges Denken, Werkzeugeinsatz und Interaktion mit externen Umgebungen erfordern. Die Umsetzung dieser Fähigkeiten könnte unterschiedlicher kaum sein.

Die Analyse zeigt die Stärken und Grenzen beider Architekturen. Nanbeige 4.2-3B ist ein kompaktes dichtes Modell mit etwa vier Milliarden Parametern, davon etwa drei Milliarden nicht zu den Einbettungen zählend. Laguna S 2.1 ist ein Mischung-von-Experten-Modell (MoE) mit 118 Milliarden Parametern, pro Token werden jedoch nur rund acht Milliarden aktiviert. Nanbeige durchläuft die gleichen Gewichte mehrfach. Laguna greift auf einen großen Expertenpool zu, wählt für jeden Schritt nur einen Bruchteil aus. Das ist nicht nur Skalierung, sondern ein grundlegend verschiedener Ansatz: zweimal rechnen mit wenig Speicher gegen einmal rechnen mit riesigem, sparsam genutztem Wissen.

Nanbeige 4.2-3B: Kompakter Kraftprotz mit Schleifenarchitektur

Die Architektur von Nanbeige hat sich grundlegend geändert. Statt einer einfachen Llama-Struktur setzt das Modell auf einen Looped Transformer. Es gibt 22 physische Decoder-Layer, die zweimal durchlaufen werden – die gleichen Gewichte werden im zweiten Durchlauf wiederverwendet. Rechnerisch entspricht das etwa 44 Layer-Ausführungen, ohne 44 unabhängige Layer speichern zu müssen. Das reduziert den Gewichtsspeicher, nicht aber die Rechenzeit für die Inferenz. Jeder Token läuft tatsächlich zweimal durch den Transformer-Stapel. Das Modell hat 48 Aufmerksamkeitsköpfe mit einer Dimension von 128 sowie acht Key/Value-Köpfe. Im Vergleich zu anderen Modellen dieser Größe sind das viele – Qwen 3.6 35B A3B hat nur zwei KV-Köpfe.

Diese Schleifenstruktur bringt Herausforderungen für den KV-Cache. Teilt die Implementierung nicht explizit den Cache-Zustand zwischen den Durchläufen, benötigt jede Schleife eigene Key/Value-Einträge. Die Standardkonfiguration von Nanbeige scheint diese gemeinsame Nutzung nicht zu aktivieren. Der KV-Cache verbraucht etwa 176 KiB pro gecachten Token und aktiver Sequenz. Bei 16.000 Tokens Kontextlänge wären das rund 2,75 GiB, bei maximalen 256.000 Tokens etwa 44 GiB – fast doppelt so viel wie ein Qwen 3.6 mit 27 Milliarden Parametern bei gleicher Länge. Das ist eine beachtliche Menge, die selbst für ein 3B-Modell die Hardwareanforderungen erhöht. Eine GPU mit 16 GB VRAM kann das Modell bei moderaten Kontextlängen und sorgfältigen Einstellungen noch ohne Quantisierung betreiben. Eine 24-GB-GPU bietet mehr Spielraum für längere Prompts und höhere Gleichzeitigkeit.

Der Autor schlägt für Looped Transformer eine eigene Namenskonvention vor – ähnlich wie bei kleinen MoE-Modellen mit der Anzahl aktiver Parameter (etwa 26B-A4B). Für Nanbeige wäre „3B-2P“ (zwei Durchläufe) passend. Wer ein 3B-Modell herunterlädt, erwartet nicht, dass es annähernd so langsam ist wie ein 6B-Modell. Bei der Veröffentlichung stellte das Entwicklerteam eine spezielle vLLM-Version sowie einen Chat-Template mit zwei Steuerungsmöglichkeiten bereit: enable_thinking bestimmt, ob die aktuelle Antwort eine explizite Denkphase enthält, und preserve_thinking legt fest, ob Denkinhalte aus früheren Assistentenantworten erhalten bleiben. Für normale Chats und Frage-Antwort-Aufgaben kann man die Denkspuren abschalten. Für mehrstufige Werkzeugnutzung, Büro-Workflows und Coding-Agenten empfehlen die Entwickler, diese Inhalte zu behalten. Der Autor zeigt sich skeptisch: Denkspuren können 50.000 Tokens oder mehr umfassen. Selbst eine einzige gespeicherte Denkspur kann beim nächsten Schritt die maximale Kontextlänge erreichen lassen.

Trotz dieser Einschränkungen zeigt die veröffentlichte Evaluierung, dass Nanbeige das deutlich größere Qwen 3.5-9B auf den meisten agentischen, Code- und Denkaufgaben übertrifft. Auch Gemma 4 12B wird auf Benchmarks wie GDPval, SWE-Bench Verified, SWE-Bench Pro und Terminal-Bench 2.0 geschlagen. Die Ergebnisse hängen stark von der erlaubten Denk-Budget, den Werkzeugdefinitionen, der Prompting-Strategie, der Gesprächsverwaltung, der Wiederholungspolitik und der maximalen Anzahl von Aktionen ab. Für ein Modell dieser Größe ist das beachtlich.

Laguna S 2.1: Code-Riese mit Expertenmix

Ganz anders gelagert ist Laguna S 2.1, ein auf Code spezialisiertes MoE-Modell mit 118 Milliarden Parametern, pro Token werden etwa acht Milliarden aktiviert. Ein Routing-Mechanismus wählt während der Inferenz eine Teilmenge der Experten aus. So greift das Modell auf einen großen Pool gelernter Parameter zu, ohne jeden einzelnen für jeden Token auszuführen. Laguna besteht aus 48 Transformer-Layern. Zwölf nutzen globale Aufmerksamkeit, die restlichen 36 verwenden Sliding-Window-Aufmerksamkeit mit einem Fenster von 512 Tokens. Die globalen und lokalen Layer sind ungefähr im Verhältnis eins zu drei angeordnet. Globale Layer erlauben Informationsfluss über den gesamten Eingabekontext. Lokale Layer beschränken die Aufmerksamkeit auf nahe Tokens, reduzieren so Kosten für lange Kontexte und das KV-Cache-Wachstum.

Das Modell enthält 256 geroutete Experten und einen gemeinsamen Experten. Für jeden Token wählt der Router die Top Ten der gerouteten Experten zusätzlich zur gemeinsamen Berechnung. Laguna verwendet eine per-head softplus output gating – eine pro Kopf angewandte Softplus-Ausgangssteuerung. Jeder Aufmerksamkeitskopf bekommt seine eigene Lautstärkeregelung. Das Modell kann den Beitrag einzelner Köpfe reduzieren, beibehalten oder verstärken, bevor ihre Ergebnisse kombiniert werden. Die Softplus-Funktion hält diese Tore positiv, erlaubt Werte über eins, sodass nützliche Köpfe verstärkt werden können. Laguna setzt auf verschränktes Denken: Das Modell führt einen Gedankenschritt aus, tätigt einen Werkzeugaufruf, empfängt das Ergebnis und setzt seine Denkspur fort, bevor es die nächste Aktion wählt.

Für spekulative Dekodierung stellt Poolside ein DFlash-Draft-Modell bereit, das Kandidatentoken generiert, die das Hauptmodell parallel verifizieren kann – das beschleunigt die Ausgabe potenziell. Die Unterstützung für Laguna ist in vLLM ab Version 0.25.0 dokumentiert. Das Modell läuft auf einer einzelnen B300-GPU, die NVFP4- und INT4-Varianten verbrauchen weniger als 80 GB. Für die volle Kontextlänge bräuchte man eine 96-GB-GPU wie die RTX Pro 6000. Der KV-Cache für 256.000 Tokens wird auf etwa 24 GB geschätzt. Auch hier empfehlen die Entwickler, die vorherigen reasoning_content im Gesprächsverlauf zu behalten – das gleiche Problem wie bei Nanbeige, nur dass Laguna aufgrund seiner geringeren KV-Cache-Größe pro Token etwas nachsichtiger ist.

Laguna ist deutlich spezialisierter als Nanbeige. Sein primäres Ziel ist langfristiges Software-Engineering: Beheben von Bugs auf Repository-Ebene, Terminal-Interaktion, Shell-basierte Workflows, mehrsprachige Code-Pflege, Erkundung von Codebasen und Beantwortung von Fragen, die das Verständnis großer Software-Repositorien erfordern. Die spärliche Architektur und das auf Code fokussierte Training machen Laguna effektiv für Terminal-Interaktion, Repository-Level-Denken und mehrsprachiges Software-Engineering. Das Modell sieht auf dem Papier hervorragend aus. Das Feedback aus der Community ist bisher gemischt – was bei der Komplexität solcher Modelle nicht überrascht.

Zwei Lager, ein Ziel: Was bedeutet das in der Praxis?

Beide Modelle zielen auf denselben Einsatzbereich – agentische KI für Code und Workflows –, aber sie gehen unterschiedliche Wege. Nanbeige setzt auf Wiederholung: kleine, schlanke Gewichte, zweimal denken. Das spart Speicher, fordert Rechenzeit und erzeugt einen überraschend großen KV-Cache. Laguna setzt auf Auswahl: ein Heer von Experten, aber nur die relevanten abrufen. Das spart Rechenzeit, braucht enormen Gewichtsspeicher und eine leistungsfähige GPU, um die vielen Parameter zu laden.

Für dich als Anwender stellt sich die Frage: Hast du Hardware mit 96 GB VRAM und brauchst ein Modell, das über ganze Code-Repositorien hinweg denken kann? Dann ist Laguna die richtige Wahl. Arbeitest du auf einem Workstation-Rechner mit 24 GB und möchtest einen soliden Coding-Assistenten, der in den meisten Benchmarks größere Modelle schlägt? Dann ist Nanbeige spannend – aber du musst die Einschränkungen beim KV-Cache und die doppelte Durchlaufzeit akzeptieren. Der Autor kündigt an, beide Modelle in den nächsten Wochen selbst für agentisches Coding zu testen.

Agentic KI ist kein Einheitsbrei mehr. Du hast heute die Wahl zwischen einem flinken Schwergewicht und einem monumentalen Spezialisten. Die Kunst wird sein, das richtige Werkzeug für deine konkrete Aufgabe auszuwählen – und die Hardwarekosten im Auge zu behalten. Was nützt das mächtigste Modell, wenn die GPU für den nächsten Denkschritt keine Tokens mehr verarbeiten kann?

Quelle: kaitchup.substack.com

Stell dir vor, du lernst Klavierspielen, indem du einem Meisterpianisten stundenlang zuhörst – nicht, indem du seine Noten stiehlst, sondern indem du seine Technik analysierst und sie auf deine eigene Art nachahmst. In der Welt der Künstlichen Intelligenz heißt so etwas Model Distillation. Es ist eine gängige Methode, um große, rechenintensive KI-Modelle kompakter und effizienter zu machen. Und genau diese Technik steht derzeit im Zentrum eines politischen Eklats zwischen den USA und China.

Das US-Finanzministerium hat chinesischen KI-Unternehmen mit Sanktionen gedroht. Grund: Der Vorwurf, das chinesische Startup Moonshot habe das US-amerikanische Modell „Fable“ von Anthropic in großem Stil „destilliert“ – und dabei nicht nur legitime Optimierung betrieben, sondern geistiges Eigentum verletzt. Finanzminister Scott Bessent ließ auf X verlauten: „Open Source ist keine Freiwild-Jagd auf amerikanisches IP. Wenn chinesische Firmen verdeckte, industrielle Destillationsangriffe durchführen, die die Grenze zum IP-Diebstahl überschreiten, stehen Sanktionen und Eintragungen auf die Entity List auf dem Tisch.“ Damit eskalierte er eine Debatte, die bereits seit Tagen in Washington brodelt.

Doch was genau ist passiert? Moonshot veröffentlichte vor Kurzem ein Open-Weight-Modell namens Kimi K3. Dessen Fähigkeiten überraschen Fachleute – sie liegen auf einem Niveau, das man eher von Milliardengräbern wie GPT-4 oder Claude erwarten würde. Der Haken: Moonshot soll dafür kein eigenes, teures Training durchgeführt haben, sondern die Fähigkeiten von Anthropics Fable-Modell abgeschaut haben – mittels großangelegter Distillation. Der Chef der Wissenschafts- und Technologiepolitik des Weißen Hauses, Michael Kratsios, behauptet sogar, Moonshot habe dafür Nvidia GB300-Server in Thailand genutzt – Server, die eigentlich unter US-Exportkontrollen fallen und nicht an chinesische Firmen verkauft werden dürfen.

Model Distillation ist im Grunde ein Schüler-Lehrer-Prinzip. Ein großes, leistungsfähiges „Lehrer“-Modell generiert Unmengen an Antworten auf Trainingseingaben. Ein kleineres „Schüler“-Modell lernt dann, diese Antworten nachzuahmen, ohne dass es die gesamte Komplexität des Lehrers selbst lernen muss. So entstehen schlanke, schnelle Modelle für Smartphones oder Edge-Geräte. Das ist völlig legitim. Die Grenze zum Diebstahl wird überschritten, wenn jemand systematisch das Lehrer-Modell abfragt, um es praktisch zu kopieren – ohne Lizenz, ohne Transparenz, ohne Gegenleistung. Genau das wirft die US-Regierung Moonshot vor.

Das Problem: Der Vorwurf ist juristisch und technisch schwer zu beweisen. Fable ist erst seit dem 1. Juli 2024 öffentlich verfügbar. Einige Experten bezweifeln, dass Kimi K3 allein durch Destillation aus Fable so extrem schnell so gut werden konnte. Moonshot selbst schweigt bisher. Aber der Fall ist symptomatisch für einen grundlegenden Wandel in der KI-Industrie: Bisher dominieren US-Unternehmen die Spitze – mit Modellen, die Milliarden kosten und enorme Rechenzentren brauchen. Nun tauchen chinesische Open-Source-Modelle auf, die fast genauso gut sind, aber viel günstiger. Das untergräbt das Geschäftsmodell der US-Labore und stellt die Frage: Kann man mit Open-Source-KI überhaupt noch Geld verdienen, wenn Konkurrenten das Wissen einfach absaugen?

Die politische Reaktion in Washington ist entsprechend scharf. Es gibt Stimmen – wie die des ehemaligen KI-Beraters im Weißen Haus und jetzigen OpenAI-Kopfes Dean Ball –, die fordern, chinesische Open-Weight-Modelle in den USA komplett zu verbieten oder stark einzuschränken. Das Argument: Um die nationale Sicherheit zu schützen und den technologischen Vorsprung zu wahren, müsse man verhindern, dass US-Firmen und -Forschung auf Modellen aufbauen, die möglicherweise gestohlenes geistiges Eigentum enthalten. Eine Art digitaler Eiserner Vorhang für KI-Gewichte.

Doch dieser Schritt wäre ein tiefer Eingriff in die Open-Source-Kultur, die die KI-Entwicklung enorm beschleunigt hat. Wissenschaftler, Startups und Entwickler weltweit profitieren von frei verfügbaren Modellen. Ein Verbot chinesischer Open-Weight-Modelle könnte die globale KI-Landschaft fragmentieren. China baut derzeit sein eigenes Ökosystem auf – mit eigenen Modellen, eigenen Chips (trotz Exportbeschränkungen) und eigener Infrastruktur. Die USA laufen Gefahr, sich von diesem Ökosystem abzukoppeln.

Was bedeutet das konkret für dich als Tech-Beobachter oder vielleicht als jemand, der selbst mit KI arbeitet? Erstens: Die Zeiten, in denen Open-Source-KI ein unpolitisches Spielzeug war, sind vorbei. Jedes Modell, das du aus China herunterlädst, könnte unter politischen Druck geraten. Zweitens: Der Vorwurf der Destillation wird in Zukunft wohl öfter kommen – als Wettbewerbsinstrument. Große Unternehmen werden versuchen, kleinere Konkurrenten mit IP-Klagen zu stoppen, selbst wenn die Methode eigentlich legitim ist. Drittens: Die Kosten für KI-Entwicklung könnten durch Exportkontrollen und Sanktionen weiter steigen – was den Vorsprung der großen US-Labore zementiert, aber Innovation in Schwellenländern erstickt.

Am Ende geht es nicht nur um Moonshot und Fable. Es geht um die grundlegende Frage: Wem gehört das Wissen, das eine KI generiert? Und wie verhindert man, dass offene Technologien zur Waffe im geopolitischen Machtkampf werden? Die Antworten darauf werden die kommenden Jahre prägen – und auch deinen nächsten KI-Assistenten, ob er nun aus San Francisco oder Peking kommt.

Bleibt abzuwarten, ob die USA tatsächlich Sanktionen verhängen. Das Finanzministerium hat sich alle Optionen offen gehalten. Klar ist: Die Ära des naiven Technologie-Optimismus ist vorbei. KI ist zum Schlachtfeld geworden – und Distillation ist eine der schärfsten Waffen. Halte deine Modelle gut bewacht. Oder stelle dich darauf ein, dass dein nächstes „Open-Source“-Update plötzlich unter Embargo fällt.

Quelle: techcrunch.com

Zwei Automodelle: ein Sportwagen mit verschweißter Motorhaube – nur der Hersteller kennt den Innenraum. Das andere rollt mit offenem Motorraum vor. Jeder kann die Bauteile studieren, nachbauen und umrüsten. Dieselbe Grundsatzfrage spaltet die KI-Branche: offene oder geschlossene Modelle? Ein chinesisches KI-Modell namens Kimi K3 hat die Diskussion neu entfacht. In den USA sorgt es für Aufregung.

Moonshot AI präsentierte letzte Woche sein Modell Kimi K3. In mehreren Benchmarks schlug es die bisherigen Spitzenreiter – zu einem Bruchteil der Kosten. Viele Beobachter sagen: Kimi K3 kann mit führenden US-Modellen von OpenAI, Anthropic und Google mithalten. Es verbraucht weniger Rechenleistung und Geld. In den USA löste das eine neue Panikwelle aus: Wird China die USA im KI-Wettlauf überholen? Gleichzeitig tauchten Vorwürfe auf, chinesische Modelle seien auf Basis amerikanischer Arbeit trainiert worden – ein Vorgang namens „Destillation“.

Die strategische Kluft: Open Source gegen Closed Source

Der Kern des Konflikts ist eine tiefe strategische Kluft. China setzt fast durchgängig auf Open-Source- oder Open-Weight-Modelle. Die trainierten Parameter der KI – das erlernte Wissen – werden öffentlich zugänglich gemacht. Entwickler weltweit können die Modelle herunterladen, prüfen, anpassen und einbauen. Die USA hingegen halten an geschlossenen Modellen fest. Die Parameter bleiben geheim, der Zugang erfolgt nur über kostenpflichtige APIs oder Lizenzen. Die Hersteller behalten die Kontrolle über Sicherheit, Zugriff und Preisgestaltung.

Diese unterschiedlichen Philosophien prallen nun aufeinander. Einige US-KI-Führungskräfte lassen sich von Chinas Bekenntnis zu offenen Modellen inspirieren. Andere sehen darin eine Gefahr für die nationale Sicherheit und ihr Geschäftsmodell. Die Frage ist nicht nur technischer oder wirtschaftlicher Natur, sondern auch politisch aufgeladen.

Die Reaktionen: Von Panik bis Regulatory Capture

Dean Ball, ehemaliger leitender KI-Berater von US-Präsident Donald Trump, heute Leiter der Strategieabteilung bei OpenAI, löste eine Debatte auf X aus. Er schrieb, er sei überrascht, dass der chinesische Staat trotz potenzieller Risiken die Veröffentlichung solcher Modelle als Open Source zulasse. Balls Begriff vom „KI-Kommunismus“ zielt darauf ab, dass offene Modelle angeblich Investitionen abschrecken und die Entwicklung bremsen. Seine Prognose war brisanter: Die Trump-Regierung werde erkennen, dass ihre beste Strategie darin bestehe, regulatorische Risiken rund um die Nutzung offener chinesischer Modelle zu schaffen. Mit anderen Worten: Durch Angst, Unsicherheit und Zweifel im Regulierungsprozess sollen amerikanische Unternehmen von chinesischen Open-Source-Modellen abgehalten werden. Ball betonte später, dies sei nur eine Prognose, keine Empfehlung – und er unterstütze Open Source, bis KI zu gefährlich werde. Ein „trauriger Tag“ sei das.

Die Reaktionen ließen nicht lange warten. David Sacks, Trumps erster „KI- und Krypto-Zar“ und heute Co-Vorsitzender eines Wissenschaftsberatergremiums, bezeichnete Balls Idee als „Instrumentalisierung regulierter Unsicherheit“ und nannte sie „völlig inakzeptabel“. Auf X schrieb Sacks, die führenden geschlossenen Labore – OpenAI und Anthropic – bildeten ein Duopol bei den Einnahmen aus KI-Modellen. Sie wollten die Regierung dazu bringen, ihre Open-Source-Konkurrenz auszuschalten. „Sie haben ihre Karten auf den Tisch gelegt. Es ist an der Zeit, dass der Rest des Silicon Valley – die große Mehrheit, die Wert auf offenen Wettbewerb legt – dasselbe tut.“ Sein Co-Moderator Chamath Palihapitiya pflichtete bei: „Die Zukunft gehört Open Source. Wir müssen uns darauf einlassen und weitermachen.“

Kostenvorteil und die Frage der Fairness

Die Debatte dreht sich nicht nur um Ideologie, sondern auch um wirtschaftliche Vorteile. Analysten betonen, dass chinesische KI-Unternehmen wie Moonshot AI oder Deepseek ihre Modelle zu deutlich niedrigeren Kosten trainieren und betreiben können. Ein Analyst von Citrini Research, auf X unter dem Namen Jukan, widersprach Balls Warnung vor einer chinesischen Übernahme. Open-Source-Modelle allein verschafften keinem Unternehmen eine dominierende Position. Der wahre Vorteil liege in den proprietären Abläufen – etwa bei der Effizienz der Inferenzberechnung – nicht nur in der Offenheit der Gewichte. „Chinesischen Unternehmen mag es zwar an Rechenkapazität mangeln, um den gesamten Inferenzbedarf selbst zu decken, aber sie verkaufen nicht mit Verlust und holen ihre Trainingskosten wieder herein“, schrieb Jukan.

Softwareentwickler Suhail Doshi wies darauf hin, dass amerikanische KI-Labore ihre Produkte mit „Daten der Menschheit trainiert haben, ohne dafür zu zahlen“. Jede Lobbyarbeit oder Gesetzgebung, die im Namen der Destillation ein Verbot von Open-Weight-Modellen fordere, sei „völliger Bullshit“. Es handle sich um einen Kampf gegen zukünftige amerikanische Innovationen. Doshi spricht ein heikles Thema an: Viele KI-Modelle wurden auf öffentlich zugänglichen Daten trainiert, die von Milliarden Menschen im Internet erzeugt wurden. Dass nun gerade die Unternehmen, die diese Daten kostenlos genutzt haben, andere daran hindern wollen, ähnliche Modelle zu bauen, wirft Fragen nach Fairness und Monopolbildung auf.

Was bedeutet das für die Zukunft der KI-Entwicklung?

Die Diskussion um Kimi K3 zeigt einen Wendepunkt. Die US-Regierung muss eine Position finden. Soll sie offene Modelle fördern, um Innovation und Wettbewerb zu stärken? Oder soll sie die heimischen Closed-Source-Unternehmen schützen, auch wenn das langfristig den technologischen Fortschritt bremsen könnte? Dean Balls Vorstoß, regulatorische Verwirrung zu schüren, klingt für viele nach einem klassischen Fall von „Regulatory Capture“ – wenn Regulierungsbehörden im Sinne der Industrie handeln, statt im öffentlichen Interesse. Das wäre gefährlich. Es könnte Innovationen abwürgen, die von kleinen Start-ups und der Open-Source-Community ausgehen. Auf der anderen Seite stehen berechtigte Sicherheitsbedenken: Offene Modelle könnten von böswilligen Akteuren genutzt werden, um Desinformation zu verbreiten, Schadsoftware zu entwickeln oder andere Risiken zu schaffen. Ein ausgewogener Ansatz ist nötig, der die Vorteile der Offenheit wahrt, ohne die Gesellschaft unkontrollierten Risiken auszusetzen.

Für Entwickler und Unternehmen, die KI-Anwendungen bauen, ist die Lage klar: Open-Weight-Modelle wie Kimi K3 bieten eine kostengünstige und flexible Alternative zu teuren APIs geschlossener Anbieter. Sie ermöglichen es, eigene Modelle zu verfeinern, in sensiblen Umgebungen lokal zu hosten und unabhängig von Preisentscheidungen großer Konzerne zu sein. Sie erfordern aber auch mehr technisches Know-how und Eigenverantwortung. Die Frage ist nicht, ob Open Source oder Closed Source gewinnen wird – sondern wie beide Ansätze koexistieren und reguliert werden. Die Debatte um Kimi K3 ist ein Vorgeschmack auf die kommenden Jahre des KI-Wettrennens.

Der Hype um Kimi K3 spiegelt fundamentale Verschiebungen in der globalen KI-Landschaft wider. China hat gezeigt, dass es nicht nur kopieren, sondern auch effizienter bauen kann. Die USA müssen sich entscheiden, ob sie Mauern hochziehen oder die Tore öffnen – und welche Rolle die Politik dabei spielen soll. Informiert bleiben, kritisch hinterfragen. Die beste Strategie gegen Angst ist Wissen.

Quelle: businessinsider.de