Kaum erscheint ein neues Open-Weight-Modell, melden sich die Enthusiasten: Lokale Modelle seien die Zukunft, Rechenzentren bald überflüssig. Die ökonomische Realität sieht anders aus.
Der Autor dieses Standpunkts erklärt, warum die meiste KI-Inferenz auch in den kommenden Jahren in Rechenzentren stattfinden wird – unabhängig davon, wie stark Open-Weight-Modelle werden. Das klingt widersprüchlich, denn freie Modelle werden stetig besser. Doch wer sich die Details ansieht, erkennt schnell: Die Argumente für lokale Modelle beruhen oft auf Annahmen, die einer betriebswirtschaftlichen Prüfung nicht standhalten.
Warum lokale Modelle immer ein paar Züge hinterherhinken
Der erste Punkt ist banal, wird aber oft übersehen: Die aktuellen Frontier-Modelle – ob offen oder geschlossen – sind zu groß, um auf einem einzelnen Gerät zu laufen. Ein Modell wie GPT-5.6 benötigt eine ganze GPU-Cluster in einem Datacenter. Diese Größe ist kein Zufall, sondern die direkte Folge von Trainingsumfang und Parameterzahl.
Ja, kleinere Modelle werden mit der Zeit intelligenter. In ein bis zwei Jahren läuft auf deinem Laptop vielleicht ein Modell, das heute als hochmodern gilt. Doch genau hier setzt der zweite Punkt an: Während du dich über dein neues lokales Modell freust, hat sich die Messlatte längst verschoben. Wer würde heute noch freiwillig mit einem GPT-4-Modell arbeiten, wenn ein deutlich stärkeres verfügbar ist? Kaum jemand. Unsere Erwartungen wachsen mit der Leistungsfähigkeit der Modelle – und genau das ist das Problem.
Die meisten Nutzer haben eine klare Offenbarungspräferenz: Sie greifen zum stärksten Modell, das sie sich leisten können. KI-Agenten sollen komplexe Aufgaben autonom lösen, sich nicht verwirren lassen und selten stocken. Größere Modelle sind genau darin besser. Ein lokales Modell, das bei der ersten unerwarteten Eingabe scheitert, führt zu Frustration – und wer die Wahl hat, entscheidet sich gegen Frust.
Der Kosten-Irrglaube: Lokal zu rechnen ist ein teures Hobby
Ein hartnäckiger Mythos ist die Behauptung, lokale Modelle seien günstig. Das Gegenteil ist der Fall. Schon die Anschaffung eines leistungsfähigen Home-Lab-Setups kostet so viel, dass du davon mehrere Jahre lang ein KI-Abo eines großen Anbieters bezahlen könntest. Der Autor vergleicht das mit dem Gedanken, dass Uber-Fahren „Gratisgeld“ sei, nur weil man den Sprit nicht direkt bezahlt – die versteckten Kosten werden schlicht ignoriert.
Der laufende Stromverbrauch kommt hinzu: Je nachdem, wie intensiv du dein Setup betreibst, entstehen monatliche Kosten von 50 bis 300 Euro. Das entspricht locker dem Preis von ein oder zwei Abos bei einem professionellen KI-Anbieter. Die Hardware-Nutzung über mehrere Jahre summiert sich zusätzlich: GPUs verschleißen, Kühlung braucht Energie, und die Leistung veraltet schnell.
Warum sind Rechenzentren nun günstiger? Nicht, weil die Inferenz dort subventioniert wird – im Gegenteil. Der entscheidende Faktor ist Effizienz durch Skalierung. Ein KI-Dienstleister kann die Kosten auf Millionen von Nutzern verteilen, während dein privates Setup allein in der Verantwortung deines Geldbeutels hängt. Die Rechnung ist eindeutig: Wer lokal rechnet, zahlt mehr für deutlich weniger Leistung.
Batching macht Rechenzentren unschlagbar effizient
Der eigentliche Grund für die Kostenvorteile der Rechenzentren heißt Batching. Stell dir eine Highway-Mautstelle vor, die nur ein Fahrzeug pro Minute abfertigt, aber problemlos hundert gleichzeitig bearbeiten könnte. Ein einzelner Nutzer verursacht dabei genauso viel Motorverschleiß und Abgas wie hundert – nur dass am Ende nur einer durchfährt.
Genau so funktioniert eine GPU bei der KI-Inferenz. Eine einzelne Grafikprozessoren kann hunderte von mathematischen Operationen gleichzeitig ausführen, ohne langsamer zu werden oder mehr Strom zu verbrauchen. Bei einem einzelnen Nutzer hängt jedoch jeder neue Token von seinem Vorgänger ab – die Berechnung ist streng sequenziell. Du kannst also nicht einfach zwei Anfragen parallel bearbeiten, weil die zweite auf das Ergebnis der ersten warten muss.
Was funktioniert, ist die Zusammenfassung vieler unabhängiger Nutzeranfragen zu einem „Batch“. Wenn du und 200 andere Personen gleichzeitig eine Anfrage an denselben Server schicken, kann die GPU alle 201 Anfragen in derselben Zeit verarbeiten wie eine einzige. Der Flaschenhals ist nämlich nicht die Berechnung selbst, sondern das Laden der Modellgewichte in den Speicher – und das dauert unabhängig von der Anzahl der Token gleich lange.
Ein lokales Setup hat genau diese Möglichkeit nicht. Du sitzt vor deinem Rechner, und deine Anfrage ist die einzige, die gerade ankommt. Selbst wenn du mehrere KI-Agenten parallel laufen lässt, reicht das nie aus, um einen Batch zu füllen. Das Ergebnis ist eine miserable Auslastung: Der Großteil der Rechenleistung, die du bezahlst, bleibt ungenutzt.
Der Hardware-Vorsprung der Datencenter-GPUs
Zusätzlich setzen die Rechenzentren auf spezialisierte Hardware, die für den Dauerbetrieb optimiert ist. Ein B200-Chip von NVIDIA bietet etwa die dreifache Rechenleistung und fast die vierfache Speicherbandbreite eines Konsumenten-Grafikprozessors wie der RTX 4090 – und das bei gleichem Stromverbrauch. Diese Chips sind nicht für Gaming gebaut, sondern für präzise, parallele KI-Berechnungen.
Das bedeutet: Selbst wenn du die gleiche Modellgewichtung lokal und im Rechenzentrum laufen lässt, ist der Rechenzentrumsbetrieb um ein Vielfaches effizienter. Der Autor hat die Zahlen grob überschlagen: Zwischen Batching und effizienterer Hardware verbraucht ein lokales Setup rund 30-mal so viele Ressourcen für dieselbe Aufgabe. Diese Ineffizienz schlägt sich unmittelbar in höheren Kosten und einem höheren CO₂-Fußabdruck nieder.
Damit widerlegt sich auch das Argument der Ressourcen-Schonung. Wenn du wirklich sparsam arbeiten willst, solltest du deine Anfragen möglichst ins Rechenzentrum schicken – nicht sie lokal ausführen. Die Behauptung, lokale Modelle seien umweltfreundlicher, hält einer genaueren Betrachtung nicht stand. Größere Effizienz pro Token erreicht man durch Skalierung, nicht durch ein weiteres Home-Setup.
Drei Szenarien, in denen lokale Modelle trotzdem gewinnen könnten
Der Autor nennt Ausnahmen. Erstens: Falls Regierungen den Betrieb von Rechenzentren einschränken – etwa aus Sicherheitsbedenken oder öffentlichem Druck –, bliebe lokalen Modellen praktisch keine Alternative. In einem solchen Szenario wären sie der einzige verfügbare Weg, und die Kostenfrage würde zweitrangig.
Zweitens: Wenn der Fortschritt bei sehr großen Modellen stagnierte, während kleine Modelle weiter an Leistung zulegten. Der Autor hält das für unwahrscheinlich, weil beide Entwicklungspfade eng miteinander verwoben sind – die meisten Innovationen bei kleinen Modellen stammen aus Erkenntnissen, die an großen Modellen gewonnen wurden. Ein plötzlicher Stillstand der einen Seite würde fast sicher auch die andere ausbremsen.
Drittens: Ein Modell könnte so intelligent werden, dass ein 30-Milliarden-Parameter-Modell für alle praktischen Zwecke ausreicht. Auch das hält der Autor für unrealistisch. Selbst heute schaffen es Frontier-Modelle, mathematische Spitzenleistungen zu erbringen – und scheitern gleichzeitig an alltäglichen Aufgaben wie der sauberen Refaktorierung großer Codebasen. Die Kluft zwischen „gut genug“ und „wirklich stark“ ist größer, als man denkt.
Die verbleibende Nische: Lokale Modelle sind nicht nutzlos
Trotz aller Argumente bleiben lokale Modelle nicht bedeutungslos. Der Autor verweist auf ein plausibles Szenario: Kleine, schnelle Modelle könnten als Vermittler zwischen dir und einem großen Modell im Rechenzentrum fungieren. Bei latenzempfindlichen Anwendungen wie Sprachassistenten übernimmt ein lokales Modell das Echtzeit-Gespräch, während die eigentliche Denkarbeit im Rechenzentrum erledigt wird. Diese hybride Architektur kombiniert die Vorteile beider Welten.
Es gibt auch eine Gruppe von Nutzern, die bewusst auf lokale Modelle setzen – aus Datenschutzgründen, wegen unzuverlässiger Internetverbindungen oder aus schlichtem Bedürfnis nach Kontrolle über die eigene Infrastruktur. Diese Nische wird es immer geben, und sie ist legitim. Wer nur chatten möchte und keine hochkomplexen Aufgaben stellt, fährt mit einem lokalen Modell durchaus gut.
Aber die Mehrheit wird diesen Weg nicht gehen. Und genau hier liegt die geerdete Einordnung: Die Dominanz der Rechenzentren ist keine Frage von Ideologie, sondern von nüchterner Ökonomie. Solange Batching und effiziente GPUs die Kosten senken und die Modelle gleichzeitig stärker werden, bleibt die zentrale Inferenz der Standard. Die Beweislast liegt bei denen, die das Gegenteil behaupten – und die Rechnung, die sie präsentieren, geht schlicht nicht auf.
Quelle: seangoedecke.com
