Im Call gibt es zuerst Lob: Die KI-Funktion ist pünktlich fertig, die Nutzer sind zufrieden, die Kennzahlen steigen. Dann schließt die Finanzabteilung das Quartal ab – und die Rechnung zeigt: Jede Anfrage kostet mehr, als sie einbringt.
Solche Anrufe erlebe ich Woche für Woche. Ich arbeite in der Developer Relations bei einem GPU-Cloud-Anbieter im Silicon Valley und sitze in denselben Video-Calls, in denen Teams über KI-Infrastruktur entscheiden. Je länger ich das mache, desto deutlicher sehe ich die Cloud-Kosten-Disziplin der 2010er-Jahre wiederkehren – nur mit teurerer Hardware und Fehlern, die schneller durchschlagen.
Die Szene kennen wir. Vor zehn Jahren brachten Cloud-Rechnungen Engineering-Leiter dazu, nach den Kosten zu fragen. Jetzt tun es die GPU-Rechnungen wieder – mit zehnfachen Beträgen. Die Lektion ist teurer geworden. Immer wieder erlebe ich, wie solide Teams ihre Disziplin verlieren, sobald auf dem Bestellschein GPU steht. KI-Ausgaben behandeln sie wie eine Wette, nicht wie einen Betriebskostenposten. Da beginnt das Problem.
Die Stunde ist die falsche Einheit für GPU-Kosten
GPU-Kapazität wird pro Stunde abgerechnet. Also planen und berichten Teams in Stunden. Das wirkt ordentlich, passt zur Rechnung – und verdeckt die Kennzahl, die über den Erfolg einer KI-Funktion bestimmt: die Kosten pro Request. Sie ergeben sich aus allen Ausgaben für die Inferenz-Infrastruktur geteilt durch die Anzahl der bedienten Anfragen. Sie gleichen dem Stundensatz nur, wenn die Hardware voll ausgelastet ist.
Bei nutzerorientierter KI ist das die Ausnahme. Der Datenverkehr folgt menschlicher Aufmerksamkeit: ein paar Stunden Anstieg, dann Abfall. Ich arbeitete einmal mit einem Team, das einen Cluster für eine Spitze reserviert hatte, die nur etwa zwei Stunden am Tag auftrat. Auf der Rechnung sah der Stundensatz fast günstig aus. Teilte man ihn durch die tatsächlich bedienten Anfragen, war das Ergebnis ernüchternd. Das Team sah diese Zahl zum ersten Mal, als wir sie gemeinsam durchrechneten.
Diese Division empfehle ich jedem Team. Nimm die gesamten Inferenzausgaben des letzten Monats. Teile sie durch die Anzahl der Requests. Wenn die Antwort eine betretene Stille erzeugt, hast du Geld gefunden – mit einer Rechenaufgabe, die längst eine Tabellenkalkulation hätte erledigen können. Wer GPU-Kosten senken will, kommt daran nicht vorbei. Die Stunde ist nur die Verpackung, der Request der Inhalt.
Die Form der Arbeitslast bestimmt das Preismodell
Ist die Zahl unangenehm, wollen Teams oft den Anbieter wechseln oder bessere Konditionen. Ich verkaufe selbst GPU-Kapazität und sage deutlich: Der reine Stundensatz ist selten das Problem. Die Preise für KI-Rechenleistung fallen. Der AI Index von Stanford zeigt: Inferenzpreise sind in wenigen Jahren um Größenordnungen gesunken. Das hilft aber wenig, wenn ein Großteil der Kapazität ungenutzt bleibt. Die Verschwendung frisst den Rabatt auf.
Besser ist es, das Einkaufsmodell an die Arbeitslast anzupassen. KI-Workloads fallen in zwei Kategorien, die gegensätzliche Verträge brauchen. Dauernutzung wie Training, Feintuning oder Batch-Verarbeitung hält die Hardware rund um die Uhr beschäftigt. Dafür eignen sich reservierte Kapazitäten: Die Maschinen bleiben heiß, niedrigere Stückkosten belohnen die Bindung. Stoßlast – fast alles mit einem Menschen am anderen Ende – funktioniert anders. Nutzungsbasierte Preise rechtfertigen ihren Aufschlag, weil man nur zahlt, was tatsächlich anfällt. Der Preis pro Einheit steigt, die Gesamtrechnung sinkt.
Die besten Produktions-Setups, die ich sehe, kombinieren beide Modelle. Ein Team hält eine bescheidene Basislinie vor, dimensioniert auf das Niveau, das die Nachfrage fast nie unterschreitet. Den Rest deckt On-Demand-Kapazität ab. Teams mit weniger als etwa zehn Millionen Tokens pro Monat verzichten oft ganz auf eigene Infrastruktur und nutzen eine Modell-API, bis das Volumen einen Wechsel rechtfertigt. So bleibt die reservierte Fläche ausgelastet, Spitzen sind abgedeckt. Die Architektur ist dann Ausdruck einer bewussten Entscheidung – seltener, als man denkt.
Drei Fragen sparen mehr als jeder Vertragsrabatt
Bittet mich ein Team um die Prüfung einer GPU-Verpflichtung, stelle ich immer dieselben drei Fragen. Am liebsten vor der Unterschrift, nicht danach. Erste Frage: Wie sieht unsere gemessene Auslastungskurve aus? Die Projektion aus der Präsentation zählt nicht. Miss eine Woche Produktionstraffic, bevor irgendetwas unterschrieben wird. Teams sagen ihre eigene Kurve fast nie korrekt voraus – vor dem Vertrag kostet diese Überraschung nichts, danach umso mehr.
Zweite Frage: Wie hoch sind unsere Kosten pro Request bei der zehnfachen Menge des heutigen Volumens? Skaleneffekte können die Antwort verändern, manchmal zu unseren Gunsten. Stoßartiger Bedarf kann sich glätten, wenn Nutzer über Zeitzonen verteilt sind, und die Rechnung verschiebt sich später Richtung reservierter Kapazität. Kann niemand im Raum diese Zahl nennen, kauft die Organisation ein Standbild, keine Strategie. Dritte Frage: die Wechselkosten. Offene Gewichtsmodelle erlauben es, die Analyse mit jedem Anbieter durchzuspielen und Konsequenzen aus den Zahlen zu ziehen. Proprietäre Endpunkte koppeln die Kosten an die Preiselastizität eines anderen Unternehmens. Beides kann sinnvoll sein, aber Flexibilität hat einen Dollarwert, der neben dem Stundensatz stehen sollte.
Disziplin statt Hoffnung
Privat habe ich im vergangenen Jahr mehr als acht KI-Hackathons als Juror begleitet – bei Microsoft in Chicago und Mountain View sowie bei Events mit OpenAI und der Google Developers Group. Auch dort, wo Teams an einem Wochenende Prototypen bauen, sehe ich das Produktionsproblem der Zukunft: brillante Modelle, aber kaum Gedanken darüber, was das Bereitstellen kosten wird. Niemand gewinnt einen Hackathon mit einer Unit-Economics-Folie. Dafür scheitern Unternehmen regelmäßig ohne eine.
Jahre in der Datenanalyse haben mich zu einer Überzeugung geführt, die ich jedem Team mitgebe: Ein Dashboard ohne Kosten ist eine Verbindlichkeit. Eine KI-Funktion trägt dasselbe Risiko. Unternehmen, die den nächsten Preiszyklus überleben, kennen ihren Preis pro Request aus dem Kopf und erklären ihre Infrastruktur in einem Satz – gestützt auf eine Woche Verkehrsdaten. Nicht die Teams mit dem niedrigsten Stundensatz sichern die Margen, sondern die, die ihre GPU-Auslastung verbessern und die Inferenzkosten senken, bevor die nächste Rechnung kommt.
Die alte Cloud-Lektion kehrt zurück: erst messen, dann kaufen, dann die Kosten pro Nutzen im Betriebsalltag verankern. Ich sehe täglich, wie Teams dieselben Fehler wiederholen – nur mit teurerer Hardware. Es gibt einfache Rechnungen, die vor dem Vertrag schützen. Nur wenige führen sie durch. GPU-Kosten sind kein Schicksal, sondern eine messbare Größe. Wer sie beherrscht, hat die Rechnung im Griff – und das eigene Produkt.
Quelle: cio.com
