Bei Salesforce laufen mehr als 1.400 aktive Amazon-EKS-Cluster parallel, einige davon mit bis zu 2.500 Nodes und rund 1.000 Workloads. Die Plattformteams kombinieren deshalb Vertical Pod Autoscaler, Horizontal Pod Autoscaler und Karpenter, um Reservierungen, Replikate und Knoten automatisch an den tatsächlichen Bedarf anzupassen. Das Ergebnis: mehr als fünf Millionen US-Dollar kumulierte Infrastruktur-Einsparungen bei einem rollenbasierten Ansatz.
Warum statische Ressourcenlimits bei großen Kubernetes-Flotten scheitern
Am Anfang war das Betriebsmodell einfach: Ressourcen wurden statisch in Deployment- oder Helm-Konfigurationen hinterlegt. Das funktionierte, als die Flotte noch etwa 100 Cluster umfasste und weder Nodes noch Workloads in großer Zahl vorhanden waren. Mit dem Wachstum der Plattform wurde diese Methode jedoch zunehmend ineffizient und schwer wartbar.
Das Problem liegt in der Natur von Requests und Limits. Kubernetes reserviert die angeforderten CPU- und Speichermengen auf dem jeweiligen Node. Zu niedrige Werte können unter unerwarteter Last zu CPU-Drosselung, OOM-Abstürzen oder podseitigen Terminierungen führen. Zu hohe Werte binden dagegen Rechenkapazität, die weder genutzt noch sinnvoll weiterverteilt wird.
Ein weiteres Problem ist der manuelle Aufwand. Ingenieure mussten historische Telemetriedaten auswerten und Konfigurationen über mehrere Umgebungen hinweg anpassen. Bei einer wachsenden Zahl an Clustern und Workloads wurde dieses Vorgehen zu einem operativen Engpass. Man konnte die tatsächliche Auslastung kaum noch zuverlässig beurteilen, während die Produktionsplattform weiter wuchs.
Statisches Right-Sizing behandelt die Flotte wie einen statischen Maschinenpark. Sobald sich Lasten, Anwendungen und Cluster jedoch dynamisch verändern, braucht die Plattform eine Form der kontinuierlichen Anpassung. Genau an dieser Stelle setzt die Salesforce-Strategie an.
VPA, HPA und Karpenter als getrennte Regelkreise
Die zentrale Idee von Salesforce besteht darin, nicht eine einzige universale Skalierungslogik auf alle Workloads anzuwenden. Stattdessen ordnet das Plattformteam jedem Workload anhand seines Nutzungsmusters eine von drei Varianten zu: Vertical Pod Autoscaler allein, Horizontal Pod Autoscaler allein oder eine Kombination beider Verfahren. Hinzu kommt Karpenter für die dynamische Bereitstellung und Verkleinerung der zugrunde liegenden Compute-Kapazität.
Der Vertical Pod Autoscaler, kurz VPA, beobachtet den tatsächlichen CPU- und Speicherverbrauch und korrigiert die Ressourcenanforderungen eines Pods. Das ist sinnvoll bei Workloads, die durch eine größere Ressourcenzuteilung statt durch mehr Instanzen wachsen. Ein Beispiel sind Leader-Follower-Anwendungen, bei denen zusätzliche Replikate keinen zusätzlichen Nutzen bringen. Auch EKS-Add-ons wurden in diesem Bereich eingesetzt.
Der Horizontal Pod Autoscaler, kurz HPA, verändert dagegen die Anzahl der Replikate. Er eignet sich für zustandslose Anwendungen, Webhook-Server und ähnliche Dienste, deren Kapazität durch mehrere identische Instanzen erhöht werden kann. Als Metriken dienen etwa CPU und Speicher oder anwendungsspezifische externe Messwerte.
Karpenter löst eine andere Ebene desselben Problems. Als Ersatz für den klassischen Cluster Autoscaler beobachtet Karpenter die vorhandene und benötigte Kapazität im Cluster und trifft eigene Entscheidungen über Knoten. Das Plattformteam verspricht sich davon eine bessere Auslastung der Flotte und die Möglichkeit, interne Entwickler stärker in die Bereitstellung ihrer Infrastruktur einzubinden.
Man kann das Gesamtsystem als einen Regelkreis mit mehreren Achsen verstehen. VPA vergrößert oder verkleinert den Abschnitt, den ein einzelner Container erhält. HPA verlängert die Reihe solcher Abschnitte. Karpenter sorgt dafür, dass im Cluster genügend Fläche für diese Reihe vorhanden ist. Erst das Zusammenspiel bringt die Kapazität näher an den Bedarf.
Warum VPA und HPA bei Istio getrennte Signale benötigen
Istio ist ein anschauliches Beispiel für die mehrdimensionale Skalierung. Die Steuerungsebene mit den istiod-Pods übernimmt zwei unterschiedliche Aufgaben: Sie verteilt Konfigurationen an die Datenebene und erzeugt diese Konfigurationen. Beide Aufgaben wachsen auf andere Weise und benötigen deshalb unterschiedliche Reaktionen des Autoscalers.
Für die Verteilung der Konfiguration ist die Anzahl der Verbindungen zur Datenebene entscheidend. Jeder istiod-Pod hält Verbindungen zu einer Gruppe von Proxy-Pods. Der Horizontal Pod Autoscaler erhöht die Replikatzahl, damit im Durchschnitt ungefähr 500 verbundene Proxies von einem istiod-Pod bedient werden. Das ist eine horizontale Reaktion auf eine wachsende Zahl an Verbrauchern.
Für die Konfigurationserzeugung ist dagegen die Größe des einzelnen Pods relevant. Da alle istiod-Pods grundsätzlich dieselbe Konfiguration erzeugen, bringt ein weiteres Replikat keinen zusätzlichen Durchsatz. In größeren Umgebungen benötigt jeder istiod-Pod stattdessen mehr CPU und Speicher. Diese vertikale Anpassung übernimmt der VPA.
Entscheidend ist, dass beide Regler nicht auf dieselbe Metrik reagieren. HPA misst hier die Zahl der verbundenen Datenebenen-Proxies, während VPA die Ressourcenauslastung der einzelnen Pods bewertet. Ohne diese Trennung könnten beide Verfahren dieselbe Information unterschiedlich interpretieren und sich gegenseitig in die Quere kommen.
Die Salesforce-Empfehlung lautet daher: VPA und HPA dürfen gemeinsam eingesetzt werden, sollten aber unabhängige Metrikdimensionen bedienen. Eine mögliche Aufteilung ist VPA für CPU und Speicher und HPA für eine anwendungsspezifische externe Metrik. Die konkrete Auswahl hängt vom Wachstumsmechanismus des Workloads ab.
Sicherer Rollout über Entwicklung, Staging und Produktion
Eine automatische Ressourcenanpassung verändert mehr als Zahlen in einem Manifest. Sie kann Pods neu starten, Ressourcen verschieben und damit die Stabilität eines Produkts beeinflussen. Salesforce hat den Rollout deshalb als technisches und organisatorisches Projekt aufgebaut, nicht als einfache Aktivierung eines Controllers.
VPA- und HPA-Konfigurationen wurden in Spinnaker-Pipelines und Terraform-Module integriert. Dadurch waren sie versionierbar, automatisiert testbar und über die Umgebungen hinweg reproduzierbar. Änderungen wurden schrittweise von Entwicklungs- und Staging-clustern in die Produktion überführt. Jede Stufe enthielt eine ausreichende Beobachtungszeit und eine Analyse, bevor die nächste folgte.
Für den schnellen Rückfall entwickelte das Team Mechanismen des Day-2-Betriebs. Dazu gehörten automatisierte Managed Operations und Feature-Switches, mit denen sich eine VPA- oder HPA-Einführung anhalten und auf statische Ressourcenwerte zurückschalten ließ. Ziel war nicht nur ein funktionierender Rollback, sondern ein Rollback ohne spürbare Unterbrechung des Dienstes.
Funktions- und Leistungstests bildeten einen weiteren Bestandteil. Mit hauseigenen Lasttestläufen prüfte das Team, ob die Empfehlungen unter verschiedenen Betriebsbedingungen stabil blieben. Die Histogramm-Algorithme des VPA wurden gemeinsam mit hauseigenen Monitoring-Metriken geprüft. Auch die Startphase von Workloads wurde genauer betrachtet, weil Pods während der Initialisierung kurzzeitig mehr Ressourcen benötigen als im eingeschwungenen Zustand.
Für die Produktion wurden mehrere Schutzebenen eingebaut. Pod Disruption Budgets begrenzten gleichzeitige Eviction-Vorgänge, eviction-rate limits verlangsamten Massenaktionen, und angepasste Update-Intervalle des VPA reduzierten die Häufigkeit neuer Berechnungen. Monitoring-Dashboards und automatisierte Warnungen beobachteten unter anderem die Komponentenzustände, Eviction-Raten, Neustarts und synthetische Signale der Anwendungsgesundheit.
VPA richtig erwarten und mit Schutzgrenzen betreiben
Der Vertical Pod Autoscaler ist kein kurzfristiger Mechanismus für plötzliche Lastspitzen. Salesforce empfiehlt daher, ihn als Werkzeug für die langfristige Optimierung des eingeschwungenen Betriebs zu verstehen. Das verwendete Histogramm betrachtet einen standardmäßigen Zeitraum von acht Tagen und gewichtet neuere Messungen stärker. Die Empfehlungen passen sich somit schrittweise an, statt augenblicklich auf jede Schwankung zu reagieren.
Für kurzfristige Lastspitzen bleiben Ressourcen-Limits und horizontale Skalierung relevant. Das HPA reagiert auf aktuelle Nachfrage, während der VPA die dauerhaft benötigte Größe eines Pods verbessert. Beide Ansätze ergänzen sich, wenn sie nach unterschiedlichen Signalen arbeiten und unterschiedliche Zeithorizonte abdecken.
Salesforce rät außerdem davon ab, die Grenzwerte eines Workloads automatisch durch den VPA verwalten zu lassen. Erstens ist das Verhältnis zwischen Request und Limit im Manifest nur indirekt festgelegt. Für Anwendungsnutzer bleibt diese indirekte Logik schwer verständlich. Zweitens können automatisch berechnete Limits kurzfristige Lastspitzen nicht zuverlässig genug abfangen, sodass Drosselung oder ein OOM-Kill drohen kann.
Für neue Workloads empfiehlt das Team außerdem, den VPA zunächst im Off-Modus beziehungsweise rein lesend zu betreiben. So lassen sich Empfehlungen und Telemetrie sammeln, ohne automatisch Pods neu zu starten oder Produktionsressourcen ohne Vorwarnung zu verändern. Erst wenn Empfehlungsqualität und Auswirkungen bekannt sind, kann der Betrieb auf aktive Anpassung umgestellt werden.
Ein sinnvoller Sicherheitsrahmen setzt außerdem Ober- und Untergrenzen für zulässige Ressourcenwerte. Die Werte müssen zum realen Startverhalten passen. Zu enge Grenzen können die Anwendung unter Last behindern; zu weite Grenzen lassen die wichtigsten Vorteile des VPA verschwinden.
Karpenter, In-Place-Resize und die nächste Ausbaustufe
Neben VPA und HPA hat Salesforce den Cluster Autoscaler durch Karpenter ersetzt. Diese Migration soll die Compute-Ressourcen des Clusters näher an den tatsächlichen Bedarf bringen und die interne PlattformSelf-Services verbessern. Zusammen mit der pod- und knotenbezogenen Skalierung bildet Karpenter die dritte Ebene des Right-Sizing: VPA dimensioniert Container innerhalb eines Pods, HPA verändert die Zahl der Pods, und Karpenter verändert die verfügbare Knotenkapazität.
Für DaemonSets plant das Team den Einsatz der Eviction-Free InPlace Resize-Funktion des VPA. Damit sollen CPU- und Speichervorgaben dynamisch angepasst werden, ohne den Pod neu starten oder evictieren zu müssen. Das wäre besonders für Komponenten wichtig, deren Neuverteilung oder Neustart die Verfügbarkeit eines Knotens beeinträchtigen könnte.
Bei regulären Workloads soll zusätzlich der Update-Modus InplaceOrRecreate zum Einsatz kommen. Erresize einen Pod nach Möglichkeit direkt, statt ihn grundsätzlich zu ersetzen. Eine Eviction oder Neuerstellung ist nur noch vorgesehen, wenn der Zielknoten nicht genügend CPU oder Speicher bereithält.
Weitere Vorhaben betreffen die Integration von VPA in admission Webhooks, damit auch injizierte Sidecar-Container korrekt dimensioniert werden, sowie eine zentrale Sammlung relevanter Metriken. Dashboard und Warnungen sollen dadurch nicht nur beim Plattformteam, sondern auch bei den Nutzern verfügbar sein. Langfristig ist außerdem die Unterstützung von KI-Inferenz und Model-Serving-Workloads vorgesehen, bei denen Latenz und Infrastrukturkosten gemeinsam optimiert werden müssen.
Konkrete Bedeutung für Kubernetes-Plattformen im großen Maßstab
Die Salesforce-Architektur zeigt, dass automatisches Right-Sizing auf Amazon EKS nicht aus einem einzigen Controller und einer möglichst intelligenten Ressourcenformel besteht. Entscheidend ist die Trennung der Skalierungsdimensionen. VPA verbessert die Ressourcengröße eines Pods, HPA verändert die Replikatzahl und Karpenter die Knotenkapazität. Jeder Regler bekommt eine Aufgabe, für die er technisch geeignet ist.
Ebenso wichtig ist der sichere Betriebsprozess. Versionierte Konfigurationen, gestufte Rollouts, Beobachtungszeiten, Rollback-Möglichkeiten, Lasttests und begrenzte Eviction-Raten verwandeln eine potenziell riskante Automatisierung in einen kontrollierbaren Plattformprozess. Der Off-Modus des VPA dient dabei als wichtige Übergangsstufe: Er liefert Erkenntnisse, bevor er Änderungen auslöst.
Für Betreiber großer Multi-Tenant-Flotten ergibt sich daraus eine praktische Leitlinie: Automatisierung ist kein Ersatz für Betriebsdisziplin, sondern deren Verstärkung. Wer Ressourcenanforderungen automatisch justiert, muss Signale, Grenzen und Rückfallwege von Anfang an mitentwerfen. Genau in dieser Kombination aus technischer Differenzierung, organisatorischer Reife und messbarer Kostenkontrolle liegt die gemeldete Einsparung von mehr als fünf Millionen US-Dollar begründet.
Quelle: aws.amazon.com
