Wie entscheidest du zwischen Load Shedding und Skalieren, wenn ein Service überlastet ist?

Autoscaling braucht Minuten, also erst Last abwerfen und dann skalieren. Wirf Last ab, wenn der Engpass etwas ist, dem du nicht schnell Kapazität hinzufügen kannst, etwa eine Datenbank, eine lizenzierte Dependency oder ein Service mit langsamen Cold Starts, oder wenn Queues schneller wachsen, als du sie je leeren könntest. Verwirf zuerst die billigste, unwichtigste Arbeit, gib 429 mit Retry-After zurück und schütz die Requests, die Umsatz oder Sicherheit tragen.

Abwerfen ist sofort, Skalieren nicht, bei echter Überlast werfe ich also zuerst ab und lasse Kapazität nachziehen. Die größere Frage ist, was der Engpass tatsächlich ist. Mehr zustandslose Pods hinzuzufügen, wenn die Begrenzung Datenbankverbindungen sind, ist wirklich schädlich, denn jeder neue Pod öffnet einen Pool und beschleunigt den Zusammenbruch. Genau das hatten wir bei einem Flash Sale, bis wir einen Connection Proxy davorgesetzt und die Gesamtzahl der Verbindungen gedeckelt haben. Fürs Abwerfen mag ich explizite Traffic-Klassen. Checkout- und Zahlungsaufrufe sind Klasse eins und fallen nie, eingeloggtes Browsen ist Klasse zwei, und anonymes Crawling plus nicht essenzielle Empfehlungsaufrufe sind Klasse drei und fallen zuerst. Wir haben das am Edge mit einem Concurrency Limiter durchgesetzt und 429 mit einem Retry-After-Header zurückgegeben, damit sich brave Clients zurückziehen, statt weiter zu hämmern. Kombinier das mit einem Degraded Mode, der gecachte Listen ausliefert, und du bleibst für den Traffic online, der zählt.