Der Traffic verdoppelt sich, und dein Service staut Requests, bis alles in Timeouts läuft. Was machst du dagegen?

Setz Backpressure ein statt zu puffern. Begrenz jede Queue, wirf früh Last ab mit einer 429 oder 503, wenn Concurrency-Limits erreicht sind, und weis Requests ab, deren Deadline schon abgelaufen ist, statt an ihnen zu arbeiten. Unbegrenzte Queues verwandeln eine Überlast in einen Latenzkollaps, weil jeder Request hinter Arbeit wartet, auf die niemand mehr wartet. Priorisier nach Tier, wenn manche Traffic-Klassen wichtiger sind, und skalier auf einem Signal, das vorläuft, etwa Queue-Tiefe.

Der Instinkt sagt, mach die Queue größer, aber das verwandelt eine Überlast nur in langsames Scheitern, weil jeder Request hinter einem Rückstau sitzt und der Client bis zur Bedienung längst aufgegeben hat. Als Erstes begrenze ich also die Queue und setze ein Concurrency-Limit, und wenn sie voll ist, gebe ich sofort eine 503 mit Retry-After zurück. Schnell abzulehnen ist freundlicher als langsam in ein Timeout zu laufen, für den Nutzer wie für das System. Zweitens prüfe ich die Deadline, bevor ich arbeite: wartet der Request länger als sein Budget, verwerfe ich ihn, was Kapazität für Requests freimacht, die noch Erfolg haben können. Genau diese eine Änderung stellt während eines Incidents sichtbar den Durchsatz wieder her. Dann Priorisierung, denn nicht aller Traffic ist gleich; in einem System haben wir zuerst Background-Sync-Traffic abgeworfen und interaktive Requests am Laufen gehalten. Und ich skaliere auf Queue-Tiefe oder Concurrency statt auf durchschnittlicher CPU, weil CPU nahe der Sättigung abflacht und viel zu spät reagiert, um nützlich zu sein.