Wie funktioniert Autoscaling wirklich, und wie tunst du es?

Eine Scaling Policy beobachtet eine Metrik und regelt die Kapazität in Richtung eines Zielwerts, Target Tracking hält also durchschnittliche CPU oder Requests pro Instanz nahe an einem Sollwert. Tuning heißt: eine Metrik wählen, die Last wirklich abbildet, die Aufwärmzeit einer Instanz einrechnen, bevor neue Kapazität zählt, schnell rausskalieren und langsam runter, und ein Minimum setzen, das jede Availability Zone abgedeckt lässt. Für vorhersehbare Spitzen kommt geplante Kapazität dazu, denn reaktives Skalieren hinkt immer hinterher.

Es ist ein Regelkreis. Du gibst ihm eine Metrik und einen Zielwert, er vergleicht und fügt Kapazität hinzu oder nimmt welche weg, um die Lücke zu schließen. Die erste Entscheidung ist die Metrik, und CPU ist der Default, der oft falsch ist, denn ein IO-gebundener Service kann bei dreißig Prozent CPU stehen, während sein Connection Pool ausgereizt ist. Requests pro Instanz oder Queue-Tiefe ist meistens das ehrlichere Lastsignal. Das Zweite ist das Lag, und da tun sich Leute weh. Wenn eine Instanz drei Minuten zum Booten und Bestehen der Health Checks braucht, dann ist eine Spitze, die in sechzig Sekunden ankommt, vorbei, bevor Hilfe auftaucht. Also setze ich eine Warm-up-Zeit, damit neue Instanzen nicht gezählt werden, bevor sie bereit sind, und ich skaliere für vorhersehbare Muster wie den Login-Ansturm um neun Uhr morgens nach Zeitplan vor. Scale-out mache ich aggressiv, Scale-in sanft, denn kurz überprovisioniert zu sein ist viel billiger als ein Ausfall, und Flapping ist schlimmer als beides. Und Scale-in braucht Connection Draining, sonst terminierst du eine Instanz mitten im Request und Nutzer sehen Fehler, die aussehen wie ein Bug.