Comment fonctionne réellement l'autoscaling, et comment le réglez-vous ?

Une politique de scaling surveille une métrique et ajuste la capacité vers une cible, donc le suivi de cible maintient le CPU moyen ou le nombre de requêtes par instance près d'un point de consigne. Le réglage consiste à choisir une métrique qui reflète vraiment la charge, à tenir compte du temps de démarrage avant de compter la nouvelle capacité, à monter vite et redescendre lentement, et à fixer un minimum qui couvre chaque zone de disponibilité. Ajoutez de la capacité planifiée pour les pics prévisibles, puisque le scaling réactif est toujours en retard.

C'est une boucle de rétroaction. Vous lui donnez une métrique et une cible, elle compare et ajoute ou retire de la capacité pour combler l'écart. La première décision, c'est la métrique, et le CPU est le choix par défaut souvent faux, parce qu'un service limité par les entrées-sorties peut être à trente pour cent de CPU pendant que son pool de connexions est épuisé. Le nombre de requêtes par instance ou la profondeur de file est en général un signal de charge plus vrai. La deuxième chose, c'est le retard, et c'est là que les gens se font mal. Si une instance met trois minutes à démarrer et à passer les health checks, alors un pic qui arrive en soixante secondes est terminé avant que les renforts n'arrivent, donc je fixe une période de chauffe pour que les nouvelles instances ne soient pas comptées avant d'être prêtes, et je pré-scale sur planning pour les motifs prévisibles comme la ruée de connexions de neuf heures du matin. Je rends la montée agressive et la descente douce, parce qu'être brièvement surprovisionné coûte beaucoup moins cher qu'une panne, et l'oscillation est pire que les deux. Et la descente a besoin de drainage des connexions, sinon vous coupez une instance en pleine requête et les utilisateurs voient des erreurs qui ressemblent à un bug.