Comment choisissez-vous entre délester la charge et scaler horizontalement quand un service est surchargé ?

L'autoscaling prend des minutes, donc délestez d'abord et scalez ensuite. Délestez quand le goulot d'étranglement est quelque chose auquel vous ne pouvez pas ajouter de capacité rapidement, comme une base de données, une dépendance sous licence ou un service à démarrage à froid lent, ou quand les files grossissent plus vite que vous ne pourriez jamais les vider. Jetez d'abord le travail le moins cher et le moins important, renvoyez 429 avec Retry-After, et protégez les requêtes qui portent le chiffre d'affaires ou la sécurité.

Le délestage est immédiat et le scaling ne l'est pas, donc en surcharge réelle je déleste d'abord et je laisse la capacité rattraper. La plus grande question, c'est de savoir où est vraiment le goulot. Ajouter des pods sans état quand la contrainte est le nombre de connexions à la base est carrément nuisible, parce que chaque nouveau pod ouvre un pool et vous accélérez l'effondrement. On a eu exactement ça pendant une vente flash, jusqu'à ce qu'on mette un proxy de connexions devant et qu'on plafonne le total. Pour le délestage, j'aime les classes de trafic explicites. Les appels de paiement et de commande sont en classe un et ne sont jamais jetés, la navigation connectée est en classe deux, et le crawl anonyme plus les appels de recommandation non essentiels sont en classe trois et partent en premier. On l'appliquait en périphérie avec un limiteur de concurrence et on renvoyait 429 avec un en-tête Retry-After pour que les clients bien élevés lèvent le pied au lieu de cogner. Combinez ça avec un mode dégradé qui sert des listes en cache, et vous restez debout pour le trafic qui compte.