Como você decide entre descartar carga e escalar horizontalmente quando um serviço está sobrecarregado?

Autoscaling leva minutos, então descarte carga primeiro e escale depois. Descarte quando o gargalo é algo em que você não consegue adicionar capacidade rápido, como um banco de dados, uma dependência licenciada ou um serviço com cold start lento, ou quando as filas crescem mais rápido do que você conseguiria drenar. Derrube primeiro o trabalho mais barato e menos importante, retorne 429 com Retry-After, e proteja as requisições que carregam receita ou segurança.

Descartar é instantâneo e escalar não é, então sob sobrecarga real eu descarto primeiro e deixo a capacidade alcançar. A pergunta maior é qual é o gargalo de verdade. Adicionar mais pods sem estado quando a restrição é conexões de banco é genuinamente prejudicial, porque cada pod novo abre um pool e você acelera o colapso. A gente teve exatamente isso durante uma promoção relâmpago, até colocar um proxy de conexões na frente e limitar o total de conexões. Para descarte eu gosto de classes de tráfego explícitas. Chamadas de checkout e pagamento são classe um e nunca são derrubadas, navegação logada é classe dois, e crawling anônimo mais chamadas não essenciais de recomendação são classe três e são descartadas primeiro. A gente impunha isso na borda com um limitador de concorrência e retornava 429 com um header Retry-After, para que clientes bem comportados recuassem em vez de martelar. Combine isso com um modo degradado que serve listagens em cache, e você fica de pé para o tráfego que importa.