O tráfego dobra e seu serviço começa a enfileirar requisições até tudo estourar em timeout. O que você faz?

Aplique backpressure em vez de bufferizar. Limite toda fila, descarte carga cedo com um 429 ou 503 quando os limites de concorrência forem atingidos, e rejeite requisições cujo prazo já passou em vez de trabalhar nelas. Filas ilimitadas convertem uma sobrecarga num colapso de latência, porque cada requisição espera atrás de trabalho que ninguém mais aguarda. Priorize por camada se parte do tráfego importa mais, e escale automaticamente por um sinal que antecipa, como profundidade de fila.

O instinto é aumentar a fila, mas isso só converte uma sobrecarga em falha lenta, porque toda requisição fica atrás de um acúmulo e, quando é atendida, o cliente já desistiu. Então a primeira coisa que faço é limitar a fila e adicionar um limite de concorrência, e quando está cheio eu retorno 503 com um retry after imediatamente. Rejeitar rápido é mais gentil do que estourar timeout devagar, tanto para o usuário quanto para o sistema. Segundo, eu checo o prazo antes de fazer o trabalho: se a requisição esperou mais do que o orçamento dela, eu descarto, o que libera capacidade para requisições que ainda podem ter sucesso. Essa mudança sozinha é a que visivelmente recupera a vazão durante um incidente. Depois vem a priorização, porque nem todo tráfego é igual; num sistema nós descartamos primeiro o tráfego de sincronização em segundo plano e mantivemos as requisições interativas fluindo. E eu escalo por profundidade de fila ou concorrência, não por CPU médio, já que a CPU achata perto da saturação e reage tarde demais para ser útil.