Como o autoscaling funciona de verdade, e como você o ajusta?

Uma política de escala observa uma métrica e ajusta a capacidade em direção a um alvo, então o target tracking mantém CPU médio ou requisições por instância perto de um ponto definido. Ajustar significa escolher uma métrica que reflita a carga de verdade, considerar o tempo de aquecimento da instância antes de a nova capacidade contar, escalar para fora rápido e para dentro devagar, e definir um mínimo que mantenha todas as zonas de disponibilidade cobertas. Adicione capacidade agendada para picos previsíveis, já que escala reativa sempre atrasa.

É um laço de realimentação. Você dá uma métrica e um alvo, ele compara e adiciona ou remove capacidade para fechar a diferença. A primeira decisão é a métrica, e CPU é o padrão que muitas vezes está errado, porque um serviço limitado por IO pode estar a trinta por cento de CPU com o pool de conexões esgotado. Requisições por instância ou profundidade de fila normalmente é um sinal mais verdadeiro de carga. A segunda coisa é o atraso, e é aqui que as pessoas se machucam. Se uma instância leva três minutos para subir e passar nos health checks, então um pico que chega em sessenta segundos já acabou antes de a ajuda aparecer, então eu defino um período de aquecimento para as novas instâncias não serem contadas antes de estarem prontas, e eu escalo antes por agenda para padrões previsíveis, como a corrida de login das nove da manhã. Eu faço a escala para fora ser agressiva e a escala para dentro ser gentil, porque estar brevemente superprovisionado é muito mais barato que uma queda, e ficar oscilando é pior que os dois. E a escala para dentro precisa de esvaziamento de conexões, senão você encerra uma instância no meio de uma requisição e os usuários veem erros que parecem bug.