¿Cómo decides entre descartar carga y escalar horizontalmente cuando un servicio está sobrecargado?

El autoescalado tarda minutos, así que descarta carga primero y escala después. Descarta cuando el cuello de botella es algo a lo que no puedes añadir capacidad rápido, como una base de datos, una dependencia con licencia o un servicio con arranques en frío lentos, o cuando las colas crecen más rápido de lo que podrías vaciarlas nunca. Tira primero el trabajo más barato y menos importante, devuelve 429 con Retry-After y protege las peticiones que llevan ingresos o seguridad.

Descartar es instantáneo y escalar no, así que bajo sobrecarga real descarto primero y dejo que la capacidad se ponga al día. La pregunta más grande es cuál es de verdad el cuello de botella. Añadir más pods sin estado cuando la restricción son las conexiones a base de datos es genuinamente dañino, porque cada pod nuevo abre un pool y aceleras el colapso. Nos pasó exactamente eso durante una venta relámpago hasta que pusimos un proxy de conexiones delante y limitamos el total. Para descartar me gustan las clases de tráfico explícitas. Las llamadas de checkout y de pago son clase uno y nunca se descartan, la navegación con sesión iniciada es clase dos, y el rastreo anónimo más las llamadas no esenciales de recomendaciones son clase tres y se descartan primero. Lo aplicábamos en el borde con un limitador de concurrencia y devolvíamos 429 con una cabecera Retry-After para que los clientes bien educados se echaran atrás en vez de insistir. Combina eso con un modo degradado que sirva listados cacheados y sigues en pie para el tráfico que importa.