Un servicio que ayer iba bien ahora tiene una latencia p99 de cuatro segundos. ¿Cómo lo depuras?

Primero acota: todos los endpoints o uno, todos los usuarios o un tenant, y cuándo empezó exactamente. Alinea esa marca de tiempo con despliegues, cambios de flags y cambios de tráfico. Después baja con la telemetría que ya tienes: trazas para encontrar el span que creció, logs de consultas lentas, saturación del pool de conexiones, CPU y memoria del host. Mitiga primero, sea con un rollback o descartando carga, y busca la causa raíz después.

Lo primero que quiero son fronteras, porque recortan el espacio de búsqueda rápido. ¿Es un endpoint o todos, una región, un tenant, y a qué hora empezó? Después alineo esa marca de tiempo con despliegues, cambios de feature flags y cambios de configuración, porque la mayor parte de las veces algo cambió y la respuesta está justo ahí. Si no cambió nada de nuestro lado, voy a las trazas y busco qué span creció, lo que me dice de inmediato si somos nosotros, la base de datos o una llamada aguas abajo. La base de datos es el sospechoso habitual: una consulta que iba bien con un millón de filas deja de ir bien con diez millones, o falta un índice, o el pool está saturado y el tiempo se va esperando una conexión en vez de ejecutando la consulta. Esa última es traicionera porque cada consulta sigue pareciendo rápida por separado. Y mientras hago todo eso, si hay una mitigación obvia como revertir el último despliegue, la tomo primero. A los clientes les importa la latencia, no mi explicación.