¿Por qué alertamos sobre la latencia p99 en lugar de sobre la latencia media?

Las medias esconden la cola. Un servicio puede promediar 80ms mientras una petición de cada cien tarda cuatro segundos, y esas peticiones lentas suelen caer en tus usuarios más grandes. Un percentil describe la distribución real, así que el p99 te dice lo que experimentan de verdad tus usuarios peor servidos. Un matiz: los percentiles no se pueden promediar entre máquinas, así que agrégalos desde histogramas en lugar de promediar valores por instancia.

Porque la media es el único número que tiene garantizado no describir a nadie. Teníamos un endpoint con una media de unos 90ms y un goteo constante de quejas, y el p99 estaba justo por encima de tres segundos, todo ello clientes con cuentas grandes que caían en una consulta sin índice. La media nunca se movió porque esos usuarios eran el 1% del tráfico. También hay un efecto de abanico. Si una sola página hace treinta llamadas de backend, una llamada lenta de cada cien significa que una parte considerable de las cargas de página son lentas, así que la latencia de cola a nivel de servicio se convierte en latencia típica a nivel de usuario. Lo que señalaría es la agregación. No puedes promediar el p99 entre instancias y obtener un p99 real. Nosotros exportábamos histogramas de Prometheus y calculábamos el cuantil sobre el conjunto entero con histogram_quantile, lo que además nos permitía segmentar por endpoint y por nivel de cliente sin recalcular nada.