Pourquoi alerte-t-on sur la latence p99 plutôt que sur la latence moyenne ?

Les moyennes cachent la queue de distribution. Un service peut afficher 80ms en moyenne pendant qu'une requête sur cent prend quatre secondes, et ces requêtes lentes tombent en général sur vos plus gros utilisateurs. Un centile décrit la vraie distribution, donc le p99 vous dit ce que vivent réellement vos utilisateurs les plus mal servis. Une réserve : on ne peut pas faire la moyenne de centiles entre plusieurs hôtes, il faut les agréger depuis des histogrammes plutôt que de moyenner des valeurs par hôte.

Parce que la moyenne est le seul chiffre dont on est certain qu'il ne décrit personne. On avait un endpoint à environ 90ms de moyenne et un flot constant de plaintes, et le p99 était juste au-dessus de trois secondes, entièrement des clients avec de gros comptes qui tapaient un chemin de requête non indexé. La moyenne ne bougeait jamais parce que ces utilisateurs représentaient 1% du trafic. Il y a aussi un effet de ramification. Si une seule page fait trente appels backend, un appel lent sur cent veut dire qu'une part significative des chargements de page est lente, donc la latence de queue au niveau service devient la latence typique au niveau utilisateur. Le point que je signalerais, c'est l'agrégation. Vous ne pouvez pas moyenner le p99 entre instances et obtenir un vrai p99. On exportait des histogrammes Prometheus et on calculait le quantile sur l'ensemble avec histogram_quantile, ce qui nous permettait aussi de découper par endpoint et par palier client sans rien recalculer.