Warum alarmieren wir auf p99-Latenz statt auf Durchschnittslatenz?

Durchschnitte verstecken den Tail. Ein Service kann im Schnitt bei 80ms liegen, während einer von hundert Requests vier Sekunden braucht, und diese langsamen Requests treffen meist deine schwersten Nutzer. Ein Perzentil beschreibt die echte Verteilung, p99 sagt dir also, was deine am schlechtesten bedienten User tatsächlich erleben. Ein Vorbehalt: Perzentile lassen sich nicht über Hosts mitteln, aggregier sie aus Histogrammen statt aus Werten pro Host.

Weil der Durchschnitt die eine Zahl ist, die garantiert niemanden beschreibt. Wir hatten einen Endpoint mit rund 90ms im Schnitt und einem konstanten Strom an Beschwerden, und der p99 lag bei knapp über drei Sekunden, alles Kunden mit großen Accounts, die auf einen nicht indexierten Query-Pfad liefen. Der Durchschnitt hat sich nie bewegt, weil diese User 1% des Traffics waren. Dazu kommt der Fan-out-Effekt. Macht eine einzelne Seite dreißig Backend-Aufrufe, bedeutet ein langsamer Aufruf von hundert, dass ein spürbarer Teil der Seitenaufrufe langsam ist, aus Tail-Latenz auf Service-Ebene wird also typische Latenz auf User-Ebene. Worauf ich hinweisen würde, ist die Aggregation. Du kannst p99 nicht über Instanzen mitteln und einen echten p99 bekommen. Wir haben Prometheus-Histogramme exportiert und das Quantil über die gesamte Menge mit histogram_quantile berechnet, was uns zusätzlich erlaubt hat, nach Endpoint und Kundensegment zu schneiden, ohne irgendetwas neu zu berechnen.