Por que a gente alerta em latência p99 em vez de latência média?

Médias escondem a cauda. Um serviço pode ter média de 80ms enquanto uma requisição em cada cem leva quatro segundos, e essas requisições lentas normalmente caem nos seus usuários mais pesados. Um percentil descreve a distribuição real, então o p99 te diz o que os seus usuários pior atendidos de fato experimentam. Uma ressalva: percentis não podem ser tirados na média entre hosts, então agregue a partir de histogramas em vez de tirar média dos valores por host.

Porque a média é o único número garantidamente incapaz de descrever alguém. A gente tinha um endpoint com média em torno de 90ms e um fluxo constante de reclamações, e o p99 estava pouco acima de três segundos, tudo isso de clientes com contas grandes batendo num caminho de query sem índice. A média nunca se mexia porque esses usuários eram 1% do tráfego. Também existe um efeito de fan out. Se uma única página faz trinta chamadas de backend, uma chamada lenta em cada cem significa que uma parcela relevante dos carregamentos é lenta, então latência de cauda no nível do serviço vira latência típica no nível do usuário. O que eu sinalizaria é a agregação. Você não consegue tirar média do p99 entre instâncias e obter um p99 real. A gente exportava histogramas do Prometheus e calculava o quantil sobre o conjunto todo com histogram_quantile, o que também nos deixava fatiar por endpoint e por tier de cliente sem recalcular nada.