Quais são os quatro sinais de ouro, e qual deles você instrumentaria primeiro num serviço novo em folha?

Latência, tráfego, erros e saturação. Latência é quanto tempo as requisições levam, separada entre chamadas bem sucedidas e falhas. Tráfego é demanda, como requisições por segundo. Erros é a taxa de requisições que falham, incluindo as que retornam 200 com um corpo quebrado. Saturação é o quão cheio está o seu recurso mais restrito. Instrumente erros e latência primeiro, porque eles mapeiam direto na dor do usuário.

Latência, tráfego, erros, saturação. Num serviço novo eu ligaria erros e latência primeiro, porque são os dois que um usuário consegue sentir, e eu garantiria que os histogramas de latência sejam separados por desfecho. Isso nos pegou uma vez: o nosso p99 melhorou depois de um deploy ruim, e era só porque uma fatia das requisições estava falhando em 12ms em vez de ter sucesso em 800ms. Tráfego entra em seguida, principalmente porque dá contexto a todos os outros sinais, e permite notar uma queda a zero, que é o alerta que as pessoas esquecem de escrever. Saturação é a que exige pensar de verdade. Numa API sem estado normalmente era o nosso pool de conexões do banco e não a CPU, então a gente exportava tempo de espera do pool e conexões em uso. CPU genérica de nó nunca nos disse nada útil. Uma vez que esses quatro estão de pé, todo o resto é refinamento em vez de um dashboard novo.