¿Cuáles son las cuatro señales de oro y cuál instrumentarías primero en un servicio nuevo?

Latencia, tráfico, errores y saturación. La latencia es cuánto tardan las peticiones, separando las llamadas exitosas de las fallidas. El tráfico es la demanda, por ejemplo peticiones por segundo. Los errores son la tasa de peticiones fallidas, incluidas las que devuelven 200 con un cuerpo roto. La saturación es cómo de lleno está tu recurso más limitado. Instrumenta primero errores y latencia porque se traducen directamente en dolor para el usuario.

Latencia, tráfico, errores, saturación. En un servicio nuevo conectaría primero errores y latencia, porque son las dos que un usuario puede sentir, y me aseguraría de que los histogramas de latencia estén separados por resultado. Eso nos pilló una vez: nuestro p99 mejoró después de un despliegue malo, y era solo porque una parte de las peticiones fallaba en 12ms en lugar de tener éxito en 800ms. El tráfico va después, sobre todo porque da contexto a todas las demás señales y permite detectar una caída a cero, que es la alerta que la gente olvida escribir. La saturación es la que exige pensar de verdad. Para una API sin estado normalmente era nuestro pool de conexiones a base de datos y no la CPU, así que exportábamos el tiempo de espera del pool y las conexiones en uso. La CPU genérica de los nodos nunca nos dijo nada útil. Con esas cuatro en marcha, todo lo demás es un refinamiento y no un dashboard nuevo.