Qual é a diferença entre logs, métricas e traces, e quando você recorre a cada um?

Métricas são números agregados ao longo do tempo, baratos de armazenar, e é neles que você alerta. Logs são eventos discretos com detalhe, o que você lê depois de saber mais ou menos onde olhar. Traces seguem um request por vários serviços e mostram para onde o tempo foi. Num incidente você normalmente vai de métricas para perceber, traces para localizar, logs para entender, então um sistema sem um dos três torna a depuração mais lenta do que precisa ser.

Métricas são contadores e histogramas agregados ao longo do tempo. São baratas, são onde eu ponho alertas, e me dizem que algo está errado mas nunca por quê. Logs são eventos individuais com contexto, caros em volume, e o que eu leio quando já sei onde olhar. Traces costuram um request por todo serviço que ele tocou e mostram o tempo em cada span, que é o jeito mais rápido de responder se o problema é nosso ou de uma dependência. Num incidente o fluxo é basicamente métricas para perceber, traces para localizar, logs para entender. O que faz os três funcionarem juntos é um id de correlação propagado por toda chamada e incluído em toda linha de log estruturado, para que de um trace lento eu pule direto para as entradas de log exatas. O erro que eu já cometi foi cardinalidade: uma vez eu adicionei id de usuário como label de métrica e a contagem de séries temporais explodiu, o que ficou caro rápido. Cardinalidade alta pertence a traces e logs, não a labels de métrica.