Was ist der Unterschied zwischen Logs, Metriken und Traces, und wann greifst du zu welchem?

Metriken sind aggregierte Zahlen über die Zeit, billig zu speichern und das, worauf du alarmierst. Logs sind einzelne Events mit Details, das, was du liest, sobald du ungefähr weißt, wo du suchen musst. Traces folgen einem Request über Services hinweg und zeigen, wo die Zeit geblieben ist. In einem Incident gehst du typischerweise über Metriken zum Bemerken, Traces zum Eingrenzen und Logs zum Verstehen, ein System, dem eins von den dreien fehlt, macht Debugging also langsamer als nötig.

Metriken sind Counter und Histogramme, über die Zeit aggregiert. Sie sind billig, sie sind das, worauf ich Alarme lege, und sie sagen mir, dass etwas falsch ist, aber nie warum. Logs sind einzelne Events mit Kontext, bei Volumen teuer, und das, was ich lese, sobald ich weiß, wo ich suchen muss. Traces nähen einen Request über jeden Service zusammen, den er berührt hat, und zeigen die Zeit in jedem Span, was der schnellste Weg ist, um zu beantworten, ob das Problem bei uns oder bei einer Abhängigkeit liegt. In einem Incident ist der Ablauf im Grunde Metriken zum Bemerken, Traces zum Eingrenzen, Logs zum Verstehen. Was sie zusammen funktionieren lässt, ist eine Correlation-id, die durch jeden Aufruf propagiert und in jeder strukturierten Logzeile steht, damit ich von einem langsamen Trace direkt zu den passenden Logeinträgen springen kann. Mein Fehler dabei war Kardinalität: Ich habe mal die User-id als Metrik-Label ergänzt und die Zahl der Zeitreihen ist explodiert, was schnell teuer wurde. Hohe Kardinalität gehört in Traces und Logs, nicht in Metrik-Labels.