Dein Modell hatte offline 0,88 AUC, läuft in Produktion aber spürbar schlechter. Wie debuggst du das?

Arbeite die Lücke der Reihe nach ab: Prüf zuerst, ob die Produktionsmetrik gleich berechnet wird, dann auf Training-Serving-Skew, dann auf Leakage im Offline-Setup, dann auf Distribution Shift. Skew und Leakage sind in den ersten Wochen nach Launch viel häufiger als echter Drift. Logge die ausgelieferten Feature-Vektoren und score sie offline nach, um zu isolieren, wo die Zahlen auseinanderlaufen.

Zuerst prüfe ich, ob ich Gleiches mit Gleichem vergleiche. Offline-AUC wird oft auf einem gelabelten Snapshot mit anderer Population und anderer Label-Verzögerung berechnet als in Produktion, und in der Hälfte der Fälle ist die Lücke zum Teil genau das. Dann suche ich nach Training-Serving-Skew, meiner Erfahrung nach die häufigste Ursache. Ich logge die tatsächlichen Feature-Vektoren, die der Service benutzt hat, score sie mit dem Offline-Modell nach und vergleiche mit dem, was Produktion ausgegeben hat. Wenn sie abweichen, liegt der Bug in der Serving-Pipeline und nicht im Modell, und es ist meist etwas Langweiliges wie eine Kategorie, die auf Unknown mappt, oder eine Zeitzonendifferenz, die ein rollierendes Fenster verschiebt. Stimmen die Scores überein, verdächtige ich Leakage offline, also ein Feature, das nach dem Bekanntwerden des Labels berechnet wurde. Das Anzeichen ist ein Feature mit unplausibel hoher Importance. Erst danach teste ich auf Drift und vergleiche Feature-Verteilungen und die Basisrate zwischen Training und heute. In der Zwischenzeit lasse ich es nicht bluten: zurück auf das vorherige Modell oder eine Regel-Baseline für das betroffene Segment, und den Stakeholdern sagen, dass sich die Zahl bewegt hat, bevor sie es selbst merken.