Wie erkennst du Data Leakage in einem Modell?

Verdächtige Leakage immer dann, wenn die Performance überraschend gut ist. Die wichtigsten Checks: Features mit unplausibel hoher Importance suchen, bestätigen, dass jedes Feature zum Vorhersagezeitpunkt bekannt war, prüfen, dass Preprocessing innerhalb des Trainings-Folds gefittet wurde, und sicherstellen, dass keine Entität in Training und Test auftaucht. Ein scharfer Abfall von offline zu produktiv ist oft Leakage, die sich selbst enttarnt.

Mein Auslöser sind gute Nachrichten. Wenn ein Modell bei einem Problem, das das Business schwer findet, auf 0,97 AUC springt, gehe ich davon aus, dass ich etwas geleakt habe, bis ich das Gegenteil beweise. Der Haupttest, den ich auf jedes Feature anwende, ist eine Timestamp-Frage: Würde dieser Wert in dem Moment, in dem wir den Datensatz in Produktion scoren, existieren, und hätte er diesen Wert? Erstaunlich viele fallen durch. Das übelste Ding, das ich gefunden habe, war ein Feature namens Account Status. Sah harmlos aus, aber das Operations-Team hat es nach einem Kundenabgang auf Closed gesetzt, und der Trainings-Snapshot enthielt den aktuellen Wert statt des Werts am Vorhersagedatum, das Modell hat also die Antwort gelesen. Rausnehmen hat die AUC von etwa 0,94 auf 0,79 gedrückt, was die echte Zahl war. Darüber hinaus prüfe ich, dass Scaler, Encoder und jedes Resampling innerhalb des Folds gefittet wurden, dass keine Kunden-ID über Training und Test hinweg auftaucht und dass Target Encodings out of fold berechnet wurden. Und ich schaue mir Feature Importance früh an statt als Reporting-Schritt am Ende, denn ein Feature, das den Großteil des Modells trägt, ist meist ein Leck und keine Entdeckung.