किसी model में data leakage आप कैसे पकड़ते हैं?

जब भी performance हैरान करने वाली हद तक अच्छी हो, leakage का शक करें। मुख्य जांचें: ऐसे features खोजें जिनकी importance नामुमकिन हद तक ऊंची है, पक्का करें कि हर feature prediction के समय जाना जा सकता था, जांचें कि preprocessing training fold के अंदर fit हुई, और देखें कि कोई entity train और test दोनों में तो नहीं है। offline से production तक तेज गिरावट अक्सर leakage का खुद को उजागर करना ही होती है।

मेरा ट्रिगर अच्छी खबर है। अगर किसी ऐसी समस्या पर model 0.97 AUC पर छलांग लगा देता है जिसे बिजनेस मुश्किल मानता है, तो मैं जब तक उल्टा साबित न हो जाए यही मानता हूं कि मैंने कुछ leak किया है। हर feature पर मैं जो मुख्य test चलाता हूं वह timestamp का सवाल है: जिस पल हम production में इस record को score करते हैं, क्या यह value मौजूद होती, और क्या उसकी यही value होती? हैरान करने वाली संख्या में features नाकाम होते हैं। सबसे खराब वाला जो मैंने पकड़ा वह account status नाम का feature था। वह मासूम दिखता था, पर operations टीम customer के churn करने के बाद उसे closed कर देती थी, और training snapshot में prediction की तारीख वाली value के बजाय मौजूदा value थी, तो model सीधे जवाब पढ़ रहा था। उसे हटाने से AUC करीब 0.94 से 0.79 पर आ गया, और असली नंबर वही था। इसके अलावा मैं जांचता हूं कि scalers, encoders और कोई भी resampling fold के अंदर fit हुए, कि कोई customer ID train और test दोनों में नहीं फैली, और कि target encodings fold से बाहर निकाले गए। और मैं feature importance को आखिर में रिपोर्ट करने की चीज मानने के बजाय शुरू में ही देखता हूं, क्योंकि जब एक ही feature ज्यादातर model उठा रहा हो तो वह आम तौर पर खोज नहीं, leak होती है।