आपके model ने offline 0.88 AUC किया पर production में वह साफ तौर पर खराब चल रहा है। इसे आप कैसे debug करेंगे?

इस फर्क को क्रम से खंगालें: पहले पक्का करें कि production वाला metric उसी तरह निकाला जा रहा है, फिर training और serving skew देखें, फिर offline सेटअप में leakage देखें, फिर distribution shift। launch के पहले हफ्तों में असली drift के मुकाबले skew और leakage कहीं ज्यादा आम हैं। serve किए गए feature vectors log करें और उन्हें offline दोबारा score करें ताकि पता चले नंबर कहां अलग होते हैं।

पहले मैं यह जांचता हूं कि मैं एक जैसी चीजों की तुलना कर रहा हूं। offline AUC अक्सर किसी labeled snapshot पर निकाला जाता है जिसकी आबादी और label की देरी production से अलग होती है, और आधी बार फर्क का कुछ हिस्सा यही होता है। इसके बाद मैं training serving skew देखता हूं, जो मेरे अनुभव में सबसे आम वजह है। मैं वे असली feature vectors log करता हूं जो service ने इस्तेमाल किए, उन्हें offline model से दोबारा score करता हूं, और production ने जो निकाला था उससे तुलना करता हूं। अगर वे अलग हैं तो बग model में नहीं, serving पाइपलाइन में है, और आम तौर पर वह कोई नीरस सी चीज होती है जैसे कोई category unknown पर mapping, या कोई timezone का फर्क जो rolling window खिसका देता है। अगर scores मेल खाते हैं तो मुझे offline leakage का शक होता है, यानी कोई feature label पता चलने के बाद निकाला गया। पहचान यह है कि किसी feature की importance नामुमकिन हद तक ऊंची हो। इसके बाद ही मैं drift की जांच करता हूं, training और अब के बीच feature distributions और base rate की तुलना करके। इस बीच मैं इसे बहता हुआ नहीं छोड़ूंगा: प्रभावित हिस्से के लिए पिछले model या rules वाले baseline पर लौट जाऊंगा, और स्टेकहोल्डर्स को खुद बता दूंगा कि नंबर हिला है, इससे पहले कि वे खुद पकड़ लें।