प्रोडक्शन मॉडल को दोबारा कब ट्रेन करना है, यह आप कैसे तय करते हैं?

सिर्फ कैलेंडर से नहीं, सबूत से trigger कीजिए। input drift, prediction distribution, और जहां labels मिल सकें वहां rolling window पर live प्रदर्शन की निगरानी कीजिए। जब कोई metric पहले से तय की गई सीमा पार करे तब retrain कीजिए, या उस रफ्तार से मेल खाती cadence पर जिस रफ्तार से domain बदलता है। promote करने से पहले candidate को हमेशा हाल के डेटा पर मौजूदा मॉडल के मुकाबले परखिए।

मैं schedule और triggers दोनों इस्तेमाल करता हूं। schedule इस बात से तय होता है कि domain कितनी तेजी से बदलता है: fraud मॉडल मैं हफ्तेवार retrain करूंगा, demand forecast महीनेवार, स्थिर taxonomy वाला image classifier शायद साल में दो बार। triggers निगरानी से आते हैं: अहम inputs पर population stability, prediction distribution का खिसकना, और जहां labels इतनी जल्दी आ जाएं वहां rolling window पर असली प्रदर्शन। जिस अड़चन को लोग कम आंकते हैं वह label latency है। अगर churn labels में साठ दिन लगते हैं तो मैं दो महीने तक असली गिरावट नाप ही नहीं सकता, इसलिए मैं शुरुआती चेतावनी के तौर पर input drift पर ज्यादा टिकता हूं और साफ कहता हूं कि वह एक proxy है। जिस हिस्से को मैं नहीं छोड़ूंगा वह गेट है। दोबारा ट्रेन किया मॉडल एक release candidate है, upgrade नहीं। सबसे हाल की held out अवधि पर उसका मुकाबला मौजूदा मॉडल से होता है, और अगर वह नहीं जीतता तो हम पुराना ही रखते हैं, क्योंकि ताजा training data अपने आप बेहतर मॉडल नहीं बना देता। और मैं feedback loops पर नजर रखता हूं: अगर मॉडल तय करता है कि किसे offer दिखे, तो अगले training set में सिर्फ उन्हीं लोगों के नतीजे होंगे जो उसे पहले से पसंद थे, इसलिए मैं डेटा को ईमानदार रखने के लिए एक छोटा random holdout रखता हूं।