प्रोडक्शन में किसी मॉडल के लिए आप क्या निगरानी करते हैं, और असल में किस चीज पर किसी को पेज जाता है?

तीन परतों की निगरानी कीजिए: सर्विस की सेहत (latency, error rate, throughput), डेटा की सेहत (input distributions, null और unknown category दरें, feature freshness), और मॉडल की सेहत (prediction distribution, और labels आने पर प्रदर्शन)। सर्विस की नाकामियों और input pipeline के टूटने पर पेज कीजिए, क्योंकि उन पर तुरंत कुछ किया जा सकता है। धीरे धीरे होने वाले drift को रात तीन बजे के पेजर पर नहीं, dashboard और समीक्षा पर भेजिए।

मैं इसे तीन परतों में सोचता हूं। सर्विस स्तर पर वही आम चीजें हैं, p99 latency, error rate, throughput, और उस पर पेज जाता है, क्योंकि errors लौटाता मॉडल किसी भी और outage जैसा ही है। असली ML घटनाएं डेटा स्तर पर रहती हैं: input feature distributions, null दरें, unknown category दरें, और feature freshness, यानी online store में सबसे नई वैल्यू कितनी पुरानी है। freshness की मुझे सबसे ज्यादा परवाह है, क्योंकि टूटी हुई ऊपरी job कोई error नहीं फेंकती, वह बस कल की वैल्यू serve करती रहती है और मॉडल आत्मविश्वास से बकवास लौटाता रहता है। उस पर पेज जाता है। मॉडल स्तर पर prediction distribution है और labels आने पर असली प्रदर्शन। prediction distribution का तेजी से खिसकना अलर्ट के लायक है; धीरे धीरे खिसकना dashboard की चीज है और बातचीत की, पेज की नहीं, क्योंकि धीमे drift के लिए किसी को जगाने का मतलब है कि महीने भर में अलर्ट कोई पढ़ेगा ही नहीं। इन सबकी शक्ल label की देरी तय करती है। अगर ground truth में हफ्ते लगते हैं तो मैं accuracy को लगभग real time में नाप ही नहीं सकता, इसलिए मैं input और output distributions पर proxy की तरह टिकता हूं और साफ कहता हूं कि वे proxy हैं।