आपके पास मॉडल का नया वर्जन है जो offline बेहतर लगता है। उसे सुरक्षित तरीके से कैसे रोल आउट करेंगे?

पहले उसे चुपचाप चलाइए: मौजूदा मॉडल के साथ shadow mode में चलाइए, जहां वह live traffic को score करे लेकिन उसके output पर कोई कार्रवाई न हो, और score distributions, latency तथा feature availability की तुलना कीजिए। अगर वह ठीक दिखे तो छोटे प्रतिशत वाले canary पर जाइए और बिजनेस metric पर online experiment चलाइए, साथ में guardrails। पुराना वर्जन load किया हुआ रखिए ताकि rollback एक config बदलाव हो, दोबारा deploy नहीं।

offline बेहतर होने का मतलब online बेहतर होना नहीं है, इसलिए मैं किसी validation आंकड़े के दम पर सीधे promote नहीं करता। पहला कदम shadow mode है: नया मॉडल उन्हीं live requests को score करता है, हम उसका output log करते हैं, और उस पर कोई कार्रवाई नहीं होती। इससे वे उबाऊ लेकिन जानलेवा चीजें पकड़ी जाती हैं, जैसे feature availability का फर्क, latency में गिरावट, अनपेक्षित nulls, और मुझे एक ही traffic पर दोनों score distributions की तुलना करने का मौका मिलता है। अगर नए मॉडल के scores खिसके हुए हैं तो ranking quality सुधरने पर भी नीचे की thresholds हिलानी पड़ेंगी, और यह प्रोडक्शन से कहीं बेहतर है कि shadow में पता चले। फिर कुछ प्रतिशत पर canary, बिजनेस metric पर ढंग के online experiment के साथ, AUC पर नहीं। उसके साथ मैं guardrails पहले से तय करता हूं: p99 latency, error rate, और कोई ऐसी चीज जो मॉडल के आत्मविश्वास से गलत होने को पकड़ ले जिसे मुख्य metric चूक जाता, जैसे flag rate में बड़ा खिसकाव। rollback एक config बदलाव होना चाहिए जिसमें पुराना वर्जन load रहे, ताकि वह सेकंडों में हो जाए, और मैं launch से पहले वे आंकड़े लिख देता हूं जो उसे trigger करेंगे, क्योंकि metric गिरते वक्त यह तय करना कि वह काफी बुरा है या नहीं, राय बनाने का बहुत खराब वक्त होता है।