मॉडल के वर्जन आप कैसे संभालते हैं ताकि कुछ बिगड़ने पर तेजी से rollback कर सकें?

मॉडलों को किसी registry में अपरिवर्तनीय versioned artifacts मानिए, कभी उस फाइल की तरह नहीं जिसे उसी जगह overwrite कर दिया जाए। हर वर्जन training कोड का commit, डेटा का snapshot, उसके metrics और staging या production जैसा stage दर्ज करता है। serving configuration से पढ़ती है कि कौन सा वर्जन load करना है, इसलिए rollback एक config बदलाव है जिसमें सेकंड लगते हैं, और पिछला वर्जन दोबारा build किए बिना load होने लायक बना रहता है।

पहला नियम यह है कि मॉडल artifact अपरिवर्तनीय है। उसे एक वर्जन मिलता है, वह एक बार लिखा जाता है, और उसे कभी कोई overwrite नहीं करता, क्योंकि जिस दिन आपको rollback चाहिए उसी दिन पता चलता है कि पुरानी फाइल बदल दी गई थी। हर वर्जन lineage ढोता है: training कोड का git SHA, डेटा snapshot की पहचान, hyperparameter config, मूल्यांकन के metrics, और किसने promote किया। इसका मतलब है कि तीन महीने बाद जब कोई पूछे कि अप्रैल में मॉडल का बर्ताव क्यों बदला, तो वह एक lookup है, कोई पुरातत्व परियोजना नहीं। serving में वर्जन hardcode नहीं होता। वह config से एक pointer पढ़ती है, इसलिए promote करना pointer बदलना है और rollback उसे वापस बदलना, दोनों सेकंडों में। जहां जगह इजाजत देती है वहां मैं पिछला वर्जन मेमोरी में load रखता हूं, ताकि rollback में न दोबारा deploy लगे न किसी नए container पर cold start। और मैं उसका अभ्यास करता हूं, क्योंकि बिना आजमाया rollback रास्ता कोई rollback रास्ता नहीं है। पिछली टीम में हम बीच बीच में कम traffic वाली खिड़की में जानबूझकर एक rollback करते थे, और इसी से हमें पता चला कि config बदलाव तो ठीक फैला, लेकिन नीचे की एक cache ने पुरानी threshold दस मिनट और पकड़े रखी।