एक घंटा पहले deploy गया था और तब से error rate चढ़ रहा है। आप क्या करते हैं?

पहले rollback करें और जांच बाद में, बशर्ते deploy में कोई ऐसी डेटाबेस migration न हो जो rollback को असुरक्षित बना दे। पक्का करें कि टाइमलाइन deploy से मेल खाती है, देखें कि errors नए वर्जन वाले instances पर केंद्रित हैं या नहीं, फिर पिछले artifact पर लौटें या ट्रैफिक वापस मोड़ें। error rate संभलने के बाद खराब build को किसी staging एनवायरनमेंट में बनाए रखें ताकि जांच यूज़र की कीमत पर न हो।

डिफ़ॉल्ट rollback है। एक घंटे से चढ़ते errors लाइव सुलझाने वाली पहेली नहीं, रोकने वाला रिसाव हैं, और पिछला artifact भरोसे लायक है। ट्रिगर दबाने से पहले मैं दो झटपट जांचें करता हूं। एक, error का curve सच में deploy के वक्त से शुरू होता है या पहले से चढ़ रहा था, क्योंकि अगर वह पहले शुरू हुआ तो deploy महज़ इत्तेफाक है और rollback में दस मिनट बर्बाद होंगे। दो, क्या इस release में कोई schema migration थी, क्योंकि अगर थी तो मुझे जानना है कि पुराना कोड नए schema के साथ चलेगा या नहीं। अगर हमने expand and contract ठीक से किया है तो चलेगा और rollback सुरक्षित है। अगर किसी ने column गिरा दिया है तो अब rollback ही खतरनाक विकल्प है और मैं forward fix या feature flag की तरफ जाता हूं। errors संभलने के बाद मैं खराब build को staging में डिप्लॉय रखता हूं ताकि हम बिना ग्राहकों को घसीटे उसे दोहरा सकें। बाद में जिस सवाल पर मैं ज़ोर दूंगा वह यह कि canary ने इसे क्यों नहीं पकड़ा, क्योंकि एक घंटे के असर का मतलब है rollout किसी baseline के मुकाबले error rate देख ही नहीं रहा था।