आपकी टीम के किसी बदलाव से प्रोडक्शन गिर जाता है। इसके बाद क्या होता है, बताइए।

पहले सर्विस लौटाएं, जांच बाद में। सबसे तेज़ सुरक्षित mitigation लगाएं, आमतौर पर rollback, बशर्ते rollback खुद ज़्यादा जोखिम भरा न हो, एक साफ incident commander और अलग communications owner रखें, और जिस इंजीनियर से यह हुआ उसे एक साथ ठीक करने और सफाई देने से बचाएं। बाद में blameless रिव्यू चलाएं जो व्यक्ति नहीं, सिस्टम की कमज़ोरियां ढूंढे (गायब guardrails, असुरक्षित deploy रास्ता, कमज़ोर tests)।

पहले mitigation। पहले पांच मिनट में इकलौता सवाल यही है कि चलती हुई हालत में लौटने का सबसे तेज़ सुरक्षित रास्ता क्या है, और आमतौर पर वह दबाव में सूझा कोई शानदार fix नहीं, rollback होता है। मैं यह पक्का करता हूं कि कोई incident commander हो और कोई और communication संभाले, क्योंकि मैंने जो सबसे बुरे incidents देखे हैं उनमें वही व्यक्ति टाइप कर रहा था जो बार बार कॉल में जुड़ते एग्ज़ीक्यूटिव को जवाब भी दे रहा था। अगर जिस इंजीनियर ने बदलाव शिप किया वही उसे ठीक करने के लिए सबसे सही व्यक्ति है, तो वह ठीक करता है, और बाकी हर बातचीत मैं उसके सिर से हटा देता हूं। हालत स्थिर होने के बाद रिव्यू सिस्टम के बारे में होता है। मेरी टीम में जब ऐसा हुआ था तो एक config बदलाव staging को छोड़कर निकल गया क्योंकि deploy का रास्ता इसकी इजाज़त देता था। इंजीनियर आखिरी गिरा हुआ पत्ता था, वजह नहीं। actions थीं उस रास्ते पर एक guardrail, उस खास नाकामी के लिए एक test, और बेहतर alerting, हर एक के साथ एक नाम और एक तारीख। और मैं रिव्यू में खुलकर कहता हूं कि उनके पास जो जानकारी थी उसके हिसाब से वह बदलाव वाजिब था, क्योंकि पूरी टीम देख रही होती है कि उस व्यक्ति के साथ क्या सलूक होता है।