आपके मुख्य API की p99 लेटेंसी एक डिप्लॉय के बीस मिनट बाद तिगुनी हो जाती है। बताइए आप क्या करेंगे।

जांच से पहले हालात संभालें: अगर समय डिप्लॉय से मेल खाता है, तो पहले rollback करें या rollout रोकें। फिर पुराने और नए वर्जन की उन्हीं डैशबोर्ड पर तुलना करें, लेटेंसी के साथ एरर दर और सैचुरेशन भी देखें, और तय करें कि उछाल हर जगह है या किसी एक endpoint, एक shard या एक zone तक सीमित है। traces बताते हैं कि कौन सा hop बढ़ा। root cause की पड़ताल तब होती है जब यूजर सुरक्षित हो जाएं।

सबसे पहले मैं खून बहना रोकता हूं। अगर बीस मिनट पहले डिप्लॉय गया है और लेटेंसी तिगुनी हो गई है, तो जब तक उल्टा साबित न हो, वह rollback है, और यूजर ठीक रहें तो कारण के बारे में गलत निकलने में मुझे कोई शर्म नहीं। साथ ही साथ मैं इंसिडेंट घोषित करता हूं ताकि संवाद का मालिक कोई हो, क्योंकि सबसे बुरे इंसिडेंट जिनमें मैं रहा हूं वही थे जहां वही तीन लोग पांच चैनलों में डिबग भी कर रहे थे और सवालों के जवाब भी दे रहे थे। फिर मैं देखता हूं कि यह हर जगह है या नहीं। हर endpoint पर है या एक पर? सारे pod पर या सिर्फ नए ReplicaSet पर? किसी एक availability zone में? इससे आम तौर पर खोज का दायरा फौरन सिमट जाता है। वहां से मैं किसी धीमी रिक्वेस्ट का exemplar trace निकालता हूं और देखता हूं कि समय असल में गया कहां। हमारे साथ ऐसा एक बार हुआ था जब नई build ने एक लूप के अंदर एक भोला सा logging कॉल जोड़ दिया था जो हर चक्कर में DNS lookup करता था, तो span का पेड़ देखते ही सेकंडों में बात साफ हो गई। rollback के बाद कुछ भी बंद करने से पहले मैं पक्का करता हूं कि p99 वापस SLO के नीचे है।