क्लाउड माहौल में आप किस पर alert करते हैं और किसे सिर्फ log करते हैं?

उन लक्षणों पर alert करें जो ग्राहक को दिखेंगे और जिन पर कोई इंसान अभी कुछ कर सकता है, आमतौर पर आपके service objective से जुड़े: बढ़ी हुई error rate, target तोड़ती latency, बिना रुके बढ़ती queue, फेल हुआ backup। बाकी सब log और dashboard पर रखें, CPU जैसे अलग अलग resource metric समेत, जो जांच के लिए काम के हैं पर trigger के तौर पर कमजोर। अगर किसी alert का जवाब यह है कि acknowledge करके दोबारा सो जाओ, तो वह एक ticket होना चाहिए।

मेरी कसौटी तीन चीजें हैं: ग्राहक प्रभावित है या होने वाला है, यह अर्जेंट है, और अभी कोई इंसान कुछ कर सकता है। इनमें से कोई भी झूठी हो, तो वह ticket या dashboard है। तो objective से ऊपर error rate, target तोड़ती latency, बिना रुके बढ़ती queue, checkout का फेल होना, ये सब page करते हैं। अस्सी प्रतिशत CPU नहीं करता, क्योंकि वह पूरी तरह ठीक हालत भी हो सकती है और वह मुझे यह कुछ नहीं बताता कि कोई भुगत रहा है या नहीं; उसकी जगह dashboard पर है, तब के लिए जब मैं जांच कर रहा होऊं। लक्षणों के बजाय वजहों पर alert करना ही वह तरीका है जिससे एक ही incident के चालीस alert आते हैं और टीम channel mute कर देती है। कुछ अपवाद मैं हमेशा रखता हूं: certificate की expiry, क्योंकि वह तब तक छिपी रहती है जब तक तबाही न बन जाए, backup की नाकामी, और सख्त quota की सीमा पास आना, क्योंकि तीनों तब तक चुप रहते हैं जब तक आपका पूरा हफ्ता बर्बाद न कर दें। और मैं alert नियमित रूप से देखता हूं, कि क्या बजा और उस पर किसी ने असल में किया क्या। जो बार बार बजता है और कभी किसी काम तक नहीं ले जाता वह हटा दिया जाता है या नीचे कर दिया जाता है, क्योंकि शोर मचाता pager बिना pager से बुरा है।