रात वाली पाइपलाइन फेल हो गई और सुबह आठ बजे executive dashboard खाली है। अपनी प्रतिक्रिया बताइए।

पहले बताएं: stakeholders को कहें कि dashboard पुराना डेटा दिखा रहा है और अनुमानित समय दें, क्योंकि चुप्पी डेटा की दिक्कत को भरोसे की दिक्कत बना देती है। फिर सबसे शोर मचाने वाली error के बजाय पहला फेल हुआ task ढूंढें, क्योंकि आगे की failures आम तौर पर लक्षण भर होती हैं। फेल हुए हिस्से को दोबारा चलाने और banner के साथ कल का डेटा दिखाने में से चुनें। ठीक करें, idempotent तरीके से दोबारा चलाएं, row counts जांचें, फिर वजह लिखकर रखें।

कुछ भी debug करने से पहले मैं stakeholder चैनल पर लिखता हूं कि dashboard पुराना डेटा दिखा रहा है, क्या क्या प्रभावित है, और अगला अपडेट कब दूंगा। यह अकेला मैसेज करीब दस टोकाटाकी बचा लेता है और fix में दो घंटे लगें तब भी भरोसा बचा रहता है। फिर मैं DAG के ऊपरी सिरे पर जाता हूं, क्योंकि पंद्रह फेल हुए tasks की कड़ी में चौदह बस एक असली दिक्कत के आगे वाले होते हैं। असली वजह आम तौर पर तीन खानों में गिरती है: upstream डेटा बदला, इन्फ्रा में झटका आया, या किसी ने कोई बदलाव merge किया। कल कुछ deploy हुआ था या नहीं, यह देखने भर से यह जल्दी सुलझ जाता है। पिछली बार मेरे साथ ऐसा हुआ तो source system ने रात भर में बिना बताए एक column का नाम बदल दिया था, इसलिए staging model गायब field पर फेल हुआ। मैंने model ठीक किया, प्रभावित partitions दोबारा चलाए, और चूंकि पाइपलाइन idempotent है, यह बिना किसी सफाई के सुरक्षित रहा। फिर किसी को ठीक होने की खबर देने से पहले मैंने पिछले दिन के मुकाबले row counts जांचे, और source टीम के साथ contract वाली बातचीत शुरू की।