upstream टीम बिना बताए किसी column का नाम बदल देती है और आपकी पाइपलाइन टूट जाती है। आप क्या करते हैं, और बाद में क्या बदलते हैं?

तुरंत सेवा बहाल करें: staging layer में नया नाम map करें, प्रभावित partitions दोबारा चलाएं, और पुष्टि करें कि आगे के आंकड़े मिल रहे हैं। लंबी अवधि में सद्भावना के भरोसे रहना बंद करें। source टीम के साथ data contract बनाएं, ingestion पर schema validate करें ताकि failures सीमा पर ही साफ संदेश के साथ पकड़ी जाएं, और raw payloads को बिना type के उतारें ताकि नाम बदलने से ingestion का रास्ता ही न टूटे।

तुरंत तो यह छोटा fix है: staging model में नए column को alias करें, प्रभावित partitions दोबारा चलाएं, और दो चार भरोसेमंद aggregates मिलाकर देखें ताकि पता रहे कि नाम के साथ मतलब भी चुपचाप नहीं बदला। मैं catalog में यह भी देखता हूं कि उस table का और कौन उपभोक्ता है, क्योंकि अगर उसने हमें तोड़ा है तो शायद किसी और को भी तोड़ा है जिसने अभी तक ध्यान नहीं दिया। फिर सिस्टम वाला हिस्सा। मैं चाहूंगा कि failure ingestion पर हो और संदेश कहे कि उम्मीद customer_id की थी, मिला customer_identifier, बजाय इसके कि तीन models अंदर जाकर एक null column मिले। इसलिए schema validation सीमा पर आ जाती है, और raw layer payload को जस का तस रखती है, यानी ingestion चलती रहती है और सिर्फ typed layer शिकायत करती है। और मैं source टीम से बात करने जाऊंगा, शिकायत करने नहीं बल्कि contract बनाने: ये रहे वे fields जिन पर हम टिके हैं, यह रही alerting, कृपया release का नोटिस दीजिए। पिछली जगह हमने यही किया और सुबह छह बजे की बार बार आने वाली दिक्कत हफ्ता भर पहले आने वाले Slack मैसेज में बदल गई।