data lineage को आप कैसे ट्रैक करते हैं, और ऑपरेशनल तौर पर वह क्यों मायने रखती है?

lineage बताती है कि कौन से sources किन tables, models और dashboards को खिलाते हैं। इसे हाथ से बनाए रखने के बजाय SQL और orchestrator dependencies parse करके अपने आप पकड़ें, क्योंकि हाथ से बनी lineage हफ्तों में सड़ जाती है। यह इसलिए मायने रखती है क्योंकि यह तीन जरूरी सवालों का जवाब देती है: यह source फेल हो तो क्या क्या टूटेगा, खराब load की खबर मैं किसे दूं, और यह column मैं सुरक्षित रूप से हटा या बदल सकता हूं या नहीं।

lineage आपके डेटा का dependency graph है, आदर्श रूप से column स्तर तक, और रखने लायक सिर्फ वही संस्करण है जो अपने आप बनता है। हाथ से संभाली गई कोई भी चीज महीने भर में गलत हो जाती है। व्यवहार में transformation layer के लिए हमें ज्यादातर चीज dbt के manifest से मुफ्त मिल गई, और dashboards के लिए BI टूल के metadata से, जो सब एक catalog को खिलाते थे। कीमत तीन मौकों पर दिखती है। जब कोई source देर से आता है, तो मैं तुरंत बता सकता हूं कौन से dashboards पुराने रहेंगे और उनके मालिकों को उनके पूछने से पहले मैसेज कर सकता हूं। जब कोई column हटाना चाहता है, तो impact analysis grep और दुआ के बजाय तीस सेकंड लेता है। और deletion अनुरोधों के लिए मैं वह हर table ढूंढ सकता हूं जिसमें कोई पहचान मौजूद है। मैं यह जोड़ूंगा कि ownership के बिना lineage आधी ही काम की है। हर dataset के साथ एक नामजद मालिक टीम जुड़ी होनी चाहिए, वरना आपको ठीक ठीक पता होगा कि क्या टूटा और बताने के लिए फिर भी कोई नहीं होगा।