पाइपलाइन में data quality की जांच आप कैसे करते हैं, और किन चीजों की जांच करते हैं?

schema, volume और semantics तीनों की जांच करें। schema tests type और column के बदलाव पकड़ते हैं। volume और freshness tests उस partition को पकड़ते हैं जो खाली या देर से आया। semantic tests keys की uniqueness, जरूरी fields पर non null, enums पर accepted values, fact और dimension के बीच referential integrity, और revenue कभी negative न होने जैसे business नियम जांचते हैं। इन्हें पाइपलाइन के अंदर चलाएं और चुपचाप publish करने के बजाय fail करें या quarantine करें।

मैं तीन परतों में सोचता हूं। schema: column मौजूद है, type नहीं बदला, कोई अनचाहा नया nullable field चुपचाप नहीं आ गया। volume और freshness: इस partition का row count पिछले औसत की समझदार सीमा के भीतर है, और सबसे नया event आठ घंटे पुराना नहीं है। semantics: primary key unique है, जरूरी fields non null हैं, status मान्य सेट में है, हर order किसी मौजूद customer से जुड़ा है, और revenue negative नहीं है। dbt में इनमें से ज्यादातर built in tests हैं, साथ में business नियमों के लिए कुछ singular SQL tests। tests से ज्यादा जो चीज मायने रखती है वह नीति है। primary key पर uniqueness test फेल होते ही आगे के marts रुक जाते हैं, क्योंकि दोहराया गया revenue publish करना कुछ भी publish न करने से बुरा है। row count में 20% गिरावट जैसी नरम चेतावनी मालिक टीम को alert करती है पर run नहीं रोकती। और खराब rows failure की वजह के साथ quarantine table में जाती हैं, ताकि सबूत खोने के बजाय हम नाप सकें कि यह कितनी बार होता है।