कोई user अपना डेटा मिटाने का अनुरोध करता है। data lake और warehouse, दोनों में आप इसे कैसे पूरा करेंगे?

मिटाने से पहले यह जानना जरूरी है कि personal data रहता कहां है, इसलिए classification और lineage से शुरू करें। ऐसा डिजाइन बेहतर है जो दिक्कत ही न आने दे: ingestion पर pseudonymize करें और identifier की mapping एक सीमित पहुंच वाले store में रखें, ताकि वह mapping मिटाते ही बाकी सब पहचान से कट जाए। जहां raw डेटा मिटाना ही पड़े, वहां row स्तर के deletes देने वाला table format इस्तेमाल करें और अनुरोध को पूरा होने तक ट्रैक करें, backups समेत।

ईमानदार पहला जवाब यह है कि जिसे आपने catalogue ही नहीं किया उसे मिटा नहीं सकते, इसलिए यह पूरी तरह इस पर टिका है कि classification और lineage पहले से मौजूद हों। जो डिजाइन मैं आगे बढ़ाता हूं वह है ingestion पर pseudonymization: सीमा पर ही असली identifier की जगह surrogate token आ जाता है और mapping एक सीमित पहुंच वाले store में रहती है। फिर deletion अनुरोध ज्यादातर उस store में एक row मिटाना भर रह जाता है, जिसके बाद आगे की हर चीज किसी व्यक्ति से जुड़ी नहीं रहती। यह सालों की Parquet दोबारा लिखने से कहीं सस्ता है। जहां सचमुच deletion चाहिए, वहां Iceberg या Delta जैसा table format पूरे partitions हाथ से दोबारा लिखे बिना row स्तर के deletes देता है। लोग जो हिस्से भूलते हैं वे असहज वाले हैं: snapshots और time travel का इतिहास, अपनी अलग retention वाले backups, किसी के ईमेल किए हुए CSV extracts, और कोई भी तीसरे पक्ष का analytics टूल जिसके पास कॉपी है। मैं snapshots की retention window तय करूंगा ताकि deletions उसके भीतर स्थायी हो जाएं, उसे दस्तावेज में लिखूंगा, और हर अनुरोध तथा उसके पूरा होने का audit लायक रिकॉर्ड रखूंगा।