Iceberg और Delta Lake जैसे table formats वह कौन सी दिक्कत हल करते हैं जो object storage पर पड़ी सादी Parquet नहीं करती?

किसी bucket में पड़ी सादी Parquet files आपको transactions नहीं देतीं, इसलिए कोई reader आधी लिखी directory देख सकता है और फेल हुई job अधूरा डेटा छोड़ जाती है। table formats एक metadata layer जोड़ते हैं जिसमें atomic commits और snapshot isolation होती है, इसलिए writes एक साथ दिखते हैं। वे schema evolution, row स्तर के updates और deletes, पिछले snapshots तक time travel, और directory listing के बजाय statistics से file pruning भी लाते हैं।

सादी Parquet में table असल में सिर्फ एक directory परंपरा है, इसलिए atomicity है ही नहीं। अगर job बीच में मर जाए तो readers को अधूरा डेटा दिखता है, और पूरे partitions हाथ से दोबारा लिखे बिना एक row अपडेट या delete करने का कोई रास्ता नहीं है। table formats इसे metadata layer से ठीक करते हैं। एक commit नए snapshot का pointer atomically बदल देता है, इसलिए readers या तो पुरानी स्थिति देखते हैं या नई, कभी मिली जुली नहीं, और time travel लगभग मुफ्त मिल जाता है क्योंकि पुराने snapshots मौजूद रहते हैं। यही आखिरी बात हमें एक बार बचा गई, जब एक खराब transform ने mart के ऊपर लिख दिया और हमने backups से restore करने के बजाय पिछले snapshot पर query करके रिकवर कर लिया। Iceberg में मुझे खास तौर पर hidden partitioning पसंद है, जिसमें table खुद partition transform ट्रैक करती है, इसलिए timestamp पर filter करने वाले analyst को layout जाने बिना pruning मिल जाती है। कीमत maintenance है: आपको small files की तय compaction और snapshot expiry चाहिए, वरना metadata बेतहाशा बढ़ता जाता है।