किसी transformation बग को ठीक करने के बाद आपको दो साल का इतिहास backfill करना है। आप इसे कैसे करेंगे?

पहले किसी अलग target में backfill करें, मौजूदा table से मिलान करके जांचें, फिर स्वैप करें। एक विशाल job के बजाय partition के हिसाब से टुकड़ों में process करें, उन्हें सीमित concurrency के साथ चलाएं ताकि production का काम भूखा न रहे, और हर टुकड़ा idempotent रखें ताकि failures वहीं दोबारा चलाई जा सकें। प्रगति साफ ट्रैक करें, और यह मानकर चलें कि तब से dimension attributes और source डेटा बदल भी चुके हो सकते हैं।

मैं कभी जगह पर ही backfill नहीं करता। मैं shadow table में बनाता हूं, जांचता हूं, फिर atomic rename या view pointer से स्वैप करता हूं, और पुरानी को एक हफ्ते रखता हूं अगर किसी को कोई फर्क दिखे। run खुद partition के हिसाब से टुकड़ों में बंटता है, आम तौर पर वॉल्यूम के हिसाब से महीने या हफ्ते में, और शायद चार एक साथ चलते हैं, क्योंकि दूसरी incident पैदा करने का सबसे तेज तरीका warehouse भर देना और उसी वक्त हर scheduled job उड़ा देना है। जहां प्लेटफॉर्म देता है, वहां मैं इसे अलग warehouse या resource group पर चलाता हूं। जिस हिस्से में लोग जल्दबाजी करते हैं वह validation है। मैं कुछ ऐसे aggregates चुनता हूं जिन पर finance पहले से भरोसा करता है, जैसे महीने के हिसाब से revenue, और पुराने बनाम नए की तुलना करता हूं, यह उम्मीद रखते हुए कि फर्क सिर्फ वहीं दिखे जहां बग लागू था। अगर कोई ऐसा महीना बदल जाए जो नहीं बदलना चाहिए था, तो fix गलत है। दूसरी बात जो मैं शुरू में ही उठाता हूं वह यह है कि इतिहास हमेशा दोबारा नहीं बनता: अगर dimension type 1 है और उस पर लिखा जा चुका है, तो बीता वक्त दोबारा गिनने पर आज के attributes मिलेंगे, तब वाले नहीं।