किसी पाइपलाइन का idempotent होना क्या मायने रखता है, और आप ऐसी पाइपलाइन कैसे बनाते हैं?

idempotent पाइपलाइन एक ही input window के लिए एक बार चलाएं या पांच बार, नतीजा वही देती है। इसे ऐसे बनाएं कि हर run डेटा के एक तय हिस्से का मालिक हो, और फिर उस हिस्से में जोड़ने के बजाय उसे बदल दिया जाए। partition overwrite या किसी स्थिर key पर merge इस्तेमाल करें, window को wall clock के बजाय scheduled interval से निकालें, और ऐसे side effects से बचें जो दोहराए नहीं जा सकते।

इसका मतलब है कि मैं कल वाली job अभी दोबारा चला दूं और table बिल्कुल वैसी ही निकले जैसी वह एक बार साफ चलने पर होती। मैं जो pattern इस्तेमाल करता हूं वह यह है कि हर run एक partition का मालिक होता है, और write उस partition को जोड़ने के बजाय बदल देता है। यानी 2026-08-25 वाली job उस तारीख का partition मिटाकर दोबारा लिखती है, या किसी unique key पर merge करती है, और उसे चार बार चलाने से पहली बार के बाद कुछ नहीं बदलता। जिस बारीकी पर लोग फिसलते हैं वह time है। अगर आपकी job now माइनस एक दिन पर filter करती है, तो तीन दिन बाद दोबारा चलाने पर वह गलत window process करेगी, इसलिए interval orchestrator के data interval से आना चाहिए, task के अंदर की घड़ी से नहीं। मैं side effects पर भी नजर रखता हूं, क्योंकि हमारी एक पाइपलाइन आखिर में summary email भेजती थी और एक retry की वजह से finance को वही रिपोर्ट दो बार मिल गई। हमने notification को अपनी dedupe key वाले अलग task में डाल दिया। एक बार सब कुछ idempotent हो जाए, तो backfilling बस तारीखों की एक range चलाना भर रह जाता है।