आप कैसे तय करते हैं कि कोई पाइपलाइन batch होनी चाहिए या streaming?

फैसला इस बात से तय होने दें कि डेटा कितनी जल्दी किसी फैसले को बदलता है। अगर अगली सुबह से पहले कोई भी उस डेटा पर कार्रवाई नहीं करता, तो batch सस्ता है, समझने में आसान है और backfill करना कहीं ज्यादा सरल है। streaming तब चुनें जब latency खुद प्रोडक्ट का हिस्सा हो, जैसे fraud scoring, live inventory या alerting। streaming आपसे exactly once handling, late data, state management और स्थायी on call की कीमत वसूलती है।

मैं यह पूछकर शुरू करता हूं कि इस पर कार्रवाई कौन करता है और कितनी जल्दी। अगर जवाब यह है कि सुबह नौ बजे एक analyst dashboard खोलता है, तो nightly या hourly batch job ही सही फैसला है, क्योंकि वह सस्ता है, आसानी से replay हो जाता है और मैं पिछले मंगलवार को बिना ज्यादा सोचे दोबारा चला सकता हूं। streaming पर मैं तब जाता हूं जब latency सचमुच प्रोडक्ट का हिस्सा हो। एक payments टीम में हमने transaction events को fraud model में stream किया था, क्योंकि नब्बे मिनट बाद लिया गया फैसला बिल्कुल बेकार है। जो बात मैं साफ कहना चाहता हूं वह यह है कि streaming की कीमत क्या है। आपको state stores, watermarks और late data policy विरासत में मिलती है, और यह हकीकत भी कि चलती हुई job पर schema बदलना deploy नहीं, migration होता है। बहुत बार जब कोई stakeholder real time कहता है तो उसका मतलब होता है कल नहीं, और warehouse पर पंद्रह मिनट का micro batch उन्हें वही चीज ऑपरेशनल बोझ के एक छोटे हिस्से में दे देता है।