क्या Kafka में exactly once delivery सचमुच मुमकिन है, और व्यवहार में आप उसे कैसे हासिल करेंगे?

नेटवर्क के आर पार exactly once delivery मुमकिन नहीं है, लेकिन exactly once processing एक हद तक मुमकिन है। Kafka आपको idempotent producer और transactions देता है, इसलिए Kafka के अंदर एक read process write चक्र offsets और output दोनों को atomically commit करता है। पूरे सिरे तक पहुंचने के लिए sink का साथ देना जरूरी है, या तो transactional write से या किसी स्थिर key पर idempotent upsert से। असल में ज्यादातर टीमें at least once के साथ idempotent sinks पर टिकती हैं।

सख्ती से कहें तो नहीं। भरोसेमंद न होने वाले नेटवर्क पर exactly once delivery की गारंटी नहीं दी जा सकती, क्योंकि acknowledgment हमेशा खो सकता है और भेजने वाले को दोबारा भेजने या छोड़ देने में से एक चुनना ही पड़ता है। Kafka जो देता है वह है Kafka के अंदर exactly once processing semantics। idempotent producer एक producer id और sequence number जोड़ता है ताकि दोबारा भेजा गया send partition पर duplicate न बनाए, और transactions आपको अपने output records और consumer offsets एक साथ atomically commit करने देते हैं, इसलिए read process write topology फेल होने पर दोहरी गिनती नहीं करती। सीमा दायरे की है। जिस पल आप Postgres या S3 पर लिखते हैं, वह write transaction के बाहर है। इसलिए मैं असल में जो बनाता हूं वह है at least once delivery के साथ idempotent sink, आम तौर पर event id या natural key पर merge। एक clickstream पाइपलाइन पर हमने सात दिन की window के साथ event_id पर dedupe किया, जो हर hop को transactional बनाने की कोशिश से सस्ता भी था और समझने में आसान भी।