ऐसी पाइपलाइन डिजाइन कीजिए जो किसी web app से clickstream events लेकर उन्हें analytics के लिए उपलब्ध कराए।

events को एक हल्के endpoint से Kafka या Kinesis जैसे टिकाऊ log में इकट्ठा करें, ताकि producers, consumers से अलग रहें। सीमा पर ही schema registry से validate करें और failures को dead letter topic पर भेजें। raw events को object storage में event date के हिसाब से partition करके अपरिवर्तनीय रूप से उतारें, फिर उन्हें साफ और modeled layers में transform करें। event id पर dedupe करें और हर चीज को event time पर टिकाएं।

मैं पहले वॉल्यूम और latency पूछूंगा, क्योंकि दिन में एक लाख events और सेकंड में एक लाख events अलग अलग सिस्टम हैं, और यह भी कि किसी को सचमुच एक मिनट से कम का डेटा चाहिए या नहीं। सामान्य product analytics मानकर चलें तो एक पतला collector endpoint Kafka में लिखता है, जो मुझे टिकाऊपन देता है और आगे किसी consumer में बग हो तो replay करने देता है। उसी सीमा पर मैं registered schema से validate करता हूं और अमान्य चीज को वजह के साथ dead letter topic पर धकेलता हूं, क्योंकि गड़बड़ events चुपचाप गिराने का मतलब है महीनों बाद पता चलना। raw events object storage में event date के हिसाब से partition होकर उतरते हैं, अपरिवर्तनीय, और वही परत सच का स्रोत है जिससे मैं कभी भी दोबारा बना सकता हूं। वहां से एक transformation layer साफ करती है, event id पर dedupe करती है, sessionize करती है, और fact तथा dimension tables में model करती है। personal data मैं ingestion पर ही संभालूंगा, user identifiers को hash करके और mapping को सीमित पहुंच वाले store में रखकर, क्योंकि यह बाद में पूरी lake रगड़ने से कहीं आसान है।