Entwirf eine Pipeline, die Clickstream-Events aus einer Web-App aufnimmt und für Analytics verfügbar macht.

Sammle Events über einen leichtgewichtigen Endpoint in einem dauerhaften Log wie Kafka oder Kinesis, damit Producer von Consumern entkoppelt sind. Validier an der Grenze gegen eine Schema Registry und leite Fehler in ein Dead Letter Topic. Lande Rohevents unveränderlich in Object Storage, partitioniert nach Event-Datum, und transformier dann in bereinigte und modellierte Layer. Dedupliziere auf der Event-ID und hänge alles an der Event Time auf.

Ich würde zuerst nach Volumen und Latenz fragen, denn hunderttausend Events pro Tag und hunderttausend pro Sekunde sind verschiedene Systeme, und ob überhaupt jemand Daten im Sekundenbereich braucht. Für einen normalen Produkt-Analytics-Fall schreibt ein schlanker Collector-Endpoint nach Kafka, was mir Dauerhaftigkeit gibt und Replay erlaubt, wenn ein nachgelagerter Consumer einen Bug hat. An dieser Grenze validiere ich gegen ein registriertes Schema und schiebe alles Ungültige mit Begründung in ein Dead Letter Topic, denn fehlerhafte Events still zu verwerfen heißt, es Monate später zu erfahren. Rohevents landen in Object Storage, partitioniert nach Event-Datum, unveränderlich, und diese Schicht ist die Wahrheit, aus der ich jederzeit neu bauen kann. Von dort bereinigt eine Transformationsschicht, dedupliziert auf der Event-ID, bildet Sessions und modelliert in Fakten- und Dimensionstabellen. Personenbezogene Daten würde ich schon beim Ingest behandeln, Nutzerkennungen hashen und das Mapping in einem zugriffsbeschränkten Store halten, denn das ist deutlich einfacher, als später einen Lake zu säubern.