Diseña un pipeline que ingiera eventos de clickstream de una aplicación web y los deje disponibles para analítica.

Recoge los eventos con un endpoint ligero hacia un log duradero como Kafka o Kinesis, de modo que los productores queden desacoplados de los consumidores. Valida contra un schema registry en la frontera y manda los fallos a un topic de dead letter. Aterriza los eventos crudos de forma inmutable en almacenamiento de objetos particionado por fecha de evento, y luego transforma en capas limpias y modeladas. Deduplica por id de evento e indexa todo por tiempo de evento.

Preguntaría primero por volumen y latencia, porque cien mil eventos al día y cien mil por segundo son sistemas distintos, y también si alguien necesita de verdad datos por debajo del minuto. Suponiendo un caso normal de analítica de producto, un endpoint colector fino escribe en Kafka, lo que me da durabilidad y me deja reprocesar si un consumidor aguas abajo tiene un bug. En esa frontera valido contra un esquema registrado y empujo todo lo inválido a un topic de dead letter con el motivo, porque descartar eventos malformados en silencio significa enterarte meses después. Los eventos crudos aterrizan en almacenamiento de objetos particionados por fecha de evento, inmutables, y esa capa es la fuente de verdad desde la que siempre puedo reconstruir. A partir de ahí, una capa de transformación limpia, deduplica por id de evento, sesionaliza y modela en tablas de hechos y dimensiones. Los datos personales los trataría en la ingesta, hasheando los identificadores de usuario y guardando el mapeo en un almacén restringido, ya que es mucho más fácil que intentar limpiar un lake después.