¿Es realmente posible la entrega exactly once en Kafka y cómo lo conseguirías en la práctica?

La entrega exactly once sobre una red no es posible, pero el procesamiento exactly once sí lo es, dentro de ciertos límites. Kafka te da un productor idempotente más transacciones, así que un ciclo de leer, procesar y escribir dentro de Kafka confirma offsets y salida de forma atómica. De extremo a extremo sigues necesitando que el destino coopere, ya sea con una escritura transaccional o con un upsert idempotente sobre una clave estable. En la práctica, la mayoría de los equipos acaban con at least once más destinos idempotentes.

Estrictamente, no. No puedes garantizar entrega exactly once sobre una red poco fiable, porque siempre se puede perder un acuse de recibo y el emisor tiene que elegir entre reenviar o descartar. Lo que Kafka sí te da es semántica de procesamiento exactly once dentro de Kafka. El productor idempotente añade un id de productor y un número de secuencia, así que un envío reintentado no crea un duplicado en la partición, y las transacciones te dejan confirmar tus registros de salida y tus offsets de consumidor de forma atómica, de modo que una topología de leer, procesar y escribir no cuenta dos veces cuando falla. El límite es el alcance. En cuanto escribes en Postgres o en S3, esa escritura queda fuera de la transacción. Así que lo que realmente construyo es entrega at least once con un destino idempotente, normalmente un merge sobre un id de evento o una clave natural. En un pipeline de clickstream deduplicábamos por event_id con una ventana de siete días, lo que salía más barato y era más fácil de razonar que intentar hacer transaccional cada salto.