Entrega exactly once é realmente possível no Kafka, e como você a alcançaria na prática?

Entrega exactly once através de uma rede não é possível, mas processamento exactly once é, dentro de certos limites. O Kafka oferece um producer idempotente somado a transações, então um ciclo read process write dentro do Kafka comita offsets e saída de forma atômica. De ponta a ponta, você ainda precisa que o destino coopere, seja com uma escrita transacional, seja com um upsert idempotente em uma chave estável. Na prática, a maioria dos times fica com at least once mais destinos idempotentes.

Estritamente falando, não. Você não consegue garantir entrega exactly once através de uma rede não confiável, porque um reconhecimento sempre pode se perder e o remetente tem que escolher entre reenviar ou descartar. O que o Kafka de fato oferece é semântica de processamento exactly once dentro do Kafka. O producer idempotente adiciona um id de producer e um número de sequência, então um envio repetido não cria uma duplicata na partição, e as transações permitem comitar os seus registros de saída e os seus offsets de consumidor de forma atômica, então uma topologia read process write não conta em dobro em caso de falha. O limite é o escopo. No momento em que você escreve no Postgres ou no S3, essa escrita está fora da transação. Então o que eu realmente construo é entrega at least once com um destino idempotente, normalmente um merge em um id de evento ou em uma chave natural. Em um pipeline de clickstream nós deduplicávamos por event_id com uma janela de sete dias, o que era mais barato e mais fácil de raciocinar do que tentar tornar cada salto transacional.