O que significa um pipeline ser idempotente, e como você constrói um?

Um pipeline idempotente produz o mesmo resultado quer você rode uma vez ou cinco vezes para a mesma janela de entrada. Construa isso fazendo cada execução ser dona de uma fatia determinística de dados e depois substituindo essa fatia em vez de acrescentar a ela. Use sobrescrita de partição ou um merge em uma chave estável, derive a janela do intervalo agendado e não do relógio, e evite efeitos colaterais que não podem ser repetidos.

Significa que eu posso rodar o job de ontem agora mesmo e terminar com exatamente a mesma tabela que teria se ele tivesse rodado uma vez sem problemas. O padrão que eu uso é que cada execução é dona de uma partição, e a escrita é uma substituição daquela partição em vez de um append. Então o job de 2026-08-25 apaga e reescreve a partição daquela data, ou faz merge em uma chave única, e rodar quatro vezes não muda nada depois da primeira. O detalhe que pega as pessoas é o tempo. Se o seu job filtra por agora menos um dia, uma reexecução três dias depois processa a janela errada, então o intervalo tem que vir do data interval do orquestrador, não do relógio dentro da task. Eu também fico de olho em efeitos colaterais, porque tivemos um pipeline que mandava um e-mail de resumo no final e uma retentativa fez o financeiro receber o mesmo relatório duas vezes. Movemos a notificação para uma task separada com a sua própria chave de deduplicação. Uma vez que tudo é idempotente, fazer backfill é só rodar um intervalo de datas.