¿Qué significa que un pipeline sea idempotente y cómo construyes uno?

Un pipeline idempotente produce el mismo resultado tanto si lo ejecutas una vez como cinco para la misma ventana de entrada. Constrúyelo haciendo que cada ejecución sea dueña de una porción determinista de datos y luego reemplace esa porción en lugar de añadir a ella. Usa sobrescritura de partición o un merge sobre una clave estable, deriva la ventana del intervalo programado y no del reloj, y evita efectos secundarios que no se puedan repetir.

Significa que puedo reejecutar ahora mismo el job de ayer y acabar con exactamente la misma tabla que si hubiera corrido una sola vez y limpio. El patrón que uso es que cada ejecución es dueña de una partición, y la escritura es un reemplazo de esa partición en vez de un append. Así que el job del 2026-08-25 borra y reescribe la partición de esa fecha, o hace merge sobre una clave única, y ejecutarlo cuatro veces no cambia nada después de la primera. El detalle que pilla a la gente es el tiempo. Si tu job filtra por ahora menos un día, entonces una reejecución tres días más tarde procesa la ventana equivocada, así que el intervalo tiene que venir del data interval del orquestador y no del reloj dentro de la tarea. También vigilo los efectos secundarios, porque tuvimos un pipeline que mandaba un correo resumen al final y un reintento hizo que finanzas recibiera el mismo informe dos veces. Movimos la notificación a una tarea aparte con su propia clave de deduplicación. Una vez que todo es idempotente, rellenar el histórico es simplemente ejecutar un rango de fechas.