Was bedeutet es, dass eine Pipeline idempotent ist, und wie baust du eine?

Eine idempotente Pipeline liefert dasselbe Ergebnis, egal ob du sie für dasselbe Zeitfenster einmal oder fünfmal laufen lässt. Bau sie so, dass jeder Lauf ein deterministisches Datenstück besitzt und dieses ersetzt statt anhängt. Nutz Partition Overwrite oder einen Merge auf einem stabilen Key, leite das Fenster aus dem geplanten Intervall statt aus der Uhrzeit ab und vermeide Seiteneffekte, die sich nicht wiederholen lassen.

Es bedeutet, dass ich den Job von gestern jetzt sofort erneut laufen lassen kann und exakt dieselbe Tabelle habe, als wäre er einmal sauber gelaufen. Das Muster, das ich nutze: Jeder Lauf besitzt eine Partition, und der Write ersetzt diese Partition statt anzuhängen. Der Job für 2026-08-25 löscht und schreibt die Partition dieses Tages neu, oder er merged auf einem eindeutigen Key, und viermal laufen ändert nach dem ersten Mal nichts. Das Detail, über das Leute stolpern, ist die Zeit. Wenn dein Job auf jetzt minus einen Tag filtert, verarbeitet ein Rerun drei Tage später das falsche Fenster. Das Intervall muss also aus dem Data Interval des Orchestrators kommen, nicht aus der Uhr im Task. Ich achte auch auf Seiteneffekte, denn wir hatten eine Pipeline, die am Ende eine Zusammenfassung per E-Mail verschickt hat, und ein Retry bedeutete, dass die Finanzabteilung denselben Report zweimal bekam. Wir haben die Benachrichtigung in einen eigenen Task mit eigenem Dedupe-Key verschoben. Sobald alles idempotent ist, ist ein Backfill nur noch das Durchlaufen eines Datumsbereichs.