Du musst nach dem Fix eines Transformationsbugs zwei Jahre Historie nachladen. Wie gehst du vor?

Lade zuerst in ein separates Ziel, validier gegen die bestehende Tabelle und tausch dann. Verarbeite in Stücken nach Partition statt in einem gigantischen Job, fahr sie mit begrenzter Parallelität, damit du produktive Workloads nicht aushungerst, und mach jedes Stück idempotent, damit Fehler an Ort und Stelle wiederholt werden können. Verfolg den Fortschritt explizit und rechne damit, dass sich Dimensionsattribute und Quelldaten seither geändert haben können.

Ich mache einen Backfill nie in place. Ich baue in eine Schattentabelle, validiere und tausche dann per atomarem Rename oder Zeiger auf eine View, und behalte die alte eine Woche, falls jemand eine Abweichung entdeckt. Der Lauf selbst wird nach Partition gestückelt, meist monatlich oder wöchentlich je nach Volumen, mit vielleicht vier parallel, denn der schnellste Weg zu einem zweiten Incident ist, das Warehouse zu sättigen und alle geplanten Jobs gleichzeitig zu sprengen. Wo die Plattform es erlaubt, fahre ich das auch auf einem separaten Warehouse oder einer eigenen Ressourcengruppe. Die Validierung ist der Teil, den Leute überspringen. Ich nehme eine Handvoll Aggregate, denen die Finanzabteilung bereits vertraut, etwa Umsatz pro Monat, und vergleiche alt gegen neu, mit erwarteten Abweichungen nur dort, wo der Bug gegriffen hat. Ändert sich ein Monat, der sich nicht ändern sollte, ist der Fix falsch. Was ich früh anspreche: Historie ist nicht immer reproduzierbar. Ist die Dimension Typ 1 und wurde überschrieben, liefert die Neuberechnung heutige Attribute, nicht die historischen.