Die Finanzabteilung sagt, der Umsatz ist zu hoch, und du findest doppelte Zeilen in der Faktentabelle. Wie untersuchst du das?

Leg zuerst die Granularität fest, dann quantifizier die Duplikate: nach dem vorgesehenen Schlüssel gruppieren und Zeilen über eins zählen. Prüf, ob die Duplikate identisch sind (ein Ladeproblem) oder sich in einer Spalte unterscheiden (ein Join Fan-out oder ein Duplikat in der Quelle). Verfolg es Schicht für Schicht zurück, bis zur ersten Stelle, an der die Duplizierung auftritt, fix dort, bau dann die betroffenen Partitionen neu und ergänz einen Eindeutigkeitstest.

Zuerst schreibe ich auf, was die Granularität sein soll, etwa eine Zeile pro Bestellposition, und zähle dann Schlüssel mit mehr als einer Zeile, damit ich weiß, ob das zwölf Zeilen oder zwölf Prozent sind. Dann vergleiche ich ein paar Duplikatgruppen nebeneinander, denn das verrät die Ursache fast sofort. Sind die Zeilen byteidentisch, ist es ein Ladeproblem, meist ein wiederholter Job, der angehängt statt ersetzt hat. Unterscheiden sie sich in einer Spalte, ist es ein Join Fan-out, und genau das war es beim letzten Mal: eine Dimension war auf Typ 2 umgestellt worden und der Join hat nicht auf die aktuelle Version gefiltert, also traf jede Faktenzeile drei historische Dimensionszeilen und der Umsatz verdreifachte sich für betroffene Kunden. Ich fixe das in der Schicht, in der es zuerst auftritt, nicht mit einem DISTINCT im finalen Modell, denn das versteckt das Problem und bremst jede Query. Dann ein Eindeutigkeitstest auf der Granularität und ein Neubau der betroffenen Partitionen, damit die Finanzabteilung korrigierte Zahlen bekommt.