La finance dit que le chiffre d'affaires est surestimé et vous trouvez des lignes en double dans la table de faits. Comment enquêtez-vous ?

Établissez d'abord la granularité, puis quantifiez la duplication : groupez par la clé prévue et comptez les clés à plus d'une ligne. Déterminez si les doublons sont identiques (problème de chargement) ou diffèrent sur une colonne (éclatement de jointure ou doublon au niveau source). Remontez couche par couche jusqu'au premier endroit où la duplication apparaît, corrigez à cette couche, puis reconstruisez les partitions concernées et ajoutez un test d'unicité.

Je commence par écrire ce que la granularité est censée être, une ligne par ligne de commande par exemple, puis je compte les clés à plus d'une ligne pour savoir s'il s'agit de douze lignes ou de douze pour cent. Ensuite je compare quelques groupes de doublons côte à côte, parce que cela donne la cause presque immédiatement. Si les lignes sont identiques octet pour octet, c'est un problème de chargement, en général un job relancé qui ajoute au lieu de remplacer. Si elles diffèrent sur une colonne, c'est un éclatement de jointure, et c'est exactement ce que c'était la dernière fois : une dimension était passée en type 2 et la jointure ne filtrait pas sur la version courante, donc chaque ligne de fait correspondait à trois lignes de dimension historiques et le chiffre d'affaires triplait pour les clients concernés. Je corrige à la couche où cela apparaît en premier, pas avec un DISTINCT dans le modèle final, parce que cela masque le problème et ralentit chaque requête. Puis un test d'unicité sur la granularité, et une reconstruction des partitions concernées pour que la finance obtienne des chiffres corrigés.