Comment trouveriez-vous et supprimeriez-vous les doublons dans une table ?

Commencez par définir ce que doublon veut dire, puisque les copies exactes et les doublons métier sont deux problèmes différents. Pour les trouver, faites un GROUP BY sur la clé visée et filtrez avec HAVING COUNT(*) supérieur à un. Pour les supprimer, utilisez ROW_NUMBER partitionné sur cette clé avec un ORDER BY déterministe, puis supprimez ou excluez tout ce dont le numéro est supérieur à un, en gardant la ligne la plus récente ou la plus complète.

Je demanderais d'abord ce que doublon veut dire ici, parce qu'une ligne entièrement identique signifie en général qu'un chargement a tourné deux fois, alors que deux lignes pour le même client avec des adresses e-mail différentes sont un problème de saisie qui demande une décision métier. Pour les trouver, je regroupe sur la clé visée et j'utilise HAVING COUNT supérieur à un, ce qui me donne aussi l'ampleur du problème. Pour la suppression, j'utilise ROW_NUMBER partitionné sur cette clé, trié par updated_at descendant avec la clé primaire comme départage pour que ce soit reproductible, puis je garde le numéro un. Si je n'ai pas le droit de supprimer, la même logique va dans une vue. La partie que j'essaie de ne pas sauter, c'est de demander d'où ils viennent. Nettoyer des doublons tous les lundis matin est un symptôme. La dernière fois que j'ai remonté la piste, un job d'ingestion rejoué ajoutait au lieu de faire un merge, et corriger ça a pris une heure et mis fin définitivement au nettoyage hebdomadaire.