Wie findest und entfernst du doppelte Datensätze in einer Tabelle?

Definiere zuerst, was doppelt überhaupt heißt, denn exakte Kopien und fachliche Dubletten sind zwei verschiedene Probleme. Zum Finden: GROUP BY auf den gemeinten Schlüssel und mit HAVING COUNT(*) größer eins filtern. Zum Entfernen: ROW_NUMBER partitioniert über diesen Schlüssel mit einem deterministischen ORDER BY, dann alles mit Nummer größer eins löschen oder ausschließen und die neueste oder vollständigste Zeile behalten.

Ich würde zuerst fragen, was doppelt hier bedeutet, denn eine komplett identische Zeile heißt meistens, dass ein Ladevorgang zweimal gelaufen ist, während zwei Zeilen für denselben Kunden mit unterschiedlichen E-Mail-Adressen ein Erfassungsproblem sind, das eine fachliche Entscheidung braucht. Zum Finden gruppiere ich auf den gemeinten Schlüssel und nutze HAVING COUNT größer eins, was mir gleichzeitig sagt, wie groß das Problem ist. Zum Entfernen nehme ich ROW_NUMBER partitioniert über diesen Schlüssel, sortiert nach updated_at absteigend mit dem Primary Key als Tiebreaker, damit es reproduzierbar ist, und behalte Nummer eins. Wenn ich nicht löschen darf, wandert dieselbe Logik in einen View. Was ich versuche nicht zu überspringen, ist die Frage, woher sie kommen. Jeden Montagmorgen Dubletten aufzuräumen ist ein Symptom. Als ich das zuletzt zurückverfolgt habe, hat ein wiederholter Ingestion-Job angehängt statt gemerged, und das zu fixen hat eine Stunde gedauert und den wöchentlichen Aufräumjob dauerhaft beendet.