किसी table में duplicate record आप कैसे ढूंढेंगे और हटाएंगे?

पहले तय करें कि duplicate का मतलब क्या है, क्योंकि हूबहू copy और बिज़नेस वाले duplicate अलग समस्याएं हैं। उन्हें ढूंढने के लिए इच्छित key पर GROUP BY करें और HAVING COUNT(*) एक से ज्यादा से filter लगाएं। हटाने के लिए उसी key पर partition किया गया ROW_NUMBER और एक निश्चित ORDER BY इस्तेमाल करें, फिर जहां नंबर एक से ज्यादा हो उसे delete या बाहर कर दें, और सबसे नई या सबसे पूरी पंक्ति रख लें।

मैं पहले पूछूंगा कि यहां duplicate का मतलब क्या है, क्योंकि पूरी तरह एक जैसी पंक्ति का आमतौर पर मतलब है कि load दो बार चला, जबकि एक ही ग्राहक की अलग अलग email वाली दो पंक्तियां data entry की समस्या हैं जिसके लिए बिज़नेस का फैसला चाहिए। उन्हें ढूंढने के लिए मैं इच्छित key पर group करता हूं और HAVING COUNT एक से ज्यादा इस्तेमाल करता हूं, जिससे समस्या का आकार भी पता चल जाता है। हटाने के लिए मैं उसी key पर partition किया गया ROW_NUMBER इस्तेमाल करता हूं, updated_at descending से ordered और tiebreaker के तौर पर primary key के साथ ताकि यह दोहराने लायक रहे, फिर row number एक रख लेता हूं। अगर मुझे delete करने की इजाजत नहीं है, तो वही logic किसी view में चला जाता है। जो हिस्सा मैं छोड़ने की कोशिश नहीं करता वह है यह पूछना कि ये आए कहां से। हर सोमवार सुबह duplicate साफ करना एक लक्षण है। पिछली बार जब मैंने इसे ट्रेस किया, तो एक retry हुआ ingestion job merge करने के बजाय append कर रहा था, और उसे ठीक करने में एक घंटा लगा और हफ्तेवार सफाई हमेशा के लिए खत्म हो गई।