आपके पास एक fraud dataset है जिसमें 0.3 प्रतिशत rows positive हैं। इस imbalance को आप कैसे संभालेंगे?

सबसे पहले metric बदलें, क्योंकि 0.3 प्रतिशत पर accuracy बेकार है: precision recall AUC इस्तेमाल करें, या किसी तय alert budget पर recall। फिर resampling से पहले class weights आजमाएं, क्योंकि weighting ज्यादा सरल है और नकली rows नहीं गढ़ता। अगर resample करना ही हो तो सिर्फ training fold के अंदर करें। आखिर में probabilities को दोबारा calibrate करें, क्योंकि weighting और oversampling दोनों predicted scores बिगाड़ देते हैं।

पहली चीज जो मैं बदलता हूं वह है स्कोरबोर्ड, क्योंकि जो model हर बार कहे कि fraud नहीं है वह 99.7 प्रतिशत सही होता है और पूरी तरह बेकार भी। मैं precision recall AUC इस्तेमाल करता हूं और, उससे ज्यादा काम की चीज, उस alert volume पर recall जिसे टीम सचमुच review कर सकती है। फिर मैं loss में class weights के साथ सादा शुरू करता हूं, जिसकी कोई कीमत नहीं लगती और अक्सर ज्यादातर फायदा वहीं मिल जाता है। SMOTE या undersampling पर मैं तभी जाता हूं जब weighting अटक जाए, और सच कहूं तो tabular fraud डेटा पर synthetic minority samples मुझे फीके लगे हैं, क्योंकि interpolate किए गए points feature space के उन इलाकों में बैठते हैं जो हैं ही नहीं। दो बातों पर मैं सख्त हूं। resampling training fold के अंदर होती है, split से पहले कभी नहीं, वरना validation set में training rows की लगभग नकलें आ जाती हैं और स्कोर कहानी बन जाता है। और इसमें से कुछ भी करने के बाद predicted probabilities calibrated नहीं रहतीं, तो अगर downstream कोई उस स्कोर को किसी रकम से गुणा कर रहा है, मैं एक साफ holdout पर calibration step fit करता हूं। मेरे पिछले fraud model पर इससे expected loss का अनुमान model के बदलाव से भी ज्यादा खिसका।