ROC AUC कब भ्रम पैदा करता है, और उसकी जगह आप क्या इस्तेमाल करेंगे?

जब positives दुर्लभ हों तब ROC AUC भ्रम पैदा करता है, क्योंकि false positive rate का हर बहुत बड़ा होता है, इसलिए झूठे अलार्म की बाढ़ भी curve को शायद ही हिलाती है। कोई model 0.95 ROC AUC पा सकता है और फिर भी किसी fraud या बीमारी वाले हालात में इस्तेमाल लायक न हो। इसकी जगह precision recall AUC इस्तेमाल करें, या किसी तय recall या alert budget पर precision, जो वही दिखाता है जो reviewers सचमुच झेलते हैं।

जब positives दुर्लभ होते हैं तब ROC AUC बिखर जाता है। x axis false positive rate है, यानी false positives बंटा सभी negatives, तो अगर आपके पास दस लाख negatives हैं तो दस हजार झूठे अलार्म एक प्रतिशत false positive rate बनते हैं। curve को शायद ही पता चलता है। इस बीच queue पर बैठा इंसान कुछ सौ असली के बदले दस हजार कचरा alerts देखता है और पूरी वाजिब वजह से model पर भरोसा करना बंद कर देता है। तो मैं precision recall AUC देखता हूं, जो y axis पर precision रखता है और इसीलिए ठीक इसी बात के प्रति संवेदनशील है। उससे भी बेहतर, मैं उस operating point पर precision बताता हूं जिसे हम सचमुच इस्तेमाल करेंगे। मैंने जो fraud model ship किया, उसका ROC AUC 0.96 था और जो नंबर मायने रखता था वह यह कि रोज के top एक हजार scores पर precision 31 प्रतिशत थी। यही वह नंबर है जो review टीम महसूस करती है, और यही वह नंबर है जो features सुधारने पर हिला। balanced समस्याओं पर ROC AUC ठीक है और मैं उसे खुशी से इस्तेमाल करता हूं; खास तौर पर दुर्लभ positive वाले मामले में ही वह model की झूठी तारीफ करता है।