कोई स्टेकहोल्डर machine learning model मांगता है, पर आपको लगता है कि एक सादा नियम काम कर देगा। आप इसे कैसे संभालेंगे?

पहले फैसले और success metric पर सहमति बनाएं, फिर उस नियम को एक baseline के तौर पर रखें जिसे model को हराना होगा। एक दो दिन में heuristic बनाइए, उसे मापिए, और नंबर दिखाइए। अगर कोई model उसे इतना हरा दे कि maintenance जायज हो जाए तो model बनाइए; अगर नहीं, तो आपने एक हफ्ते में कीमत दे दी और विकल्प भी खुला रखा।

मैं इस पर बहस नहीं करूंगा कि इसमें machine learning चाहिए या नहीं, क्योंकि वह पसंद की बहस है। मैं पूछूंगा कि यह कौन सा फैसला चलाता है और हमें कैसे पता चलेगा कि यह काम कर गया। फिर मैं कहूंगा कि चलिए नियम को ही baseline बना लेते हैं। मुझे दो दिन दीजिए, मैं heuristic बनाऊंगा, हम उसे उसी metric पर मापेंगे, और अगर कोई model उसे इतना हरा दे कि मेहनत बनती हो तो मैं खुशी से model बनाऊंगा। इससे बात मेरे मना करने से बदलकर हमारे एक test चलाने पर आ जाती है। एक lead scoring की मांग पर मैंने ठीक यही किया। नियम में कंपनी के आकार, page visits और demo requests पर तीन शर्तें थीं। उसने हासिल हो सकने वाले lift का ज्यादातर हिस्सा पकड़ लिया, और बाद में मैंने जो gradient boosted संस्करण बनाया उसने precision में कुछ अंक जोड़े। टीम ने उसे retraining पाइपलाइन, निगरानी और किसी के उसकी जिम्मेदारी उठाने की लागत के सामने तौला, और एक साल के लिए नियम चुना। वह एक तिमाही के बजाय एक हफ्ते में ship हो गया। मैं यह भी बताता हूं कि model एक स्थायी प्रतिबद्धता है: वह drift करता है, उसे निगरानी चाहिए, किसी को page आता है। नियम को यह सब नहीं चाहिए।