L1 और L2 regularization में व्यावहारिक फर्क क्या है, और आप दोनों में से चुनते कैसे हैं?

L1 (lasso) loss में coefficients के absolute values का जोड़ जोड़ता है और कुछ coefficients को ठीक शून्य पर ले आता है, इसलिए यह feature selection भी कर देता है। L2 (ridge) coefficients के वर्गों का जोड़ जोड़ता है, सबको शून्य की तरफ सिकोड़ता है पर किसी को खत्म नहीं करता, जिससे correlated predictors ज्यादा शालीनता से संभल जाते हैं। L1 तब चुनें जब आपको sparse, समझाने लायक model चाहिए; L2 तब जब predictors आपस में correlated हों और आपको स्थिरता चाहिए।

L2 coefficients का वर्ग लेता है और सबको धीरे धीरे शून्य की तरफ सिकोड़ता है। L1 absolute values इस्तेमाल करता है, और चूंकि उस penalty का शून्य पर एक कोना होता है, optimum अक्सर ठीक शून्य पर बैठ जाता है, इसीलिए lasso feature selection का दोहरा काम करता है। जो व्यावहारिक नियम मैं इस्तेमाल करता हूं वह correlation के बारे में है। अगर मेरे पास आपस में बहुत correlated predictors का एक समूह है, तो lasso उनमें से एक को लगभग मनमाने ढंग से चुन लेता है और बाकी को शून्य कर देता है, जो देखने में साफ सुथरा लगता है पर अस्थिर होता है: किसी bootstrap sample पर दोबारा fit करिए और वह कोई दूसरा चुन लेगा। ridge सबको रखता है और weight बांट देता है, जो आम तौर पर ज्यादा ईमानदार है। अगर किसी स्टेकहोल्डर को drivers की एक छोटी लिस्ट चाहिए तो मैं lasso लेता हूं और अस्थिरता स्वीकार करता हूं, पर मैं यह बोलकर कहता हूं कि जो बचे हैं वे एक correlated समूह के प्रतिनिधि हैं, अकेली मायने रखने वाली चीजें नहीं। असल काम में मैं आम तौर पर elastic net उठाता हूं ताकि थोड़ी sparsity मिले पर मनमाना चुनाव न हो, और strength मैं cross validation से tune करता हूं। और मैं हमेशा पहले standardize करता हूं, वरना penalty बस उस feature को सजा देती रहती है जो संयोग से छोटी units में मापा गया हो।