bias variance tradeoff समझाइए, और यह भी कि जब आप सचमुच कोई model tune कर रहे होते हैं तब यह कैसे दिखता है।

bias वह error है जो तब आती है जब model असली signal पकड़ने के लिए बहुत सरल हो; variance वह error है जो तब आती है जब model इतना flexible हो कि वह training sample के noise को भी fit कर ले। कुल expected error = bias का वर्ग + variance + irreducible noise। असल काम में यह एक gap की तरह दिखता है: training और validation दोनों की error ऊंची है तो bias, training error कम पर validation उससे कहीं खराब है तो variance।

bias वह error है जो इसलिए मिलती है क्योंकि आपका model असली रिश्ता दिखा ही नहीं सकता, और variance वह error है जो इसलिए मिलती है क्योंकि model उस sample के noise के पीछे भाग रहा है जिस पर उसे train किया गया। इसे काम की चीज यह बनाता है कि यह एक नारा नहीं, एक debugging टूल है। मैं training error को validation error के बगल में रखकर देखता हूं। अगर दोनों खराब हैं तो मेरे पास bias की समस्या है, तो मैं capacity, ज्यादा समृद्ध features या interactions जोड़ता हूं। अगर training error लगभग शून्य है और validation कहीं ज्यादा खराब, तो वह variance है, इसलिए मैं मजबूत regularization, कम features, या मुमकिन हो तो ज्यादा डेटा के साथ पीछे हटता हूं। सबसे साफ उदाहरण मुझे transaction डेटा पर एक gradient boosted model में मिला। depth दस पर वह training पर लगभग परफेक्ट स्कोर कर रहा था और holdout पर कहीं खराब। depth चार पर लाकर एक leaf penalty जोड़ने से gap का ज्यादातर हिस्सा बंद हो गया और holdout AUC सचमुच ऊपर चला गया। दूसरी बात जो मैं देखता रहता हूं, वह यह कि ज्यादा डेटा variance में बहुत मदद करता है और bias में लगभग कुछ नहीं, इसलिए अगर learning curve सपाट हो चुकी है तो और rows खरीदना पैसे की बर्बादी है।