random forest और gradient boosting में फर्क समझाइए, और बताइए आप कब कौन सा चुनेंगे।

random forest bootstrapped samples पर random feature subsets के साथ कई गहरे trees समानांतर में train करता है, फिर औसत लेता है, जिससे मुख्य रूप से variance घटती है। gradient boosting उथले trees एक के बाद एक train करता है, हर tree अब तक के ensemble की residual errors पर fit होता है, जिससे मुख्य रूप से bias घटती है। tabular डेटा पर accuracy में आम तौर पर boosting जीतता है पर उसे सावधानी से tune करना पड़ता है; forests बिना ज्यादा छेड़छाड़ के कहीं ज्यादा माफ करने वाले होते हैं।

forest बहुत सारे गहरे trees स्वतंत्र रूप से उगाता है, हर एक किसी bootstrap sample पर और हर split पर features के किसी random subset को देखते हुए, फिर उनका औसत ले लेता है। trees अलग अलग overfit और आपस में decorrelated होते हैं, इसलिए औसत लेना variance मार देता है। boosting उलटी शक्ल का है: उथले trees, एक एक करके बने, हर नया tree उन errors पर fit जो ensemble अब भी कर रहा है, तो वह bias को छीलता जाता है। जो नतीजा लोग चूक जाते हैं वह यह है कि trees बढ़ाने पर क्या होता है। forest में ज्यादा trees सचमुच कभी नुकसान नहीं करते, बस converge हो जाते हैं। boosting में ज्यादा trees आखिर में overfit कर देते हैं, इसीलिए learning rate और early stopping इतने मायने रखते हैं। tabular डेटा पर मेरा डिफॉल्ट अब भी gradient boosting है, आम तौर पर LightGBM या XGBoost, कम learning rate और validation set पर early stopping के साथ, क्योंकि structured समस्याओं पर उस जोड़ी ने मेरे आजमाए हुए बाकी सब को हराया है। forest पर मैं तब जाता हूं जब मुझे दस मिनट में लगभग बिना tuning के एक ठोस baseline चाहिए, या जब मुझे अलग validation split काटे बिना out of bag अनुमान चाहिए।