Expliquez la différence entre une forêt aléatoire et le gradient boosting, et dans quels cas vous choisiriez chacun.

Une forêt aléatoire entraîne en parallèle de nombreux arbres profonds sur des échantillons bootstrap avec des sous-ensembles aléatoires de variables, puis fait la moyenne, ce qui réduit surtout la variance. Le gradient boosting entraîne des arbres peu profonds en séquence, chacun ajustant les erreurs résiduelles de l'ensemble constitué jusque-là, ce qui réduit surtout le biais. Le boosting l'emporte en général sur la performance pour les données tabulaires mais demande un réglage soigneux ; les forêts sont beaucoup plus tolérantes sans réglage.

Une forêt fait pousser beaucoup d'arbres profonds indépendamment, chacun sur un échantillon bootstrap et chacun considérant un sous-ensemble aléatoire de variables à chaque coupure, puis les moyenne. Les arbres surapprennent individuellement et sont décorrélés, donc la moyenne tue la variance. Le boosting a la forme inverse : des arbres peu profonds, construits un par un, chaque nouvel arbre ajusté aux erreurs que l'ensemble commet encore, donc il grignote le biais. La conséquence qu'on rate, c'est ce qui se passe quand on ajoute des arbres. Dans une forêt, plus d'arbres ne fait jamais vraiment de mal, ça converge. Dans le boosting, plus d'arbres finit par surapprendre, et c'est pour ça que le taux d'apprentissage et l'arrêt anticipé comptent autant. Mon choix par défaut sur des données tabulaires reste le gradient boosting, en général LightGBM ou XGBoost, avec un faible taux d'apprentissage et un arrêt anticipé sur un jeu de validation, parce que cette combinaison a battu tout le reste que j'ai essayé sur des problèmes structurés. Je prends une forêt quand je veux une base solide en dix minutes avec presque aucun réglage, ou quand je veux des estimations out of bag sans découper un jeu de validation séparé.