Explica la diferencia entre un random forest y el gradient boosting, y cuándo elegirías cada uno.

Un random forest entrena muchos árboles profundos en paralelo sobre muestras bootstrap con subconjuntos aleatorios de variables y luego promedia, lo que reduce sobre todo la varianza. El gradient boosting entrena árboles poco profundos de forma secuencial, cada uno ajustando los errores residuales del conjunto hasta ese momento, lo que reduce sobre todo el sesgo. El boosting suele ganar en precisión con datos tabulares pero exige un ajuste cuidadoso; los bosques son mucho más indulgentes tal cual vienen.

Un bosque hace crecer muchos árboles profundos de forma independiente, cada uno sobre una muestra bootstrap y considerando un subconjunto aleatorio de variables en cada división, y luego los promedia. Los árboles están individualmente sobreajustados y descorrelacionados, así que promediar mata la varianza. El boosting tiene la forma opuesta: árboles poco profundos, construidos de uno en uno, cada árbol nuevo ajustado a los errores que el conjunto todavía comete, así que va royendo el sesgo. La consecuencia que se pierde la gente es qué pasa según añades árboles. En un bosque, más árboles nunca hace daño de verdad, simplemente converge. En el boosting, más árboles acaba sobreajustando, que es por lo que la tasa de aprendizaje y la parada temprana importan tanto. Mi opción por defecto en datos tabulares sigue siendo gradient boosting, normalmente LightGBM o XGBoost, con una tasa de aprendizaje baja y parada temprana sobre un conjunto de validación, porque esa combinación le ha ganado a todo lo demás que he probado en problemas estructurados. Recurro a un bosque cuando quiero una línea base sólida en diez minutos casi sin ajuste, o cuando quiero estimaciones out of bag sin separar un conjunto de validación aparte.