Erklär den Unterschied zwischen Random Forest und Gradient Boosting und wann du was nimmst.

Ein Random Forest trainiert viele tiefe Bäume parallel auf Bootstrap-Samples mit zufälligen Feature-Teilmengen und mittelt sie, was vor allem Variance reduziert. Gradient Boosting trainiert flache Bäume sequenziell, jeder fittet die Residuen des bisherigen Ensembles, was vor allem Bias reduziert. Boosting gewinnt bei tabellarischen Daten meist bei der Genauigkeit, braucht aber sorgfältiges Tuning. Forests sind out of the box deutlich gutmütiger.

Ein Forest zieht viele tiefe Bäume unabhängig hoch, jeden auf einem Bootstrap-Sample und jeden mit einer zufälligen Feature-Teilmenge an jedem Split, und mittelt sie dann. Die Bäume sind einzeln overfittet und dekorreliert, also killt die Mittelung die Variance. Boosting hat die entgegengesetzte Form: flache Bäume, einer nach dem anderen, jeder neue Baum auf die Fehler gefittet, die das Ensemble noch macht, also knabbert es am Bias. Was viele übersehen, ist der Effekt zusätzlicher Bäume. Im Forest schadet mehr praktisch nie, es konvergiert einfach. Beim Boosting overfittet mehr irgendwann, weshalb Learning Rate und Early Stopping so wichtig sind. Mein Default bei tabellarischen Daten ist weiterhin Gradient Boosting, meist LightGBM oder XGBoost, mit niedriger Learning Rate und Early Stopping auf einem Validierungsset, weil diese Kombination bei mir auf strukturierten Problemen alles andere geschlagen hat. Zum Forest greife ich, wenn ich in zehn Minuten eine solide Baseline ohne Tuning will oder wenn ich Out-of-Bag-Schätzungen ohne separaten Validierungssplit brauche.