Erklär mir den Bias-Variance-Tradeoff und wie er sich zeigt, wenn du tatsächlich ein Modell tunst.

Bias ist der Fehler eines Modells, das zu simpel ist, um das echte Signal abzubilden. Variance ist der Fehler eines Modells, das so flexibel ist, dass es Rauschen im Trainingssample mitlernt. Der erwartete Gesamtfehler ist Bias zum Quadrat plus Variance plus nicht reduzierbares Rauschen. In der Praxis siehst du das als Lücke: hoher Trainings- und Validierungsfehler heißt Bias, niedriger Trainingsfehler bei deutlich schlechterer Validierung heißt Variance.

Bias ist der Fehler, der entsteht, weil dein Modell den echten Zusammenhang gar nicht abbilden kann. Variance ist der Fehler, der entsteht, weil es dem Rauschen in genau dem Sample hinterherjagt, auf dem du zufällig trainiert hast. Nützlich wird das erst, wenn man es als Debugging-Werkzeug benutzt und nicht als Spruch. Ich schaue mir Trainingsfehler und Validierungsfehler nebeneinander an. Sind beide schlecht, habe ich ein Bias-Problem, also mehr Kapazität, reichhaltigere Features, Interaktionen. Ist der Trainingsfehler nahe null und die Validierung deutlich schlechter, ist das Variance, also stärkere Regularisierung, weniger Features oder mehr Daten, wenn ich sie bekomme. Das deutlichste Beispiel bei mir war ein Gradient Boosted Model auf Transaktionsdaten. Bei Tiefe zehn war es auf Training fast perfekt und auf Holdout deutlich schlechter. Runter auf Tiefe vier plus eine Leaf-Penalty hat den Großteil der Lücke geschlossen, und die Holdout-AUC ist sogar gestiegen. Woran ich außerdem denke: mehr Daten helfen enorm gegen Variance und praktisch gar nicht gegen Bias. Wenn die Lernkurve also flach ist, ist der Zukauf weiterer Zeilen rausgeworfenes Geld.