Was ist der praktische Unterschied zwischen L1- und L2-Regularisierung, und wie entscheidest du dich?

L1 (Lasso) addiert die Summe der absoluten Koeffizienten zum Loss und drückt manche Koeffizienten exakt auf null, macht also Feature Selection. L2 (Ridge) addiert die Summe der quadrierten Koeffizienten, schrumpft alles Richtung null, ohne etwas zu eliminieren, und geht eleganter mit korrelierten Prädiktoren um. Nimm L1, wenn du ein sparsames, erklärbares Modell willst, und L2, wenn Prädiktoren korreliert sind und du Stabilität brauchst.

L2 quadriert die Koeffizienten und schrumpft sie alle glatt Richtung null. L1 nutzt Beträge, und weil diese Penalty bei null eine Ecke hat, landet das Optimum oft exakt auf null, weshalb Lasso nebenbei Feature Selection macht. Meine praktische Regel dreht sich um Korrelation. Habe ich einen Block stark korrelierter Prädiktoren, greift Lasso fast willkürlich einen heraus und nullt den Rest. Sieht aufgeräumt aus, ist aber instabil: Refit auf einem Bootstrap-Sample und es nimmt einen anderen. Ridge behält alle und teilt das Gewicht auf, was in der Regel ehrlicher ist. Wenn ein Stakeholder eine kurze Liste von Treibern braucht, nehme ich Lasso und akzeptiere die Instabilität, sage aber laut dazu, dass die Überlebenden Vertreter einer korrelierten Gruppe sind und nicht die einzigen relevanten Größen. In der Praxis greife ich meist zu Elastic Net, dann bekomme ich etwas Sparsity ohne das willkürliche Auswählen, und die Stärke tune ich per Cross Validation. Und ich standardisiere immer zuerst, sonst bestraft die Penalty einfach das Feature, das zufällig in kleinen Einheiten gemessen wird.