Quelle est la différence pratique entre la régularisation L1 et L2, et comment choisissez-vous entre les deux ?

La L1 (lasso) ajoute la somme des coefficients en valeur absolue à la fonction de perte et pousse certains coefficients exactement à zéro, donc elle fait de la sélection de variables. La L2 (ridge) ajoute la somme des coefficients au carré, ce qui rétrécit tout vers zéro sans rien éliminer, et gère plus élégamment les prédicteurs corrélés. Prenez la L1 quand vous voulez un modèle parcimonieux et explicable ; prenez la L2 quand les prédicteurs sont corrélés et que vous voulez de la stabilité.

La L2 met les coefficients au carré et les rétrécit tous en douceur vers zéro. La L1 utilise les valeurs absolues, et comme cette pénalité a un coin en zéro, l'optimum tombe souvent exactement sur zéro, ce qui fait que le lasso sert aussi de sélection de variables. La règle pratique que j'applique porte sur la corrélation. Si j'ai un bloc de prédicteurs très corrélés, le lasso en choisit un presque arbitrairement et met les autres à zéro, ce qui paraît propre mais est instable : réajustez sur un échantillon bootstrap et il en choisit un autre. La ridge les garde tous et répartit le poids, ce qui est en général plus honnête. Si une partie prenante a besoin d'une courte liste de facteurs, je prends le lasso et j'accepte l'instabilité, mais je dis à voix haute que les survivants sont des représentants d'un groupe corrélé, pas les seules choses qui comptent. En pratique je me tourne souvent vers l'elastic net, ce qui me donne un peu de parcimonie sans le choix arbitraire, et je règle la force par validation croisée. Et je standardise toujours d'abord, sinon la pénalité punit simplement la variable qui se trouve être mesurée dans de petites unités.