¿Cuál es la diferencia práctica entre la regularización L1 y L2, y cómo eliges entre ellas?

L1 (lasso) añade a la pérdida la suma de los valores absolutos de los coeficientes y lleva algunos exactamente a cero, así que hace selección de variables. L2 (ridge) añade la suma de los coeficientes al cuadrado, encogiéndolo todo hacia cero sin eliminar nada, lo que maneja los predictores correlacionados con más elegancia. Elige L1 cuando quieras un modelo disperso y explicable; elige L2 cuando los predictores estén correlacionados y quieras estabilidad.

L2 eleva al cuadrado los coeficientes y los encoge todos suavemente hacia cero. L1 usa valores absolutos y, como esa penalización tiene un pico en cero, el óptimo cae a menudo exactamente en cero, que es la razón por la que lasso sirve también como selección de variables. La regla práctica que uso tiene que ver con la correlación. Si tengo un bloque de predictores muy correlacionados, lasso elige uno casi de forma arbitraria y pone a cero el resto, lo cual queda ordenado pero es inestable: reajusta sobre una muestra bootstrap y elige otro distinto. Ridge los mantiene todos y reparte el peso, que suele ser más honesto. Si un interesado necesita una lista corta de factores, uso lasso y acepto la inestabilidad, pero digo en voz alta que los supervivientes son representantes de un grupo correlacionado y no lo único que importa. En la práctica suelo recurrir a elastic net para tener algo de dispersión sin la elección arbitraria, y ajusto la fuerza por validación cruzada. Y siempre estandarizo primero, porque si no, la penalización solo castiga a la variable que casualmente esté medida en unidades pequeñas.