Qual é a diferença prática entre regularização L1 e L2, e como você escolhe entre elas?

L1 (lasso) soma os valores absolutos dos coeficientes à função de perda e leva alguns coeficientes exatamente a zero, então faz seleção de variáveis. L2 (ridge) soma os coeficientes ao quadrado, encolhendo tudo em direção a zero sem eliminar nada, o que lida melhor com preditores correlacionados. Escolha L1 quando você quer um modelo esparso e explicável; escolha L2 quando os preditores são correlacionados e você quer estabilidade.

O L2 eleva os coeficientes ao quadrado e encolhe todos suavemente em direção a zero. O L1 usa valores absolutos, e como essa penalidade tem um bico em zero, o ótimo frequentemente cai exatamente em zero, e é por isso que o lasso serve também como seleção de variáveis. A regra prática que eu uso tem a ver com correlação. Se eu tenho um bloco de preditores muito correlacionados, o lasso escolhe um quase arbitrariamente e zera o resto, o que parece organizado mas é instável: refaça o ajuste em uma amostra de bootstrap e ele escolhe outro. O ridge mantém todos e divide o peso, o que costuma ser mais honesto. Se um stakeholder precisa de uma lista curta de fatores, eu levo o lasso e aceito a instabilidade, mas eu digo em voz alta que os sobreviventes são representantes de um grupo correlacionado, não as únicas coisas que importam. Na prática eu costumo usar elastic net para ter alguma esparsidade sem a escolha arbitrária, e ajusto a força por validação cruzada. E eu sempre padronizo antes, porque senão a penalidade só castiga a feature que por acaso está medida em unidades pequenas.