Qual é a diferença entre SGD com momentum e Adam, e qual você escolhe?

SGD com momentum usa uma única taxa de aprendizado global e acumula um termo de velocidade para suavizar as atualizações. O Adam mantém taxas adaptativas por parâmetro a partir de estimativas correntes do primeiro e do segundo momento do gradiente, então ele converge rápido com pouco ajuste. O Adam é o padrão para transformers e problemas esparsos; um SGD com momentum bem tunado ainda generaliza melhor em muitos modelos de visão.

O momentum guarda uma média corrente dos gradientes passados, então a atualização carrega velocidade por regiões planas e amortece a oscilação ao atravessar uma ravina. Ainda existe uma única taxa de aprendizado para todo parâmetro. O Adam adiciona uma segunda média corrente, dos gradientes ao quadrado, e divide pela raiz quadrada dela, o que dá a cada parâmetro seu próprio tamanho de passo efetivo. Parâmetros com gradientes consistentemente grandes ganham passos menores, features raras com gradientes esparsos ganham passos maiores. Na prática isso significa que o Adam é muito menos sensível a escolher a taxa de aprendizado inicial errada, e é por isso que ele é o padrão para qualquer coisa em formato de transformer e para modelos pesados em embeddings. Meu padrão de fato é o AdamW em vez do Adam puro, porque dobrar o weight decay dentro do termo adaptativo faz o decaimento ficar efetivamente diferente por parâmetro, e desacoplar corrige isso. Eu combino com warmup linear por algumas centenas de passos e depois decaimento cosseno. Onde eu de fato troco para SGD com momentum é no fine tuning de backbones convolucionais de visão, onde um schedule bem tunado ainda tende a ficar cerca de um ponto melhor na acurácia de validação, se eu tiver orçamento para tunar.