¿Cuál es la diferencia entre SGD con momentum y Adam, y cuál eliges tú?

SGD con momentum usa una sola tasa de aprendizaje global y acumula un término de velocidad para suavizar las actualizaciones. Adam mantiene tasas adaptativas por parámetro a partir de estimaciones móviles del primer y el segundo momento del gradiente, así que converge rápido con poco ajuste. Adam es el valor por defecto para transformers y problemas dispersos; un SGD con momentum bien ajustado todavía generaliza mejor en muchos modelos de visión.

El momentum guarda una media móvil de los gradientes pasados, así que la actualización arrastra velocidad por las zonas planas y amortigua la oscilación al cruzar un barranco. Sigue habiendo una sola tasa de aprendizaje para todos los parámetros. Adam añade una segunda media móvil, la de los gradientes al cuadrado, y divide por su raíz, lo que le da a cada parámetro su propio tamaño de paso efectivo. Los parámetros con gradientes grandes de forma consistente reciben pasos más pequeños, y las características raras con gradientes dispersos reciben pasos mayores. En la práctica eso significa que Adam es mucho menos sensible a elegir mal la tasa de aprendizaje inicial, y por eso es el valor por defecto para cualquier cosa con forma de transformer y para modelos con muchos embeddings. Mi opción real por defecto es AdamW y no Adam a secas, porque meter el weight decay dentro del término adaptativo hace que el decay sea de hecho distinto por parámetro, y desacoplarlo lo corrige. Lo combino con un warmup lineal de unos cientos de pasos y luego un decaimiento coseno. Donde sí me paso a SGD con momentum es en el ajuste fino de backbones convolucionales de visión, donde un schedule bien ajustado todavía suele acabar un punto por encima en precisión de validación, si tengo presupuesto para ajustarlo.