Quelle est la différence entre SGD avec momentum et Adam, et lequel choisissez-vous ?

SGD avec momentum utilise un seul taux d'apprentissage global et accumule un terme de vitesse pour lisser les mises à jour. Adam garde des taux adaptatifs par paramètre à partir d'estimations glissantes des premiers et seconds moments du gradient, donc il converge vite avec peu de réglage. Adam est le choix par défaut pour les transformeurs et les problèmes creux ; un SGD avec momentum bien réglé généralise encore mieux sur de nombreux modèles de vision.

Le momentum garde une moyenne glissante des gradients passés, donc la mise à jour emporte de la vitesse à travers les zones plates et amortit les oscillations dans un ravin. Il reste un seul taux d'apprentissage pour tous les paramètres. Adam ajoute une seconde moyenne glissante, celle des gradients au carré, et divise par sa racine, ce qui donne à chaque paramètre son propre pas effectif. Les paramètres à gradients constamment grands reçoivent des pas plus petits, les caractéristiques rares à gradients creux en reçoivent de plus grands. En pratique, Adam est bien moins sensible au choix d'un mauvais taux d'apprentissage initial, ce qui explique qu'il soit le choix par défaut pour tout ce qui a la forme d'un transformeur et pour les modèles chargés en embeddings. Mon vrai choix par défaut est AdamW plutôt qu'Adam simple, parce qu'intégrer la décroissance des poids dans le terme adaptatif rend la décroissance de fait différente par paramètre, et la découpler corrige ça. Je l'associe à un warmup linéaire sur quelques centaines de pas puis à une décroissance cosinus. Là où je bascule vers SGD avec momentum, c'est pour le fine-tuning de backbones de vision convolutifs, où un schedule bien réglé finit encore par gagner près d'un point d'exactitude en validation, si j'ai le budget pour le régler.