Was ist der Unterschied zwischen SGD mit Momentum und Adam, und wozu greifst du?

SGD mit Momentum nutzt eine globale Learning Rate und sammelt einen Velocity-Term, der die Updates glättet. Adam hält pro Parameter adaptive Raten aus laufenden Schätzungen des ersten und zweiten Moments des Gradienten, konvergiert also schnell und mit wenig Tuning. Adam ist der Default für Transformer und für sparse Probleme; ein gut getuntes SGD mit Momentum generalisiert bei vielen Vision-Modellen immer noch besser.

Momentum hält einen laufenden Durchschnitt vergangener Gradienten, das Update trägt also Geschwindigkeit durch flache Regionen und dämpft das Oszillieren quer durch eine Schlucht. Es gibt trotzdem nur eine Learning Rate für alle Parameter. Adam nimmt einen zweiten laufenden Durchschnitt dazu, den der quadrierten Gradienten, und teilt durch dessen Wurzel, womit jeder Parameter seine eigene effektive Schrittweite bekommt. Parameter mit dauerhaft großen Gradienten bekommen kleinere Schritte, seltene Features mit sparse Gradienten größere. Praktisch heißt das: Adam reagiert viel unempfindlicher darauf, dass du die initiale Learning Rate falsch triffst, und genau deshalb ist es der Default für alles Transformer-Förmige und für Embedding-lastige Modelle. Mein echter Default ist AdamW statt reinem Adam, weil Weight Decay im adaptiven Term dazu führt, dass der Decay effektiv pro Parameter unterschiedlich wirkt, und die Entkopplung repariert das. Ich kombiniere es mit linearem Warmup über ein paar hundert Steps und danach Cosine Decay. Wo ich tatsächlich auf SGD mit Momentum wechsle, ist das Fine-Tuning konvolutionaler Vision-Backbones, da landet ein gut getunter Schedule immer noch gern einen Prozentpunkt besser auf der Validation Accuracy, wenn ich das Budget zum Tunen habe.