momentum वाले SGD और Adam में क्या फर्क है, और आप किसे चुनते हैं?

momentum वाला SGD एक ही global learning rate इस्तेमाल करता है और updates को smooth करने के लिए एक velocity term जमा करता रहता है। Adam gradient के first और second moment के running estimates से हर parameter का अपना adaptive rate रखता है, इसलिए वह बहुत कम tuning में तेजी से converge हो जाता है। transformers और sparse समस्याओं के लिए डिफॉल्ट Adam है; बहुत सारे vision models पर ढंग से tune किया गया momentum वाला SGD आज भी बेहतर generalize करता है।

momentum पिछले gradients का running average रखता है, इसलिए update flat हिस्सों में गति लेकर चलता है और किसी घाटी के आर पार होने वाला oscillation दब जाता है। फिर भी learning rate हर parameter के लिए एक ही रहता है। Adam एक दूसरा running average जोड़ता है, squared gradients का, और उसके square root से भाग देता है, जिससे हर parameter को अपना effective step size मिल जाता है। जिन parameters के gradients लगातार बड़े होते हैं उन्हें छोटे कदम मिलते हैं, और sparse gradients वाले दुर्लभ features को बड़े। व्यावहारिक तौर पर इसका मतलब है कि शुरुआती learning rate गलत चुनने पर Adam कहीं कम संवेदनशील है, और इसीलिए वह हर transformer जैसी चीज और embedding heavy models के लिए डिफॉल्ट है। मेरा असल डिफॉल्ट सादा Adam नहीं, AdamW है, क्योंकि weight decay को adaptive term के अंदर घोल देने से decay हर parameter के लिए अलग अलग हो जाता है, और उसे अलग करना यही ठीक करता है। मैं उसके साथ कुछ सौ steps का linear warmup और फिर cosine decay लगाता हूं। जहां मैं सचमुच momentum वाले SGD पर जाता हूं वह है convolutional vision backbones का fine tuning, जहां ढंग से tune किया गया schedule validation accuracy पर आज भी करीब एक पॉइंट बेहतर उतरता है, बशर्ते उसे tune करने का बजट मेरे पास हो।