आपने किसी training run में batch size दोगुना कर दिया। learning rate का क्या करेंगे, और क्यों?

learning rate बढ़ाइए, मामूली बढ़त के लिए मोटे तौर पर batch size के अनुपात में, या कुछ विश्लेषणों के हिसाब से उसके square root के अनुपात में। बड़ा batch कम variance वाला gradient estimate देता है, इसलिए आप बड़ा कदम उठा सकते हैं। व्यवहार में warmup भी चाहिए, क्योंकि ट्रेनिंग की शुरुआत में linear नियम टूट जाता है, और बहुत बड़े batches एक हद के बाद generalization सुधारना बंद कर देते हैं।

डिफॉल्ट linear scaling है: batch दोगुना, learning rate दोगुना। तर्क यह है कि किसी batch पर आप जो gradient निकालते हैं वह असली gradient का एक estimate है, और batch size बढ़ने पर उसका variance गिरता है, इसलिए बड़ा batch ज्यादा भरोसेमंद दिशा देता है और आप उसमें आनुपातिक रूप से बड़ा कदम रख सकते हैं। जो चीज लोग छोड़ देते हैं वह warmup है। शुरुआत में weights random होते हैं और loss surface मेहरबान नहीं होता, इसलिए batch size बढ़ाने के तुरंत बाद लगाया गया बड़ा learning rate पहले कुछ सौ steps में ही run उड़ा देगा। तो मैं एक warmup window में लगभग शून्य से target तक linear चढ़ता हूं, फिर decay करता हूं। एक खास batch size के आगे नियम फायदा देना बंद कर देता है, एक तो इसलिए कि gradient estimate का variance पहले ही कम है और आपको कुछ मिलता नहीं, और दूसरा इसलिए कि प्रति epoch optimizer steps कहीं कम हो जाते हैं, जो generalization को नुकसान पहुंचाता दिखता है। जिन मॉडलों पर मैंने काम किया है, उन पर वह छत मुझे प्रति batch कुछ हजार samples के आसपास मिली है। तो batch size बदलने के बाद मेरी रूटीन है scale कीजिए, warm up कीजिए, और फिर चले जाने की बजाय पहले हजार steps तक loss curve देखिए।