Du verdoppelst die Batch Size in einem Trainingslauf. Was machst du mit der Learning Rate, und warum?

Zieh die Learning Rate hoch, bei moderaten Erhöhungen ungefähr linear mit der Batch Size, nach manchen Analysen mit der Wurzel. Ein größerer Batch liefert eine Gradientenschätzung mit geringerer Varianz, du kannst dir also einen größeren Schritt leisten. In der Praxis brauchst du zusätzlich Warmup, weil die lineare Regel früh im Training zusammenbricht, und sehr große Batches hören irgendwann auf, die Generalisierung zu verbessern.

Default ist lineares Skalieren: Batch verdoppeln, Learning Rate verdoppeln. Die Logik ist, dass der Gradient, den du auf einem Batch berechnest, eine Schätzung des wahren Gradienten ist, und seine Varianz sinkt mit der Batch Size, ein größerer Batch gibt dir also eine vertrauenswürdigere Richtung und du kannst einen proportional größeren Schritt in sie machen. Was Leute überspringen, ist Warmup. Ganz am Anfang sind die Gewichte zufällig und die Loss-Oberfläche ist nicht freundlich, eine große Learning Rate direkt nach einem Batch-Size-Sprung jagt dir den Lauf in den ersten paar hundert Steps hoch. Ich rampe also linear von nahe null auf den Zielwert über ein Warmup-Fenster und lasse danach abklingen. Ab einer gewissen Batch Size zahlt sich die Regel nicht mehr aus, einmal weil die Gradientenschätzung ohnehin schon eine niedrige Varianz hat und du nichts gewinnst, und weil du pro Epoche deutlich weniger Optimizer-Steps machst, was der Generalisierung offenbar schadet. Bei den Modellen, mit denen ich gearbeitet habe, lag diese Decke bei ein paar tausend Samples pro Batch. Meine Routine nach jeder Änderung der Batch Size ist also: skalieren, warmup, und dann die Loss-Kurve über die ersten tausend Steps anschauen statt einfach wegzugehen.