Vous doublez la taille de lot sur un entraînement. Que faites-vous du taux d'apprentissage, et pourquoi ?

Augmentez le taux d'apprentissage, à peu près linéairement avec la taille de lot pour des hausses modérées, ou en racine carrée selon certaines analyses. Un lot plus grand donne une estimation du gradient à variance plus faible, donc vous pouvez vous permettre un pas plus grand. En pratique il vous faut aussi du warmup, puisque la règle linéaire s'effondre en début d'entraînement, et les très grands lots finissent par ne plus améliorer la généralisation.

Par défaut, mise à l'échelle linéaire : lot doublé, taux d'apprentissage doublé. La logique, c'est que le gradient calculé sur un lot est une estimation du vrai gradient, et que sa variance baisse avec la taille de lot, donc un lot plus grand vous donne une direction plus fiable et vous pouvez faire un pas proportionnellement plus grand dans cette direction. Ce que les gens sautent, c'est le warmup. Tout au début, les poids sont aléatoires et la surface de perte n'est pas accueillante, donc un grand taux d'apprentissage appliqué juste après un saut de taille de lot fera exploser l'entraînement dans les premières centaines de pas. Donc je monte linéairement de presque zéro jusqu'à la cible sur une fenêtre de warmup, puis je décrois. Au-delà d'une certaine taille de lot la règle ne paie plus, à la fois parce que l'estimation du gradient est déjà à faible variance donc vous ne gagnez rien, et parce que vous faites beaucoup moins de pas d'optimiseur par epoch, ce qui semble nuire à la généralisation. J'ai touché ce plafond autour de quelques milliers d'échantillons par lot sur les modèles que j'ai traités. Donc ma routine après tout changement de taille de lot, c'est mettre à l'échelle, faire le warmup, puis surveiller la courbe de perte sur les mille premiers pas plutôt que de partir.