Duplicas el tamaño de batch en un entrenamiento. ¿Qué le haces a la tasa de aprendizaje, y por qué?

Súbela, más o menos de forma lineal con el tamaño de batch para incrementos moderados, o según la raíz cuadrada bajo algunos análisis. Un batch mayor da una estimación del gradiente con menos varianza, así que te puedes permitir un paso más grande. En la práctica también necesitas warmup, ya que la regla lineal se rompe al principio del entrenamiento, y los batches muy grandes acaban dejando de mejorar la generalización.

Por defecto, escalado lineal: doble de batch, doble de tasa de aprendizaje. La lógica es que el gradiente que calculas sobre un batch es una estimación del gradiente verdadero, y su varianza baja con el tamaño de batch, así que un batch mayor te da una dirección más fiable y puedes dar un paso proporcionalmente mayor en ella. Lo que la gente se salta es el warmup. Justo al principio los pesos son aleatorios y la superficie de pérdida no es amable, así que una tasa de aprendizaje grande aplicada de inmediato tras subir el batch te revienta la ejecución en los primeros cientos de pasos. Así que subo de forma lineal desde casi cero hasta el objetivo durante una ventana de warmup, y luego decaigo. Pasado cierto tamaño de batch la regla deja de compensar, tanto porque la estimación del gradiente ya tiene poca varianza y no ganas nada, como porque das muchos menos pasos de optimizador por época, lo que parece perjudicar la generalización. Yo he tocado ese techo alrededor de unos pocos miles de muestras por batch en los modelos con los que he trabajado. Así que mi rutina tras cualquier cambio de tamaño de batch es escalar, hacer warmup, y luego vigilar la curva de pérdida durante los primeros mil pasos en vez de irme.