Você dobra o batch size num treino. O que você faz com a taxa de aprendizado, e por quê?

Aumente a taxa de aprendizado, aproximadamente linear com o batch size para aumentos moderados, ou pela raiz quadrada segundo algumas análises. Um batch maior dá uma estimativa de gradiente com variância menor, então você pode bancar um passo maior. Na prática você também precisa de warmup, já que a regra linear quebra no início do treino, e batches muito grandes eventualmente param de melhorar a generalização.

O padrão é escala linear: dobrou o batch, dobrou a taxa de aprendizado. A lógica é que o gradiente que você calcula num batch é uma estimativa do gradiente verdadeiro, e a variância dela cai com o tamanho do batch, então um batch maior te dá uma direção mais confiável e você pode dar um passo proporcionalmente maior nela. O que as pessoas pulam é o warmup. Logo no começo os pesos são aleatórios e a superfície de perda não é amigável, então uma taxa de aprendizado grande aplicada imediatamente após um salto de batch size vai explodir o treino nas primeiras centenas de passos. Então eu subo linearmente de perto de zero até o alvo ao longo de uma janela de warmup e depois decaio. Passado certo tamanho de batch a regra para de compensar, tanto porque a estimativa de gradiente já tem variância baixa e você não ganha nada, quanto porque você dá muito menos passos de otimizador por época, o que parece prejudicar a generalização. Eu bati nesse teto perto de alguns milhares de amostras por batch nos modelos com que trabalhei. Então minha rotina depois de qualquer mudança de batch size é escalar, aquecer, e aí observar a curva de loss nos primeiros mil passos em vez de sair andando.