Por que transformers usam layer normalization em vez de batch normalization?

Batch norm normaliza cada feature ao longo do batch, então suas estatísticas dependem da composição do batch e do padding da sequência, e ele se comporta de forma diferente na inferência, onde usa médias correntes. Layer norm normaliza ao longo das features de um único token, independente de batch e de comprimento de sequência, o que o torna estável para sequências de tamanho variável, batches pequenos e decodificação autorregressiva.

Eles normalizam sobre eixos diferentes. O batch norm pega uma única feature e normaliza ela ao longo de todos os exemplos do batch. O layer norm pega um único exemplo, ou um único token, e normaliza ao longo das features dele. Essa diferença decide todo o resto. Com texto você tem sequências de tamanho variável e padding, então as estatísticas de batch ficam poluídas por tokens de pad e mudam dependendo do que calhou de ser agrupado junto. O batch norm também carrega o descasamento entre treino e inferência, em que você treina com estatísticas de batch e serve com médias correntes, e durante a decodificação autorregressiva você costuma estar gerando um token por vez com batch de um, onde estatísticas de batch não significam nada. O layer norm não tem dependência de batch nenhuma, então treino e inferência são idênticos e o tamanho do batch não importa. Sobre posicionamento, transformers modernos colocam a norma antes da subcamada em vez de depois, porque o pre norm mantém o caminho residual limpo e permite treinar pilhas profundas sem um schedule de warmup delicado. A maioria dos modelos atuais também migrou para o RMSNorm, que abandona a centralização pela média e só reescala, porque é mais barato e funciona praticamente igual.