¿Por qué usan los transformers normalización por capa en lugar de normalización por batch?

La batch norm normaliza cada característica a lo largo del batch, así que sus estadísticas dependen de la composición del batch y del padding de la secuencia, y se comporta distinto en inferencia, donde usa medias móviles. La layer norm normaliza a lo largo de las características de un solo token, con independencia del batch y de la longitud de secuencia, lo que la vuelve estable con secuencias de longitud variable, batches pequeños y decodificación autorregresiva.

Normalizan sobre ejes distintos. La batch norm toma una sola característica y la normaliza a lo largo de todos los ejemplos del batch. La layer norm toma un solo ejemplo, o un solo token, y normaliza a lo largo de sus características. Esa diferencia decide todo lo demás. Con texto tienes secuencias de longitud variable y padding, así que las estadísticas de batch se contaminan con tokens de relleno y cambian según lo que haya caído junto en el batch. La batch norm también arrastra el desajuste entre entrenamiento e inferencia, donde entrenas con estadísticas de batch y sirves con medias móviles, y durante la decodificación autorregresiva a menudo generas un token cada vez con un batch de uno, donde las estadísticas de batch no significan nada. La layer norm no tiene ninguna dependencia del batch, así que entrenamiento e inferencia son idénticos y el tamaño de batch da igual. Sobre la colocación, los transformers modernos ponen la norma antes del subnivel en vez de después, porque el pre norm mantiene limpio el camino residual y te deja entrenar pilas profundas sin un schedule de warmup delicado. La mayoría de los modelos actuales también se han pasado a RMSNorm, que quita el centrado de la media y solo reescala, porque es más barata y funciona más o menos igual de bien.