Pourquoi les transformeurs utilisent-ils la normalisation par couche plutôt que la normalisation par lot ?

La batch norm normalise chaque caractéristique à travers le lot, donc ses statistiques dépendent de la composition du lot et du padding des séquences, et elle se comporte différemment à l'inférence où elle utilise des moyennes glissantes. La layer norm normalise à travers les caractéristiques d'un seul token, indépendamment du lot et de la longueur de séquence, ce qui la rend stable pour des séquences de longueur variable, de petits lots et le décodage autorégressif.

Elles normalisent sur des axes différents. La batch norm prend une seule caractéristique et la normalise sur tous les exemples du lot. La layer norm prend un seul exemple, ou un seul token, et normalise sur ses caractéristiques. Cette différence décide de tout le reste. Avec du texte vous avez des séquences de longueur variable et du padding, donc les statistiques de lot sont polluées par les tokens de remplissage et se déplacent selon ce qui s'est trouvé regroupé. La batch norm porte aussi l'écart entre entraînement et inférence, où vous entraînez sur des statistiques de lot et servez sur des moyennes glissantes, et pendant le décodage autorégressif vous générez souvent un token à la fois avec un lot de taille un, où les statistiques de lot n'ont aucun sens. La layer norm n'a aucune dépendance au lot, donc entraînement et inférence sont identiques et la taille de lot n'a pas d'importance. Sur le placement, les transformeurs modernes mettent la normalisation avant la sous-couche plutôt qu'après, parce que le pre-norm garde le chemin résiduel propre et permet d'entraîner des piles profondes sans schedule de warmup délicat. La plupart des modèles actuels sont aussi passés à RMSNorm, qui abandonne le centrage de la moyenne et se contente de remettre à l'échelle, parce que c'est moins coûteux et que ça marche à peu près aussi bien.