Warum nutzen Transformer Layer Normalization statt Batch Normalization?

Batch Norm normalisiert jedes Feature über den Batch, seine Statistiken hängen also von der Batch-Zusammensetzung und vom Sequenz-Padding ab, und es verhält sich zur Inferenzzeit anders, weil es dort laufende Durchschnitte nutzt. Layer Norm normalisiert über die Features eines einzelnen Tokens, unabhängig von Batch und Sequenzlänge, was es für variable Längen, kleine Batches und autoregressives Decoding stabil macht.

Sie normalisieren über verschiedene Achsen. Batch Norm nimmt ein einzelnes Feature und normalisiert es über alle Beispiele im Batch. Layer Norm nimmt ein einzelnes Beispiel, oder ein einzelnes Token, und normalisiert über dessen Features. Dieser Unterschied entscheidet alles Weitere. Bei Text hast du variable Sequenzlängen und Padding, die Batch-Statistiken werden also von Pad-Tokens verunreinigt und verschieben sich je nachdem, was zufällig zusammen im Batch lag. Batch Norm schleppt außerdem den Train-Inference-Mismatch mit, du trainierst auf Batch-Statistiken und servierst auf laufenden Durchschnitten, und beim autoregressiven Decoding generierst du oft ein Token nach dem anderen mit einem Batch von eins, wo Batch-Statistiken bedeutungslos sind. Layer Norm hat überhaupt keine Batch-Abhängigkeit, Training und Inferenz sind identisch und die Batch Size ist egal. Zur Platzierung: moderne Transformer setzen die Norm vor den Sublayer statt danach, weil Pre-Norm den Residual-Pfad sauber hält und dich tiefe Stacks ohne fragilen Warmup-Schedule trainieren lässt. Die meisten aktuellen Modelle sind außerdem auf RMSNorm umgestiegen, das die Mittelwertzentrierung weglässt und nur reskaliert, weil es billiger ist und ungefähr genauso gut funktioniert.