transformers batch normalization की जगह layer normalization क्यों इस्तेमाल करते हैं?

batch norm हर feature को batch भर में normalize करता है, इसलिए उसके statistics batch की बनावट और sequence padding पर निर्भर होते हैं, और inference पर वह अलग बर्ताव करता है जहां वह running averages इस्तेमाल करता है। layer norm एक ही token के features भर में normalize करता है, batch और sequence length से स्वतंत्र, जो उसे बदलती लंबाई वाले sequences, छोटे batches और autoregressive decoding के लिए स्थिर बनाता है।

वे अलग अलग axes पर normalize करते हैं। batch norm एक feature लेता है और उसे batch के सारे examples भर में normalize करता है। layer norm एक example, या एक token, लेता है और उसके features भर में normalize करता है। यही फर्क बाकी सब तय कर देता है। text में sequences की लंबाई बदलती रहती है और padding होती है, इसलिए batch statistics pad tokens से गंदे हो जाते हैं और इस बात से खिसकते हैं कि साथ में batch क्या हो गया। batch norm train और inference का बेमेल भी ढोता है, जहां आप batch statistics पर ट्रेन करते हैं और running averages पर serve करते हैं, और autoregressive decoding में आप अक्सर एक बार में एक token बना रहे होते हैं, batch size एक के साथ, जहां batch statistics का कोई मतलब ही नहीं। layer norm में batch निर्भरता है ही नहीं, इसलिए training और inference एक जैसे हैं और batch size मायने नहीं रखता। placement की बात करें तो आजकल के transformers norm को sublayer के बाद नहीं, पहले रखते हैं, क्योंकि pre norm residual रास्ता साफ रखता है और नाजुक warmup schedule के बिना deep stacks ट्रेन करने देता है। ज्यादातर मौजूदा मॉडल RMSNorm पर भी चले गए हैं, जो mean centering छोड़कर सिर्फ rescale करता है, क्योंकि वह सस्ता है और लगभग उतना ही अच्छा काम करता है।