किसी deep network में vanishing gradients की वजह क्या होती है, और आजकल के आर्किटेक्चर उससे कैसे बचते हैं?

gradients तब गायब होते हैं जब backpropagation के दौरान छोटे derivatives का बार बार गुणा signal को शुरुआती layers तक पहुंचने से पहले ही शून्य की तरफ सिकोड़ देता है, और वे layers सीखना बंद कर देती हैं। sigmoid और tanh जैसे saturating activations इसकी क्लासिक वजह हैं। आजकल के इलाज हैं ReLU परिवार के activations, residual connections जो gradients को सीधा रास्ता देते हैं, He या Xavier जैसा scaled initialization, और normalization layers।

backprop derivatives को layer दर layer गुणा करता है। अगर हर layer का local derivative एक से कम है और आपके पास पचास layers हैं, तो गुणनफल exponentially शून्य की तरफ जाता है और शुरुआती layers को लगभग कोई gradient मिलता ही नहीं, इसलिए वे अपने initialization से हिलती ही नहीं। sigmoid क्लासिक अपराधी है क्योंकि उसका derivative ज्यादा से ज्यादा 0.25 तक जाता है, यानी सबसे अच्छी हालत में भी हर layer पर आप कम से कम तीन चौथाई signal खो देते हैं। इलाज एक के ऊपर एक चढ़ते हैं। ReLU का derivative positive तरफ ठीक एक है, इसलिए वह कुछ सिकोड़ता ही नहीं। residual connections सबसे बड़ी चीज हैं: output x plus f of x होता है, इसलिए gradient को सीधा identity रास्ता मिल जाता है, और अगर कोई block कुछ काम का न भी दे, तो भी signal उसके नीचे की layers तक पहुंच जाता है। इसीलिए हम इतने deep stacks ट्रेन कर पाते हैं। फिर fan in के हिसाब से scaled initialization, ReLU के लिए He, शुरुआत में activation variance स्थिर रखता है, और layer norm उसे ट्रेनिंग के दौरान स्थिर रखता है। जब मुझे कोई deep model दिखता है जिसका loss मुश्किल से हिलता है, तो सबसे पहले मैं per layer gradient norm plot करता हूं, क्योंकि उससे तुरंत पता चल जाता है कि network के निचले हिस्से तक कुछ पहुंच भी रहा है या नहीं।