आप training run शुरू करते हैं और loss बिल्कुल नीचे नहीं जा रहा। आप इसे कैसे debug करेंगे?

पहले यह साबित कीजिए कि मॉडल सीख सकता है: एक छोटे batch को लगभग शून्य loss तक overfit कीजिए। अगर वह नहीं कर पाता, तो बग मॉडल, loss या optimizer में है, डेटा की मात्रा में नहीं। फिर learning rate को दोनों सिरों पर जांचिए, पक्का कीजिए कि labels inputs से सही मेल में हैं, gradients बह रहे हैं इसकी पुष्टि कीजिए, और यह भी कि optimizer को सचमुच वही parameters मिले जो आप समझ रहे हैं।

पहला कदम हमेशा एक ही होता है: करीब आठ examples का एक batch लीजिए और उस पर loss को लगभग शून्य तक ले जाने की कोशिश कीजिए। चलता हुआ मॉडल आठ examples कुछ सौ steps में रट लेता है। अगर वह नहीं कर पाता तो समस्या डेटा की मात्रा या regularization नहीं है, मॉडल, loss या optimizer में कुछ टूटा है, और मैंने खोज का दायरा बहुत घटा लिया है। वहां से मैं learning rate को दोनों सिरों पर जांचता हूं, क्योंकि बहुत ज्यादा होने पर loss उछलता है या NaN हो जाता है, और बहुत कम होने पर वह सपाट लकीर जैसा दिखता है जो असल में रेंग रही होती है। मैं per layer gradient norms प्रिंट करता हूं, जो तुरंत बता देता है कि signal मर रहा है या किसी layer को कुछ मिल ही नहीं रहा क्योंकि वह गलती से freeze हो गई या optimizer को दी ही नहीं गई। फिर डेटा का रास्ता, और सच कहूं तो बग आम तौर पर यहीं होता है: shuffle के बाद labels inputs से एक खिसक गए, normalization दो बार लग गया, या filtering के बग की वजह से targets tensor पूरा एक ही class का है। मैं आर्किटेक्चर को दोष देने से पहले हमेशा गिने चुने decode किए examples को उनके labels के साथ आंख से देख लेता हूं।