टीम का कोई और आपके training नतीजे दोहरा नहीं पा रहा। क्या क्या अलग हो सकता है?

आम तौर पर पांच में से कोई एक चीज: डेटा snapshot, random seeds, library और CUDA वर्जन, nondeterministic GPU kernels, या floating point बर्ताव में hardware का फर्क। डेटा को live query की जगह तारीख वाले snapshot से बांधिए, data loader workers समेत हर random स्रोत को seed कीजिए, माहौल को containerize कीजिए, और यह मान लीजिए कि GPU पर bitwise determinism की कीमत प्रदर्शन में चुकती है और वह हमेशा खरीदने लायक नहीं होती।

मैं एक सूची पर उतरता हूं, सबसे संभावित पहले। डेटा, लगभग हमेशा। अगर training query किसी live table से पढ़ती है, तो वह मेरे और उनके run के बीच बदल चुकी है, और कितना भी seeding उसे ठीक नहीं करता, इसलिए training दर्ज row count वाले तारीखी snapshot से पढ़ती है। इसके बाद seeds, और सिर्फ framework का seed नहीं: Python का random, NumPy, framework, और सबसे अहम data loader workers, जिनमें से हर एक को अपना seed चाहिए ताकि shuffling और augmentation भी दोहराए जा सकें। फिर माहौल, और इसीलिए training किसी container में pinned library और CUDA वर्जन के साथ चलती है, न कि जिसके पास जो installed हो उसमें। उसके बाद आप GPU nondeterminism में पहुंचते हैं। कुछ kernels atomic accumulation इस्तेमाल करते हैं, इसलिए reduction का क्रम हर run में बदलता है और आपको floating point के नन्हे फर्क मिलते हैं जो हजारों steps में जुड़ते जाते हैं। आप deterministic algorithms थोप सकते हैं, लेकिन उससे तेज kernels बंद हो जाते हैं और मैंने इसकी कीमत बीस प्रतिशत या ज्यादा देखी है। तो मैं पूछता हूं कि हमें असल में क्या चाहिए। किसी debugging जांच या नियमन वाले मॉडल के लिए मैं bitwise determinism की कीमत चुकाता हूं। आम तौर पर मुझे बस ऐसे नतीजे चाहिए जो शोर के भीतर मेल खाएं, और मैं वही config दो बार चलाकर फैलाव दिखाकर यह साबित करता हूं।