deployment के लिए आपको मॉडल छोटा और तेज करना है। अपने विकल्प मुझे समझाइए।

तीन मुख्य लीवर हैं। quantization weights और अक्सर activations को कम precision पर, आम तौर पर int8 या 4 bit में स्टोर करता है, जिससे मेमोरी घटती है और memory bound inference तेज होती है, accuracy की छोटी सी कीमत पर। distillation किसी बड़े teacher के outputs से मेल खाने के लिए एक छोटा student ट्रेन करता है। pruning weights या पूरी संरचनाएं हटा देता है। पहले आम तौर पर quantization आती है क्योंकि उसमें दोबारा ट्रेनिंग नहीं चाहिए।

मैं यह पूछकर शुरू करता हूं कि असल में हम किस अड़चन से टकरा रहे हैं, क्योंकि मेमोरी, latency और लागत अलग अलग इलाज की तरफ इशारा करती हैं। मान लीजिए तीनों हैं, तो पहली चीज मैं quantization आजमाता हूं, क्योंकि post training int8 में दोबारा ट्रेनिंग नहीं लगती, आम तौर पर एक दोपहर में हो जाती है, और memory bound inference पर वह अक्सर accuracy के एक पॉइंट के अंश की कीमत पर लगभग linear speedup दे देती है। अगर int8 से ज्यादा नुकसान हो रहा हो तो मैं देखता हूं कि कहां: आम तौर पर चौड़ी activation ranges वाली गिनी चुनी layers होती हैं, तो per channel scales या उन layers को ऊंची precision पर छोड़ देना ज्यादातर नुकसान की भरपाई कर देता है। अगर quantization काफी न हो तो अगला नंबर distillation का है, teacher के soft outputs पर एक छोटा student ट्रेन करना, जो आम तौर पर उसी छोटे मॉडल को सिर्फ labels पर शुरू से ट्रेन करने को पीट देता है। उसमें पूरा एक ट्रेनिंग साइकिल लगता है, इसलिए वह बड़ी प्रतिबद्धता है। pruning मैं सबसे कम इस्तेमाल करता हूं, और structured कहने का ध्यान रखता हूं, यानी पूरे heads या channels, क्योंकि unstructured sparsity आपको छोटा checkpoint देती है और wall clock में लगभग कुछ नहीं, जब तक hardware sparse kernels सपोर्ट न करे। और मैं FLOPs नहीं, end to end p99 मापता हूं, क्योंकि असली serving stacks पर tokenization और data loading हावी हो सकते हैं।