टीम किसी hosted API को कॉल करने की जगह एक open model fine tune करना चाहती है। आप कैसे तय करेंगे?

चार पहलुओं पर तय कीजिए: आपके खास काम पर quality, आपके असली volume पर लागत, latency और नियंत्रण की जरूरतें, और डेटा या compliance की अड़चनें। quality की एक कसौटी सस्ते में तय करने के लिए hosted API, prompting और retrieval से शुरू कीजिए। fine tune तब कीजिए जब काम स्थिर हो और अच्छे labeled डेटा हों, volume इतना ज्यादा हो कि गणित पलट जाए, या डेटा को अपने ही माहौल में रखने की जरूरत हो।

मैं इसे पसंद से नहीं, आंकड़ों से हल करने पर जोर दूंगा। पहले hosted baseline बनाइए: एक अच्छा prompt, अगर काम को context चाहिए तो retrieval, और एक evaluation सेट। इसमें आम तौर पर कुछ दिन लगते हैं और यह बता देता है कि कितनी quality संभव है, और अक्सर वह पहले से ही काफी होती है, जिसके बाद fine tuning एक ऐसा इलाज है जो अपनी बीमारी ढूंढ रहा है। अगर quality सचमुच कम पड़ रही हो तो मैं पूछता हूं कि कमी knowledge की है, जिसे retrieval ठीक करता है, या बर्ताव और फॉर्मैट की, जिसे fine tuning ठीक करती है। फिर गणित। hosted लागत tokens के साथ linear बढ़ती है; self hosting ज्यादातर तय accelerator लागत है, इसलिए एक crossover volume होता है, और मैं उसे उम्मीदों से नहीं, असली traffic अनुमानों से निकालता हूं। crossover से नीचे self hosting इंजीनियर का समय गिने बिना ही हार जाती है। जो लागत लोग भूल जाते हैं वह मालिकाना हक की है: serving, autoscaling, upgrades, base model बदलने पर दोबारा मूल्यांकन, कोई on call। वह एक स्थायी प्रतिबद्धता है। जहां फैसला अपने आप हो जाता है वह compliance है। अगर डेटा हमारे माहौल से बाहर नहीं जा सकता तो फैसला हो चुका है और बहस सिर्फ इस पर है कि कौन सा open model, यह नहीं कि करें या न करें।