आपके पास दो सौ थ्रेड वाले pool पर चलती एक मौजूदा service है जो ज्यादातर वक्त downstream calls का इंतजार करती है। क्या आप इसे वर्चुअल थ्रेड्स पर ले जाएंगे, और कैसे?

हां, बशर्ते काम CPU bound नहीं, blocking I/O हो। server और सारे task executors को हर task पर एक वर्चुअल थ्रेड बनाने वाले executor पर बदलें, फिर वे मान्यताएं हटाएं जो पुराना pool दे रहा था: semaphores या connection pools से downstream कनकरेंसी पर साफ हदें लगाएं, उन synchronized blocks और native calls की जांच करें जो carrier को pin कर सकते हैं, और thread local का इस्तेमाल देखें। इसे किसी flag के पीछे धीरे धीरे चालू करें और throughput तथा tail latency की तुलना करें।

अगर थ्रेड्स ज्यादातर HTTP या डेटाबेस calls का इंतजार करते पड़े रहते हैं, तो हां, क्योंकि दो सौ थ्रेड्स का मतलब दो सौ कनकरेंट requests भी है, और बाकी सब उनके पीछे कतार में लगता है। बदलाव खुद छोटा है: web server को वर्चुअल थ्रेड्स पर चलाएं और task executors को ऐसे executor से बदलें जो हर task पर एक वर्चुअल थ्रेड बनाए। असली काम वहां है जो pool चुपचाप कर रहा था। वह कनकरेंसी की हद था, तो उसके हटते ही अचानक दस हजार requests पचास connections वाले pool से डेटाबेस पर टूट सकती हैं, और thread pool पर कतार की जगह मुझे connection pool पर timeouts मिलते हैं। इसलिए मैं साफ हदें वहीं वापस लगाता हूं जहां वे होनी चाहिए, आमतौर पर हर downstream dependency पर सोच समझकर sized एक semaphore। फिर मैं pinning की जांच करता हूं, जो नई versions में काफी कम दिक्कत है क्योंकि synchronized अब pin नहीं करता, पर native calls अब भी करती हैं। मैं यह भी देखता हूं कि कोई thread local कुछ बड़ा तो नहीं पकड़े है, क्योंकि हर थ्रेड का cache दो सौ थ्रेड्स पर ठीक था, एक लाख पर नहीं। फिर मैं flag के पीछे ट्रैफिक बढ़ाता हूं और सिर्फ throughput नहीं, tail latency देखता हूं।