आपकी service एक third party API कॉल करती है जो कभी कभी धीमी हो जाती है। आप client को ऐसे कैसे सेट करेंगे कि इससे आपकी service न गिरे?

client पर connect और read timeouts साफ साफ सेट करें, क्योंकि कई Java HTTP clients डिफॉल्ट रूप से अनंत काल तक इंतजार करते हैं, और ऊपर से एक कुल request timeout भी रखें। उस host के लिए connection pool की हद बांधें, backoff और jitter के साथ सिर्फ idempotent calls retry करें, और circuit breaker लगाएं ताकि लगातार नाकामी पर जल्दी फेल हो जाए। fallback पहले से तय करें: कोई cached value, घटी हुई response, या साफ error, न कि अटकी हुई request।

मैं यह मानकर शुरू करता हूं कि defaults गलत हैं, क्योंकि कई clients read पर खुशी खुशी हमेशा इंतजार करते रहेंगे, और ठीक इसी तरह एक धीमी dependency मेरी service के हर थ्रेड को पार्क करा देती है। तो connect timeout छोटा, read timeout उनकी असली latency के बंटवारे के हिसाब से न कि किसी गोल आंकड़े पर, और ऊपर से एक कुल request timeout क्योंकि retries और redirects जुड़ जाते हैं। फिर अलगाव: उस dependency को अधिकतम सीमा वाला अपना connection pool मिलता है, ताकि उसके बिगड़ने पर वह बाकी calls की पूरी क्षमता न खा जाए। retries सिर्फ idempotent operations पर, ज्यादा से ज्यादा दो कोशिशें, exponential backoff और jitter के साथ, और आगे एक circuit breaker ताकि error rate किसी हद से ऊपर जाते ही मैं कुछ देर के लिए तुरंत फेल करूं, बजाय पहले से जूझ रही चीज पर requests ढेर करने के। आखिरी हिस्सा यह है कि यूजर को क्या मिलेगा, और वह पहले से तय होता है। एक shipping rates integration में हमने checkout फेल करने की जगह staleness के निशान के साथ cached rates दिए, और इससे vendor का outage खोए हुए orders की जगह सटीकता की मामूली दिक्कत बन गया। मैं इसे देरी डालने वाले proxy से टेस्ट करता हूं।