ऐसी dependency को आप service call कैसे करते हैं जो धीमी हो सकती है या बंद पड़ी हो सकती है?

हर call पर साफ साफ timeout रखें, जो आपकी अपनी deadline से छोटा हो, और client library के डिफ़ॉल्ट पर कभी भरोसा न करें। retry सिर्फ idempotent ऑपरेशंस पर करें, exponential backoff और jitter के साथ, और कोशिशों की गिनती छोटी और तय रखें। एक circuit breaker जोड़ें ताकि बार बार की नाकामी पर कतार लगने की जगह तुरंत fail हो, और तय करें कि degraded दिखता कैसा है: कोई cached value, कोई अधूरा जवाब, या एक साफ error, न कि लटकी हुई request।

सबसे पहली चीज़ है हर outbound call पर timeout, जो latency के वितरण से चुना गया हो, यूं ही नहीं, और हमेशा उस deadline से छोटा हो जो मुझे मिली थी, ताकि मेरे caller के हाथ खड़े करने से पहले मैं fail हो जाऊं। बची हुई deadline मैं आगे भी भेजता हूं, वरना ऐसी request पर काम चलता रहता है जिसका कोई इंतज़ार ही नहीं कर रहा। retries सिर्फ idempotent calls पर लागू होती हैं, और तब भी exponential backoff तथा jitter के साथ, दो या तीन कोशिशों तक सीमित। सीमा की वजह amplification है: अगर हर layer तीन बार retry करे, तो नीचे की छोटी सी झलक दस गुना लोड बन जाती है, और इसी तरह एक धीमी dependency पूरा outage बन जाती है। इसीलिए मुझे retry budget भी पसंद है, जहां retries कुल requests के एक छोटे प्रतिशत तक सीमित रहती हैं। ऊपर एक circuit breaker बैठता है ताकि नाकामी एक हद पार करते ही मैं कुछ देर के लिए तुरंत fail करूं और बीच बीच में जांचता रहूं, जिससे मैं पहले से जूझ रही चीज़ पर और requests नहीं लादता। और मैं पहले ही तय कर लेता हूं कि degraded का मतलब क्या है; एक pricing service में हमने checkout fail करने की जगह आखिरी cached कीमत staleness flag के साथ दिखाई थी।