ऐसा endpoint आप कैसे बनाएंगे जिसे तीन धीमी upstream सर्विसेज से डेटा चाहिए?

उन्हें एक के बाद एक नहीं, साथ में कॉल करें। async framework में तीनों को asyncio.gather या task group से शुरू करें ताकि कुल latency सबसे धीमी कॉल जितनी हो, तीनों का जोड़ नहीं। हर कॉल पर timeout रखें, तय करें कि कौन से responses वैकल्पिक हैं ताकि फेल होने के बजाय आप घटी हुई सेवा दे सकें, और जो स्थिर है उसे cache करें। अगर client सह सके तो उसे job id लौटा दें।

क्रम से चलने पर वे तीनों latencies जुड़ जाती हैं, तो पहला कदम उन्हें साथ चलाना है। httpx और async handler के साथ मैं तीनों coroutines को gather करता हूं, या task group लेता हूं ताकि एक के फेल होने पर बाकी साफ तरीके से cancel हो जाएं, और तब endpoint की कीमत जोड़ की जगह लगभग सबसे धीमे upstream जितनी रह जाती है। हर कॉल को साफ साफ timeout मिलता है, क्योंकि ज्यादातर clients में डिफॉल्ट व्यावहारिक रूप से अनंत है और एक अटका सॉकेट पूरा worker pool खा जाएगा। फिर मैं तय करता हूं कि जरूरी क्या है। अगर तीन में से दो सिर्फ सजावट हैं, तो मैं एक्सेप्शन उठाने के बजाय उन्हें इकट्ठा करता हूं और पांच सौ फेंकने के बजाय पेज उनके बिना दिखा देता हूं, और एक metric भेजता हूं ताकि हमें पता रहे कि ऐसा हुआ। जो स्थिर है वह cache होता है, क्योंकि साठ सेकंड की caching भी ज्यादातर लोड हटा देती है। अगर client सह सके, तो बेहतर आकार यह है कि request लेकर काम को queue में डालें और poll करने लायक job id लौटा दें, जिससे upstream latency request path से पूरी तरह हट जाती है।