जो सर्विस कल तक ठीक थी उसकी p99 latency अब चार सेकंड है। आप उसे कैसे डिबग करेंगे?

पहले दायरा तय कीजिए: हर endpoint या एक, सारे यूजर या एक tenant, और यह ठीक कब शुरू हुआ। उस timestamp को deploys, flag बदलावों और ट्रैफिक के बदलाव से मिलाइए। फिर उस telemetry के साथ नीचे उतरिए जो आपके पास पहले से है: कौन सा span बड़ा हुआ यह देखने के लिए traces, डेटाबेस के slow query logs, connection pool का भरा होना, host का CPU और मेमोरी। पहले हालात संभालिए, चाहे rollback से या लोड घटाकर, root cause बाद में ढूंढिए।

पहले मुझे सीमाएं चाहिए, क्योंकि वे खोज का दायरा तेजी से काटती हैं। यह एक endpoint है या सारे, एक region, एक tenant, और शुरू किस वक्त हुआ? फिर मैं उस timestamp को deploys, feature flag बदलावों और config बदलावों से मिलाता हूं, क्योंकि ज्यादातर बार कुछ न कुछ बदला होता है और जवाब वहीं पड़ा मिलता है। अगर हमारी तरफ कुछ नहीं बदला, तो मैं traces पर जाता हूं और देखता हूं कि कौन सा span बड़ा हुआ, जिससे तुरंत पता चल जाता है कि मामला हमारा है, डेटाबेस का है या किसी downstream कॉल का। शक की सुई आम तौर पर डेटाबेस पर जाती है: जो query दस लाख rows पर ठीक थी वह एक करोड़ पर ठीक नहीं रहती, या कोई index गायब है, या pool भरा हुआ है और वक्त query चलने में नहीं, connection के इंतजार में जा रहा है। यह आखिरी वाला चालाक होता है क्योंकि अलग से देखने पर हर query तेज ही लगती है। और यह सब करते हुए, अगर कोई साफ उपाय दिख रहा है जैसे पिछला deploy वापस करना, तो मैं पहले वही करता हूं। कस्टमर को latency की परवाह है, मेरी व्याख्या की नहीं।