daily active users रातोंरात 20% गिर गए। आप जांच कैसे करते हैं?

बिज़नेस वाली वजह ढूंढने से पहले instrumentation को खारिज करें, क्योंकि रातोंरात आए तेज बदलाव की सबसे आम वजह tracking या pipeline की नाकामी होती है। फिर जमकर segment करें: platform, app version, भूगोल, browser, नए बनाम लौटने वाले, और acquisition channel। किसी एक segment में सिमटी गिरावट तकनीकी वजह की तरफ इशारा करती है; हर segment में बराबर फैली गिरावट किसी बाहरी चीज या आपके माप की तरफ।

मेरा पहला सवाल हमेशा यह होता है कि गिरावट असली है या नहीं, क्योंकि मेरे अनुभव में रातोंरात आई ज्यादातर खाई माप की होती है। तो मैं जांचता हूं कि pipeline पूरा चला या नहीं, किसी ने metric की परिभाषा या dashboard का filter बदला या नहीं, और किसी app release ने tracking event बदले या नहीं। हर घंटे ठीक 20% वाली 20% की गिरावट किसी इंसानी वजह के बजाय डेटा की समस्या की बू देती है। फिर मैं देखता हूं कि यह घंटे के हिसाब से कब शुरू हुई, जिससे शक की सूची तुरंत छोटी हो जाती है, और मैं segment करता हूं। platform, app version, देश, browser, नए बनाम लौटने वाले। अगर यह सब Android 8.4.0 पर है, तो वह release का bug है और मैं सीधे mobile टीम के पास जाता हूं। अगर वह हर चीज पर बराबर फैली है, तो मैं बाहर देखता हूं, छुट्टियां, किसी login provider का outage, या कोई खत्म हो चुका marketing campaign। एक बार मुझे ऐसी गिरावट मिली जो पूरी तरह एक देश में थी और निकला कि वह ISP स्तर की DNS समस्या थी। फिर मैं बताता हूं कि मुझे क्या पता है, मैंने क्या खारिज किया, और मैं आगे क्या जांचूंगा।