कोई स्टेकहोल्डर कहता है कि feature X इस्तेमाल करने वाले यूजर बेहतर टिकते हैं, इसलिए हमें सबको उसकी तरफ धकेलना चाहिए। आप क्या जवाब देते हैं?

वह एक correlation है, और सबसे संभावित वजह चुनाव है: जुड़े हुए यूजर ज्यादा feature अपनाते हैं, तो हो सकता है कि वह feature retention का कारण नहीं बल्कि लक्षण हो। यह बात कहें पर विचार को खारिज किए बिना, फिर उसे परखने का तरीका सुझाएं, आदर्श रूप से कोई randomized प्रयोग, और वह न हो तो matched cohort की तुलना या किसी release के आसपास difference in differences विश्लेषण।

मैं कहूंगा कि यह एक उम्मीद जगाता संकेत है और फिर समझाऊंगा कि मैं अभी यह नतीजा क्यों नहीं निकाल सकता। सबसे संभावित कहानी यह है कि जुड़े हुए यूजर ज्यादा feature आजमाते हैं, तो feature X को अपनाना जुड़ाव का निशान है, उसका कारण नहीं, और किसी बिना जुड़े यूजर को उसमें धकेलने से शायद कुछ भी न हो। एक सीधी उल्टी causation वाली पढ़त भी है: जो लोग वैसे भी टिकने वाले थे, वही आसपास मौजूद थे कि उन्होंने feature खोजा। साफ जवाब एक randomized टेस्ट है, तो एक random हिस्से को feature की तरफ prompt कीजिए और retention की तुलना एक holdout से कीजिए, जो हमें ठीक उसी आबादी पर causal असर बताता है जिसे हम निशाना बनाते। अगर हम वह नहीं चला सकते, तो मैं feature के launch के आसपास difference in differences देखूंगा, या यूजर को पिछली गतिविधि, अवधि और plan पर match करके बराबरी की तुलना करूंगा। जब मैंने किसी onboarding feature पर matched वाला रूप किया था, तो दिखने वाली lift का करीब दो तिहाई गायब हो गया, जिससे roadmap का फैसला बदल गया।