आपका विश्लेषण दिखाता है कि किसी फीचर के यूजर दोगुना बेहतर टिकते हैं। क्या आप product टीम से कह सकते हैं कि सबको उसमें धकेल दो?

नहीं, उस तुलना के आधार पर तो नहीं। जो यूजर कोई फीचर अपनाते हैं वे खुद को चुनते हैं: वे पहले से ज्यादा engaged थे, और यही चीज adoption और retention दोनों को चलाती है, इसलिए ज्यादातर फर्क confounded है। कारण का दावा करने के लिए आपको randomized experiment चाहिए, या कोई भरोसेमंद quasi experimental design जैसे difference in differences, कोई instrument, या किसी eligibility cutoff के इर्द गिर्द regression discontinuity।

मैं शालीनता से पीछे धकेलूंगा। जिन लोगों ने वह फीचर चालू किया वे कोई random sample नहीं हैं; वे वे लोग हैं जो प्रोडक्ट में पहले से इतने गहरे थे कि उन्हें वह मिल गया। पहले की engagement adoption और retention दोनों को चलाती है, तो उस 2x का ज्यादातर हिस्सा शायद यूजर हैं, फीचर नहीं। साफ जवाब है एक randomized rollout: एक हिस्सा holdout में रखिए, treatment group के लिए फीचर चालू कीजिए या कम से कम उन्हें prompt कीजिए, और retention मापिए। इसमें कुछ हफ्ते लगते हैं, तो तब तक मैं कंधे उचकाने से बेहतर कुछ करूंगा। मैं pre period बर्ताव पर match करूंगा, adopters की तुलना उन non adopters से करूंगा जो adoption से पिछले महीने में बिल्कुल एक जैसे दिखते थे, और देखूंगा कि फर्क का कितना हिस्सा बचता है। ऐसे ही एक प्रोजेक्ट पर कच्चा फर्क करीब 2x था और matching ने उसे लगभग 1.2x कर दिया, जो अब भी कुछ मायने रखता है पर बिल्कुल अलग बिजनेस केस है। मैं उन्हें दोनों नंबर दूंगा और साफ कहूंगा कि matched वाला causal असर की छत है, उसकी माप नहीं।