एक product manager अगले हफ्ते A/B test चलाना चाहता है। यह कितने दिन चलना चाहिए, यह आप कैसे निकालेंगे?

minimum detectable effect से उलटा चलकर निकालें। आपको baseline rate चाहिए, वह सबसे छोटा lift जिसे ship करना बनता है, significance level, और चाहिए गई power (आम तौर पर 80 प्रतिशत)। इनसे हर arm के लिए जरूरी sample निकलता है; उसे रोज के eligible traffic से भाग देकर दिन निकालें। फिर पूरे हफ्तों तक ऊपर round करें ताकि हफ्ते के दिनों के चक्र cover हों, और शुरू करने से पहले अवधि तय कर लें।

मैं चार चीजें पूछता हूं: अभी conversion rate क्या है, वह सबसे छोटा lift क्या है जिस पर हम सचमुच इसे ship करेंगे, हम कौन सा alpha इस्तेमाल कर रहे हैं, और हमें कितनी power चाहिए। दूसरी वाली ही असली बातचीत है, और वह statistical नहीं, बिजनेस का सवाल है। अगर वे कहते हैं कि कोई भी lift, तो मैं उन्हें गणित दिखाता हूं: 3 प्रतिशत baseline पर आधे प्रतिशत का relative फर्क पकड़ने के लिए हर arm में लाखों यूजर चाहिए, और वे हमारे पास हैं नहीं, तो हम ऐसा test चला रहे होंगे जो कामयाब हो ही नहीं सकता। आम तौर पर वे 5 प्रतिशत relative lift जैसी किसी चीज पर आते हैं, जो हमारे traffic पर शायद ग्यारह दिन बनता है। फिर मैं उसे चौदह तक ऊपर round करता हूं ताकि दो पूरे साप्ताहिक चक्र cover हों, क्योंकि weekend के यूजर अलग बर्ताव करते हैं और दस दिन का test जिन दिनों को संयोग से शामिल कर ले उन्हें ज्यादा वजन दे देता है। और मैं launch से पहले stop date लिखकर रख देता हूं। जो आदत टीमों को मारती है वह है रोज देखना और जिस पल p 0.05 के नीचे डुबकी लगाए उसी पल फैसला सुना देना, जो false positive दर को बुरी तरह फुला देता है। अगर उन्हें सचमुच जल्दी पढ़त चाहिए तो मैं झांकना मुफ्त होने का दिखावा करने के बजाय एक sequential test ठीक से सेट करता हूं।