checkout के flow में किसी बदलाव के लिए आप A/B test कैसे बनाएंगे?

पहले परिकल्पना लिखिए: कौन सा बदलाव, क्या असर, किस metric पर, किसके लिए। एक ही मुख्य metric चुनिए (हर visitor पर पूरी हुई खरीद, clicks नहीं), refunds और support संपर्क जैसे guardrails तय कीजिए, launch से पहले नमूने का आकार और चलने की अवधि निकालिए, और पूरे हफ्तों के चक्र कवर कीजिए। किसी अच्छे दिन झांककर जल्दी रोक मत दीजिए; टीमें ऐसे ही वे बदलाव ship करती हैं जो कुछ करते ही नहीं।

मैं ऐसी परिकल्पना से शुरू करता हूं जिसमें मैं गलत हो सकूं: delivery की लागत को fold से ऊपर ले जाने से mobile पर नए ग्राहकों के लिए payment वाले कदम पर छोड़कर जाना कम से कम दो प्रतिशत अंक घटेगा। फिर एक मुख्य metric, और वह button पर clicks नहीं, हर visitor पर पूरी हुई खरीद होनी चाहिए, क्योंकि किसी चीज को ज्यादा चीखता बनाकर मैं clicks तो हमेशा बढ़ा सकता हूं। guardrails होंगी refund की दर और support से संपर्क, क्योंकि ऐसा checkout जो ज्यादा बिक्री कराता है पर लोगों को उलझाता है, वह लागत बस कहीं और खिसका देता है। launch से पहले मैं नमूने के आकार की गणना उसी से करवाता हूं जो प्रयोगों का मालिक है, और मैं कम से कम दो पूरे हफ्ते चलाता हूं ताकि हफ्ते के दिनों और सप्ताहांत, दोनों का बर्ताव अंदर आ जाए। जिस नियम को मैं सबसे कसकर पकड़ता हूं वह है बीच में न झांकना। आंख सिकोड़कर देखें तो हर test तीसरे दिन significant लगता है। और मैं test करने का ही विरोध करूंगा अगर traffic इतना कम हो कि असर पकड़ा ही न जा सके, या अगर यह navigation के नए model जैसा बुनियादी बदलाव हो, जहां मैं चरणबद्ध rollout करके किसी cohort को देखना पसंद करूंगा।