किसी नए checkout flow के लिए A/B टेस्ट आप कैसे डिजाइन करेंगे?

एक primary metric और पकड़ने लायक न्यूनतम असर तय करें, फिर launch से पहले जरूरी sample size और चलाने की अवधि निकालें। randomization session के बजाय यूजर के स्तर पर करें, ताकि लौटने वाले यूजर को हमेशा वही variant दिखे। पूरे हफ्तों के गुणकों में चलाएं ताकि साप्ताहिक चक्र ढक जाएं, जांचें कि randomization टिका, और पहले से तय करें कि कौन सा नतीजा launch कराएगा। primary के साथ साथ guardrail metric भी ट्रैक करें।

मैं एक primary metric तय करने से शुरू करूंगा, जो checkout के लिए checkout में घुसने वाले प्रति यूजर पूरी हुई खरीद है, click नहीं, और फिर पूछूंगा कि कितने बड़े सुधार पर इसे भेजना सचमुच जायज होगा। वह न्यूनतम पकड़ने लायक असर sample size तय करता है, और sample size के साथ हमारा रोजाना traffic चलाने की अवधि बता देता है। अगर वह ग्यारह हफ्ते निकले, तो ईमानदार जवाब यह है कि यह टेस्ट चलाने लायक नहीं है और हमें किसी और तरीके से फैसला करना चाहिए। randomization किसी टिकाऊ पहचानकर्ता के साथ यूजर के स्तर पर होता है, क्योंकि session स्तर पर बांटने का मतलब है कि लौटता ग्राहक दो अलग checkout देखेगा, जो डेटा भी गंदा करता है और उन्हें चिढ़ाता भी है। मैं पूरे हफ्तों के गुणकों में चलाता हूं क्योंकि कामकाजी दिन और सप्ताहांत का व्यवहार काफी अलग होता है। मैं guardrail भी पहले तय कर लेता हूं, तो refund rate और support संपर्क, और launch का नियम भी। और मैं किसी अच्छे दिन पर जल्दी नहीं रोकता; चलते टेस्ट पर बार बार झांकना false positive को बुरी तरह बढ़ा देता है, जो मैं होते हुए देख चुका हूं।