आपका A/B टेस्ट सपाट नतीजा लेकर लौटता है। अब आप क्या करेंगे?

पहले जांचिए कि टेस्ट कुछ पकड़ भी सकता था या नहीं: sample size, पूरे हफ्ते के चक्र भर चलने की अवधि, और यह कि बदलाव treatment group तक पहुंचा भी या नहीं, क्योंकि खराब विचारों से ज्यादा सपाट नतीजे instrumentation के बग पैदा करते हैं। फिर segment कीजिए, क्योंकि सपाट औसत अक्सर एक cohort में असली फायदा और दूसरे में नुकसान छिपा लेता है। इतने के बाद भी बचे तो उसे सच्चा null मानिए और लागत के हिसाब से तय कीजिए।

सबसे पहले मैं जांचता हूं कि टेस्ट कुछ पकड़ भी सकता था या नहीं। जिस effect size की हमें परवाह थी, उसके लिए क्या वह powered था, क्या वह पूरे हफ्ते के चक्र भर चला, और क्या बदलाव सचमुच treatment group के लोगों तक पहुंचा। आखिरी वाली बात खराब विचारों से ज्यादा सपाट नतीजे पकड़ती है। एक बार मेरा टेस्ट ऐसा था जिसमें feature flag treatment group के एक हिस्से के लिए evaluate ही नहीं हो रहा था, तो हम ग्यारह दिन तक कुछ भी नहीं के मुकाबले कुछ भी नहीं नाप रहे थे। जब मुझे नल जल पर भरोसा हो जाता है, तो मैं segment करता हूं, क्योंकि सपाट सुर्खी अक्सर नए यूजर के लिए असली उछाल छिपा लेती है जिसे power users की गिरावट काट देती है, और यह औसत से कहीं ज्यादा दिलचस्प खोज है। अगर वह सचमुच null है तो मैं अच्छा दिखने वाला टुकड़ा ढूंढने की जगह साफ कह देता हूं। फिर फैसला लागत का है: रखने में सस्ता और हानिरहित है तो रख लीजिए, वरना निकाल दीजिए।