आपका A/B टेस्ट खत्म हुआ और नतीजा सांख्यिकीय रूप से significant नहीं है। आपकी सिफारिश क्या है?

significant न होने का मतलब असर न होना नहीं है, इसका मतलब है कि आपके sample size पर आप उसे शून्य से अलग नहीं कर सके। confidence interval बताएं: अगर वह हर ऐसे असर को खारिज कर देता है जो भेजने लायक होता, तो यह असली जवाब है और आपको भेजना नहीं चाहिए। अगर वह चौड़ा है और उसमें मायने रखने वाली वैल्यू शामिल हैं, तो टेस्ट में ताकत कम थी और ईमानदार विकल्प हैं ज्यादा देर चलाना, कोई बोल्ड बदलाव टेस्ट करना, या किसी और आधार पर फैसला करना।

मैं सबसे पहले यह कहता हूं कि यह इस बात का सबूत नहीं है कि बदलाव कुछ नहीं करता, यह है कि हम उसे कुछ न करने से अलग नहीं बता सके। आगे क्या करना है यह confidence interval तय करता है। अगर वह शून्य के आसपास कसा हुआ है, मान लीजिए ऋणात्मक 0.3% और धनात्मक 0.4% के बीच, तो वह सचमुच जानकारी देता है: कोई भी असली असर इतना छोटा है कि रखरखाव की लागत जायज नहीं ठहराता, तो मत भेजिए, और यह नाकामी नहीं बल्कि काम का नतीजा है। अगर वह ऋणात्मक 4% से धनात्मक 6% तक फैला है, तो हमने कुछ नहीं सीखा और टेस्ट में ताकत कम थी, तो विकल्प हैं traffic इजाजत दे तो ज्यादा देर चलाना, उसी विचार का ज्यादा बोल्ड रूप टेस्ट करना, या रणनीति या डिजाइन की एकरूपता जैसे किसी और आधार पर फैसला करना और साफ कह देना कि डेटा यह फैसला नहीं कर रहा। जिस चीज का मैं विरोध करता हूं वह है तब तक काटते जाना जब तक कुछ significant न मिल जाए। अगर आप काफी segment जांचें तो शोर में भी कोई विजेता मिल जाएगा, और मैंने इसी वजह से एक feature भेजा जाते देखा है जिसने बाद में कोई असर नहीं दिखाया।