आपका experiment खत्म हो गया और नतीजा सपाट है, कोई significant फर्क नहीं। आप आगे क्या करेंगे?

सपाट होना भी एक नतीजा है, तो उसे नतीजे की तरह रिपोर्ट करें। पहले जांचें कि test सही था: sample ratio mismatch, instrumentation, और यह कि जिस असर की आपको परवाह थी उसके लिए उसमें power थी भी या नहीं। फिर देखें कि confidence interval किसी मायने रखने वाले असर को खारिज करता है या वह इतना चौड़ा है कि कुछ कह ही नहीं सकता। आखिर में सिर्फ पहले से दर्ज segments देखें, मछली पकड़ने की कोशिश किए बिना।

पहले मैं पक्का करता हूं कि यह असली null है, कोई टूटा हुआ test नहीं। मैं sample ratio देखता हूं: अगर मैंने पचास पचास की उम्मीद की थी और कुछ लाख यूजर पर 50.8 बनाम 49.2 मिला, तो assignment में कुछ गड़बड़ है और पूरा नतीजा शक के घेरे में है। मैं जांचता हूं कि instrumentation दोनों arms में चला और guardrail metrics ठीक ठाक दिख रहे हैं। मान लें यह टिक जाता है, तो मैं p value के बजाय interval पर जाता हूं। अगर lift 0.1 प्रतिशत है और interval जोड़ या घटा 0.4 है, तो यह सचमुच जानकारी देता है: हम ship करने लायक हर चीज को खारिज कर सकते हैं। अगर वह जोड़ या घटा 6 प्रतिशत है, तो test कुछ देख ही नहीं सका, और कोई असर नहीं कहना गलत होगा। फिर मैं वे segments देखता हूं जिनके नाम हमने launch से पहले तय किए थे, और सिर्फ वही। मैं तब तक नहीं काटूंगा जब तक कुछ significant न निकल आए, और यह मैं बोलकर कहता हूं, क्योंकि आम तौर पर कोई बचा हुआ नतीजा ढूंढने का दबाव होता है। फिर मैं एक सिफारिश देता हूं। आम तौर पर वह होती है ship मत करो, परिकल्पना में मैं यह बदलूंगा, और सच कहूं तो एक साफ null जो हमें एक और तिमाही मरे हुए विचार पर खर्च करने से रोक दे, अच्छा नतीजा है।