एक product manager को, जो समझता है कि p value यह बताता है कि नतीजा असली होने की कितनी संभावना है, आप p value का असल मतलब कैसे समझाएंगे?

p value यह संभावना है कि अगर null hypothesis सच होती तो आपके जैसा या उससे ज्यादा extreme डेटा दिखता। यह इस बात की संभावना नहीं है कि null सच है, और न ही इस बात की कि आपका नतीजा असली है। p = 0.03 का मतलब है कि बिना किसी असर वाली दुनिया में इतना extreme डेटा तीन प्रतिशत बार दिख जाता।

मैं इसे ऐसे कहूंगा: p value सिर्फ एक संकरे सवाल का जवाब देता है, कि अगर इस फीचर ने कुछ किया ही नहीं होता तो यह डेटा कितना चौंकाने वाला होता। अगर यह 0.03 है, तो ऐसी दुनिया में जहां इस बदलाव का असर शून्य था, हमें फिर भी इतना बड़ा उतार चढ़ाव सौ में करीब तीन बार दिख जाता। बस इतना ही कहता है यह। इसका मतलब यह नहीं कि null के सच होने की तीन प्रतिशत संभावना है, और यह तो बिल्कुल नहीं कि फीचर के काम करने की सत्तानबे प्रतिशत संभावना है। इसके बाद मैं उन्हें इससे हटाता हूं, क्योंकि अकेले में यह फैसला लेने का बुरा टूल है। मैं इसकी जगह effect size और confidence interval दिखाता हूं: lift 1.2 प्रतिशत है, मुमकिन दायरा 0.1 से 2.3 प्रतिशत। इससे बातचीत यह असली है क्या से बदलकर इसका सबसे छोटा मुमकिन रूप भी बनाने लायक है क्या पर आ जाती है। मेरे साथ ऐसे launch हुए हैं जहां p 0.05 से नीचे था और interval में फिर भी इतना छोटा lift शामिल था कि वह engineering की कीमत नहीं चुका पाता, और असल में बात करने लायक यही चीज है।