p value का असल में मतलब क्या है, और वह आपको क्या नहीं बताता?

p value यह संभावना है कि अगर null hypothesis सच होती तो आपके जितना या उससे ज्यादा चरम नतीजा दिखता। यह यह संभावना नहीं बताता कि null hypothesis सच है, और यह भी नहीं बताता कि असर अहम है। बहुत बड़े sample पर छोटे effect size के साथ छोटा p value सांख्यिकीय रूप से significant होता है और अक्सर व्यावसायिक रूप से बेमानी, इसलिए effect size और confidence interval हमेशा बताएं।

p value यह संभावना है कि null hypothesis को सच मानते हुए कम से कम इतना चरम डेटा दिखे। दिशा मायने रखती है, क्योंकि इसे आमतौर पर इस तरह गलत पढ़ा जाता है कि यह null के सच होने की संभावना है, या उससे भी बुरा, कि टेस्ट के काम करने की संभावना है, और वे बिल्कुल अलग बयान हैं। यह जो पक्के तौर पर नहीं बताता वह यह है कि नतीजा मायने रखता है या नहीं। काफी बड़े sample पर लगभग कुछ भी significance तक पहुंच जाता है। मेरे पास एक टेस्ट था जिसमें एक button का बदलाव p 0.01 से नीचे significant था और असली lift 0.1% थी, ऐसे metric पर जिसका confidence interval इतना चौड़ा था कि उसमें ऐसी वैल्यू भी थीं जो engineering के काम की कीमत भी नहीं चुका सकती थीं। तो मैं स्टेकहोल्डर के सामने effect size को confidence interval के साथ रखता हूं, और उसे ऐसे कहता हूं कि हमारा सबसे अच्छा अनुमान 2% lift है, जो संभवतः 0.5% और 3.5% के बीच है। इससे लोगों को कुछ ऐसा मिलता है जिसे वे लागत के मुकाबले तौल सकें। मैं multiple comparison पर भी नजर रखता हूं, क्योंकि पंद्रह metric टेस्ट करने से दो एक false positive तय हैं।