आपने एक experiment चलाया पर नतीजों को बीस तरह से काटा और दो segments significant निकले। आप टीम से क्या कहेंगे?

उन्हें नतीजे नहीं, परिकल्पनाएं मानिए। alpha 0.05 पर बीस slices जांचने से, कुछ असली न होने पर भी, कम से कम एक false positive की संभावना करीब 64 प्रतिशत होती है, तो दो hits लगभग वही हैं जो शुद्ध noise पैदा करता है। Benjamini Hochberg जैसा कोई correction लगाएं, या उससे बेहतर, जिन segments की आपको परवाह है उन्हें पहले से दर्ज करें और किसी भी चौंकाने वाली चीज को नए test में पक्का करें।

मैं उनसे कहूंगा कि हमें दो सुराग मिले हैं, दो नतीजे नहीं। 0.05 पर बीस स्वतंत्र tests के साथ, सच्ची null के तहत कम से कम एक false positive की संभावना करीब 64 प्रतिशत है, और अपेक्षित गिनती एक है। तो दो पूरी तरह उसी दायरे में है जो noise पैदा करता है। फिर मैं Bonferroni के बजाय Benjamini Hochberg लगाऊंगा, क्योंकि बीस tests पर Bonferroni बेरहमी से conservative है और noise के साथ शायद किसी असली असर को भी मार देगा; जब आप छान रहे हों तब false discovery rate control ही सही टूल है। आम तौर पर एक या दोनों बाहर हो जाते हैं। अगर कुछ बच जाता है तो भी मैं उसे परिकल्पना मानता हूं और यह कहता भी हूं: ईमानदार अगला कदम है उसी segment पर लक्षित एक पुष्टि करने वाला test, जिसमें segment देखने से पहले घोषित हो। मैंने इसे उल्टा जाते भी देखा है, जहां एक टीम ने कटे हुए नतीजे के आधार पर एक segment को ship कर दिया और बड़े पैमाने पर असर गायब हो गया, और कीमत सिर्फ बेकार गया फीचर नहीं थी, कीमत यह थी कि उसके बाद एक तिमाही तक experiment platform पर किसी ने भरोसा नहीं किया।