Du hast ein Experiment gefahren, die Ergebnisse aber zwanzigfach gesliced und zwei signifikante Segmente gefunden. Was sagst du dem Team?

Behandle die als Hypothesen, nicht als Ergebnisse. Bei Alpha 0,05 liefern zwanzig Tests etwa 64 Prozent Chance auf mindestens einen False Positive, selbst wenn nichts echt ist, zwei Treffer sind also ungefähr das, was reines Rauschen produziert. Nutze eine Korrektur wie Benjamini-Hochberg oder besser: registriere die Segmente vorab und bestätige jede Überraschung in einem frischen Test.

Ich würde ihnen sagen, wir haben zwei Spuren gefunden, nicht zwei Ergebnisse. Bei zwanzig unabhängigen Tests mit 0,05 liegt die Chance auf mindestens einen False Positive unter wahrer Null bei etwa 64 Prozent, und der Erwartungswert ist eins. Zwei liegt also klar im Bereich dessen, was Rauschen produziert. Dann würde ich Benjamini-Hochberg statt Bonferroni anwenden, denn Bonferroni über zwanzig Tests ist brutal konservativ und würde vermutlich einen echten Effekt mit dem Rauschen zusammen killen. False Discovery Rate Control ist das richtige Werkzeug, wenn du screenst. Meist fällt eines oder fallen beide raus. Überlebt etwas, behandle ich es trotzdem als Hypothese und sage das auch: Der ehrliche nächste Schritt ist ein Bestätigungstest gezielt auf dieses Segment, mit vorab deklariertem Segment. Ich habe das schon andersherum gesehen, wo ein Team auf Basis eines gesliceten Ergebnisses an ein Segment ausgerollt hat und der Effekt bei Skalierung verschwand. Der Preis war nicht nur das verschwendete Feature, sondern dass ein Quartal lang niemand mehr der Experimentierplattform getraut hat.