Was bedeutet ein p-Wert tatsächlich, und was sagt er dir nicht?

Ein p-Wert ist die Wahrscheinlichkeit, ein mindestens so extremes Ergebnis wie deines zu beobachten, falls die Nullhypothese stimmt. Er gibt dir nicht die Wahrscheinlichkeit, dass die Nullhypothese wahr ist, und er sagt dir nicht, dass der Effekt wichtig ist. Ein kleiner p-Wert mit winziger Effektgröße auf einem riesigen Sample ist statistisch signifikant und oft wirtschaftlich bedeutungslos, berichte also immer Effektgröße und Konfidenzintervall.

Ein p-Wert ist die Wahrscheinlichkeit, Daten mindestens so extrem wie diese zu sehen, unter der Annahme, dass die Nullhypothese stimmt. Die Richtung zählt, denn falsch gelesen wird er meistens als die Wahrscheinlichkeit, dass die Null wahr ist, oder schlimmer, als die Wahrscheinlichkeit, dass der Test funktioniert hat, und das sind völlig andere Aussagen. Was er definitiv nicht sagt, ist, ob das Ergebnis relevant ist. Auf einem ausreichend großen Sample wird fast alles signifikant. Ich hatte einen Test, bei dem eine Button-Änderung bei p unter 0,01 signifikant war und der tatsächliche Lift 0,1 Prozent betrug, auf einer Metrik mit einem breiten Konfidenzintervall, das Werte enthielt, die zu klein waren, um die Engineering-Arbeit zu bezahlen. Was ich Stakeholdern präsentiere, ist also die Effektgröße mit Konfidenzintervall, und ich formuliere es als: unsere beste Schätzung ist ein Lift von 2 Prozent, plausibel zwischen 0,5 und 3,5 Prozent. Damit haben die Leute etwas, das sie gegen Kosten abwägen können. Ich achte außerdem auf multiples Testen, denn fünfzehn Metriken zu prüfen garantiert ein paar Falschpositive.