Wie erklärst du einem Product Manager, der denkt, es sei die Wahrscheinlichkeit, dass das Ergebnis echt ist, was ein p-Wert wirklich bedeutet?

Ein p-Wert ist die Wahrscheinlichkeit, Daten mindestens so extrem wie deine zu sehen, falls die Nullhypothese stimmt. Er ist nicht die Wahrscheinlichkeit, dass die Null wahr ist, und auch nicht die Wahrscheinlichkeit, dass dein Ergebnis echt ist. Ein p von 0,03 heißt: In einer Welt ohne Effekt würden Daten dieser Größenordnung in drei Prozent der Fälle auftauchen.

Ich würde es so sagen: Der p-Wert beantwortet genau eine enge Frage, nämlich wie überraschend diese Daten wären, wenn das Feature überhaupt nichts bewirkt. Wenn er bei 0,03 liegt, dann würden wir in einer Welt ohne jeden Effekt trotzdem etwa drei von hundert Malen einen Ausschlag dieser Größe sehen. Mehr sagt er nicht. Er ist keine Drei-Prozent-Chance, dass die Null stimmt, und schon gar keine Siebenundneunzig-Prozent-Chance, dass das Feature funktioniert. Danach hole ich sie da weg, weil er für sich genommen ein schlechtes Entscheidungswerkzeug ist. Ich zeige stattdessen Effektgröße und Konfidenzintervall: Der Lift ist 1,2 Prozent, plausible Spanne 0,1 bis 2,3 Prozent. Damit wird aus der Frage ist das echt die Frage ob sich die kleinstmögliche Version davon zu bauen lohnt. Ich hatte Launches, bei denen p unter 0,05 lag und das Intervall trotzdem einen Lift enthielt, der zu klein war, um die Engineering-Kosten zu decken, und genau das ist das Gespräch, das sich lohnt.