Comment expliqueriez-vous ce qu'est réellement une p-value à un product manager qui croit que c'est la probabilité que le résultat soit réel ?

Une p-value est la probabilité d'observer des données au moins aussi extrêmes que les vôtres si l'hypothèse nulle était vraie. Ce n'est pas la probabilité que l'hypothèse nulle soit vraie, et ce n'est pas la probabilité que votre résultat soit réel. Un p de 0,03 veut dire que des données aussi extrêmes apparaîtraient trois fois sur cent dans un monde sans effet.

Je le dirais ainsi : la p-value répond à une seule question étroite, celle de savoir à quel point ces données seraient surprenantes si la fonctionnalité ne faisait rien du tout. Si elle vaut 0,03, alors dans un monde où le changement n'a aucun effet, on verrait quand même un écart de cette ampleur environ trois fois sur cent. C'est tout ce qu'elle dit. Ce n'est pas trois pour cent de chances que l'hypothèse nulle soit vraie, et ce n'est certainement pas quatre-vingt-dix-sept pour cent de chances que la fonctionnalité marche. Ensuite je les en éloigne, parce que seule, c'est un mauvais outil de décision. Je montre plutôt la taille d'effet et l'intervalle de confiance : le gain est de 1,2%, fourchette plausible de 0,1 à 2,3%. Cela déplace la conversation de est-ce que c'est réel vers est-ce que la plus petite version plausible de ça vaut la peine d'être construite. J'ai eu des lancements où p était sous 0,05 et où l'intervalle incluait encore un gain trop faible pour payer le travail d'ingénierie, et c'est cette conversation-là qui vaut vraiment la peine.