Que signifie réellement une p-value, et que ne vous dit-elle pas ?

Une p-value est la probabilité d'observer un résultat au moins aussi extrême que le vôtre si l'hypothèse nulle était vraie. Elle ne donne pas la probabilité que l'hypothèse nulle soit vraie, et elle ne vous dit pas que l'effet est important. Une p-value faible avec un effet minuscule sur un très gros échantillon est statistiquement significative et souvent sans intérêt commercial, donc présentez toujours la taille d'effet et l'intervalle de confiance.

Une p-value est la probabilité d'observer des données au moins aussi extrêmes en supposant l'hypothèse nulle vraie. Le sens compte, parce que la mauvaise lecture habituelle en fait la probabilité que l'hypothèse nulle soit vraie, ou pire, la probabilité que le test ait marché, et ce sont des énoncés complètement différents. Ce qu'elle ne vous dit certainement pas, c'est si le résultat compte. Sur un échantillon assez grand, presque tout devient significatif. J'ai eu un test où un changement de bouton était significatif à p inférieur à 0,01 alors que le gain réel était de 0,1%, sur un indicateur dont l'intervalle de confiance large incluait des valeurs trop faibles pour justifier le travail d'ingénierie. Ce que je présente aux parties prenantes, c'est donc la taille d'effet avec un intervalle de confiance, et je le formule ainsi : notre meilleure estimation est un gain de 2%, plausiblement entre 0,5% et 3,5%. Cela leur donne quelque chose à mettre en balance avec le coût. Je surveille aussi les comparaisons multiples, puisque tester quinze indicateurs garantit deux ou trois faux positifs.