Un product manager veut lancer un test A/B la semaine prochaine. Comment déterminez-vous combien de temps il doit tourner ?

Raisonnez à rebours à partir de l'effet minimal détectable. Il vous faut le taux de référence, le plus petit gain qui vaut un déploiement, le seuil de significativité, et la puissance visée (en général 80%). Cela donne une taille d'échantillon par bras ; divisez par le trafic éligible quotidien pour obtenir un nombre de jours. Puis arrondissez à des semaines entières pour couvrir les cycles hebdomadaires, et fixez la durée avant de commencer.

Je demande quatre choses : quel est le taux de conversion actuel, quel est le plus petit gain qui nous ferait vraiment déployer, quel alpha on utilise, et quelle puissance on veut. La deuxième est la vraie conversation, et c'est une question métier plutôt que statistique. S'ils répondent n'importe quel gain, je leur montre le calcul : sur une base de 3%, détecter un demi-point relatif demande des millions d'utilisateurs par bras, et on ne les a pas, donc on lancerait un test qui ne peut pas réussir. En général ils atterrissent sur quelque chose comme un gain relatif de 5%, ce qui à notre trafic peut faire onze jours. J'arrondis alors à quatorze pour couvrir deux cycles hebdomadaires complets, parce que les utilisateurs du week-end se comportent différemment et qu'un test de dix jours surpondère les jours qu'il inclut. Et j'écris la date d'arrêt avant le lancement. L'habitude qui tue les équipes, c'est de regarder tous les jours et de conclure dès que p passe sous 0,05, ce qui gonfle sérieusement le taux de faux positifs. S'ils ont vraiment besoin de lectures anticipées, je mets en place un test séquentiel correctement plutôt que de faire comme si regarder était gratuit.