Votre expérience se termine et le résultat est plat, aucune différence significative. Que faites-vous ensuite ?

Plat est un résultat, présentez-le comme tel. Vérifiez d'abord que le test était valide : décalage du ratio d'échantillons, instrumentation, et puissance réelle pour l'effet qui vous intéressait. Regardez ensuite si l'intervalle de confiance exclut un effet significatif ou s'il est simplement trop large pour dire quoi que ce soit. Enfin, ne regardez que les segments pré-enregistrés, sans partir à la pêche.

D'abord je m'assure que c'est un vrai résultat nul et pas un test cassé. Je vérifie le ratio d'échantillons : si j'attendais du cinquante-cinquante et que j'obtiens 50,8 contre 49,2 sur quelques centaines de milliers d'utilisateurs, l'affectation a un problème et tout le résultat devient suspect. Je vérifie que l'instrumentation s'est déclenchée dans les deux bras et que les indicateurs garde-fous ont l'air sains. En supposant que ça tienne, je vais à l'intervalle plutôt qu'à la p-value. Si le gain est de 0,1% avec un intervalle de plus ou moins 0,4, c'est vraiment informatif : on peut exclure tout ce qui vaudrait un déploiement. Si c'est plus ou moins 6%, le test n'y voyait tout simplement rien, et dire aucun effet serait faux. Ensuite je regarde les segments qu'on avait nommés avant le lancement, et seulement ceux-là. Je ne découperai pas jusqu'à ce que quelque chose devienne significatif, et je le dis à voix haute, parce qu'il y a en général une pression pour trouver un survivant. Puis je donne une recommandation. En général c'est ne pas déployer, voici ce que je changerais à l'hypothèse, et honnêtement un résultat nul propre qui nous évite de passer un trimestre de plus sur une idée morte est un bon résultat.