Comment monteriez-vous un test A/B pour un changement dans le parcours de paiement ?

Écrivez d'abord l'hypothèse : quel changement, quel effet, sur quelle métrique, pour qui. Choisissez une seule métrique principale (achats terminés par visiteur, pas les clics), définissez des garde-fous comme les remboursements et les contacts au support, calculez la taille d'échantillon et la durée avant le lancement, et couvrez des cycles hebdomadaires complets. Ne regardez pas en cours de route pour vous arrêter tôt un bon jour ; c'est comme ça que des équipes livrent des changements qui ne font rien.

Je commence par une hypothèse sur laquelle je pourrais avoir tort : remonter le coût de livraison au-dessus de la ligne de flottaison réduira l'abandon à l'étape de paiement d'au moins deux points de pourcentage, pour les nouveaux clients sur mobile. Ensuite une seule métrique principale, et ce doit être les achats terminés par visiteur plutôt que les clics sur le bouton, parce que je peux toujours obtenir plus de clics en rendant quelque chose plus criard. Les garde-fous seraient le taux de remboursement et les contacts au support, puisqu'un paiement qui convertit plus mais embrouille les gens ne fait que déplacer le coût ailleurs. Avant le lancement, je fais faire le calcul de taille d'échantillon avec la personne qui porte l'expérimentation, et je fais tourner au moins deux semaines complètes pour que les comportements de semaine et de week-end y soient tous les deux. La règle à laquelle je tiens le plus, c'est de ne pas regarder en cours de route. Tout test a l'air significatif au troisième jour si on plisse les yeux. Et je m'opposerais à tester du tout si le trafic est trop faible pour détecter l'effet, ou s'il s'agit d'un changement fondateur comme un nouveau modèle de navigation, où je préférerais un déploiement progressif en observant une cohorte.