¿Cómo diseñarías un test A/B para un nuevo flujo de compra?

Define una única métrica principal y el efecto mínimo que merece la pena detectar, y luego calcula el tamaño de muestra necesario y la duración antes de lanzar. Aleatoriza a nivel de usuario, no de sesión, para que un usuario que vuelve siempre vea la misma variante. Ejecuta durante semanas completas para cubrir los ciclos semanales, comprueba que la aleatorización se mantuvo y decide de antemano qué resultado dispara el lanzamiento. Sigue métricas de control junto a la principal.

Empezaría fijando una sola métrica principal, que en un flujo de compra son las compras completadas por usuario que entra al checkout, no los clics, y luego preguntaría qué tamaño de mejora justificaría de verdad publicarlo. Ese efecto mínimo detectable determina el tamaño de muestra, y el tamaño de muestra más nuestro tráfico diario nos dice el tiempo de ejecución. Si eso sale en once semanas, la respuesta honesta es que este test no merece la pena y deberíamos decidir de otra forma. La aleatorización va a nivel de usuario con un identificador persistente, ya que asignar por sesión significa que un cliente que vuelve ve dos checkouts distintos, lo que contamina los datos y encima le molesta. Lo ejecuto en múltiplos de semanas completas porque el comportamiento entre semana y en fin de semana es muy distinto. También fijo de antemano las métricas de control, o sea tasa de reembolsos y contactos con soporte, y la regla de lanzamiento. Y no paro antes en un buen día; espiar repetidamente un test en marcha infla mucho los falsos positivos, y lo he visto pasar.