¿Cómo montarías un test A/B para un cambio en el flujo de pago?

Escribe primero la hipótesis: qué cambio, qué efecto, sobre qué métrica y para quién. Elige una métrica principal (compras completadas por visitante, no clics), define métricas de control como devoluciones y contactos con soporte, calcula el tamaño de muestra y la duración antes de lanzar, y cubre ciclos semanales completos. No espíes ni pares antes de tiempo en un buen día; así es como los equipos lanzan cambios que no hacen nada.

Empiezo con una hipótesis en la que podría estar equivocado: mover el coste de envío por encima del pliegue reducirá el abandono en el paso de pago al menos dos puntos porcentuales, para clientes nuevos en móvil. Después una métrica principal, y tiene que ser compras completadas por visitante en vez de clics en el botón, porque siempre puedo conseguir más clics haciendo algo más chillón. Las métricas de control serían la tasa de devoluciones y los contactos con soporte, porque un pago que convierte más pero confunde a la gente solo mueve el coste a otro sitio. Antes de lanzar hago el cálculo de tamaño de muestra con quien lleve la experimentación, y lo dejo correr al menos dos semanas completas para que el comportamiento entre semana y el de fin de semana estén ambos dentro. La regla que mantengo con más firmeza es no espiar. Todos los tests parecen significativos el día tres si entrecierras los ojos. Y me opondría a testear siquiera si el tráfico es demasiado bajo para detectar el efecto, o si es un cambio fundacional como un nuevo modelo de navegación, donde preferiría un despliegue escalonado y observar una cohorte.