Como você montaria um teste A/B para uma mudança no fluxo de checkout?

Escreva a hipótese primeiro: que mudança, que efeito, em qual métrica, para quem. Escolha uma métrica principal (compras concluídas por visitante, não cliques), defina métricas de guarda como reembolsos e contatos com suporte, calcule o tamanho de amostra e a duração antes de lançar, e cubra ciclos semanais completos. Não fique espiando e parando cedo num dia bom; é assim que times entregam mudanças que não fazem nada.

Eu começo com uma hipótese sobre a qual eu poderia estar errado: mover o custo de entrega para cima da dobra vai reduzir o abandono na etapa de pagamento em pelo menos dois pontos percentuais, para clientes novos no mobile. Depois uma métrica principal, e tem que ser compras concluídas por visitante em vez de cliques no botão, porque eu sempre consigo mais cliques deixando algo mais gritante. As de guarda seriam taxa de reembolso e contatos com suporte, já que um checkout que converte mais mas confunde as pessoas só empurra o custo para outro lugar. Antes de lançar eu faço o cálculo de amostra com quem cuida de experimentação, e rodo pelo menos duas semanas completas para o comportamento de dia útil e de fim de semana estarem ali. A regra que eu seguro com mais firmeza é não ficar espiando. Todo teste parece significativo no terceiro dia se você apertar os olhos. E eu empurraria contra testar de todo se o tráfego for baixo demais para detectar o efeito, ou se for uma mudança fundacional como um novo modelo de navegação, onde eu preferiria um rollout gradual e observar uma coorte.