Como você desenharia um teste A/B para um novo fluxo de checkout?

Defina uma métrica primária e o efeito mínimo que vale a pena detectar, depois calcule o tamanho de amostra e a duração necessários antes de lançar. Randomize no nível do usuário, não no nível da sessão, para que um usuário recorrente sempre veja a mesma variante. Rode em semanas inteiras para cobrir os ciclos semanais, verifique se a randomização se sustentou e decida de antemão qual resultado dispara o lançamento. Acompanhe métricas de guarda ao lado da primária.

Eu começaria fixando uma métrica primária, que para checkout é compras concluídas por usuário que entra no checkout, não cliques, e depois perguntaria que tamanho de melhoria realmente justificaria colocar no ar. Esse efeito mínimo detectável define o tamanho da amostra, e o tamanho da amostra mais o nosso tráfego diário dizem quanto tempo o teste roda. Se der onze semanas, a resposta honesta é que este teste não vale a pena e a gente deveria decidir de outro jeito. A randomização vai no nível do usuário com um identificador persistente, já que atribuição por sessão faz um cliente recorrente ver dois checkouts diferentes, o que polui os dados e ainda irrita a pessoa. Eu rodo em múltiplos de semanas inteiras porque comportamento de dia útil e de fim de semana difere bastante. Eu também fixo as métricas de guarda antes, então taxa de reembolso e contatos com o suporte, e a regra de lançamento. E eu não paro cedo em um dia bom; espiar repetidamente um teste em andamento infla falsos positivos de forma feia, coisa que eu já vi acontecer.