Um product manager quer rodar um teste A/B na semana que vem. Como você calcula quanto tempo ele precisa rodar?

Trabalhe de trás para frente a partir do efeito mínimo detectável. Você precisa da taxa base, do menor ganho que justifica lançar, do nível de significância e do poder desejado (normalmente 80 por cento). Isso dá a amostra necessária por braço; divida pelo tráfego elegível diário para achar os dias. Depois arredonde para semanas inteiras para cobrir os ciclos de dias da semana, e fixe a duração antes de começar.

Eu pergunto quatro coisas: qual é a taxa de conversão atual, qual é o menor ganho que de fato nos faria lançar isso, qual alfa estamos usando e qual poder queremos. A segunda é a conversa de verdade, e é uma pergunta de negócio, não estatística. Se me dizem qualquer ganho, eu mostro a conta: com uma base de 3 por cento, detectar meio por cento relativo exige milhões de usuários por braço, e a gente não tem isso, então estaríamos rodando um teste que não pode dar certo. Normalmente eles chegam em algo como um ganho relativo de 5 por cento, o que com o nosso tráfego pode dar onze dias. Aí eu arredondo para quatorze para cobrir dois ciclos semanais completos, porque usuários de fim de semana se comportam diferente e um teste de dez dias pesa demais os dias que por acaso ele inclui. E eu anoto a data de parada antes do lançamento. O hábito que mata os times é checar todo dia e encerrar no momento em que o p passa abaixo de 0.05, o que infla muito a taxa de falsos positivos. Se eles realmente precisam de leituras antecipadas, eu monto um teste sequencial direito em vez de fingir que espiar é de graça.