Un jefe de producto quiere lanzar un test A/B la semana que viene. ¿Cómo calculas cuánto tiene que durar?

Trabaja hacia atrás desde el efecto mínimo detectable. Necesitas la tasa base, la mejora más pequeña que merece la pena lanzar, el nivel de significación y la potencia deseada (normalmente el 80 por ciento). Eso te da un tamaño de muestra necesario por rama; divídelo entre el tráfico elegible diario para sacar los días. Luego redondea hacia arriba a semanas completas para cubrir los ciclos entre semana, y fija la duración antes de empezar.

Pregunto cuatro cosas: cuál es la tasa de conversión actual, cuál es la mejora más pequeña que de verdad nos haría lanzar esto, qué alfa usamos y qué potencia queremos. La segunda es la conversación real, y es una pregunta de negocio más que estadística. Si dicen que cualquier mejora, les enseño las cuentas: con una base del 3 por ciento, detectar medio punto porcentual relativo requiere millones de usuarios por rama, y no los tenemos, así que estaríamos lanzando un test que no puede salir bien. Normalmente aterrizan en algo como una mejora relativa del 5 por ciento, que con nuestro tráfico podrían ser once días. Luego redondeo a catorce para cubrir dos ciclos semanales completos, porque los usuarios del fin de semana se comportan distinto y un test de diez días sobrepondera los días que casualmente incluye. Y apunto la fecha de parada antes de lanzar. La costumbre que mata a los equipos es mirar a diario y cantar victoria en cuanto el p baja de 0,05, lo que infla mucho la tasa de falsos positivos. Si de verdad necesitan lecturas tempranas, monto un test secuencial en condiciones en lugar de fingir que espiar sale gratis.