Tu experimento termina y el resultado es plano, sin diferencia significativa. ¿Qué haces después?

Plano es un resultado, así que repórtalo como tal. Primero comprueba que el test era válido: desajuste en la proporción de la muestra, instrumentación, y si alguna vez tuvo potencia para el efecto que te importaba. Luego mira si el intervalo de confianza descarta un efecto relevante o simplemente es demasiado ancho para decir nada. Por último, mira solo los segmentos preregistrados, sin pescar.

Primero me aseguro de que es un nulo real y no un test roto. Compruebo la proporción de la muestra: si esperaba cincuenta cincuenta y salió 50,8 frente a 49,2 sobre unos cientos de miles de usuarios, algo va mal en la asignación y todo el resultado es sospechoso. Compruebo que la instrumentación disparó en ambas ramas y que las métricas de guardia tienen buena pinta. Suponiendo que aguante, voy al intervalo en lugar del p valor. Si la mejora es del 0,1 por ciento con un intervalo de más menos 0,4, eso es genuinamente informativo: podemos descartar cualquier cosa que mereciera lanzarse. Si es más menos 6 por ciento, el test simplemente no podía ver, y decir que no hay efecto sería incorrecto. Luego miro los segmentos que nombramos antes del lanzamiento, y solo esos. No voy a trocear hasta que algo salga significativo, y lo digo en voz alta, porque suele haber presión para encontrar un superviviente. Después doy una recomendación. Normalmente es no lanzar, esto es lo que cambiaría de la hipótesis, y sinceramente un nulo limpio que nos evita gastar otro trimestre en una idea muerta es un buen resultado.