Tu test A/B termina y el resultado no es estadísticamente significativo. ¿Qué recomiendas?

No significativo no significa que no haya efecto, significa que no pudiste distinguirlo de cero con tu tamaño de muestra. Reporta el intervalo de confianza: si descarta cualquier efecto que merezca la pena publicar, eso es una respuesta real y no deberías publicarlo. Si es amplio e incluye valores relevantes, el test estaba falto de potencia y las opciones honestas son alargarlo, probar un cambio más atrevido o decidir por otros motivos.

Lo primero que digo es que esto no es evidencia de que el cambio no haga nada, es que no pudimos distinguirlo de nada. El intervalo de confianza decide el siguiente paso. Si está apretado alrededor de cero, digamos entre menos 0.3% y más 0.4%, eso es genuinamente informativo: cualquier efecto real es demasiado pequeño para justificar el coste de mantenimiento, así que no se publica, y eso es un resultado útil y no un fracaso. Si va de menos 4% a más 6%, no aprendimos nada y el test estaba falto de potencia, así que las opciones son alargarlo si el tráfico lo permite, probar una versión más atrevida de la idea, o decidir por otros motivos como la estrategia o la coherencia de diseño y dejar claro que no lo están decidiendo los datos. Contra lo que me planto es contra trocear hasta que algo salga significativo. Si revisas suficientes segmentos encontrarás un ganador dentro del ruido, y he visto eso publicar una funcionalidad que luego no mostró ningún efecto.