Tu test A/B sale plano. ¿Qué haces a continuación?

Primero comprueba que el test podía detectar algo: tamaño de muestra, duración a lo largo de un ciclo semanal completo, y si el cambio llegó de verdad al grupo de tratamiento, porque los errores de instrumentación provocan más resultados planos que las malas ideas. Luego segmenta, porque una media plana suele esconder una mejora real en una cohorte compensada por una caída en otra. Si sobrevive a eso, llámalo un nulo genuino y decide según el coste.

Lo primero que compruebo es si el test podía detectar algo siquiera. ¿Tenía potencia para el tamaño de efecto que nos importaba, corrió durante un ciclo semanal completo, y llegó el cambio de verdad a la gente del grupo de tratamiento? Esto último caza más resultados planos que las malas ideas. Una vez tuve un test en el que un feature flag no se evaluaba para una parte del grupo de tratamiento, así que estuvimos midiendo nada contra nada durante once días. Cuando ya me fío de la fontanería, segmento, porque un titular plano suele esconder una subida real en usuarios nuevos anulada por una caída en usuarios avanzados, y eso es un hallazgo mucho más interesante que la media. Si es genuinamente nulo, lo digo con claridad en vez de buscar una porción que quede bien. Después la decisión va de coste: si es barato de mantener e inofensivo, se queda; si no, fuera.