Ejecutaste un experimento pero troceaste los resultados de veinte formas y encontraste dos segmentos significativos. ¿Qué le dices al equipo?

Trátalos como hipótesis, no como hallazgos. Con alfa 0,05, probar veinte cortes da alrededor de un 64 por ciento de probabilidad de al menos un falso positivo aunque no haya nada real, así que dos aciertos es más o menos lo que produce el puro ruido. Aplica una corrección como Benjamini Hochberg o, mejor, preregistra los segmentos que te importan y confirma cualquier sorpresa en un test nuevo.

Les diría que encontramos dos pistas, no dos resultados. Con veinte pruebas independientes a 0,05, la probabilidad de al menos un falso positivo bajo hipótesis nula cierta es de aproximadamente el 64 por ciento, y el recuento esperado es uno. Así que dos cae de lleno dentro de lo que produce el ruido. Luego aplicaría Benjamini Hochberg en vez de Bonferroni, porque Bonferroni sobre veinte pruebas es brutalmente conservador y probablemente mataría un efecto real junto con el ruido; el control de la tasa de falso descubrimiento es la herramienta adecuada cuando estás cribando. Normalmente uno o los dos se caen. Si algo sobrevive, lo sigo tratando como hipótesis y lo digo: el siguiente paso honesto es un test confirmatorio dirigido a ese segmento en concreto, con el segmento declarado antes de mirar. He visto esto salir al revés, con un equipo que lanzó a un segmento basándose en un resultado troceado y el efecto se evaporó a escala, y el coste no fue solo la funcionalidad desperdiciada, fue que nadie confió en la plataforma de experimentación durante el trimestre siguiente.