Você rodou um experimento, mas fatiou os resultados de vinte formas e achou dois segmentos significativos. O que você diz ao time?

Trate isso como hipóteses, não como achados. Com alfa 0.05, testar vinte fatias dá cerca de 64 por cento de chance de pelo menos um falso positivo mesmo quando nada é real, então dois acertos é mais ou menos o que puro ruído produz. Aplique uma correção como Benjamini Hochberg ou, melhor, pré registre os segmentos que importam e confirme qualquer surpresa em um teste novo.

Eu diria que a gente achou duas pistas, não dois resultados. Com vinte testes independentes a 0.05, a chance de pelo menos um falso positivo sob uma nula verdadeira é de cerca de 64 por cento, e a contagem esperada é um. Então dois está bem dentro do que o ruído produz. Depois eu aplicaria Benjamini Hochberg em vez de Bonferroni, porque Bonferroni em vinte testes é brutalmente conservador e provavelmente mataria um efeito real junto com o ruído; controle de taxa de descoberta falsa é a ferramenta certa quando você está fazendo triagem. Normalmente um ou os dois caem. Se algo sobrevive, eu ainda trato como hipótese e digo isso: o próximo passo honesto é um teste confirmatório mirando aquele segmento especificamente, com o segmento declarado antes de a gente olhar. Eu já vi isso dar errado, com um time lançando para um segmento com base em um resultado fatiado e o efeito sumindo em escala, e o custo não foi só a feature desperdiçada, foi que ninguém confiou na plataforma de experimentos por um trimestre depois.