Seu experimento termina e o resultado é neutro, sem diferença significativa. O que você faz em seguida?

Neutro é um resultado, então reporte como tal. Primeiro cheque se o teste foi válido: desbalanceamento na proporção da amostra, instrumentação e se ele algum dia teve poder para o efeito que importava. Depois cheque se o intervalo de confiança descarta um efeito relevante ou se é apenas largo demais para dizer qualquer coisa. Por fim, olhe só os segmentos pré registrados, sem pescaria.

Primeiro eu me certifico de que é um nulo real e não um teste quebrado. Eu checo a proporção da amostra: se eu esperava cinquenta a cinquenta e recebi 50.8 contra 49.2 em algumas centenas de milhares de usuários, algo está errado na alocação e o resultado inteiro fica suspeito. Eu checo se a instrumentação disparou nos dois braços e se as métricas de guarda parecem sãs. Assumindo que se sustenta, eu vou ao intervalo em vez do valor p. Se o ganho é de 0.1 por cento com um intervalo de mais ou menos 0.4, isso é genuinamente informativo: dá para descartar qualquer coisa que valesse a pena lançar. Se é mais ou menos 6 por cento, o teste simplesmente não conseguiu enxergar, e dizer que não há efeito seria errado. Depois eu olho os segmentos que nomeamos antes do lançamento, e só esses. Eu não vou fatiar até algo ficar significativo, e eu digo isso em voz alta, porque normalmente existe pressão para achar um sobrevivente. Aí eu dou uma recomendação. Normalmente é não lançar, aqui está o que eu mudaria na hipótese e, sinceramente, um nulo limpo que nos impede de gastar mais um trimestre em uma ideia morta é um bom resultado.