Seu teste A/B termina e o resultado não é estatisticamente significativo. O que você recomenda?

Não significativo não quer dizer efeito nenhum, quer dizer que você não conseguiu distinguir o efeito de zero com o seu tamanho de amostra. Reporte o intervalo de confiança: se ele descarta qualquer efeito que valeria a pena colocar no ar, isso é uma resposta de verdade e você não deve lançar. Se ele é largo e inclui valores relevantes, o teste ficou sem poder estatístico e as opções honestas são rodar mais tempo, testar uma mudança mais ousada ou decidir por outros critérios.

A primeira coisa que eu digo é que isto não é evidência de que a mudança não faz nada, é que a gente não conseguiu diferenciá-la de nada. O intervalo de confiança decide o que fazer em seguida. Se ele é estreito em torno de zero, digamos entre menos 0,3% e mais 0,4%, isso é genuinamente informativo: qualquer efeito real é pequeno demais para justificar o custo de manutenção, então não lança, e isso é um resultado útil e não um fracasso. Se ele vai de menos 4% a mais 6%, a gente não aprendeu nada e o teste ficou sem poder, então as escolhas são rodar mais tempo se o tráfego permitir, testar uma versão mais ousada da ideia, ou decidir por outros critérios como estratégia ou consistência de design, deixando claro que os dados não estão decidindo. O que eu não aceito é fatiar até alguma coisa dar significativa. Se você checa segmentos suficientes vai achar um vencedor no ruído, e eu já vi isso colocar no ar uma funcionalidade que depois não mostrou efeito nenhum.