Seu teste A/B volta neutro. O que você faz em seguida?

Primeiro cheque se o teste tinha como detectar qualquer coisa: tamanho de amostra, duração cobrindo um ciclo semanal inteiro, e se a mudança de fato chegou ao grupo de tratamento, já que bugs de instrumentação causam mais resultados neutros do que ideias ruins. Depois segmente, porque uma média neutra muitas vezes esconde um ganho real numa coorte compensado por uma perda em outra. Se sobreviver a isso, chame de nulo genuíno e decida pelo custo.

A primeira coisa que eu checo é se o teste tinha como detectar qualquer coisa. Ele tinha poder para o tamanho de efeito que a gente se importava, ele rodou por um ciclo semanal inteiro, e a mudança de fato chegou às pessoas do grupo de tratamento. Essa última pega mais resultados neutros do que ideias ruins. Eu já tive um teste em que uma feature flag não estava sendo avaliada para um pedaço do grupo de tratamento, então a gente mediu nada contra nada por onze dias. Uma vez que eu confio no encanamento, eu segmento, porque uma manchete neutra muitas vezes esconde um ganho real para usuários novos anulado por uma queda para usuários avançados, e esse é um achado muito mais interessante do que a média. Se for genuinamente nulo, eu digo isso com todas as letras em vez de caçar uma fatia bonita. Aí a decisão é sobre custo: barato de manter e inofensivo, mantém, senão tira.