Os usuários ativos diários caíram 20% de um dia para o outro. Como você investiga?

Descarte problemas de instrumentação antes de procurar uma causa de negócio, porque uma falha de tracking ou de pipeline é a explicação mais comum para uma mudança brusca da noite para o dia. Depois segmente de forma agressiva: plataforma, versão do app, geografia, navegador, novo versus recorrente e canal de aquisição. Uma queda concentrada em um segmento aponta para causa técnica; uma queda espalhada por igual em todos os segmentos aponta para algo externo ou para a sua medição.

Minha primeira pergunta é sempre se a queda é real, porque na minha experiência a maioria dos despencos da noite para o dia é medição. Então eu checo se o pipeline rodou por completo, se alguém mudou a definição da métrica ou o filtro do dashboard, e se um release do app mudou os eventos de tracking. Uma queda de 20% que é exatamente 20% em toda hora cheira a problema de dados, não a comportamento humano. Depois eu vejo quando começou, na hora exata, o que já reduz a lista de suspeitos, e segmento. Plataforma, versão do app, país, navegador, novo versus recorrente. Se é tudo no Android 8.4.0, é bug de release e eu vou direto ao time de mobile. Se está espalhado por igual em tudo, eu olho para fora: feriados, uma indisponibilidade em um provedor de login, ou uma campanha de marketing que acabou. Uma vez eu tive uma queda que era inteira de um país só e acabou sendo um problema de DNS no nível do provedor de internet. Aí eu reporto o que eu sei, o que eu descartei e o que eu checaria em seguida.