Um stakeholder diz que usuários que usam a funcionalidade X retêm melhor, então deveríamos empurrar todo mundo para ela. Como você responde?

Isso é uma correlação, e a explicação mais provável é seleção: usuários engajados adotam mais funcionalidades, então a funcionalidade pode ser sintoma da retenção e não causa. Diga isso sem matar a ideia, depois proponha um jeito de testar, de preferência um experimento randomizado ou, na falta dele, uma comparação de coortes pareadas ou uma análise de diferenças em diferenças em torno de um release.

Eu diria que é um sinal promissor e depois explicaria por que ainda não dá para concluir. A história mais provável é que usuários engajados experimentam mais funcionalidades, então a adoção da funcionalidade X é um marcador de engajamento e não a causa dele, e empurrar um usuário desengajado para ela pode não fazer efeito nenhum. Existe também uma leitura direta de causalidade reversa: quem já ia ficar é quem continua por perto para descobrir a funcionalidade. A resposta limpa é um teste randomizado, então induzir um subconjunto aleatório à funcionalidade e comparar a retenção contra um grupo de controle, o que nos diz o efeito causal exatamente na população que a gente teria como alvo. Se não der para rodar isso, eu olharia diferenças em diferenças em torno do lançamento da funcionalidade, ou parearia usuários por atividade anterior, tempo de casa e plano, e compararia iguais com iguais. Quando eu fiz a versão pareada disso em uma funcionalidade de onboarding, cerca de dois terços do ganho aparente sumiram, o que mudou a decisão de roadmap.