Como você decide qual deve ser a métrica de sucesso de uma feature nova?

Comece pela mudança de comportamento que você espera, não pelo que é fácil de logar. Nomeie a ação específica do usuário que a feature deveria tornar mais comum, escolha uma métrica que só se mexe se aquela ação acontecer, e combine com uma métrica de guardrail que pegue estrago em outro lugar. Depois escreva o número que te faria chamar aquilo de fracasso, antes do lançamento e não depois.

Eu começo pelo comportamento que espero mudar, e escrevo a métrica antes de a gente construir, porque depois do lançamento todo mundo fica muito criativo sobre o que conta como sucesso. Então para uma feature feita para as pessoas importarem dados no primeiro dia, a métrica é a fatia de contas novas que completam uma importação na primeira sessão, não o número de importações, porque o número de importações sobe se os nossos usuários mais pesados importarem duas vezes. Aí eu adiciono um guardrail. Naquele caso foi volume de tickets de suporte, já que um importador ruim gera tickets mesmo enquanto o número de conclusão parece bom. E eu escrevo a linha de fracasso explicitamente: abaixo de certo número depois de quatro semanas e a gente reverte em vez de iterar. Ter isso escrito é o truque inteiro, porque transforma a revisão de lançamento numa decisão em vez de um debate sobre se dez por cento foi bom ou não.