Comment décidez-vous quelle doit être la métrique de succès d'une nouvelle fonctionnalité ?

Partez du changement de comportement attendu, pas de ce qui est facile à logger. Nommez l'action utilisateur précise que la fonctionnalité doit rendre plus fréquente, choisissez une métrique qui ne bouge que si cette action se produit, et associez-lui une métrique garde-fou qui attrape les dégâts ailleurs. Puis écrivez le chiffre qui vous ferait déclarer l'échec, avant le lancement et pas après.

Je pars du comportement que je m'attends à voir changer, et j'écris la métrique avant qu'on construise, parce qu'après le lancement tout le monde devient très créatif sur ce qui compte comme un succès. Donc pour une fonctionnalité censée faire importer des données dès le premier jour, la métrique c'est la part des nouveaux comptes qui terminent un import lors de leur première session, pas le nombre d'imports, parce que le nombre d'imports monte si nos plus gros utilisateurs importent deux fois. Ensuite j'ajoute un garde-fou. Sur celle-là, c'était le volume de tickets de support, puisqu'un mauvais importeur génère des tickets même quand le chiffre de complétion a l'air bon. Et j'écris explicitement la ligne d'échec : en dessous d'un certain chiffre au bout de quatre semaines, on revient en arrière plutôt que d'itérer dessus. Avoir ça écrit, c'est toute l'astuce, parce que ça transforme la revue de lancement en décision plutôt qu'en débat sur le fait de savoir si dix pour cent, c'était bien ou pas.