Une équipe produit vous demande de définir un indicateur nord pour sa fonctionnalité. Comment abordez-vous cela ?

Partez de la valeur que la fonctionnalité apporte à l'utilisateur, puis trouvez le comportement mesurable le plus proche de cette valeur. Un bon indicateur bouge quand le produit s'améliore réellement, est difficile à truquer, et est disponible assez vite pour guider les décisions. Associez-le à des contre-indicateurs qui détectent les dégâts, et préférez un taux ou une mesure par utilisateur à un total brut, puisque les totaux montent avec la croissance quelle que soit la qualité.

Je commence par demander ce que la fonctionnalité est censée apporter à l'utilisateur, parce que l'indicateur doit être le proxy observable le plus proche de ça. Ensuite je le mets à l'épreuve en me demandant comment je le truquerais si j'étais cynique. Pour une fonctionnalité de recherche, le nombre de clics par recherche paraît raisonnable jusqu'à ce qu'on réalise que de mauvais résultats génèrent aussi des clics : une expérience dégradée fait monter le chiffre. Quelque chose comme la part de recherches qui se terminent par une action accomplie en moins de cinq minutes est plus difficile à truquer. Je l'associe toujours à des contre-indicateurs : si on optimise les notifications pour l'engagement, les taux de désabonnement et de désinstallation se retrouvent juste à côté sur le même graphique. Et je pousse pour des taux plutôt que des totaux, parce que le nombre total de sessions monte quand l'entreprise grandit et ne dit rien sur la qualité de la fonctionnalité. La dernière partie, c'est de fixer la définition par écrit avec le product manager avant que quiconque ne construise un tableau de bord, parce que renommer un indicateur une fois que les gens ont des objectifs dessus est douloureux.