Votre analyse montre que les utilisateurs d'une fonctionnalité sont retenus deux fois mieux. Pouvez-vous dire à l'équipe produit d'y pousser tout le monde ?

Non, pas à partir de cette comparaison. Les utilisateurs qui adoptent une fonctionnalité s'auto-sélectionnent : ils étaient déjà plus engagés, ce qui pilote à la fois l'adoption et la rétention, donc l'essentiel de l'écart est confondu. Pour affirmer une causalité, il vous faut une expérience randomisée, ou un dispositif quasi expérimental crédible comme une différence de différences, une variable instrumentale, ou une régression sur discontinuité autour d'un seuil d'éligibilité.

Je pousserais un peu en arrière, poliment. Les gens qui ont activé cette fonctionnalité ne sont pas un échantillon aléatoire : ce sont ceux qui étaient déjà assez avancés dans le produit pour la trouver. L'engagement antérieur pilote à la fois l'adoption et la rétention, donc l'essentiel de ce facteur deux vient probablement des utilisateurs, pas de la fonctionnalité. La réponse propre est un déploiement randomisé : on garde une part en témoin, on active la fonctionnalité pour le groupe traité ou au moins on l'y invite, et on mesure la rétention. Cela prend quelques semaines, donc en attendant je ferais quelque chose de plus utile que hausser les épaules. J'apparierais sur le comportement de la période précédente, en comparant les adoptants à des non-adoptants identiques dans le mois précédant l'adoption, et je regarderais quelle part de l'écart survit. Sur un projet de ce type, l'écart brut était d'environ 2x et l'appariement l'a ramené à peu près à 1,2x, ce qui vaut encore quelque chose mais représente un dossier économique complètement différent. Je leur donnerais les deux chiffres en précisant que celui issu de l'appariement est un plafond de l'effet causal, pas une mesure de cet effet.