Ein Stakeholder sagt, Nutzer, die Feature X verwenden, bleiben besser dabei, also sollten wir alle dorthin drängen. Wie reagierst du?

Das ist eine Korrelation, und die wahrscheinlichste Erklärung ist Selektion: engagierte Nutzer adoptieren mehr Features, das Feature kann also ein Symptom von Retention sein statt ihre Ursache. Sag das, ohne die Idee abzuwürgen, und schlag dann einen Weg vor, es zu testen, idealerweise ein randomisiertes Experiment, sonst einen Vergleich gematchter Kohorten oder eine Difference-in-Differences-Analyse rund um ein Release.

Ich würde sagen, dass das ein vielversprechendes Signal ist, und dann erklären, warum ich daraus noch nichts schließen kann. Die wahrscheinlichste Geschichte ist, dass engagierte Nutzer mehr Features ausprobieren, die Adoption von Feature X also ein Marker für Engagement ist und nicht dessen Ursache, und einen unengagierten Nutzer da hineinzuschubsen bewirkt womöglich gar nichts. Es gibt auch die schlichte Lesart umgekehrter Kausalität: Leute, die sowieso geblieben wären, sind die, die überhaupt noch da sind, um das Feature zu entdecken. Die saubere Antwort ist ein randomisierter Test, also eine zufällige Teilmenge ins Feature stupsen und die Retention gegen eine Holdout-Gruppe vergleichen, was uns den kausalen Effekt genau auf der Population sagt, die wir ansprechen würden. Wenn wir das nicht fahren können, würde ich mir Difference-in-Differences rund um den Launch des Features anschauen oder Nutzer nach vorheriger Aktivität, Tenure und Tarif matchen und Gleiches mit Gleichem vergleichen. Als ich die gematchte Variante bei einem Onboarding-Feature gemacht habe, waren etwa zwei Drittel des scheinbaren Lifts weg, und das hat die Roadmap-Entscheidung geändert.